 네 여러분 안녕하세요. 구글의 웹메스터 묵고답하기의 오실 것을 환영합니다. 앞으로 이 시간을 통해서 웹마스터 여러분들의 궁금한 점을 해결해 드리도록 노력하겠습니다. 자 오늘 특별히 이 시간을 위해서 저 멀리요 화면에 바트님 안녕하세요. 동기님. 안녕하세요. 네 그리고 우리 발의 옆자리에 우리 동기님. 안녕하세요. 장색열 좋습니다. 우리 다들 앞으로 자주 뵐 수 있었으면 좋겠습니다. 네. 자 오늘의 웹메스터 묵고답하기의 첫 번째 주제는요. 웹사이트의 웹사이트와 검색의 첫 번째 화물이죠. 바로 로봇점 텍스입니다. 동기님 로봇점 텍스가 도대체 무엇입니까? 로봇점 텍스는 로봇 배제 표준이라고도 불리죠. 웹사이트에서 검색 로봇 같은 또는 웹 로봇 같은 로봇들을 제어하기 위한 규칙입니다. 로봇점 텍스 파일로는 웹 로봇의 트래픽을 조절하거나 또는 서브리소스의 접근을 제어할 수가 있는데요. 대부분의 검색 로봇은 웹사이트의 내용을 수집하기 전에 로봇점 텍스 파일을 먼저 확인합니다. 참고로 로봇점 텍스는 보안도구가 아니거든요. 그래서 웹에 노출되지 말아야 될 페이지가 있으면 반드시 로그인을 통해서 접근할 수 있도록 만들면 좋겠습니다. 그렇죠 그렇군요. 그러면 바티님 이 로봇점 텍스 파일이 반드시 웹사이트 구성에 필요한 파일인가요? 곧 필요하진 않습니다. 다만 로봇점 텍스 파일은 존재하지 않은 경우에는 여러분의 사이트는 모든 페이지에 대해서 접근해도 좋다는 의미가 해속합니다. 그러니까 검색 엔진이 수집할 필요가 없는 페이지가 있으면 로봇.txt에 이용해서 해당 페이지들은 수집하지 않도록 알려주는 것이 좋습니다. 그래서 그렇게 해서 필요한 트래픽을 줄일 수 있습니다. 검색을 통해서 오는 트래픽을 줄일 수가 있다. 좋은 말씀이시죠. 자 그러면 우리가 이번에 실제 사례를 통해서 로봇.txt가 어떻게 악용되고 있는지 어떻게 사용되지 말아야 할지 또 어떻게 사용되는 것이 좋은지를 한 번 살펴보시면 좋겠는데요. 우리 동기님 한번 좀 설명해 주시죠. 네 그럼 한번 첫 번째 사례를 보겠는데요. 이 경우에는 어드민 이란 디렉토리랑 프라이빗 이란 디렉토리에 대해서 검색 엔진이 접근하지 말라고 알려주고 있습니다. 되게 중요한 페이지가 다 보이네요. 네 이런 식으로 검색 엔진에게 불필요한 부분을 알려주는 것은 좋지만 이 경우도 정상적인 검색 엔진은 해당 디렉토리를 수집하지 않겠지만 악의적인 유저 혹은 로봇의 석근은 여전히 가능합니다. 자 그러면 그런데 그럼 저렇게 보안이 필요한 페이지 같이되어 보이네요. 저런 보안에 관련된 페이지를 어떻게 관리하는 것이오까요 그러면. 네 앞에서도 언급했는데요. 패스워드 혹은 다른 보안 수단을 이용해서 적절하게 접근 제어를 할 필요가 있습니다. 네 그렇군요. 네 그럼 또 다른 사례를 한번 살펴볼까요. 네 이 오른쪽 것을 보면 CSS 디렉토리 그리고 이미지 디렉토리 그리고 제이팩 파일들 그리고 자바 스크립트 디렉토리를 접근하지 말라고 알려주고 있습니다. 하지만 요즘에 대부분의 검색 로봇은 여러분이 웹 브라우드를 통해서 사이트를 보듯이 렌더링을 해서 세기인을 하기 때문에 이런 자바 스크립트나 css 등 모든 서브 리소스에 대해서 접근할 수 있어야지만 제대로 웹페이지를 볼 수가 있습니다. 그렇군요 그럼 렌더링 사이에 모든 이미지라든가 css 파일들이 필요하기 때문에 저렇게 다 보여주는 것이 맞다는 얘기죠. 저렇게 막아서는 안 된다는 말씀이죠. 네. 이미지 같은 경우를 가령 보지 못하게 하면 뭐 이미지를 보지 못한 채로 세기인을 하게 되겠죠. 아 그렇군요. 그러면 잘 된 사례를 한번 좀 살펴볼까요. 네 이 경우에는 검색 페이지들 그리고 캘린더 페이지들을 수집하지 말라 라고 알려주고 있는데요. 이런 식으로 내부 검색 페이지라든지 캘린더 같은 페이지 굳이 검색 엔진이 수집하지 않아도 되는 페이지들을 검색 엔진에게 알려주는 것은 좋은 방법이라고 할 수 있겠습니다. 아 그렇군요. 또 한 가지 설명해 주실 수 있겠네요. 네. 오른쪽 같은 경우에는 모든 페이지에 대해서 수집하지 말라라고 알려준 다음에 퍼블릭이라는 디렉토리는 수집해도 좋다라고 알려주고 있는데요. 예를 들어서 모든 검색 엔진이 접근할 필요가 있는 모든 페이지들이 퍼블릭이라는 디렉토리 안에 들어있으면 이러한 방법을 사용하는 것도 좋습니다. 아 그렇군요. 참 저 아이디어가 좋은 것 같습니다. 많은 사람들이 저 페이지를 저런 문구를 보면 디스토라우드 오리라고 되어 있는 경우에는 전부 다 접근을 못하도록 설정된 것이 아니라는 의문을 가질 수 있는데 어떻게 보지 나요. 기본적으로 디스토라우드 루트를 하게 되면 모든 페이지에 접근하지 못하는 것 맞는데 그리고 다른 규칙을 쓸 경우에는 더 긴 규칙을 우선으로 해서 덮어 씌우기를 하게 됩니다. 아 그렇군요. 좋은 좋은 사람인 것 같습니다. 자 그러면 이제까지 저희가 여러 사례들을 살펴봤는데요. 동의님 그러면 제가 사이트 주인으로서 직접 우리 사이트의 로봇점 텍스트가 어떻게 적용이 됐는지 어떻게 확인할 수 있을까요? 여러 가지가 있겠지만 오늘 두 가지를 설명을 드리면 가장 쉬운 방법은 아무래도 웹브라우저에서 그냥 들어가면 되는 거예요. 네. 보통 로봇점 텍스트 파일은 우투 디렉트리에 있거든요. 네. 그래서 이 경우에 예제 같은 경우에는 ww.example.com 그리고 그냥 slash 로봇점 텍스트 이걸 붙여서 들어가서 확인하시면 됩니다. 아 그럼 누구나 확인할 수 있을까요? 그럼요. 네. 아 그렇군요. 또 다른 방법은 search console의 테스팅 도구를 사용하는 건데요. search console에 들어가시면 url 검사 도구라는 메뉴가 있어요. 이 기능을 사용하시면 실제로 구글 보시 실시간으로 해당 사이트의 페이지를 접속을 해서 차단된 리서스를 파악할 수 있게 됩니다. 그래서 search console을 한번 사용해 보시기를 추천을 드립니다. 그 search console은 구글에서 제공하는 무료도군요. 앞으로 저희가 한번 이 툴에 대해서 이 시간을 한번 말해보는 것도 좋을 것 같습니다. 좋을 것 같습니다. 네. 자 그렇게 해서 오늘은 로봇점 텍스트 파일에 대해서 알아봤는데요. 가장 기초와 기본이 될 수 있겠지만 이 파일을 정확하게 사용하는 것이 사이트와 검색엔진의 관계에 치명적으로 작용할 수 있기 때문에 가장 중요한 부분이라고 할 수 있겠습니다. 자 그러면 앞으로 이런 질문 외에 저희가 정말 궁금한 질문들이 있다면 저희가 웬메소로서 어떻게 하면 될까요? 구글 웬마스도 도움말 포럼이나요. 아니면 그냥 유튜브 댓글로 남겨주시면. 아 이 화면의 댓글이요? 네. 그렇군요. 다음 질문을 선정을 해가지고 답변을 드리도록 하겠습니다. 아 그렇군요. 그러면 뭐 답변을 했을 때 뭐 선물이다 그런 것도 주기도 하나요? 혹시 한번 생각해보겠습니다. 네 알겠습니다. 네 그럼 이렇게 짧은 시간이 남아 웬메스터 여러분께 유익한 정보를 제공하고 위해서 앞으로 이 웬메스터 묻고 답하기 시간을 저희가 최선을 다해서 활용하려고 합니다. 자 여러분의 많은 관심을 좀 부탁드리고요. 우능을 참석해 주신 우리 멀리 동기님, 바트님, 우리 또 가까이에 동기님 너무 수고하셨고요. 자 여러분들 빠른 시일 내에 더 유익한 정보로 찾아뵐 수 있도록 하겠습니다. 여러분들 감사합니다. 감사합니다.