사이트(홈페이지)을 운영하신 분들중 네이버에서 본인이 작성한 글이
검색을 해봐도 찔끔 찔끔 검색되는 경험이 있을 겁니다. 그나마 찔끔이라도 검색이 되어 노출이 된다면 위안이 되지만
몇일이 지나도 전혀 검색이 안되는 경우는 속이 타지요
왜그럴까요?????
검색정책이 바뀐탓입니다.....(대표적으로 네이버와 구글입니다)
옛날에는 사이트(홈페이지)에 글을 작성하면 때가 되면 자동으로 검색(노출)이 되곤 했으나 지금은 그렇지 않습니다.
자... 그러면 검색이 잘되기 위해서는 반드시 하여야할 내용이 있습니다.
우선 네이버에서 검색을하는 검색로봇이라는 것이 있습니다.
이 검색로봇이 본인 사이트(홈페이지)에 방문을 하여 작성된 글들을 검색을 합니다.
이런 저런 글들이 있다는 것을 알려주어야 하는 과정을 본인이 하여주어야 합니다.
그렇지 않으면 검색로봇이 알지못합니다.
그래서 검색로봇에게 본인 사이트(홈페이지)에 방문하도록하는 작성하는 표준규약이 있습니다.
우선 각 포털사이트 검색로봇 이름은 다음과 같습니다.
- 네이버 검색로봇 : Yeti
- 구글 검섹로봇 : Googlbot
- 다음 검색로봇 : Daumoa
입니다.
그렇다면 검색로봇을 방문할 수 있도록 문구를 작성하여야 하겠지요
아래와 같이 작성하여야 합니다.
User-agent: *
Disallow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daumoa
Allow: /
위에서 Disallow: / 는 모든 검색로봇 방문을 허락하지 않는다 것이며
다만 아래와 같이 Yeti, Googlebot, Daumoa 검색로봇은 허용한다는 내용입니다.
이것을 파일로 작성하여야 하는 파일명은
robots.txt 로 만들면 됩니다.
이 파일을 본인이 운영하는 사이트(홈페이지) 최상단 root에 복사하여 넣으면 됩니다.
그러면 네이버나 구글, 다음 검색로봇이 방문하여 이곳은 허락하는구나 하면서 검색을 시작하기 때문에 짧게는 1-2일
길게는 7일 후 부터 본인이 작성한 글이 포털 사이트에 검객 및 노출되기 시작합니다.
저의 사이트의 경우 하루 로봇검색 방문이 약 1-2천회 정도로 검색로봇이 매우 활발하게 방문을 하고 있습니다.
다만, 검색로봇이 방문을 하였다고 해서 웹문서가 전부 노출된다는 보장은 없습니다
이 부분에서 더 궁금한 사항은 저에게 연락을 주시면 상세하게 설명하여 드리도록 하겠습니다.
다음에는 검색이 더 잘되도록 하기위한 sitemap.xml 에 대하여 포스팅하도록 하겠습니다.
