네이버 웹마스터도구 사이트맵 자동 생성 및 등록
내 블로그 또는 홈페이지 등을 네이버에 등록한 후 제대로 내 콘텐츠를 수집해 가는 지 확인하기 위해 '네이버 웹마스터 도구(바로가기)'에 들어가보면 다른 것은 대부분 쉽게 처리가 되는데 '사이트맵(sitemap)'은 쉽지 않다.
사이트맵은 웹사이트의 구조 및 페이지 등을 XML 형태의 기록해 놓은 파일이다. 네이버, 다음, 구글 등의 검색엔진 들은 수많은 링크를 타고 다니면서 페이지를 수집하지만 어딘가에 노출되지 않은 페이지는 알 수 없기 때문에 수집을 할 수 없고, 결국 검색 결과에 노출되지 않는다.
웹사이트에 사이트맵 파일이 있다면 그것을 참고하기 때문에 사이트 운영자가 원하는 페이지를 모두 검색엔진이 가져갈 수 있도록 할 수 있다.
먼저 검색엔진에 내 블로그 또는 웹사이트를 등록해야 한다. 각 검색 서비스에 내 사이트를 등록하고, 그 후 네이버 웹마스터 도구 및 구글 서치 콘솔에서 내 웹사이트에 대해 추가로 설정을 하면 좀 더 검색에 잘 걸리가 된다. '다음'은 별도의 관리 툴을 제공하지 않는다.
사이트맵 만들기(sitemap.xml 자동 생성) 서비스 선택
<XML Sitemaps.com 서비스>
사이트맵을 자동생성해주는 사이트는 여럿 있다. 그 중에서 XML Sitemaps.com 과 check-domains.com 의 XML sitemap generator, web-site-map.com이 간단하고 안전하게 사이트맵을 만들어준다.
XML Sitemaps.com 은 UI가 깔끔하고 직관적이어서 사용이 쉽지만, 무료 버전에서는 500개까지의 페이지 만 연결해 주고, 그 이상의 페이지가 있는 경우 19.99달러를 결제해야 무제한 생성이 가능하다.
check-domains.com 의 사이트맵 생성 서비스는 무료로 제한없이 페이지 링크를 생성하지만 속도가 매우 느리고, 한번 잘못 설정하고 시작을 하니 2시간이 넘도록 끝나지가 않았다. Depth Level 4가 끝나는 데 가지 2시간 반이 소요되었고, 이후 다시 Depth Level 5가 시작되면서 페이지 갯수가 2만개를 넘겨서 그낭 끝내고 말았다.
별 생각없이 가볍게 사이트맵을 만드는 데는 위의 web-site-map.com의 서비스가 가장 편리했다. 기본 설정으로 [Create free XML Sitemap] 버튼을 클릭하니, 그 아래로 페이지가 수집되는 것이 보이고 약 30분 정도가 지나가 'COMPLETED!' 문구를 볼 수 있었다.
'download your Sitemap' 링크를 클릭하니 다음 페이지로 넘어가고, 그 페이지의 'download' 링크를 클릭하니 'sitemap.xml' 파일을 다운로드 받을 수 있었다.
네이버 웹마스터도구에 사이트맵 제출하기
<네이버 웹마스터 도구의 사이트맵 제출하기>
앞서 말한대로 검색엔진 들은 검색 봇이 돌아다니면서 각종 페이지를 수집한다. 대부분 링크를 타고 다니면서 페이지를 수집하지만 노출되지 않은 페이지는 수집이 되지 않고, 결국 검색 결과에 보여지지 않는다.
네이버 웹마스터 도구는 내 웹사이트가 어떻게 수집되고 있는지 등을 확인할 수 있는 메뉴를 제공한다. '요청->사이트맵 제출'은 앞서 생성한 내 웹사이트의 페이지 정보를 등록하는 메뉴다.
내 블로그나 홈페이지 어딘가에 sitemap.xml 파일을 업도르한 후 경로를 기재하면 된다.
참고로 티스토리 블로그에서 sitemap.xml 파일을 사용하는 방법은 아래와 같다.
- 새로운 글을 작성한다.
- 제목과 내용은 아무렇게나 넣는다.
- 상단 메뉴 중 [파일]을 클릭하여 생성한 sitemap.xml을 업로드한다.
- [비공개]로 설정한 후 글을 [발행]한다.
- 발행된 글에 들어가서 첨부 파일의 URL을 확인한다.
파일명이 @xxxx.xml로 변경되어 있다.
sitemap.xml 파일의 경로를 위의 입력란에 넣고 [확인]을 클릭한다. 이 때 파일에 문제가 있으면 오류가 발생하고, 정상적이면 위와 같이 '제출된 사이트맵'에 등록이 된다.
구글 서치 콘솔에 사이트맵 등록하기
<구글 서치 콘솔>
네이버와 마찬가지로 구글도 사이트 검색을 관리할 수 있는 '구글 서치 콘솔(Google Search Console)'을 제공한다. 메우 많은 기능이 제공되고 있으며, 그 중 '크롤링 -> Sitemaps' 메뉴에 들어가면 네이버 웹마스터 도구와 유사한 화면을 확인할 수 있다.
네이버 웹마스터 도구에 등록했던 URL을 그대로 사용하여 등록하면 된다. 친절하게도 몇개의 웹페이지가 연결되어 있는지 알려준다. 내가 제출한 sitemap.xml에는 4,200개의 페이지가 연결된다는 나온다.
기본적으로 웹사이트의 최상위에 sitemap.xml 파일을 위치시키면 이런 과정을 거치지 않아도 구글과 네이버 등 검색엔진은 해당 파일을 참고해서 해당 웹사이트의 페이지를 수집해 간다.
하지만, 블로그와 같이 내가 서버를 컨트롤하기 어려운 경우에는 이렇게 수동으로 sitemap.xml 파일의 내용을 알려줘야 만 검색엔진에 내 페이지가 걸릴 수 있게 된다.
