작성일: 2015년 1월 29일 목요일
(*아래 버튼을 누르면 음성으로 블로그를 읽어 드립니다.)
(*아래 버튼을 누르면 음성으로 블로그를 읽어 드립니다.)
안녕하세요. 오늘은 웹마스터분들께 검색에서의 크롤링 및 색인 생성에 있어 유용한 업데이트를 알려드리려고 합니다. ‘로케일 맞춤형 페이지의 크롤링’에 대한 것인데요, 고급자 과정의 내용이라고 보시면 좋겠습니다.
사이트를 방문하는 국내외의 다양한 사용자들을 위하여 한국어, 영어 등의 다양한 언어로 사이트의 내용을 제공해야 하는 경우가 많습니다. 일반적으로 각각의 언어에 대하여 다른 주소를 가지고 해당 언어의 내용을 보여 주지만, 때로는 동일한 주소를 가지고 방문자의 언어 설정이나 지리적 위치를 파악하여 알맞은 언어의 내용을 보여주는 방법을 사용하기도 합니다. 특히, 후자의 경우처럼 동일한 주소를 가지고 다양한 사용자의 성향에 파악하여 그에 맞는 언어의 내용을 구현하는 것을 로케일 맞춤형 페이지(locale-adaptive web pages)라고 합니다. 예를 들어, 사용자가 한국에서 방문하는지 아니면 미국에서 방문하는지에 따라 자동으로 해당 나라 언어로 된 페이지의 내용을 보여주는 것입니다. 즉 한국 사용자가 검색을 하게 되면 한국어로 된 웹사이트 내용을 제공해 줍니다.
하지만 이전까지 Googlebot은 기본적으로 Accept-Language HTTP 요청 헤더 설정 없이 페이지를 요청하고 미국에 위치한 것으로 보이는 IP 주소를 사용해 왔기 때문에 로케일 맞춤혐 페이지의 일부 언어의 콘텐츠에 대한 색인 생성이 완전하게 이뤄지지 않을 수 있었습니다.
이제 구글에서 사용언어 요청 및 위치 감지를 기반으로 콘텐츠를 구성하도록 설정된 페이지에 대해 새로운 Googlebot 용 로케일 인식 크롤링 구성(locale-aware crawl configuration)을 도입합니다. 새로운 구성은 다음과 같습니다.
- 더 다양한 지역의 IP 사용: 기존에는 Googlebot에서 미국 IP 주소만 사용했지만 이와 더불어 미국 이외의 IP 주소도 사용하게 되었습니다.
- 더 많은 언어 정보 활용: Accept-Language HTTP Header의 설정 등을 사용하여 Googlebot이 언어별로 효과적으로 크롤링하게 되었습니다
새로운 크롤링 구성은 로케일 맞춤형 페이지로 파악되는 페이지에 대해 자동으로 적용되기 때문에 CMS 또는 서버 설정을 변경하지 않더라도 사이트가 크롤링되고 구글 검색결과에 표시되는 방식이 달라질 것입니다.
중요한 사항은, Googlebot의 새로운 수집 방법이 도입되었음에도 불구하고, 구글은 각각의 언어에 대하여 rel=alternate hreflang annotations가 포함된 별도의 URL 사용을 권장한다는 것입니다. 이는 사용자가 각 언어별 페이지를 활용하고 콘텐츠를 공유하는데 유용하며 모든 변형 콘텐츠의 색인을 생성하고 순위를 적절히 지정하는 데 효과적이기 때문입니다.
기타 궁금한 점이나 의견이 있으면 언제든지 다국어화 웹마스터 도움말 포럼에 문의할 수 있습니다.
작성자: Qin Yin, 검색 인프라 소프트웨어 엔지니어 / Pierre Far, 웹마스터 트렌드 분석가