사실 불과 10여년만에 인터넷은 우리의 삶에서 뗄래야 뗄 수 없는 존재가 되었습니다. 우리는 매일 인터넷을 통해서 뉴스도 접하고, 쇼핑도 하고, 게임도 즐기고 있습니다. 하지만, 편리함이 주어진만큼 조심해야 할 것들도 생겨났습니다. 쇼핑을 하면서 결제에 사용하였던 신용카드 번호, 인터넷 사이트에 가입하기 위해 입력하였던 주민등록번호, 그리고 나만의 비밀이 적혀있는 일기장들. 이러한 개인정보를 안전하게 보호하는 것은, 아마도 대부분의 홈페이지 관리자와 서버 관리자분들이 가장 많이 신경을 쓰는 부분일것이라고 생각합니다. 제가 관리하는 홈페이지에 저장되어있는 주민등록번호나 신용카드 번호가 유출되는 경우는 정말 생각만해도 끔찍합니다.
하지만, 그것은 사실이 아닙니다. 오히려, 더욱 위험해질 수 있습니다. 세상에는 구글이나 다음, 네이버와 같은 착한 검색엔진들이 존재하는 반면, 악한 검색엔진도 존재합니다. 나쁜 검색엔진들의 목적은 신용카드 번호나 주민등록번호등을 찾아내는 것입니다. 예를 들어, 66.90.73.96 의 주소를 사용하는 검색엔진 로봇이 있습니다. 이 로봇은 자신의 정체를 (즉, User Agent를) Google Bot이라고 속이면서 돌아다닙니다. 뿐만 아니라 이 로봇은 홈페이지 관리자분께서 데이터를 보호하기 위해 설정해둔 robots.txt의 Disallow 부터 방문을 합니다! 마치 우리가 집에 소중한 보석을 숨겨두고, “도둑아, 이곳에는 들어오지 마!”라고 한다면, 도둑은 그 장소부터 뒤지는 것처럼 말입니다.
이와 같이 robots.txt를 무시하거나 여러분들의 소중한 자료를 훔쳐보는 나쁜 검색엔진은 몇개나 있을까요? 현재까지 알려져있는 개수만 100개가 넘습니다!
그러면 데이터를 어떻게 보호할 수 있을까요?
1. robots.txt를 데이터를 지키기 위해서 사용하지 마십시오. 주민등록번호 유출등의 사건을 일으키는 나쁜 검색엔진들은 그 파일을 지키지 않습니다. 오히려, 그 파일을 이용하여 소중한 데이터가 저장되어있는 곳의 위치를 알아내려고 합니다. robots.txt 파일은 검색엔진이 여러분의 홈페이지를 더욱 효율적으로 방문할 수 있도록 도와주는 도구이지, 보안의 목적으로는 사용하셔도 실제적인 보안의 효과는 거두시기 힘듭니다.
2. 반드시 로그인을 해야지만 데이터를 접근할 수 있도록 하십시오.
3. 개인 정보와 관련된 데이터를 암호화하여 저장하십시오. 물론, 암호화하여 저장하는 것은 비용이 들어갑니다. 하지만 데이터가 유출되었을 때의 손해 비용을 생각하신다면, 절대로 비싸지 않을 것입니다.
현재까지 알려져있는 나쁜 로봇들에 대해서 궁금하시다면,
여기를 참고하시기 바랍니다.
혹시, 구글 검색 로봇이 여러분의 홈페이지에 너무 자주 방문하여, 서버에 부담이 가기 때문에, robots.txt를 설정하셨습니까? 그렇다면, 구글에서 제공하는
웹마스터 도구를 사용해보시기 바랍니다. 서버의 부담을 줄이면서도, 더욱 효율적으로 여러분의 사이트를 구글 검색결과에 반영시키실 수 있습니다.
