구글 웹마스터 도구: 페이지(디렉토리) 삭제 후 삭제를 취소하여도 검색에 반영이 안 될 수 있습니다.

| 분류: 사이트 운영일지 | 최초 작성: 2012-03-20 00:38:57 |

도메인 변경을 통해 홈페이지의 각종 링크 주소를 변경한 지 한 달 남짓 지났습니다. 각종 외부 링크 등의 페이지 연결을 지원함으로써 예기치 못한 페이지 연결 불가 등의 불편은 거의 막았다고 생각합니다만, RSS 등으로 게시물을 받아보고 계시던 분들께 본의 아니게 불편을 끼쳐드렸습니다. 그럼에도 불구하고, 약 5일 전에 또 한번, 블로그 파트의 주소 변경이 있었습니다. 이번에는 전체 페이지를 301 리다이렉트 연결을 함으로써, 구 주소로도 페이지 접속이 가능하도록 조치를 하였습니다.

이번 게시물은 5일 전의 페이지 주소 변경의 이유와, 그에 관련된 구글 웹마스터 도구의 문제점(추정)에 대해 경고하기 위한 게시물입니다. 결론부터 정리하면, 구글 웹마스터 도구에서 페이지(디렉토리) 삭제가 처리되면, 해당 페이지를 색인에 재포함하더라도 그 페이지가 검색에 노출이 안 되는 경우가 있을 수 있습니다. 저야 검색이 되거나 말거나 사실 큰 상관이 없습니다만, 검색 노출이 꼭 필요한 전업 블로거의 경우에는 자칫 상당히 골치아픈 상황을 맞을 수 있기 때문에 상당한 주의를 요합니다.

사건의 진행 경과(요약)는 다음과 같습니다.

1. 특정 웹 페이지 운영 및 블로그와의 장기적 통합을 위해 새 도메인(nightowl.pe.kr)을 구입 (2011/04/25)

2. 운영 테스트를 위해 www.dormouse.pe.kr/blogtool (구 운영주소) 의 블로그 CGI 및 데이터를 복사하여 운영 시험 중, 관리 실수로 www.nightowl.pe.kr/blog 주소 이하의 페이지들이 구글 검색 서비스에 다량 노출됨. 실제 운영되지 않는 주소의 검색 노출을 막기 위해 www.nightowl.pe.kr/blog 이하의 문서에 대해 구글 웹마스터 도구를 통해 디렉토리 삭제 요청. 삭제 이루어짐. (상단 이미지의 ①)

3. 이후 계속적인 시험 과정에서 180일이 경과하여 삭제 요청 기간이 만료. 외부 링크는 없었으나 구글 내부 주소 데이터에 의해 검색 엔진의 재방문이 이루어져 해당 페이지들이 검색 결과에 다시 노출됨. 해당 페이지들에 대한 2차 디렉토리 삭제 요청을 접수하였고 이에 따라 삭제가 이루어짐. (상단 이미지의 ②)

4. 2012년 2월 초, 기존에 디렉토리 삭제가 이루어졌던 www.nightowl.pe.kr/blog 주소 이하로 구 블로그 데이터가 이전됨. 구 페이지 주소는 모두 신 페이지 주소로 301 리다이렉트가 이루어졌고, 이에 따라 1주 정도 이후에는 www.dormouse.pe.kr 이하 데이터는 구글 검색 결과에서 모두 사라졌음. 그러나 301 리다이렉트에 의해 새로 노출되어야 할 www.nightowl.pe.kr/blog 이하의 데이터는 검색 엔진에서 전혀 노출되지 않음. 웹마스터 도구 상에 제출된 사이트맵 데이터상으로는 거의 모든 페이지가 색인된 것으로 결과가 출력.

5. 구글 웹마스터 도구를 통해 사이트 재검토 요청(2012년 2월 29일)을 하였으나, 웹마스터 가이드라인 위배로 제재된 도메인이 아니라는 통보(2012년 3월 3일)를 받음.

6. 구글 웹마스터 도구에 사이트 재검토 요청을 한 시점에서, 과거 www.nightowl.pe.kr/blog 이하에 디렉토리 삭제 요청이 만료되지 않았음을 뒤늦게 발견하고 해당 디렉토리 삭제 요청을 취소함(2012년 2월 29일). 요청이 취소된 이후 2주일 정도 기다려 보았으나 페이지가 전혀 검색되지 않음.

7. 한 번 디렉토리 삭제되었던 페이지가 검색 결과에 노출되지 않는 것 같다는 생각이 들어서, 검색에 노출되지 않는 /blog 이하 하위 페이지를 /oblog 이하 하위 페이지로 일괄 이전(2012년 3월 14일 밤)함. 그 결과 2012년 3월 15-16일 이후 페이지가 구글 검색 결과에 나타나기 시작. 현재 많은 페이지가 검색에 노출되고 있음.





이러한 일련의 사태를 정리해 보면, 구글 웹마스터 도구에서 페이지를 삭제(아마도 디렉토리 삭제의 경우)한 경우, 이를 중간에 취소(재포함)하여도 검색 결과에 제대로 반영되지 않을 수 있다는 것을 유추할 수 있습니다.



기타 다른 잠재적인 원인들은 다음과 같은 이유로서 제외할 수 있습니다.

1. 검색은 구글의 사이트 검색(site:도메인 주소) 기능을 이용하여 검색한 것으로써, 검색어의 잘못된 선택으로 인하여 페이지가 출력되지 않았던 것도 아닙니다. (www가 붙은 버전과 붙지 않은 버전 모두 확인하였습니다.)

2. 웹 페이지의 접속 로그상으로 확인했을 때 구글봇은 하루에도 수회~수십회 이상 매일 방문하고 있었던 것으로 확인되고 있으므로, 검색 로봇이 방문하지 않아 색인이 갱신되지 않았기 때문도 아니라고 보입니다. 하위 주소 변경 후 이틀만에 페이지가 나타나고 있는 것으로 보아 2주 정도 기다린 기간이 짧았던 것은 아니라고 생각합니다.



3. 특징적인 것은, (삭제 요청이 취소되기 전인) 2월 중순부터 이미 구글 웹마스터 도구상으로는 제출된 사이트맵에 대해 대부분의 페이지가 "색인됨" 상태로 출력되고 있었다는 것입니다. (이것 때문에, 과거 삭제 요청한 기간이 만료되지 않았다는 사실을 상기하지 못했습니다.) 그렇다면 삭제된 페이지라도 페이지가 검색되고 배제표준 등으로 배제되지 않는다면 일단 색인하고, 다만 검색에만 노출하지 않는다는 이야기가 됩니다. 만약 이 결과가 구글 시스템상의 문제라면, 이 부분에 시스템적인 오류가 있기 때문일 가능성이 제일 크다고 생각합니다. (지난 삭제 요청이 만료되는 2012년 5월까지 기다려보았다면 이 문제도 검증이 가능했겠지만, 이 부분은 검증이 불가능합니다.)


물론 위의 사실은 몇 가지 팩트를 통하여 추정한 것으로, 이 상황이 일반적인 상황이 아닐 수도 있습니다. 다만, 사이트 리뉴얼 등의 이유로 구글 웹마스터 도구를 이용해 페이지를 삭제한 후에, 새로운 페이지가 구글 검색 결과에 노출되지 않는 등의 문제를 겪고 있는 운영자께서는 이러한 가능성도 검증을 해 보시기 바랍니다.

☞ 태그: Google, 검색 결과, 구글, 인덱스, 웹마스터 도구, 검색,

☞ 트랙백 접수 모듈이 설치되지 않았습니다.

☞ 덧글이 1 개 있고, 트랙백이 없습니다.

덧글을 남기시려면 여기를 클릭하십시오.

작성자(필수):    이메일 주소:    홈/블로그 등:

이 글을 관리자만 볼 수 있도록 하려면 체크박스에 체크하십시오. (관리자의 답변이 필요한 경우 답변은 공개됩니다.)

덧글 등록 전에 "이 문장을 클릭"해 주세요!  (Please "click this sentence" before submitting!) [이것은 무엇인가요?]

[489] < [423] [422] [421] [420] [419] ... [418] ... [416] [415] [413] [412] [410] > [19]