카운터 그리고 robots.txt

이번달들어 카운터 8만힛을 기록했다. 말도 안되는 일이다. 사실 검색봇에 영향으로 계속 카운터가 폭주했었다.

블로그를 처음 시작했던 04년 7월이나 그 다음달인 8월달과 비교해보면 월 통계가 너무 차이가 난다. 리퍼러 순위에서만 봐도 각종 검색엔진에서 검색해서 들어온사람들이 많았다. (처음에는 봇이 아니라 검색해서 들어오는 사람들이 많아서 카운터가 올라가는줄 알았다)

뭐 그동안 폭주한 카운터를 달래는 방법들에 관한 글들도 많이 봤고 태터 버젼이 올라가면서 스팸처리해서 카운터 안올라가게 하는것도 있었지만 잠깐 해보다가 다시 돌려놨다. 이유는 그것이 막는것이 아니라 단지 숫자만 줄이는 것이었기 때문이다. 일단 얼만큼 당하고(?) 있는건지 파악 못하고 있으면 그건 안된다고 생각해서 돌려놨다.

어느날인가부터 블로그가 공개된 매체기는 하지만 일상을 담는 내 블로그가 테터센터나 올블로그같이 내가 원해서 공개되는곳이 아닌 검색봇이 긁어가고 검색엔진에 공개되어 무엇인가 찾기 위해서 검색하다 들어온 나에게는 불청객인 그들에게까지 공개된다는게 굉장히 싫었다. 블로그 접을 생각까지했다.

그러다가 구글이 한국에서 성공할수 없는 이유 기사를 보게됐다. 웹 사이트에서 robots.txt를 이용해 검색로봇의 검색을 막을 경우 검색로봇 규약에 의해 검색로봇은 검색을 하지 않아야 한다. 솔깃했다. 잠깐 만들어서 올리면 되는데 미루고 잠깐 잊어먹고 하다가 달을 넘겨서(그만큼 블로그에 애착이 줄었었다) 7일날 만들어서 올려놨다. 그랬더니 대번에 효과가 나타났다. 이게 전부 완벽하게 막을수 있는건 아니라고 했던걸 생각해보면 카운터가 처참하게 줄어들어 사실 내 홈페이지는 나만의 것이었다는걸(;) 새삼 알게 됐다.

너무 일상적이고 개인적인 글이어서 공개하기 싫은글들은 다 비공개로 바꿨다. 찾아보니까 이미 작년부터 이렇게해서 막아놓고 있다는글도 꽤 되는데 나는 몰랐다. 잘못이라면 몰랐던게 잘못이다. 이왕 이렇게 된거 슬쩍 포토블로그를 지향하는 일상블로그가 되볼까 생각중이다.