인공지능 검색 봇으로 인한 조회수 증가 문제와 수정 안내(1)

[ 필고 홈페이지 운영 관련 안내: 인공지능 검색 봇 문제와 수정 안내 ]

안녕하세요, 필고 회원님들께,

최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.

* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음

* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.

그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.

* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중



* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:

- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)

검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.

필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.

열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.

감사합니다.