실랑에 하느님 치과라고 운영한 부부를 칮습니다
Kimkim8888
347
18:19
인공지능 검색 봇으로 인한 조회수 증가 문제와 수정 안내(1)
필고
쪽지전송
Views : 5,691
2024-11-22 11:17
자유게시판
1275578470
|
[ 필고 홈페이지 운영 관련 안내: 인공지능 검색 봇 문제와 수정 안내 ]
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
@알림 : 코멘트를 작성하시려면 로그인을 하십시오.
No. 96874
Page 1938
Reminder :
인공지능 GPT-4o Mini 적용 안내
Reminder :
필고 닉네임 업데이트 안내
( 12 )
사기꾼 노창권이란 사람 찻아요.
올해대박
1,249
15:47
사기꾼 노창권이란 사람 찻아요.
올해대박
775
15:42
종이 펄프 폐지 필요 하신분 무료로 드립니다
벌써30년
886
15:40
왜에 무슨 일이든 하고싶은데 (9)
dori-1
6,070
24-11-26
조언 바랍니다. (16)
시골길여행
8,519
24-11-26
[이슈] 정우성 혼외자 논란 (13)
최민수는진짜...
13,612
24-11-26
와이프가 운전하다 황당한 사건을 겪었는데요 (8)
jayjayjays
15,993
24-11-25
채팅어플을 통한 만남 관련 안전공지 (5) 2
믿음소망사랑...
15,786
24-11-25
간절히 일자리를 찾습니다. (24) 4
울트라싸운드
28,118
24-11-25
1천여 채 삼킨 화마…필리핀 마닐라 빈민촌의 비극 (5)
hitchjang
14,165
24-11-25
앙헬 프렌드쉽 대낮 강도 (7)
hitchjang
17,590
24-11-25
궁금한점 다중아이디 쓰는분 (71)
Andrew Lee-1
44,730
24-11-24
연말연시 안전공지 1
믿음소망사랑...
6,608
24-11-24
조언좀 부탁드립니다 (9)
알리아빠
33,073
24-11-24
비자연장궁금 (8)
으랴차차차
24,813
24-11-23
직장을 찾고 있습니다. (2) 1
울트라싸운드
13,090
24-11-23
[사진] Good Morning. (Suman) (4) 1
20Billion
11,682
24-11-23
필리핀 선교 한국인 목사.종신형. 선고(팜팡가) (28)
Kimkim8888
55,837
24-11-22
캐논 EOS m50 판매합니다 (4)
sionk0916
25,225
24-11-21
독서 모임 (10)
소심쟁이
48,731
24-11-21