예전에는 사이트에 이것저것 기능들을 야매로 덧붙이는데 재미를 느꼈었는데요. 이제는 매일매일 뉴스 올리고 리뷰 준비해서 쓰기도 바쁜지라 뭘 건들지 않습니다. 그런데도 사이트에 접속 장애가 뜬다면 매우 낮은 확률로 호스팅에 문제가 발생한 것이고, 요새 절대 다수는 AI 학습한답시고 무차별적으로 긁어가는 봇 때문이더라고요. 

 

바이두나 바이트댄스 같은 애들이 긁어가면 아이고 저기 진핑이 어머니 날아간다 이러면서 차단하고 끝낼텐데, 요새는 이름만 대면 알만한 서구권 업체들도 크롤링을 남발하더라고요. 그걸 받아내는 쪽의 서버에 부담이 얼마나 가던지는 알 바 아니고, 로봇.txt 같은 건 이제 장식이 된 지도 오래됐습니다. 

 

이번 주말에 기글 접속이 매우 느렸던 건 메타에서 열심히 긁어대서 그랬던 거더라고요. 사람 10만명이 몰려서 사이트를 보면 가끔 광고라도 누를테고 더러는 가입도 할 테니 도움이 될텐데, 그런 봇이 백날 긁어봤자 자기네 AI 데이터나 충실해지지 기글에는 아무런 도움도 주지 않잖아요?

 

예전에는 검색이나 크롤링을 열어두는 게 느리지만 확실한 성장의 큰 그림이라고 생각했는데, 요새는 그 정도가 너무 심하다보니 그냥 막는 것 외에 다른 방법이 없네요. 

 

 

막기 전/후의 차이가 보이십니까?