AI 크롤러 봇이 robot.txt를 무시하자 빡친 사람이 Nepenthes 란 엿먹이기를 만들었습니다.
일단 이 Nepenthes는 매우 공격적인 악성코드입니다. AI 봇 잡아서 종료 링크가 없는 정적 파일의 무한한 미로로 보내버려서 몇 달동안 방황하게 설계되었죠. 크롤러는 잡히게 되면 횡설수설하는 마르코프 버블을 받습니다. 물론, 덤으로 AI 모델을 오염시키도록 설계되었습니다. AI 스크래핑에 빡쳐서 다 불태우고 싶어하는 사람들에겐 좋은 기능이죠
Tarpits는 원래 스패머의 시간과 리소스를 낭비하도록 설계되었지만, 이제 이건 AI 방지 무기가 되었습니다. 현재 OpenAI 크롤러만 겨우 탈주성공 했습니다.
https://arstechnica.com/tech-policy/2025/01/ai-haters-build-tarpits-to-trap-and-trick-ai-scrapers-that-ignore-robots-txt/