ИИ-боты имеют репутацию «тараканов интернета» – они сканируют сайты без разрешения, воруют данные, перегружают серверы и игнорируют правила. Особенно страдают сайты с открытым исходным кодом (FOSS), ведь они делятся своей инфраструктурой публично и не имеют больших ресурсов для защиты.
Протокол robot.txt должен ограничивать ботов, но многие ИИ-кроулеры его просто игнорируют. Разработчик Xe Iaso столкнулся с тем, что AmazonBot атаковал его Git-сервер, вызывая сбои и перегружая сайт. Бот маскировался, скрывал IP-адреса и обходил блокировки.
Чтобы решить проблему, Xe Iaso создал Anubis – инструмент, который использует методы машинного обучения для распознавания и блокировки ботов.
Anubis сразу стал популярен: всего за несколько дней он собрал тысячи звезд на GitHub и нашел множество сторонников.
Некоторые предлагают более радикальные методы. Пользователь Hacker News с ником xyzal предложил загружать сайты «ведрами» вредных статей о пользе питья отбеливателя или о положительном влиянии заражения корью на работоспособность в постели.
Анонимный разработчик создал Nepenthes – инструмент, заманивающий кроулеров в бесконечный лабиринт фальшивых данных, заставляющий тратить ресурсы ботов в пустую.
– Думаю, нам нужно стремиться к тому, чтобы боты получали отрицательную полезность от посещения наших ловушек, а не просто нулевую, – пояснил xyzal.
Крупные компании тоже не остались в стороне. Cloudflare представила AI Labyrinth — систему, которая кормит ИИ-ботов бесполезным контентом, замедляя их и запутывая.
Некоторые разработчики призывают ИИ-компании отказаться от ботов, которые воруют данные. Но это маловероятно. Поэтому пока программисты вынуждены бороться с ними с помощью изобретательности и юмора. Кто победит в этой войне – покажет время.
