Компании, занимающиеся искусственным интеллектом, буквально «пожирают» интернет. ИИ-боты настолько активно сканируют сайты, что создают серьезные проблемы для владельцев веб-ресурсов.
По данным компании Fastly, Meta оказалась главным нарушителем и генерирует более половины всего трафика от ИИ-ботов. На долю этого технологического гиганта приходится 52% всех запросов. Google занимает второе место с 23% трафика, а OpenAI замыкает тройку лидеров с 20%.
Вместе эти три компании создают 95% всего трафика от ИИ-роботов. Для сравнения, компания Anthropic, создавшая ИИ-ассистента Claude, генерирует всего 3,76% трафика.
ИИ-боты работают в двух режимах. Первый тип называется краулерами или сборщиками данных. Они постоянно сканируют сайты для сбора информации, которая потом используется для обучения нейросетей. На их долю приходится 80% всего ИИ-трафика. Второй тип — это ИИ-фетчеры или получатели информации. Они активируются только по запросу пользователей, когда нужно получить свежую информацию, которой нет в базе обучения ИИ. Хотя фетчеры составляют всего 20% трафика, они могут создавать огромные всплески нагрузки. Один такой робот способен делать до 40 000 запросов в минуту.
Такая активность роботов приводит к серьезным проблемам. Сайты начинают работать медленнее, поскольку серверы не справляются с нагрузкой. Владельцы вынуждены тратить больше денег на более мощные серверы и увеличение пропускной способности. В некоторых случаях происходят сбои в работе, и сайты становятся недоступными для обычных пользователей. Особенно сильно страдают небольшие сайты с ограниченными техническими и финансовыми ресурсами.
Владельцы сайтов начинают применять различные контрмеры. Традиционно для этого использовались файлы robots.txt, которые должны были сообщать роботам о том, какие разделы сайта не стоит сканировать. Однако многие ИИ-компании игнорируют эти указания..
В последнее время появились более изощренные технологии защиты. Система под названием Anubis заставляет ботов решать сложные вычислительные задачи перед получением доступа к контенту. Технология Nepenthes работает по принципу «ловушки» и подсовывает ботам бессмысленную информацию, имитирующую реальный контент. Компания Cloudflare тестирует модель, согласно которой ИИ-компании должны платить деньги за каждый запрос к защищенным сайтам.
Эксперты считают, что правительства должны вмешаться и ввести жесткие штрафы для ИИ-компаний, которые злоупотребляют ресурсами интернета. Более того, ИИ-разработчики должны платить компенсации владельцам сайтов, чьи ресурсы они используют для своего обогащения.
Индустрии нужны срочные стандарты и правила, чтобы сбалансировать потребности ИИ-разработчиков и права владельцев контента. Без этого интернет рискует превратиться в бесконечное поле битвы между роботами и сайтами, где победителей не будет, считают специалисты.
Читайте по теме: Cloudflare будет блокировать ИИ-боты от сбора контента.
