Большинство ИИ-детекторов анализируют структуру слов и предложений, чтобы найти признаки того, что текст был сгенерирован с помощью ИИ. Новый инструмент IdeaLens решает эту проблему по-другому. В первую очередь он выявляет идеи, которые могут принадлежать искусственному интеллекту.
Новый ИИ-детектор создан исследователями Google DeepMind и учеными американских университетов. В основном IdeaLens предназначен для анализа научных работ. Инструмент оценивает основные тезисы документа, определяя, кто может быть их автором – человек или нейросеть.
Для обучения системы исследователи использовали около миллиона документов с известным происхождением. При тестировании IdeaLens правильно распознал 91% полностью созданных ИИ-текстов, а доля ошибочно классифицированных текстов людей составила всего 0,6%.
Особенно заметным преимущество перед другими детекторам оказалось при проверке текстов, которые люди лишь немного отредактировали с помощью ИИ. В таких случаях IdeaLens правильно определял авторство 95% работ. Показатель успешности другого известного ИИ-детектора Pangram составил в среднем 44%.
Впрочем, при смешанном авторстве результаты оказались довольно низкими. Если нейросеть писала текст по подробному плану человека, IdeaLens обнаруживал участие ИИ лишь в 7% случаев.
Исследователи отмечают, что идеи ученых чаще содержат конкретные детали и проверяемые источники. Генеративный ИИ, наоборот, склонен предлагать обобщенные утверждения, сомнительные цифры и универсальные решения.
Читайте по теме. Авторы теряют работу из-за детекторов ИИ
