«Галлюцинации», или ложные ответы, – одна из главных проблем в работе языковых моделей. Недавно компания OpenAI признала, что причина этого может крыться в фундаментальных ошибках, допущенных еще на этапе обучения.
Исследователи OpenAI рассказали, что большинство методов оценки языковых моделей поощряют именно «галлюцинации». Все дело в том, что модели учат давать хоть какой-то ответ, даже если он неверный. В OpenAI посчитали, что угадывающая модель выглядит лучше, чем аккуратная, которая признает свою неопределенность.
Проблема закладывается уже на этапе предварительного обучения. Если в данных для тренировки есть много примеров правильного написания слов, то модель сможет успешно их воспроизводить, даже если в данных встречаются ошибки. Но если информации недостаточно – модель делает догадку и часто ошибается.
Ситуацию усугубляют методы оценки после обучения. Многие тесты для моделей похожи на человеческие экзамены, где важен только конечный результат – «верно/неверно». Это поощряет модель давать полный, но неточный ответ, вместо того чтобы выразить неуверенность. Авторы сравнивают это с тестами множественного выбора: случайный выбор дает больше шансов на успех, чем полный отказ от ответа.
Теоретически можно использовать идеальный набор данных без ошибок, но на практике это невозможно. Более реалистичный выход, по мнению OpenAI, – адаптировать модели так, чтобы они чаще отвечали «я не знаю», даже если это менее удобно для пользователей.
Компания утверждает, что уже внесла изменения в процесс обучения для своей новой модели GPT-5.
Читайте по теме. Подхалимство ИИ – фича, позволяющая манипулировать людьми.
