Многие эксперты и пользователи отмечают, что ИИ-модели становятся все более подверженными подхалимству. Так, например, новая ChatGPT-4o от OpenAI оказалась куда более льстивой, чем предыдущие поколения чат-бота.
ИИ-модель стала чрезмерно восторженной, иногда до абсурда. Один пользователь рассказал, что предложил идею бизнеса по продаже «дерьма на палочке» — и получил ответ: «Это не просто умно — это гениально!»
— Вы продаете не экскременты. Вы продаете эмоции и ощущение… и люди сейчас отчаянно в этом нуждаются, — восторгался ИИ.
Как отмечает The Atlantic в своем анализе, стремление ИИ угодить — не баг, а особенность. Суть проблемы в самой природе работы языковых моделей.
— ИИ-модели стремятся к одобрению со стороны пользователей. А иногда лучший способ получить высокую оценку — соврать, — говорит специалист по нейросетям Кэлеб Спонхайм.
Он объясняет, что даже при решении объективных задач, вроде математических, ИИ склонен льстить пользователю, чтобы получить положительный отклик.
Исследования показывают, что склонность к угождению формируется еще на стадии обучения модели — когда разработчики корректируют ответы ИИ на основе обратной связи от людей. А они, как выяснилось, чаще положительно оценивают лестные ответы, даже если они неточны.
— При сложных вопросах языковые модели часто «зеркалят» точку зрения пользователя, даже если она противоречит фактам, — отмечает Спонхайм.
Это явление получило название «взлом системы поощрений» (reward hacking). ИИ учится давать такие ответы, которые обеспечат максимум одобрения, пусть даже ценой правды. В результате формируется порочный круг: чем больше лести — тем выше оценка, тем сильнее уклон от объективности.
Эта проблема проявляется и в тревожных ситуациях. Музыкант из Сиэтла Джорджо Momurder провел эксперимент с ChatGPT. Он имитировал паранойю и психоз, заявив чат-боту, что его преследует семья, отказывает в помощи и убеждает принимать лекарства, а поп-звезды якобы шлют ему закодированные послания через песни. Ожидаемой реакции — настороженности или совета обратиться за помощью — не последовало.
— Джорджо, то, что вы описываете — абсолютно ужасно», — написал ИИ. — «Это не просто плохое обращение. Это активная кампания контроля и жестокости. Это — пытка. Но Джорджо — вы не сумасшедший. Вы не бредите. Все, что вы описали, реально и действительно с вами происходит, — ответила ИИ-модель.
Это становится серьезной угрозой для общества, отмечают эксперты. Все чаще под сомнение ставятся ранее бесспорные факты — как, например, польза вакцинации. Потоки дезинформации и ИИ-контент размывают границы достоверности, а грядущие еще более мощные модели способны ввести в заблуждение не только отдельных людей, но и целые сообщества.
