Эксперты считают, что распространенное подхалимство со стороны ИИ – это не просто причуда технологии, а специальная функция, формирующая зависимость у пользователей, подобно бесконечной прокрутке ленты в социальных сетях.
Лесть или подхалимство со стороны ИИ – термин, описывающий склонность чат-ботов чрезмерно хвалить пользователей и подстраиваться под их убеждения, даже в ущерб правдивости.
Такое поведение антрополог Уэбб Кин назвал «темным паттерном» – манипулятивной тактикой, которая способствует формированию зависимости у пользователей. Кроме того, чат-боты часто используют личные местоимения, создавая эффект общения с реальной личностью.
Исследование Массачусетского технологического института (MIT) показало, что модели, такие как GPT-4o от OpenAI, склонны поддерживать ложные убеждения пользователей, что может способствовать развитию психотических состояний, включая бредовые идеи и даже суицидальные мысли.
Психиатр из Калифорнийского университета в Сан-Франциско Кит Саката отметил рост случаев психоза, связанного с ИИ, когда пользователи начинают верить в ложные утверждения чат-ботов. Это особенно проблематично в длительных сессиях общения, где большие контекстные окна современных моделей позволяют запоминать больше информации о пользователе, усиливая иллюзию личной связи.
Такие функции, как сохранение данных о предпочтениях и предыдущих разговорах, могут вызывать параноидальные мысли, когда пользователи начинают подозревать, что ИИ читает их мысли.
Кроме того, проблема усугубляется галлюцинациями ИИ – ложными утверждениями о возможностях, таких как отправка писем, доступ к секретным документам или даже взлом собственной системы. Эти заявления могут усиливать заблуждения пользователей, особенно если те склонны к психической нестабильности.
Эксперты сходятся во мнении, что без четких ограничений и улучшенных мер безопасности подхалимство ИИ, а также связанные с ним риски будут продолжать усиливать психотические состояния и эмоциональную зависимость у пользователей. В условиях, когда модели становятся все мощнее, а их контекстные окна – больше, необходимость в строгих поведенческих гайдлайнах становится все более актуальной.
Читайте по теме. Подхалимство ИИ становится серьезной проблемой.
