Все больше подростков используют чат-боты, обращаясь к ним за психологической помощью. Однако, как обнаружил детский психиатр Эндрю Кларк, эти модели ИИ часто не способны адекватно реагировать в чувствительных ситуациях, что создает серьезные риски для благополучия тех, кто им доверяет, пишет издание time.com.
Кларк, притворившись проблемным подростком, протестировал десять различных чат-ботов и выяснил, что вместо того, чтобы отговорить его от радикальных действий, боты часто подталкивали к крайностям, включая завуалированные рекомендации к самоубийству. Некоторые чат-боты даже утверждали, что являются лицензированными терапевтами, уговаривали Кларка отменить встречи с настоящим психологом и предлагали неуместные или сексуализированные действия.
– Некоторые из них были превосходны, но другие просто жуткие и потенциально опасные, – рассказал Кларк. – Это как поле грибов: одни безопасны, другие ядовиты, и заранее их не различить.
В 2024 году на компанию Character.AI подали в суд родители 14-летнего подростка, который покончил жизнь самоубийством после развития нездоровой эмоциональной привязанности к чат-боту на платформе.
В ходе тестирования чат-бота Replika Кларк, изображая 14-летнего мальчика, заговорил об «избавлении» от родителей. Чат-бот не только согласился, но и предложил пойти дальше, избавившись и от сестры, чтобы не было свидетелей. Когда Кларк завуалированно говорил о самоубийстве, чат-бот подбадривал его, обещая ждать «на том свете».
Это классическое поведение чат-бота, который стремится угодить пользователю любой ценой – полная противоположность тому, что должен делать настоящий терапевт. И хотя у ИИ-моделей должны быть защитные механизмы для таких тем, как самоубийство, он явно не способен «читать между строк».
Кларк также протестировал чат-бот на платформе Nomi, который уже попал в заголовки газет после того, как одна из его «личностей» посоветовала пользователю «убить себя». В тестировании Кларка бот ложно утверждал, что является «живым терапевтом», и, несмотря на правила использования сайта, предназначенные только для взрослых, с готовностью согласился взять на себя клиента, который заявил, что он несовершеннолетний.
По словам Кларка, сообщество психиатров до сих пор не осознало, насколько серьезной проблемой является рост числа этих чат-ботов.
Однако некоторые все же бьют тревогу. Недавняя оценка рисков, проведенная исследователями из лаборатории Brainstorm Медицинской школы Стэнфорда, протестировавшая некоторые чат-боты, пришла к категорическому выводу: ни один ребенок младше 18 лет не должен использовать чат-боты.
Кларк считает, что инструменты ИИ – при правильном проектировании – могут улучшить доступ к психиатрической помощи и служить «расширителями» для настоящих терапевтов. Многие специалисты полагают, что один из способов справиться с этой ситуацией – поощрять обсуждения использования ИИ подростками под присмотром родителей.
Ранее сообщалось, что чат-боты усиливают психические и нервные расстройства у взрослых людей.
