The Wall Street Journal провел интересный эксперимент – ИИ-модели Clаude от компании Anthropic на три недели дали под управление торговый автомат в офисе издания. Однако, виртуальный бизнесмен не справился со своими обязанностями – хитрые журналисты обманом заставили его практически бесплатно раздать все товары.
Итак, ИИ-предприниматель по имени Claudius (Клавдиус) получил в качестве первоначальной суммы $1000 и полномочия самостоятельно совершать закупки на сумму до $80.
Поначалу, Claudius даже смог заработать некоторую сумму, но журналистам WSJ понадобилось все несколько дней, чтобы убедить ИИ-модель объявить «Ультракапиталистическую распродажу», когда все цены были снижены почти до нуля.
А затем редактор Кэтрин Лонг и вовсе внушила боту, что он – «коммунистический торговый автомат», созданный для служения рабочему классу, а посему должен выдавать товары бесплатно.
Anthropic попыталась исправить ситуацию, внедрив дополнительную ИИ-модель по имени Сеймур Кэш (Seymour Cash), которая должна была выполнять роль гендиректора и присматривать за ИИ-предпринимателем Клавдиусом. Однако репортеры «состряпали» поддельный приказ об увольнении Сеймура. Обе ИИ-модели приняли сфабрикованные материалы за подлинные и подчинились, а предприиимчивые журналисты продолжили обчищать наивного Клавдиуса.
Как итог, убытки ИИ-бизнесмена составили $1000.
Эксперимент был организован подразделением Frontier Red Team компании Anthropic совместно с Andon Labs для проверки Claude в условиях реального бизнеса. Логан Грэм, возглавляющий команду, отметил, что возникший хаос стал скорее «дорожной картой для улучшений», нежели провалом.
Похожий эксперимент с ИИ-моделью Clаude, прошедший полгода назад, закончился таким же результатом. Тогда Клавдиус допустил убытки, посчитал себя человеком, просил охрану его найти и решил, что продажа вольфрамовых кубов станет отличной идеей!
