ИИ-модель Claude просигнализировала об опасном поведении, когда жительница Флориды оставила в чате запись о том, что собирается атаковать офис шерифа. А уже через несколько дней к ней в дом нагрянули сотрудники полиции.
Жительница США Карли Мишель Хеллер решила использовать чат-бота Claude в качестве личного дневника. Там же она и оставила запись о том, что готовится совершить преступление.
Система безопасности Claude распознала сообщение как потенциальную угрозу и передала его на проверку человеку. После анализа специалист пришел к выводу, что опасность может быть реальной, и информация была направлена правоохранительным органам.
Сотрудники офиса шерифа установили личность Хеллер и приехали к ней домой. Женщину задержали, детективы начали расследование.
Хеллер предъявлено обвинение в угрозе насилия. Согласно законодательству Флориды, такое преступление может относиться к категории тяжкого уголовного преступления второй степени. Теперь ей грозит длительный тюремный срок.
Представители Anthropic указывают, что компания в определенных случаях может передавать информацию о пользователях экстренным службам, если считает это необходимым для предотвращения смерти или серьезного физического вреда.
Читайте по теме. Неизвестные пытались создать биологическое оружие с помощью Claude
