И восстали машины… Похоже, что ИИ-компании действительно опасаются опасных инцидентов, связанных с искусственным интеллектом. Топ-менеджеры OpenAI, Anthropic и других IT-гигантов в частном порядке прорабатывают сценарии реакции общества и властей в случае, если нейросети станут причиной серьезной аварии или техногенной катастрофы. Об этом сообщает Axios.
Руководители ИИ-компаний называют наиболее вероятным сценарием масштабную ИИ-кибератаку, способную нарушить доступ к финансовым услугам, интернету, электроснабжению или водоснабжению. Рассматриваются и другие риски – выход автономных ИИ-агентов из-под контроля или злонамеренное использование общедоступных моделей.
Многие инсайдеры отрасли, с которыми общался Axios, считают, что масштабный инцидент может произойти в ближайшие 6-12 месяцев. Компании заранее готовят аргументы для государственных органов и общественности. Среди обсуждаемых идей – введение обязательного «kill switch» (аварийного отключения) для передовых ИИ-систем.
Представитель OpenAI подтвердил изданию, что компания проводит «preparedness exercises» – учения, в ходе которых команды разбирают широкий спектр возможных сценариев. При этом в OpenAI подчеркнули: эти сценарии не рассматриваются как неизбежные, а служат для подготовки к разным обстоятельствам. В Anthropic от комментариев отказались.
Недавно Anthropic признала, что не может контролировать своих ИИ-агентов – поэтому на время экспериментов и тестирования им отключают интернет.
Читайте по теме. «Люди боятся говорить правду» – уволенные исследователи безопасности обвинили OpenAI
