Компания OpenAI объявила о создании новой группы, которая будет заниматься анализом, оценкой и исследованием моделей ИИ для защиты от катастрофических рисков.
Обязанностями членов группы Preparedness станут отслеживание, прогнозирование и защита от опасностей, которые могут представлять собой будущие системы искусственного интеллекта: от их способности убеждать и обманывать людей и возможностей генерирования вредоносного кода до ядерных, химических и бактериологических угроз.
В задачи группы входит создание политики разработки ИИ с учетом предполагаемых рисков. По словам представителей OpenAI, этот документ должен дополнить другие работы компании в области безопасности ИИ, уделяя особое внимание фазам до и после развертывания модели
– Мы считаем, что модели ИИ, которые будут превосходить возможности самых передовых существующих моделей, потенциально могут принести пользу всему человечеству. Но они также несут в себе все более серьезные риски. Мы должны обеспечить понимание и инфраструктуру, необходимые для безопасности высокоэффективных систем ИИ.
По мнению руководства OpenAI, нейросети с интеллектом, превышающим человеческий, могут появиться в течение десятилетия, и этот ИИ не обязательно будет доброжелательным, что потребует поиска способов его ограничения и сдерживания.
