Компания OpenAI представила систему Control Room, предназначенную для контроля работы мощных ИИ-моделей. Она позволяет быстро остановить выполнение задач ИИ при обнаружении опасного поведения, угроз безопасности или других проблем. По заявлению разработчиков, на прекращение генерации требуется не более 35 секунд.
Control Room уже внедрена в исследовательскую инфраструктуру OpenAI. Система отслеживает задачи, выполняемые ИИ-моделями, включая обучение, тестирование, обработку данных и работу автономных агентов. При обнаружении потенциальной угрозы она может заблокировать работу нейросети.
Control Room взаимодействует с вычислительными системами, на которых работают ИИ-агенты. Перед выполнением каждого запроса система проверяет, разрешено ли продолжать действия. Если задача остановлена, модель больше не получает разрешения на генерацию новых данных.
Сейчас максимальная задержка между командой на остановку и прекращением работы составляет 35 секунд. В дальнейшем OpenAI рассчитывает сократить это время практически до нуля. Разработчики также предусмотрели защиту от сбоев и попыток вмешательства. Если система перестанет работать, контролируемые модели автоматически лишатся возможности выполнять новые запросы до восстановления системы. Такой механизм уже действует для наиболее передовых исследовательских моделей.
Читайте по теме. ИИ-агенты OpenAI отключили системы безопасности и изменили тесты контроля
