OpenAI в прошлом году создала команду OpenAI Superalignment для разработки методов управления и контроля над «сверхразумными» системами ИИ. Обещалось, что новому подразделению будет выделено 20% вычислительных ресурсов компании. Однако, по словам одного из членов этой команды, запросы на выделение этих ресурсов часто отклонялись, что мешало выполнять поставленные задачи. О закулисных процессах в OpenAI рассказывает издание techcrunch.com.
Команда Superalignment была создана в июле 2023 года под руководством соучредителя OpenAI Ильи Суцкевера и разработчика Яна Лейке. Задачей команды было решение основных технических проблем управления сверхразумным ИИ. В команду вошли ученые и инженеры из различных подразделений OpenAI, а также исследователи из других организаций. Они занимались обеспечением безопасности как собственных моделей компании, так и моделей, разрабатываемых другими организациями.
Команда Superalignment опубликовала ряд исследований по безопасности и направила миллионы долларов на гранты внешним исследователям. Однако, по мере того как запуск новых продуктов стал приоритетом для руководства OpenAI, команда столкнулась с нехваткой инвестиций.
Как результат, компанию стали покидать ключевые сотрудники, включая соучредителя OpenAI Ильи Суцкевера и соруководителя команды Superalignment Яна Лейке.
– Я долгое время не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока мы наконец не достигли точки разрыва, – написал Ян Лейке в своем блоге на X. – Создание более умных, чем человек, машин по своей сути является опасным занятием. Но за последние годы культура безопасности и процессы отошли на второй план по сравнению с блестящими новыми продуктами.
Он подчеркнул, что компания должна уделять больше внимания подготовке к следующим поколениям моделей, безопасности, мониторингу, готовности, конфиденциальности и влиянию на общество. Лейке выразил обеспокоенность тем, что OpenAI не находится на траектории решения этих проблем.
После ухода Лейке и Суцкевера, работу команды Superalignment возглавил еще один соучредитель OpenAI Джон Шульман. Однако выделенной команды больше не будет – вместо нее создана связанная группа исследователей, внедренных в различные подразделения компании. Представитель OpenAI описал это как «более глубокую интеграцию».
