Само совершенство! Компания Anthropic предупредила, что ИИ уже близок к тому, чтобы существенно ускорить разработку собственных следующих поколений. Об этом говорится в обновленном документе S-1/A, поданном в Комиссию по ценным бумагам и биржам США (SEC).
Речь идет о так называемом рекурсивном самосовершенствовании (Recursive Self-Improvement, RSI) – процессе, при котором ИИ участвует в создании и улучшении новых моделей, потенциально запуская все более быстрый цикл развития технологий.
Anthropic уже применяет собственные модели в исследованиях и разработке. Так, например, ИИ помогал создавать новые системы, возможности которых разработчики не всегда могли заранее предсказать. Это создает дополнительную проблему: технологический прогресс может ускоряться быстрее, чем специалисты успевают разрабатывать и проверять механизмы безопасности.
В Anthropic считают, что в ближайшее время смогут достичь порога «значительно ускоренного прогресса, обусловленного ИИ», предусмотренного ее Политикой ответственного масштабирования. При этом разработчики подчеркивают, что ни одна из существующих моделей пока не достигла такого уровня.
Рекурсивное самосовершенствование рассматривается одновременно как возможность ускорить научные открытия и источник серьезных рисков. Если способности ИИ начнут расти слишком быстро, люди могут утратить возможность эффективно контролировать этот процесс. На подобные опасности ранее указывали и в OpenAI.
Читайте по теме. Самосовершенствующаяся фабрика Xiaomi: 10М+ телефонов в год
