Исследователь искусственного интеллекта Джейкоб Коксон объявил об уходе из Anthropic, заявив, что крупнейшие ИИ-компании слишком быстро приближаются к созданию систем, способных самостоятельно совершенствовать себя, что в итоге приведет к потере контроля над искусственным интеллектом и уничтожению человечества.
Коксон сообщил в социальной сети X, что последние три года занимался исследованиями предварительного обучения моделей в OpenAI и Anthropic. По его словам, специалисты внутри индустрии прекрасно понимают масштаб потенциальной опасности, но продолжают гонку. Коксон обвинил ИИ-разработчиков в безответственном подходе.
«Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют нашими жизнями», – написал исследователь.
Коксон считает, что в ближайшие годы ИИ-системы смогут превзойти людей в самых разных областях.
«Не стоит недооценивать мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взломать что угодно, в одночасье произвести революцию в любой сфере и получить реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и этот прогресс не замедляется».
Коксон не призывает полностью отказаться от развития ИИ, но считает необходимой международную координацию между разработчиками и временное ограничение на дальнейшее наращивание возможностей моделей, если это потребуется для обеспечения безопасности.
Заявление Коксона поддержал его коллега из Anthropic Эван Хубингер, который также занимается исследованиями безопасности ИИ.
Хубингер заявил, что сотрудники его команды действительно считают возможной гибель человечества в результате развития искусственного интеллекта. И вероятность такого сценария в течение ближайшего десятилетия превышает 10%.
Хубингер подчеркнул, что нынешние модели сами по себе представляют относительно небольшой риск. Главные опасения связаны именно с появлением сверхинтеллекта, который сможет самостоятельно совершенствовать свои способности. И этот процесс развивается быстрее, чем ожидалось.
Похожей точки зрения придерживается и руководитель некоммерческой организации ControlAI Коннор Лихи.
«Особенно опасно появление рекурсивного самоулучшения, когда ИИ способен создавать более совершенную версию самого себя, а следующая версия, в свою очередь, разрабатывает еще более мощную систему. Создание рекурсивных циклов самоулучшения – скорей всего приведет к потере контроля. Сверхразум – это не инструмент. Это даже не оружие. Это противник», – заявил Лихи.
На этом фоне в США и Великобритании уже появились законодательные инициативы, направленные на ограничение разработки сверхинтеллекта. Их авторы предлагают регулировать или запрещать создание систем, способных самостоятельно наращивать свои возможности.
Читайте по теме. Развитие ИИ опережает управление и безопасность – эксперты
