Компания Anthropic запускает программу по финансированию разработки новых типов эталонов, способных оценить эффективность и безопасность ИИ-моделей.
Компания будет выплачивать деньги сторонним организациям, которые смогут представить ПО, способное эффективно измерять передовые возможности моделей ИИ. Желающим предложено подавать заявки, которые будут оцениваться на постоянной основе.
– Наши инвестиции призваны поднять всю сферу безопасности ИИ, предоставляя ценные инструменты, которые принесут пользу всей экосистеме. Разработка высококачественных, релевантных для безопасности эталонов оценки остается сложной задачей, и спрос на них опережает предложение, – говорится в блоге Anthropic.
Отмечается, что наиболее часто упоминаемые сегодня эталоны для ИИ плохо отражают то, как обычные люди на самом деле используют тестируемые системы.
Компания призывает к проведению тестов, оценивающих способность ИИ-моделей выполнять такие задачи, как проведение кибератак, усовершенствование оружия массового поражения, манипулирование людьми или их обман (например, с помощью глубоких подделок или дезинформации).
В отношении угроз ИИ, связанных с национальной безопасностью и обороной, Anthropic заявляет, что намерена разработать своего рода «систему раннего предупреждения» для выявления и оценки рисков.
