Компания Anthropic провела исследование, позволяющее заглянуть внутрь работы больших языковых моделей (LLM). В частности специалисты изучили алгоритмы ИИ-модели Claude. Это дало неожиданные результаты: ИИ планирует наперед, переводит идеи в абстрактную плоскость, а иногда даже работает в обратном направлении, «подгоняя» факты под желаемый результат.
Большие языковые модели показали свою эффективность и полезность. Но эти системы в основном функционируют как «черные ящики» — даже их создатели часто не понимают, как именно они выдают определенные ответы.
Новые методы интерпретации, разработанные Anthropic, позволяют исследователям составлять карты конкретных нейронных функций, которые активируются при выполнении моделями задач. Этот подход заимствует концепции из нейробиологии и рассматривает модели ИИ как аналоги биологических систем.
Во время исследований ученые пришли к ряду интересных фактов.
Так, оказалось, что при написании стихотворений модель заранее выбирает рифмующиеся слова. Например, если конец строки должен содержать слово rabbit, Claude активирует его в начале, чтобы к нему логично прийти.
Вместо отдельных систем для каждого языка, LLM переводит понятия в общий абстрактный формат. Например, «противоположность» используется одинаково во всех языках, а не отдельно для английского, французского и китайского.
При сложных математических вычислениях Claude может создавать логическую цепочку не на основе фактов, а исходя из предложенного ответа. Это похоже на «подгонку» решения под результат.
Ученые выяснили, что в модели есть механизм, который заставляет ее отказываться от ответа, если она не уверена в информации. Однако если ИИ распознает известный объект, но не имеет точных данных, он может «додумать» ответ и уйти в галлюцинации, вместо того чтобы признать пробел в знаниях.
Хотя эти технологии пока на ранней стадии, Anthropic надеется, что со временем они помогут сделать ИИ более надежным и предсказуемым. Пока же исследователи лишь начинают разбираться, как именно «думает» искусственный интеллект.
Это исследование представляет собой значительный шаг на пути к тому, чтобы сделать системы ИИ более прозрачными и более безопасными. Исследователи потенциально могут выявлять и устранять проблемные модели мышления LLM, искажения или даже признаки обмана в выводах модели.
