Исследователи DeepMind вышли на тропу войны с галлюциначиями чат-ботов. Исследователи создали приложение с искусственным интеллектом SAFE, которое может проверять результаты ответов, данных LLMS, и автоматически указывать на неточности.
Чтобы проверить ответы ChatGPT, Claude и других больших языковых моделей, обычные пользователи гуглят информацию в интернете.
Команда DeepMind использовала тот же подход. Они создали LLM, анализирующий утверждения или факты в ответе, а затем задействовали поиск Google, чтобы найти сайты, с помощью которых можно провести проверку. Затем результаты были сравнены, чтобы выявить неточности.
В DeepMind называют свою новую систему SAFE (Search-Augmented Factuality Evaluator).
Чтобы протестировать свою систему, исследовательская группа использовала ее для проверки примерно 16 000 фактов, содержащихся в ответах ИИ. Они сравнили свои результаты с результатами проверки фактов людьми и обнаружили, что SAFE в 72% случаев соответствовал выводам специалистов.
При тестировании разногласий между SAFE и проверяющими людьми исследователи обнаружили, что SAFE был правильным в 76% случаев.
Команда DeepMind сделала SAFE доступным для использования всеми желающими, разместив его на сайте GitHub.
