Большие языковые модели (LLM) способны предсказывать результаты предлагаемых исследований в области нейронаук точнее, чем эксперты-люди. Об говорится в новом исследовании, проведенном учеными Университетского колледжа Лондона.
Выяснилось, что LLM, обученные на огромных массивах текстовых данных, могут вычленять закономерности из научной литературы, что позволяет им прогнозировать результаты с очень высокой точностью.
– Научный прогресс часто опирается на метод проб и ошибок, но каждый тщательный эксперимент требует времени и ресурсов. Даже самые опытные исследователи могут упускать из виду критически важные моменты. Мы изучили, могут ли LLM синтезировать знания, чтобы предсказывать будущие результаты, – говорит ведущий автор исследования доктор Кен Луо.
Международная команда исследователей разработала инструмент BrainBench, который состоит из множества пар рефератов исследований в области нейронаук. В каждой паре одна версия представляет собой реальный реферат исследования, в котором кратко описывается история, методы и результаты. В другой версии история и методы те же, но результаты были изменены экспертами в соответствующей области нейронаук до правдоподобного, но неверного результата.
Исследователи протестировали 15 различных LLM общего назначения и 171 эксперта в области нейронаук, чтобы выяснить, сможет ли ИИ или человек правильно определить, какой из двух парных рефератов является реальным и содержит правдивые результаты исследования.
Все LLM превзошли нейробиологов, причем точность нейросетей составила в среднем 81%, а человека – 63%. Даже когда команда исследователей ограничила ответы людей только теми, кто обладает наивысшей степенью компетентности, точность нейробиологов все равно не дотягивала до LLM, составляя 66%.
– Основываясь на наших результатах, мы разрабатываем инструменты ИИ для помощи исследователям. Мы представляем себе будущее, в котором исследователи смогут вводить предлагаемые ими схемы экспериментов и предполагаемые результаты, а ИИ будет предлагать прогнозы относительно вероятности различных исходов. Это позволит ускорить итерации и принимать более обоснованные решения при разработке экспериментов, – резюмирует Кен Луо.
