«Отвечай как профессор математики», «Думай как адвокат» – многие продвинутые пользователи нейросетей уверены, что такое уточнение к вопросу должно повысить точность от ИИ-модели. Однако, исследование ученых из Калифорнийского университета показало обратное. Выяснилось, что подобные «ролевые игры» делают ИИ вежливее и профессиональнее по тону, но заметно снижают его точность в фактах.
Оказалось, что когда нейросеть заставляют «войти в образ», она переключается в режим следования инструкциям, отодвигая на второй план режим извлечения знаний. В этот момент ИИ так сильно старается звучать как эксперт, что начинает забывать саму суть предмета, подменяя реальные знания актерской игрой. В тестах на эрудицию и точные науки «ролевой» подход стабильно проигрывал стандартным ответам системы.
Чтобы исправить этот баг, исследователи разработали метод PRISM (Persona Routing via Intent-based Self-Modeling) — метод обучения, который подсказывает моделям, когда следует использовать персоны, а когда нет.
Его суть в «двойном мышлении»: при получении вопроса модель одновременно генерирует два ответа — один от своего лица, другой — от лица заданного персонажа. Затем система сравнивает их и выбирает лучший вариант. Если для задачи важнее точность (например, в медицине или праве), PRISM отдает приоритет «чистому» интеллекту, а если важен стиль или доброжелательный тон — включает «экспертный голос».
Результаты впечатляют: такая калибровка позволила повысить общую эффективность моделей на несколько пунктов без потери фактической точности.
Читайте по теме. Чем умнее ИИ-модели, тем они эгоистичнее: исследование
