Слишком умный? Исследователи из Стэнфорда и Гарварда выяснили, что продолжительное обучение ИИ может не только не улучшать их работу, но и ухудшать. Этот эффект они назвали catastrophic overtraining (катастрофическое чрезмерное обучение).
Ученые сравнили две версии модели OLMo-1B: одну обучили на 2,3 трлн токенов, а другую – на 3 трлн. Казалось бы, вторая должна быть умнее, но оказалось наоборот: она хуже справлялась с заданиями после настройки.
В процессе исследований выяснилось, что модели, которые обучались слишком долго, становятся нестабильными и хуже адаптируются к новым задачам. После определенного момента новая информация начинает «размывать» старые знания, снижая точность ответов.
Исследователи выявили, что для ИИ-модели OLMo-1B предел составил 2,5 трлн токенов, после чего дальнейшее обучение не приносит пользы, а даже начинает вредить. Раньше считалось, что чем больше данных – тем лучше.
Однако новое исследование доказывает, что нужно искать баланс: если переусердствовать с обучением, ИИ станет менее гибким и менее точным. Разработчикам придется учитывать этот эффект при создании будущих моделей, чтобы избежать негативных последствий.
