ИИ-озвучка фильмов и сериалов становится все совершеннее. Китайская лаборатория Tongyi Lab представила революционную модель для дубляжа Fun-CineForge. Это первая система, способная делать озвучку на уровне профессионального кинопроизводства.
Искусственный интеллект все активнее используется для озвучки фильмов и анимации. Но до сих пор у таких технологий была серьезная проблема: они плохо справлялись со сложными сценами, особенно там, где несколько персонажей разговаривают одновременно, проявляют эмоции или находятся вне кадра.
Такие модели не попадают в движения губ персонажей, неестественно звучат в эмоциональных сценах и не могут точно вставить реплику по времени.
Новая ИИ-модель Fun-CineForge решает эти задачи. ИИ-озвучка научилась точно передавать настроение персонажей, «присваивать» им уникальный голос, синхронизироваться с движениями губ и вставлять реплики, даже если персонажа не видно в кадре.
По словам разработчиков, они научили ИИ-модель комплексно анализировать фильм и персонажей, благодаря чему удалось повысить точность дубляжа и снизить количество неточностей до 1-2%.
Отмечается, что ИИ-озвучка может серьезно изменить индустрию: ускорить дубляж фильмов и сериалов и удешевить локализацию на разные языки. Особенно это важно для стриминговых сервисов и международного контента.
Читайте по теме. «Омолаживающая» ИИ-технология пришла в кино
