Благодаря технологии пользователи смогут смотреть ролики на английском языке с закадровым переводом на русском, поделился на своей странице автор идеи Андрей Законов, руководитель продукта в управлении машинного интеллекта и исследований «Яндекса». Компания впервые показала прототип закадрового перевода видео в июле этого года, но тогда он перевод осуществлялся на ограниченном списке роликов и только в десктопном «Яндекс.Браузере».
Теперь пользователи могут перевести почти любое записанное видео на английском языке на YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». Есть ограничения на лицензионный контент — например, сериал Disney сервис не переведёт.
Выражая благодарность команде разработки, Андрей Законов отметил три приятных момента в создании продукта:
"1. Момент когда идея придумалась. Он всегда бинарный, вначале ничего не понятно, а потом сразу вообще всё понятно. Так, надо разобраться с бэклогом, синтез, распознавание… воу, это же если вот так вот сложить пазл, и это всё через браузер дать пользователям, то мы любое видео в интернете сможем перевести!
2. Момент первого прототипа. Особенно когда не первую ночь экспериментируешь и тут, наконец то, получилось так, как и было в задумке. Нашел в переписке первый ролик на котором я собирал демо.
3. Момент когда придуманный продукт становится доступен миллионам пользователей. Ощущение, что в итоге получилось сделать что-то в этом мире немного лучше и удобнее для большого количества людей. Это в случае перевода видео сегодня. В приложении Яндекса и браузере на всех платформах можно включить русский перевод для любого английского видео с youtube и vimeo — магия.”
Он также отметил, что проект был реализован в относительно короткие сроки – всего за 1 год.
Перевод роликов происходит в несколько этапов: распознавание речи, превращение её в текст и с помощью нейросетей разбивка её на предложения. Затем алгоритмы определяют пол говорящего, переводят предложения на русский язык и синтезируют голос, после чего совмещают перевод с видеорядом.
Чуть ниже вас ждёт образец готового перевода на примере фрагмента лекции Джимми Уэйлса в Яндексе (оригинал тут). Этот фрагмент хорошо демонстрирует не только потенциал новой технологии, но и проблемы, над которыми компания будет работать дальше.
