Облачная платформа Яндекса научила нейросеть-полиглота «понимать» казахский язык

Облачная платформа Yandex Cloud разработала модель на базе машинного обучения, которая умеет распознавать более 10 иностранных языков одновременно, включая казахский и такие редкие языки, как датский и финский. С помощью новой нейросети компании смогут проще и быстрее создавать многоязычных голосовых помощников и мультиязычных голосовых роботов для колл-центров с большим потоком клиентов.

Модель распознает речь на любую тему и в разных форматах: короткие и длинные фразы, а также имена, адреса, даты и числа. Она умеет распознавать язык автоматически в одном потоке: нейросеть может в любой момент переключаться между языками. При этом есть возможность давать ей «подсказки», чтобы улучшить качество распознавания.

Новая мультиязычная модель работает на базе архитектуры Transformer. “Трансформеры” обрабатывают входные слова параллельно и независимо друг от друга, благодаря чему быстро обучаются. Чтобы при переходе на другой язык текст получался связным и грамматически правильным, нейросеть обучали на десятках терабайтов данных из профессиональных датасетов и массивах данных из сервисов и приложений Яндекса.

– Мы стремимся к тому, чтобы диалоговые сценарии для разработки голосовых помощников вроде Алисы, автоматизации работы с клиентами, проведения опросов и контроля качества были доступны каждому бизнесу. Для внедрения любой фичи в речевые технологии требуются большие массивы данных, высококвалифицированные специалисты и сотни часов обучения. Мы в Yandex Cloud постоянно развиваем сервис синтеза и распознавания: делаем речь максимально естественной, расширяем возможности для ее распознавания и создаем уникальные голоса помощников, – рассказал Василий Ершов, руководитель разработки Yandex SpeechKit.