Google DeepMind разработала ИИ-модель Sign-Language-to-Text (SL2T), которая способна переводить язык жестов в обычный текст. Система обучалась на более чем 100 тысячах часов данных. Таким образом, компания намеревается донести ИИ-революцию до 70 млн человек по всему миру, которые вынуждены общаться на языках жестов.
Технология уже используется в новых функциях Gboard и Live Transcribe. Теперь вместо набора текста пользователь может просто показать жестами запрос, написать сообщение или документ, а также взаимодействовать с ИИ-ассистентом Gemini.
В Live Transcribe появилась возможность использовать жесты и во время разговора, чтобы отвечать собеседнику.
Перевод языков жестов значительно сложнее обычного распознавания речи. Они имеют собственную грамматику и словарный запас, а смысл передается не только движениями рук, но и выражением лица, положением головы и корпуса. Поэтому Google рассматривает такую задачу одновременно как компьютерное зрение и перевод с одного языка на другой.
На первом этапе SL2T будет переводить американский жестовый язык на английский в Gboard и Live Transcribe на Pixel 11. В дальнейшем DeepMind планирует добавить поддержку других устройств и жестовых языков. Компания также рассматривает более широкое применение технологии, например, создание систем, способных не только понимать жестовый язык, но и генерировать его.
Читайте по теме. Google DeepMind поможет ученым в исследованиях
