«Яндекс Браузер» научили синхронному переводу трансляций на YouTube Но пока не на всех каналах

Как сообщает «Яндекс», функция синхронного перевода прямых трансляций на YouTube уже доступна пользователям браузера, но пока в режиме тестирования и с некоторыми ограничениями. Перевод работает на каналах Apple, Google, TechCrunch, NASA, SpaceX, IGN и The Game Awards. Зрители могут смотреть трансляции на русском языке благодаря переводу с пяти европейских языков — английского, немецкого, французского, итальянского и испанского.

В ближайшее время планируется добавить поддержку китайского, японского, а также других азиатских и европейских языков. «Яндекс» также планирует добавить в браузер поддержку других стриминговых платформ. Сервис автоматического перевода доступен исключительно в «Яндекс Браузере» версии 22.7.2 и новее для Windows или macOS.

Для быстрой и качественной работы понадобилось перестроить всю архитектуру закадрового перевода видео. При переводе прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть выделяет из текста смысловые фрагменты, отметили в «Яндексе».

«Яндекс» недавно научил нейросеть распознавать одновременно 10 языков: