«Яндекс» открыл публичный доступ к закадровому переводу видео Технология позволяет перевести на русский язык почти любой ролик

Машинный перевод работает в «Яндекс.Браузере» на компьютерах и на мобильных устройствах: в «Браузере» для Android и «Яндексе» для Android и iOS. Чтобы перевести видео с английского на русский язык, нужно просто открыть соответствующий ролик, после чего в плеере появится предложение перевести видео на русский. Этот процесс занимает некоторое время — обычно пару минут. Перевод, который выполняет «Яндекс» — закадровый и двухголосый (мужской и женский).

Оригинальная звуковая дорожка приглушается и на неё накладывается новая, с переводом. Переводить можно ролики, размещенные на YouTube, Vimeo и еще нескольких популярных платформах. В переводе задействованы сразу несколько технологий «Яндекса» — распознавание речи, синтез речи, биометрия и машинный перевод. Если у видеоролика нет субтитров, система распознает речь и превращает ее в текст.

Его обрабатывает нейронная сеть, убирая лишнее, расставляя знаки препинания и распределяя слова по смысловым сегментам. Результат отправляется на перевод, после чего текст совмещается с видеорядом. Нейросеть сокращает паузы между словами и, если необходимо, ускоряет темп речи. В ближайших планах разработчиков — освоить новые языковые пары и добавить в машинный перевод больше голосов.

Вообще, «Яндекс» начал тестировать технологию машинного перевода видеороликов ещё минувшим летом, но теперь технология впервые стала доступна для массового пользования. Всё начиналось вот с чего: