Нейросеть переводит на 100 языков Переключаясь между ними на ходу

Компания Meta* представила революционную нейронную сеть SeamlessM4T, способную распознавать речь и переводить ее примерно на 100 языков. Эта модель не только осуществляет межъязыковой перевод, но и может выдавать результат перевода в текстовом или аудиоформате.

Одной из отличительных особенностей SeamlessM4T является способность распознавать и преобразовывать речь в текст, а затем генерировать из этого текста речь на 35 языках. Нейронная сеть особенно хорошо распознает случаи, когда человек переходит с одного языка на другой или когда несколько языков переплетаются в одном разговоре, как это наблюдается в таких сочетаниях, как телугу, хинди и английский. Теперь компания, наконец, сможет понять, что ей пытаются сказать индийские аутсорс-программисты.

SeamlessM4T был выпущен с открытым исходным кодом. Вместе с ним поставляется SeamlessAlign – обширный набор данных для перевода, включающий 270 часов записей речи и их текстовых аналогов.

Система SeamlessM4T построена на основе предыдущих проектов в области перевода. В их числе система, предназначенная для прямого перевода с языка на язык, специализированный ИИ-переводчик для диалекта хоккеин – уникального варианта языка, не имеющего письменного аналога.

*Meta признана экстремистской организацией и запрещена в России.

Как мы и предсказывали, профессия «переводчик» уходит в прошлое: