Разработана система адаптации фильмов для незрячих С генерацией звукового описания

Как сообщает пресс-служба МИСиС, инструмент поможет незрячим или слабовидящим людям понимать, что происходит в фильме. При разработке видеоредактора использованы три различные модели глубокого обучения, каждая из которых решает определенную задачу. Первая анализирует аудиоряд и видеопоток для поиска тех моментов в фильме, где уместно вставлять озвучку происходящего.

Вторая модель генерирует текстовое описание текущего кадра, третья — озвучивает подготовленный текст. Главной особенностью предложенного решения является возможность проверить результат генерации и исправить недочеты прямо в браузере, отмечают разработчики.

Модель дает пользователю возможность корректировать результат на каждом этапе — от выделения интересных сцен до озвучки. Студенты хотели поработать с актуальной проблемой адаптации контента и интерфейсов для людей с ограниченными возможностями и создать полноценный видеоредактор в виде веб-приложения.

Для этого они применили на практике последние подходы в решении задач image2text, text2speech и voice detection. В перспективе видеоредактор может быть доработан и использован в работе онлайн-кинотеатров, что позволит незрячим людям лучше ощущать атмосферу фильмов. На сегодняшний день в открытом доступе подобного программного обеспечения нет.

Здесь мы рассказываем про лучшие фильмы о роботах и киборгах: