Российские ученые заставили программу распознавать 90% жестов У этой системы пока не существует аналогов

Уникальная система при помощи камер и нейросетей способна распознавать жесты глухих и переводить их в текст или голос. «Мы внесли в программу 1 006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90%. Сейчас мы работаем над улучшением этого показателя», — рассказал профессор кафедры автоматизированных систем управления НГТУ Михаил Гриф.

В настоящее время продолжается разработка программы распознавания дактилем — ее точность составляет 92%. «Мы также вели работу над выделением эпентезы. Сейчас точность выделения жестов в видеопотоке составляет 85-90%. Пока эта работа ведется в формате эксперимента. У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Гриф.

Теперь ученые сосредоточены на разработке и внедрении работы компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло требованиям глухих людей. Сначала планируется разработать переводчик для русского жестового языка, а в дальнейшем и для других жестовых языков мира. Разработка подобного переводчика позволит создать удобное приложение для коммуникации с глухими людьми, а также позволит им проще адаптироваться в обществе и рабочих коллективах.

Подобной работой занимается и японская компания SoftBank, которая обучает нейросеть переводить жесты в текст: