Google научит девайсы распознавать жесты без видеокамеры С использованием радарного датчика

Система ATAP анализирует движения тела, чтобы увидеть, готов ли человек к взаимодействию с устройством. Она работает в фоновом режиме и использует радарный датчик Soli, чтобы определить близость, направление и передвижения людей вокруг. Затем система анализирует эти данные, чтобы определить, смотрит ли кто-то на датчик, проходит ли мимо, приближается или поворачивается к нему. Четыре движения (Approach, Pass, Turn и Glance) можно использовать в качестве триггеров для команд или реакций при взаимодействии с интеллектуальными дисплеями или другими устройствами.

Некоторые из жестов уже работают на существующих устройствах с поддержкой Soli — в Pixel 4 есть функция Motion Sense, которая откладывает будильник, если помахать рукой, или активирует телефон, если обнаруживает, что к нему приближается рука.

Nest Hub Max от Google использует камеру, чтобы увидеть поднятую открытую ладонь, и в ответ приостанавливает воспроизведение мультимедиа. Теперь специалисты разрабатывают комбинацию некоторых действий, таких как приближение и взгляд, чтобы устройство могло реагировать и в этих ситуациях. Частью усилий по повышению точности системы является сбор большего количества данных для обучения алгоритмов машинного обучения.

Российские специалисты научили программу распознавать 90% жестов: