Сила джедая Тестируем систему управления роем дронов жестами

Открытая ладонь — ​пятерня — ​означает «внимание»: система начинает отслеживать движения руки. Пишем пальцем прямо в воздухе, и нейросеть тут же распознает фигуры и буквы — ​допустим, S и K, ведь мы же в «Сколково». Соединяем большой и указательный: «окей», закончено. С тонким жужжанием в воздух поднимается миниатюрный беспилотник, зависает, словно приготовляясь к выполнению танцевального номера, и, включив огоньки, повторяет введенную комбинацию в полете. Сверяемся с фотоаппаратом, снимавшим на долгой выдержке: в полутемной комнате светятся буквы S и K.

«Рисование светом в воздухе наглядно демонстрирует возможности управления жестами. Оно позволяет напрямую на глаз оценить, насколько четко дрон выполняет полученные команды и следует заданной траектории», — ​говорит Валерий Серпива, исследователь Лаборатории интеллектуальной космической робототехники Сколковского института науки и технологий (Сколтеха).

Попробовать систему в действии может даже человек, не имеющий никакого представления об управлении беспилотниками и ни разу не державший в руках джойстик. Система следит за последовательностью жестов и с помощью нейронных сетей распознает набор заранее заданных символов — ​букв, цифр или несложных фигур. «Эта последовательность превращается в траекторию полета, которую затем исполняют беспилотники в воздухе, — ​продолжает исследовательница Екатерина Карманова. — ​Вариант для новичков вроде вас».

Жестовая азбука

Световыми шоу с дронами сегодня трудно удивить. Во всем мире проходят масштабные представления с участием сотен, а то и тысяч аппаратов. Текущий рекорд был установлен в апреле 2021 года, когда на торжествах к юбилею китайской коммунистической партии в воздух поднялись одновременно 5200 беспилотников. А в 2018-м российская компания Tsuru Robotics (резидент «Сколково») впервые показала такое шоу в закрытом помещении. Но все эти выступления не предусматривают никакой обратной связи с аудиторией. Дроны выполняют заранее заложенную, тщательно рассчитанную и неизменную комбинацию фигур.

«Мы делаем процесс интерактивным, позволяя взаимодействовать людям с дронами и друг с другом, — ​объясняет глава сколковской лаборатории профессор Дмитрий Тетерюков. — ​Например, несколько человек могут управлять разными группами роя, создавая общую картинку вместе. Или же посылать сообщения: один рисует световой текст в небе, другой снимает и декодирует сигнал с помощью камеры и мобильного приложения». Освоившись с такими технологиями в формате «для новичков», можно переходить к более сложному варианту управления, при котором дрон повторяет движения оператора в режиме реального времени.

Жесты позволяют командовать целым роем дронов. С обычными джойстиками это было бы невозможно

Интуитивно понятные жесты дают возможность контролировать поведение целого роя беспилотных аппаратов. Такое вряд ли возможно при использовании обычных джойстиков, которые недолюбливают даже профессиональные операторы дронов. Жесты позволяют отправить рою глобальную команду, управляя его поведением «в общих чертах», как дирижер управляет игрой целого оркестра, не следя за поведением каждого отдельного участника.

«Алгоритмы управления мы тестировали на группе из трех дронов, которые меняют расположение в зависимости от движений руки, — ​рассказывает Екатерина Карманова. — ​Разными жестами их можно заставить сойтись или разойтись, подняться выше или перегруппироваться». «Можно развести пальцы, и беспилотники разлетятся в стороны, причем чем шире раскрыть ладонь, тем дальше друг от друга они разойдутся, — ​добавляет аспирант Сколтеха Алексей Федосеев. — ​В будущем можно будет ввести другие полезные жесты. Есть планы научиться использовать обе руки одновременно, чтобы разделять рой на две группы и работать с ними по отдельности».

Внутри и снаружи

«Сегодня наши дроны лишь точно исполняют коман­ды, полученные от центрального компьютера, но в будущем они, несомненно, станут полуавтономными, — ​продолжает Дмитрий Тетерюков. — ​Это и отличает рой от простой группы беспилотников: группа полностью управляется извне, у роя управление распределенное. Глобальные задачи ставит оператор, но локальные, например задачу избегания столкновений, дроны решают сами, обмениваясь информацией друг с другом».

Пока что избегание столкновений лежит на плечах центрального компьютера, который для этого при расчете траектории использует метод искусственных потенциальных полей. Каждому дрону приписывается виртуальный «электрический заряд», и поскольку они «заряжены» одноименно, то стремятся держаться на некотором расстоянии. С другой стороны, свободные точки, лежащие в области желаемой траектории, получают противоположный «заряд», притягивая путь дрона к себе.

Для отслеживания полета в лаборатории используется высокоточная система захвата движений Vicon. Под потолком смонтирована сразу дюжина ИК-камер, а на каждом аппарате закреплены миниатюрные отражающие маркеры, позволяющие определять положение дронов с точностью до миллиметра. «На улице для позиционирования можно будет обойтись и сигналом GPS, — ​объясняет Алексей Федосеев. — ​Получится, конечно, не настолько точно. Но компенсировать этот недостаток можно за счет увеличенной дистанции между беспилотниками. Достаточно перенастроить «потенциальные поля» так, чтобы дроны «чувствовали» друг друга с большего расстояния и могли работать безопасно. Вообще, система позиционирования у нас — ​это отдельный модуль, который можно легко заменить. Для самой системы это не принципиально, она будет получать тот же самый сигнал из другого источника».

Собираетесь на природу? Скачайте приложение, которое познакомит вас с миром живой природы:

Рой из будущего

«Мы прекрасно понимаем, что рой дронов — ​это тема прежде всего военная, — ​соглашается Дмитрий Тетерюков. — ​Подобные решения прорабатываются оборонными предприятиями и в России, и в США, и в других странах. Можно упомянуть американский проект Kratos XQ-58 Valkyrie, который уже проходит испытания. Но рой дает большие преимущества и во многих гражданских областях. Провести топографическую съемку, инспекцию здания, картографирование местности, инвентаризацию товаров на складе — ​все это рой сделает намного быстрее, чем одиночный беспилотник, пусть даже и самый мощный».

«Университетские лаборатории призваны определять будущее, находить концепции развития, а для проработки технических деталей существуют промышленные компании», — ​добавляет Дмитрий Тетерюков. Технологии роя требуют новых подходов к управлению, к точному позиционированию дронов, к избеганию столкновений, и поэтому ими заняты разработчики из Сколтеха. «Наша главная цель в том, чтобы обучать самых профессиональных робототехников в стране. Мы готовим кадры, которые затем реализуют сложные индустриальные проекты, — ​резюмирует профессор Тетерюков, — ​Но для этого нам требуется оставаться в числе мировых лидеров. Потому почти все, что мы делаем, делается впервые в мире. Это касается и рисования светом, и жестового управления роем».

Раз такие технологии уже созданы учеными, нет сомнения, что со временем они будут доработаны до уровня практического применения. Изобразив в воздухе две световые буквы, мы осторожно прикоснулись к той «силе», которая станет доступной людям уже в обозримом будущем. Контролировать многочисленную команду умных беспилотников, отправлять одну группу на поиск неполадок, а другую на починку. Командовать целым флотом летающих машин без сложного интерфейса, просто движениями рук, словно дирижер оркестра. Кажется, именно это в английских таблоидах и называется технологиями джедаев.

Дмитрий Тетерюков, Профессор Сколковского института науки и технологий (Сколтех), глава лаборатории интеллектуальной космической роботехники Сколтеха

Первоначально лаборатория была организована в рамках космического кластера Сколтеха. И сегодня любой из наших проектов легко проецируется в область космонавтики, включая даже дроны: вспомним, что в 2021 году состоялся первый полет беспилотника на Марсе. Но все-таки мы стараемся решать здешние, земные проблемы. Поэтому я считаю, что слово «космические» в названии лаборатории можно воспринимать как очень крутые, новейшие технологии. Недаром на нас приходится почти половина российских публикаций в самых престижных изданиях, посвященных робототехнике.