Домашних роботов научились обучать в виртуальной среде Система достоверно имитирует обстановку и предметы

Система, которую назвали Habitat 2.0, способна обучать роботов не только перемещаться в трехмерной виртуальной среде, но и взаимодействовать с предметами так, словно они находятся в реальном пространстве. Она основана на первой версии AI Habitat с открытым исходным кодом, но отличается более высокой скоростью обучения и интерактивностью. В этой среде искусственный интеллект может легко выполнять действия, получая тот опыт, для которого в реальной среде потребовалось бы проходить обучение в течение нескольких лет.

Habitat 2.0 также включает новый набор трехмерных данных о внутренних помещениях и новые тесты для обучения виртуальных роботов в сложных сценариях. Разработчики могут выйти за рамки простого создания виртуальных агентов в статических трехмерных средах и приблизиться к созданию роботов, которые могут легко выполнять полезные бытовые задачи. Набор данных ReplicaCAD работает на ранее выпущенном для трехмерных сред наборе Reality Lab, но адаптирован для поддержки движения и манипулирования объектами. Статические 3D-сканы в нем преобразованы в отдельные 3D-модели с физическими параметрами, прокси-формами столкновений и семантическими аннотациями.

Чтобы создать новый набор данных, в Facebook AI использовали команду 3D-художников для воспроизведения идентичных визуализаций пространств в Replica, но с акцентом на спецификации, относящиеся к их составу, геометрии и текстуре. Интерактивные модели включают информацию о размерах, форме, наличии отсеков и прочих параметрах у объекта для выполнения задачи. Исследователи также создали ряд возможных вариаций каждой сцены и разработали систему для создания реалистичного беспорядка: объекты в симуляциях могут вращаться вокруг своей оси или сдвигаться.

Платформа пока не поддерживает деформируемые материалы, жидкости, пленки, ткани и веревки, но это лишь вопрос времени. ReplicaCAD содержит 111 макетов единого жилого пространства и 92 объекта, созданных художниками. Платформа может имитировать робота Fetch, взаимодействующего в сценах со скоростью 1200 шагов в секунду. Habitat 2.0 хорошо масштабируется, достигая 8200 шагов для нескольких процессов на одном графическом процессоре и почти 26 000 шагов на одном узле с 8 графическими процессорами. Это сокращает время экспериментов от нескольких месяцев всего до пары дней.