Google учит роботов нейросетью Robotic Transformer Это вторая версия системы

Ранняя версия RT-1 использовалась для обучения Everyday Robot более чем 700 задачам — система включала базу данных из 130 тысяч демонстраций, что привело к успешному выполнению заданий в 97% случаев. RT-2 позволяет роботам эффективно переносить концепции, изученные на относительно небольших наборах данных, в различные сценарии.

Это новая версия так называемой модели видения-языка-действия (VLA). Модель учит роботов лучше распознавать визуальные и языковые шаблоны, интерпретировать инструкции и делать выводы о том, какие объекты лучше подходят для запроса. Она обучена на данных из интернета и робототехники, используя достижения исследований в больших языковых моделях и комбинируя их с роботизированными данными.

Уровень эффективности при выполнении новых задач при переходе от RT-1 к RT-2 улучшился с 32% до 62%. RT-2 демонстрирует улучшенные возможности обобщения, а также семантическое и визуальное понимание за пределами обучающих данных, пояснили в Google. Система интерпретирует новые команды и реагирует на них путем выполнения элементарных рассуждений.

Здесь мы рассказываем, что такое робот, какие они бывают и где применяются: