Нейросеть научили превращать фотографии в трехмерные сцены Причем за несколько миллисекунд

Модель использует процесс, известный как инверсный рендеринг, с применением искусственного интеллекта для определения поведения света в реальном мире. Сверхбыстрое обучение нейронной сети и быстрый рендеринг применены вместе с технологией, называемой нейронными полями излучения — NeRF. В результате модели требуется всего несколько секунд, чтобы обучиться на нескольких десятках 2D-фотографий и данных о ракурсах камер, с которых они были сделаны, после чего визуализировать 3D-сцену в течение десятков миллисекунд.

NeRF обучает небольшую нейронную сеть реконструировать сцену, предсказывая цвет света, излучаемого в любом направлении из любой точки трехмерного пространства. Instant NeRF основана на разработанной Nvidia методике, называемой кодированием хэш-сетки с несколькими разрешениями, которая оптимизирована для эффективной работы на графических процессорах. Используя новый метод кодирования входных данных, исследователи могут добиться высококачественных результатов, используя небольшую и быструю нейронную сеть.

Поскольку она считается легкой, сеть можно обучить и запустить на одном графическом процессоре Nvidia. Технологию можно использовать для создания аватаров или сцен для виртуальных миров, захвата участников видеоконференций и их окружения в 3D или для реконструкции сцен для цифровых 3D-карт, обучения роботов и беспилотных автомобилей.

Недавно нейросеть научили предсказывать успех решения задачи на внимание: