ИИ научили делать 3D-сцены из видеороликов Она генерирует виртуальные модели

Модель Neuralangelo позволяет создавать реалистичные виртуальные копии зданий, скульптур и других объектов реального мира. Затем их можно экспортировать в сторонние приложения, чтобы редактировать в приложениях для дизайна, искусства, разработки игр или создания цифровых двойников. «Нейроанджело» умеет обрабатывать даже сложные текстуры, включая черепицу, стекла и мрамор.

Модель использует технологию, лежащую в основе Nvidia Instant NeRF, чтобы отобразить даже мельчайшие детали. Используя 2D-видео объекта или сцены, снятой с разных ракурсов, Neuralangelo определяет глубину, размер и форму по нескольким кадрам. После этого система создает грубое трехмерное представление сцены, а затем оптимизирует визуализацию и делает детали более четкими, отсекая все лишнее, словно скульптор.

«Нейроанджело» стала результатом реализации алгоритма рендеринга и обучения для конкретной задачи на мелкозернистом графическом процессоре, где управлять потоком можно намного быстрее, чем в плотных тензорах. Вдобавок Nvidia разработала метод кодирования хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством.

Здесь мы рассказываем, как устроены современные технологии кинопроизводства: