Нейросеть научили генерировать 3D-модели по фото Ей достаточно одного снимка
Китайские ученые из Университета Синьхуа разработали нейросеть, которая при помощи нескольких уровней диффузии увеличивает итоговое разрешение модели и генерирует недостающие части объекта. После этого она создает полигональную сетку на основе карты нормалей, а затем итоговый объект покрывается текстурой на основе данных исходного снимка.
Для генерации модели нужно загрузить одну фотографию объекта с фронтальной стороны — причем нейросеть может самостоятельно удалить со снимка фон. Процесс генерации 3D-модели занимает лишь около минуты — в результате нейросеть выдает файл формата .glb, который при необходимости можно отредактировать вручную.
Разработчики подчеркивают, что Unique3D работает гораздо лучше любых известных аналогов вроде InstantMesh, OpenLRM и CRM. Исходный код нейросети уже доступен на GitHub, веса модели — на Hugging Face, а бесплатно воспользоваться Unique3D может любой желающий на странице проекта.
Здесь мы рассказываем про основные методы обработки изображений нейросетями:
Использованные источники: Unique3D
