Нейросеть научили управлять светом на фотографиях Системе достаточно одного снимка

Методы для изменения источников освещения на фотографиях уже существуют, однако для работы их алгоритмов необходимы несколько фотографий местности с разных точек. Тогда система может корректно построить точную карту объектов. Для работы новой нейросети впервые достаточно только одного снимка.

Алгоритм определяет источники света на оригинальной фотографии путем анализа снимка с помощью различных фильтров. Кроме источников света определяются и объекты, отбрасывающие тени, а также рассчитывается длина этих теней.

Затем система может отрисовывать новые тени и блики в реальном времени, основываясь на положении источника освещения. Разработчики продемонстрировали несколько фотографий для изменения положения источника естественного света в реальном времени.

Нейросеть неплохо справляется с крупными объектами, но пока недостаточно точно рисует тени мелких объектов и не учитывает прозрачные материалы. Разработчики планируют со временем исправить эти недостатки и сделать работу алгоритма более точной.

Нейросеть недавно научили определять источник звука: