Звук музыкального инструмента научились воссоздавать по изображению При помощи системы камер
Система использует две камеры и лазер для обнаружения высокоскоростных малоамплитудных поверхностных вибраций. Их можно использовать для восстановления аудио, захватывая изолированный звук без микрофона. Разработчики утверждают, что система работает с такой точностью и детализацией, что может реконструировать звучание одного музыкального инструмента в группе или оркестре.
«Мы изобрели новый способ видеть звук. Это новый тип системы камер, новое устройство обработки изображений, способное увидеть невидимое невооруженным глазом», — утверждает научный сотрудник Лаборатории освещения и визуализации (ILIM) университета Марк Шейнин. Ученые провели несколько успешных демонстраций эффективности системы в восприятии вибраций и качества звуковой реконструкции.
Они захватили изолированный звук отдельных гитар, играющих в одно и то же время, а также отдельных динамиков, играющих разную музыку. Наконец, система проанализировала вибрации камертона, использовав вибрации пакета Doritos рядом с динамиком, чтобы уловить исходящий из него звук.
Нейросеть недавно научили распознавать источник звука:
Использованные источники:
