«Слепая» камера делает фотографии на слух В этом ей помогает ИИ

Мексиканский разработчик Диего Писанти сконструировал устройство Blind Camera на основе Raspberry Pi 3 Model B. При помощи системы искусственного интеллекта камера генерирует фотоснимок буквально на слух — по звукам, которые слышит вокруг. Процесс съемки аналогичен любой другой камере — ее нужно навести на желаемый объект съемки и нажать кнопку.

Вместо объектива у Blind Camera установлен рупор, который помогает ей лучше слышать звуки. После нажатия кнопки затвора камера анализирует звук алгоритмами ИИ и генерирует изображение. Разработчик отметил, что специальной для «слепой» камеры написал нейросеть и обучил ее на собственной модели на основе набора видеороликов, снятых в Мехико. Корпус камеры напечатан на 3D-принтере.

ИИ сравнивает звуки с ранее известными ассоциациями изображений и звуков, создавая из этих данных новое изображение. Модель искусственного интеллекта создана с использованием Python 3 и предназначена для работы с Tensorflow 2 на Raspberry Pi с использованием TFLite. Небольшой дисплей выполняет функцию видоискателя, позволяет узнать статус обработки изображения и обеспечивает предварительный просмотр.

Здесь мы рассказываем, что такое вычислительная фотография: