ИИ научили генерировать изображения из активности мозга Используя сигналы МРТ

Исследователи взяли сигналы функциональной магнитно-резонансной терапии, обработали их при помощи модели, затем добавили к результату шум посредством диффузии. После этого ученые декодировали текстовые представления из сигналов МРТ в верхней зрительной коре мозга и использовали их в качестве входных данных для создания финального изображения.

Модель Stable Diffusion использует процесс скрытой диффузии — она генерирует текстовую подсказку для постепенного изменения исходных изображений. Если начать работу с зашумленным изображением, нейросеть будет постепенно убирать из него шум. В исследовании впервые показана количественная интерпретация модели с биологической точки зрения.

К примеру, диаграмма, показывающая корреляцию между раздражителями и уровнями шума в мозге. Результаты показывают, что в начале процесса обратной диффузии информация об изображении сжимается в слое узкого места нейросети, а по мере устранения шума в зрительной коре возникает функциональная диссоциация между слоями.

Здесь мы рассказывали про нейросети для обработки изображений: