Александр Пономарёв

Текст

Японские ученые из Осакского университета нашли способ реконструировать изображения активности мозга при помощи модели Stable Diffusion

Исследователи взяли сигналы функциональной магнитно-резонансной терапии, обработали их при помощи модели, затем добавили к результату шум посредством диффузии. После этого ученые декодировали текстовые представления из сигналов МРТ в верхней зрительной коре мозга и использовали их в качестве входных данных для создания финального изображения.

Модель Stable Diffusion использует процесс скрытой диффузии — она генерирует текстовую подсказку для постепенного изменения исходных изображений. Если начать работу с зашумленным изображением, нейросеть будет постепенно убирать из него шум. В исследовании впервые показана количественная интерпретация модели с биологической точки зрения.

К примеру, диаграмма, показывающая корреляцию между раздражителями и уровнями шума в мозге. Результаты показывают, что в начале процесса обратной диффузии информация об изображении сжимается в слое узкого места нейросети, а по мере устранения шума в зрительной коре возникает функциональная диссоциация между слоями.

Здесь мы рассказывали про нейросети для обработки изображений:

Читать на ЦО.РФ

Поиграть шрифтами Пять областей графики, где нейросети используются для создания и обработки изображений

Создание визуального контента ранее требовало либо умения рисовать, либо хотя бы наглости утверждать, что «художник так видит». Однако, как «железный конь пришел на смену крестьянской лошадке» (с), так и нейросети пришли на выручку тем, кому нужны картинки, но нет таланта к рисованию

Использованные источники: