Они рисуют нас по голосу Нейросети научились восстанавливать черты лица по звуку голоса

Команда ученых из Массачусетского технологического института провела впечатляющее исследование, обучая нейросеть коррелировать голоса людей с определенными чертами их лиц. Для этого они проанализировали множество роликов YouTube. Они предположили, что голос зависит от формы носа, скул и челюсти человека, которые являются естественными акустическими резонаторами, а значит, имея достаточно большую базу, можно научить нейросеть соотносить звучание со строением лица. (Ученые иногда занимаются довольно странными вещами.)

Нейросеть Speech2Face пока не может нарисовать точный портрет человека по одному голосу, но с высокой точностью выделяет оратора среди нескольких вариантов лиц, и еще точнее определяет расу и этническую принадлежность. Правда, есть нюанс – человек должен говорить на родном языке, акценты сбивают систему с толку.

Так что среднему русскому школьнику, с его «Зыс ыз э тэйбл» и «Ху из он дьюти тудей», бояться быть опознанным не приходится.