DeepFake в мирных целях Лицо на лицо менять – только время терять?

Использование генеративно-состязательных нейронных сетей для синтеза визуально достоверных изображений – чрезвычайно интересная технология. Несколько упрощая, мы видим результат того, как одна нейросеть пытается обмануть другую (состязательный принцип). Это можно назвать:

Игра в Станиславского

Итак, первая нейросетка генерирует лица, вторая – их анализирует. Она и есть наш виртуальный Станиславский, который говорит свое «верю – не верю».

Если первая сеть не обманула вторую, то та возвращает результат на доработку, изображение меняется, и процесс повторяется снова и снова до тех пор, пока ИИ-Станиславский не скажет: «ВЕРЮ!» В этом случае, скорее всего, поверит и зритель. В процессе состязания нейросетей происходит их обучение: первая запоминает, какие именно действия с изображением укорачивают путь к победе (снижают число итераций), вторая совершенствует оценочный алгоритм. Постепенно в состязательной паре вырабатывается последовательность, позволяющая добиться минимального числа ответов «не верю» при сохранении визуальной достоверности результата.

Есть забавная визуализация состязательного процесса от OpenAI:

Но зачем нам вообще DeepFake?

Большой бизнес

Замена лиц одних актеров на лица других – уже обкатанная на многих фильмах технология. Это делается для римейков старых картин, где нельзя себе представить другого исполнителя, или для «оживления» старых персонажей, или для других режиссерских задумок.

Многие относятся к этому негативно, считая, что использование DeepFake-технологий стимулирует кинобизнес «экономить на актерах», однако есть та сфера, где использование узнаваемого образа в отрыве от его носителя вполне оправдано, – это реклама.

Гонять дорогого и талантливого «звездного» актера на съемки какого-нибудь майонеза – как мостить дорогу золотыми кирпичами. И дорого, и непрактично. А лицензировать его цифровой паттерн для DeepFake – вполне технологично и бюджетно. Пусть гений не отвлекается от съемок киношедевра, а с майонезом в руке спляшет безымянный «болванчик», на которого «натянут» дорогое лицо. Да, сам актер получит с лицензии меньше, чем с «живой» съемки, однако доберет свое количеством – ведь DeepFake-ролики не крадут его драгоценное время.

Скрыть текст

"Полковник Сандерс" в рекламе KFC

Еще один аспект – озвучка. Если фильм/сериал/ролик должны прозвучать на разных языках, то узнаваемый голос кинозвезды заменяется голосом неизвестного актера дубляжа. Это лишает зрителя части удовольствия и снижает эффект рекламных материалов. Между тем, DeepFake-технология подделки голоса может использоваться не только для обмана банковских приложений, но и для того, чтобы актер «заговорил» на других языках своим собственным голосом.

Отличный пример – озвучка социального ролика против малярии голосом Дэвида Бэкхэма на девяти языках:

Технологии DeepFake требуют высоких вычислительных мощностей. На домашнем компьютере получить удовлетворительный результат довольно сложно (хотя и возможно). Однако сейчас существуют онлайн-сервисы, как платные, так и бесплатные, позволяющие любому пользователю подключиться к работе распределенных нейросетей и получить результат для личного или коммерческого использования.

Мобилография

Пока Большой Голливуд накладывает лица актеров на безымянных дублеров, пользователи развлекаются обратным процессом. Наложить свое лицо на какого-нибудь Ди Каприо, чтобы поздравить девушку с Новым Годом? Нет ничего проще!

Мобильное приложение Reface (Android / iOS) позволяет вставить свое лицо в популярный видеоролик. Хотите спеть «Не жди меня, мама» голосом Никулина? Нет ничего проще. Приложение имеет бесплатные функции достаточные, чтобы оценить эффект. Пользы никакой, но выходит довольно забавно.

Популярное мобильное приложение FaceApp (кстати – изделие отечественных программистов из Wireless Lab) использует нейронные сети для преобразований вашего собственного лица. Может сделать из старика юношу и наоборот, а также поменять пол (ЛГБТ-сообщества из-за этого подвергли приложение жестокой критике и даже предлагали бойкотировать – но стремление женщин помолодеть на фото легко преодолело все препоны). Хотите узнать, пойдет ли вам борода? Представить себя семидесятилетним? Испробовать радикальный макияж? Примерить тату? Приложение все это умеет. Но, разумеется, основное его применение – скинуть себе десяток лет на селфи в Инстаграм. Удержаться от этого не может ни одна женщина.

Десктоп и онлайн

Самым, пожалуй, применяемым в частном порядке софтом для DeepFake является ПО DeepFaceLab. Его используют около 95% мелких проектов. Результаты удивительные. Вот, например, видео, где в фильме «Терминатор» заменили Шварценеггера на Сталлоне:

Софт открытый, исходники размещены на GitHub, использование требует некоторых навыков в программировании, но в целом не представляет значительных сложностей.

Аналогичный, но более юзерфрендли к пользователю проект – FaceSwap, ПО, работающее на Python, Keras и Tensorflow. Реализация собственных DeepFake-рендеров потребует мощного «железа» (особенно видеопроцессора), но это вполне подходит и для домашних условий.

Вот, например, наложение лица Стива Бушеми на Дженифер Лоуренс, сделанное ПО FaceSwap:

Если с программированием не сложилось, есть онлайн-проекты, где все сделают за вас. Пример – Deepfakes web, работающий по алгоритму того же FaceSwap. Загружаете видео своего лица, исходное видео – и нейросети все сделают за вас:

Услуга платная, три доллара за час видео. Результат может быть лучше или хуже, в зависимости от качества исходников. На качество фильма «Терминатор» не рассчитывайте, но для личного использования результат приемлемый.

Игры с реальностью

DeepFake-технологии многих пугают, и не зря. После их появления интернет захлестнула сначала волна порнороликов «со знаменитостями» (громкий скандал был, например, с актрисой Галь Гадот).

Потом прошла волна политических роликов – их жертвами стали такие политики, как Барак Обама, Дональда Трамп, Нэнси Пелоси и другие. Но главное – это разрушает последние остатки доверия к публичной информации. Статичные иллюстрации давно уже перестали что-то доказывать, так как легко поддаются подделке, теперь свой авторитет теряет видео. Действительно ли этот политик делал такие заявления? Или это происки его врагов? Теперь мы этого никак не узнаем.

Даже машинные технологии распознавания дипфпейков не дают надежного результата, ведь DeepFake изначально строится на «соревновательном алгоритме», то есть именно на обмане нейросети. В 2019 году Facebook и Microsoft проводили Deepfake Detection Challenge (DFDC) – конкурс технологий выявления дипфейков. Выиграл его программист из Минска Селим Сефербеков, но и его алгоритм показал эффективность всего в 65%. То есть более трети дипфейков не распознаются даже машинным анализом, что уж говорить по обычного пользователя.

Реальность, в которой мы живем, становится все менее реальной.