Лицевой счет Как работает система распознавания лиц в московском метро

На самом деле, машины давно узнают москвичей в лицо. Инструменты видеонаблюдения с распознаванием лиц стали устанавливать в метро еще в середине 2010-х, но использовались они только полицией. Камеры системы безопасности «Сфера» можно встретить при входе на станцию и на выходе, на платформе и в вагоне поезда. По данным правоохранителей, ежемесячно они помогают задерживать несколько сотен преступников, сопоставляя их изображения с фотографиями из базы лиц, находящихся в розыске.

Однако эти данные закрыты от посторонних. «Поэтому для оплаты проезда в метро через FacePay используется собственная база биометрии», — ​рассказал нам Дмитрий Марков, глава компании VisionLabs, разработавшей алгоритмы распознавания лиц для новой системы. Пассажиру, решившему перейти на новый и быстрый способ оплаты, требуется не только указать свои реквизиты в специальном приложении, но и сделать снимок лица, по которому система распознавания лиц в метро сможет его опознавать.

Первые камеры FacePay появились на станции «Октябрьское Поле» в 2019 году. К осени 2021 года к ней были подключены уже все 14 веток и 241 станция столичного метрополитена, готовится запуск системы распознавания лиц на линиях МЦК и МЦД. Зарегистрированному пользователю достаточно встать на круглый черный стикер, приклеенный к полу перед турникетом, и прямо взглянуть в камеру. Проход занимает на пару секунд меньше, чем при использовании карты, и в пересчете на многомиллионный поток выигрыш оказывается весьма серьезным.

Знакомые лица

Самые первые опыты с машинным распознаванием лиц проводились в 1960-х в Техасском университете. И хотя до применения современных нейросетей было еще далеко, ключевые принципы были найдены уже тогда. Лицо на фотографии вручную размечали опорными точками, очерчивая положение глаз, носа и рта. Затем в работу вступали алгоритмы: они корректировали искажения, разворачивая лицо в стандартное положение, строго анфас, после чего сопоставляли координаты точек с данными из базы, которая в то время насчитывала лишь 800 снимков. Сегодня все эти задачи выполняют нейросети, а датасеты могут достигать объемов в сотни тысяч и миллионы лиц, но в целом подход остался прежним.

Мировой рынок систем распознавания лиц перевалил за три миллиарда долларов, а точность их работы превысила 99%

«На первом этапе нейросеть обнаруживает и вырезает из изображения лицо, детектирует на нем точки, число которых иногда переваливает за сотню, а также масштабирует и поворачивает снимок для дальнейшей обработки. На следующем шаге координаты всех опорных точек превращаются в одно векторное значение — ​дескриптор, нечто вроде „биометрической контрольной суммы“ лица, — ​объясняет Дмитрий Марков. — ​Использование дескриптора экономит вычислительные ресурсы. Его значение просто сопоставляется с сохраненными в базе дескрипторами ранее обработанных лиц: чем ближе совпадение, тем выше сходство. Кроме того, оно не позволяет восстановить по нему исходный портрет человека, защищая конфиденциальность».

С 2010 года такие технологии используются на Facebook, чтобы находить и отмечать пользователей на публикуемых фотографиях. К 2019 году мировой рынок систем распознавания лиц перевалил за три миллиарда долларов, а точность их работы превысила 99 %. Сегодня нейросети делают это лучше, чем настоящие живые люди. Биометрические системы идентификации внедряют в банках и супермаркетах, больницах и даже на стадио­нах. Собственные сервисы развивают Google (FaceNet) и Amazon (Rekognition).

С одного взгляда

Московский департамент транспорта называет свой эксперимент с системами распознавания лиц самым масштабным в мире, хотя подобные проекты запущены и в других городах, например в Сеуле. Чтобы привлечь в систему больше пассажиров, москвичам даже предлагают скидки на проезд. «Оплата по лицу гораздо удобнее и безопаснее, — ​рассказывает Дмитрий Марков. — ​Не нужно искать и доставать карту или наличные, достаточно просто посмотреть в камеру. Биометрический идентификатор невозможно забыть или потерять. Распознавание занимает доли секунды, поэтому в целом проход через турникеты становится быстрее, что особенно важно в часы пик».

Высокую скорость работы программисты VisionLabs считают одним из главных достоинств своего алгоритма. Дело в том, что время, необходимое на сопоставление дескриптора с базой, обычно растет в линейной пропорции к ее размеру. Скажем, если данных для сравнения станет в два раза больше, то и поиск займет примерно вдвое дольше. У VisionLabs увеличение времени происходит совсем не так стремительно. Тесты, проведенные американским Национальным институтом стандартов и технологий (NIST), показали, что поиск по базе, содержащей три миллиона лиц, у этой системы занимает 36 миллисекунд, а для 12 миллионов удлиняется всего до 43 миллисекунд, причем без ущерба точности распознавания.

«Ежегодно обновляемый рейтинг NIST — ​это главный отраслевой бенчмарк в распознавании лиц, — ​объясняет Дмитрий Марков. — ​В 2021 году институт отобрал 29 лучших алгоритмов, которые впервые участвовали в испытаниях по сценарию „Путешествие без паспорта“. Решение VisionLabs было признано лучшим сразу по трем тестам: „Посадка в самолет по нескольким снимкам“, „Посадка в самолет по одному снимку“ и „Прохождение паспортного контроля по одному снимку“. В первом тесте точность распознавания составила 99,98 %, что соответствует одному ложному положительному результату на 3333».

Маска, я тебя знаю

Этой результативности не помешала и новая напасть: пандемия COVID‑19. «Процесс распознавания лица в маске в целом не отличается от обычного, однако информации, на основе которой работают нейросети, становится значительно меньше, — ​добавляет Дмитрий Марков. — ​В результате усложняется каждый этап распознавания: труднее найти лицо, труднее расположить на нем ключевые точки, вычислить дескриптор. Точность работы падает при этом на 20–50 %. Однако то же касается и людей в очках, головных уборах или просто с необычным ярким макияжем». Поэтому такая задача была уже знакома программистам как частный случай распознавания «перекрытых» лиц.

Медицинские маски не создают никаких трудностей для оплаты в метро

Эту проблему решают дополнительным обучением нейросетей на тысячах новых снимков, показывая параллельно открытые и частично закрытые портреты. После такого «повышения квалификации» алгоритмы становятся устойчивы к появлению или отсутствию очков, зимних шапок и даже к течению времени, опознавая одного и того же человека на фотографиях, сделанных в разном возрасте. Так что обязательные к ношению медицинские маски не создают никаких трудностей для оплаты в метро. «По данным независимых тестов NIST, в настоящий момент мы занимаем третье место в мире по распознаванию людей в масках», — ​говорит Дмитрий Марков.

Не удастся обмануть систему и с помощью чужого портрета, заранее распечатанного на принтере или выведенного на экран планшета. Алгоритмы защиты от спуфинга — ​подмены лица — ​целенаправленно ищут на изображении артефакты, характерные для таких подделок: искажения текстур и цветовой палитры, блики и т.  п. «В 2021-м мы стали лучшими в глобальном конкурсе Face Anti-Spoofing Challenge, причем уже третий год подряд, — ​продолжает Дмитрий Марков. — ​На этот раз соревнование было сфокусировано на обнаружении атак с использованием 3D-масок. На сегодняшний день эта задача считается одной из самых сложных: при достаточном качестве маски даже человек не всегда способен определить ее на фотографии».

Впрочем, злоумышленник, который обманет систему распознавания лиц, тоже далеко не уйдет. VisionLabs и другие компании уже используют алгоритмы, способные идентифицировать человека не только по лицу, но и по силуэту, телосложению, по виду и цвету его одежды и обуви, а также по прическе. Это позволяет отслеживать перемещения пассажиров по метрополитену, чтобы оптимизировать потоки, находить потерявшихся людей или нарушителей. По мнению Дмитрия Маркова, такой тренд продолжится и в ближайшие годы: компьютерное зрение будет все шире учитывать детали картинки и ее контекст, чтобы работать точнее и надежнее. А в конечном итоге нейросети смогут получать из камеры такую же информацию, что и люди, способные узнать друг друга даже по походке.

Дмитрий Марков, Генеральный директор VISIONLABS

На востребованность технологии Face2Pay повлияла и пандемия. Из-за необходимости соблюдать социальную дистанцию спрос на бесконтактные платежи значительно вырос. Например, наши решения уже запущены в сети магазинов «Магнит», пиццериях Papa John’s, бургерных #FARШ. Кроме того, мы разработали собственный платежный девайс Luna POS, который может применяться в финансовых, банковских, платежных и иных системах, использующих лицо в качестве первичного или дополнительного фактора подтверждения личности. Такой сервис совместно со «Сбербанком» мы запустили в сети кафе Prime.

Читайте также, как работает ​«Шазам» для определения растений и животных: