Технология дополненной реальности Как устроена и зачем нужна AR

AR (augmented reality, ЭйАр) – это комплекс технологий, переносящих на реальный мир некоторые взаимодействия из мира цифрового. Прежде чем погружаться в техническое разнообразие способов это проделать, стоит задуматься – а зачем это вообще вдруг понадобилось?

Для начала, дополненная реальность как явление имеет вовсе не цифровую природу и придумана человечеством не вчера. Концептуально AR старше письменности или ее приблизительный ровесник. Первая AR-метка – это вывеска. Лавка сапожника в подворотне средневекового города – это реальность. Жестяная вывеска в виде сапога, из этой подворотни торчащая, – дополненная реальность, AR-маркер, обозначающий локацию для пользователя. И то, что она приколочена к стене, а не наложена изображением на очки, не меняет сути явления: AR-технология дополняет реальность путем человекочитаемой маркировки физических объектов. Накладывает информационный слой, вида: «Это – лавка, это – кабак, а это – бордель». Эпоха диджитала дала новый импульс разметке физического мира, но не изменила ее сути – «написать на предмете, что это такое, откуда взялось и для чего предназначено».

Высокий интерес к дополнительной маркировке мира, который проявился сейчас, связан с изменением когнитивных паттернов среднего человека, уже довольно глубоко погруженного в информационную среду. Ему стало мало той информации, которую содержит физическая разметка: вывески, знаки, указатели и памятные доски. Привыкший пропускать через себя непрерывный информационный поток, наш современник испытывает дискомфорт, выныривая из него в менее насыщенное информацией физическое пространство. Кроме того, в своих взаимодействиях с окружающим миром он гораздо менее полагается на свою память, чем даже его родители, не говоря о прадедах. Разница – примерно как между таксистом доцифровой эпохи, знавшим каждый подъезд, проезд и ресторан в своем городе, и водителем Uber, который просто исполнительное устройство между рулем и навигатором.

В общем, требующийся новому пользователю объем информации стало неудобно размещать на материальных носителях. Если раньше мемориальная доска: «Здесь в таком-то году проживал такой-то», – давала линк на информационный блок, гарантированно размещенный во встроенной памяти пользователя при обучении в школе, теперь ее потребовалось дополнить QR-кодом на страницу в Википедии, объясняющую, кто это и почему он важен.

Как AR смотрит на мир

ЭйАр, augmented reality, имеет в основе две технологии – отслеживание маркеров и распознавание образов. Первая более простая, поэтому используется довольно давно. Это те же вывески, только сделанные в машиночитаемой форме и являющиеся линками на некие информационно-описательные массивы. Первый коммерческий AR-прототип, работающий по этому принципу, появился еще в 95-м году, когда Джун Рекимото собрал Navicam.

Это был переносной дисплей с камерой на обратной стороне. Если в ее поле зрения попадала специальная метка, то компьютер ее распознавал и выдавал на экран информацию. (До смартфонов с камерами и QR-кодов было еще много лет, но идеи всегда опережают технологии.)

Современный подход к маркер-ориентированному AR отличается от принципа Navicam только умением позиционировать информационный блок так, чтобы он накладывался на реальный объект. Но и эта технология довольно старая – ее отправной точкой стала открытая библиотека для написания приложений с ЭйАр-функционалом ARToolKit, которую выложил на Гитхабе Хироказу Като еще в 1999 году.

Однако лепить машиночитаемые метки на все подряд утомительно и неудобно. Поэтому, как только вычислительные мощности позволили использовать распознавание образов, все вздохнули с облегчением. Благодаря развитию нейросетей и самообучающихся алгоритмов теперь картинка с камеры довольно уверенно распознается: «Вот это стул, на нем сидят. Вот это стол, на нем едят. А еще ему присвоено определенное действие при обнаружении – например, размещение на нем виртуального документа». Упрощает работу AR-технология SLAM (simultaneous localization and mapping, «слэм») – одновременная локализация и построение карты. Слэм – метод распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. Так, например, строятся виртуальные карты улиц и интерьеры помещений.

Это, так сказать, входная часть AR – как компьютер получает информацию о том, что видит пользователь. Но для пользователя важнее вторая часть системы – С-2-Р интерфейс. Как компьютер дополнит эту реальность своей?

Как AR дополняет реальность

Пока прямые нейроинтерфейсы остаются фантастикой, AR-технологиям приходится обращаться к нам через наши несовершенные органы чувств. Фантастика ближнего прицела готовит нас к проекционным контактным линзам, но пока все AR-интерфейсы представлены разнообразными очками.

Чаще всего, когда речь заходит про AR, вспоминают начисто провалившийся проект Google Glass, который массово продвигался в 2013-м. Это не совсем верно, никакой augmented reality там и близко не было. Виртуал – да, присутствовал, но не было ключевого момента – его привязки к реальности. Просто кусок телефонного дисплея над глазом. Google Glass в первую очередь были «очками с камерой для трансляции контента», а не AR-девайсом. Но процесс пошел.

Следующей стала Майкрософт с проектом Hololens, стартовавшим в 2016-м и до сих пор находящимся в разработке. Даже на старте это был настоящий AR-гаджет – четыре камеры и совмещение виртуальных объектов с реальным миром. Сегодня это уже вполне развитая экосистема с продвинутыми технологиями, предназначенная в основном для рабочего, а не досугового применения.

Затем были Vuzix, Sony, ODG, Solos и многие другие, но прорыва не случилось. Большие надежды подавал и стартовавший в 2010-м Magic Leap – проект по большей части игровой.

Однако, несмотря на множество предлагаемых решений, выйдя на улицу и оглядевшись, вы не обнаружите толпы людей в AR-очках. Скорее всего, вы не увидите вообще ни одного. В чем проблема?

Вперед, в AR-будущее!

Главная проблема augmented reality – природа нас к такому не готовила. Она дала нашим предкам бинокулярное зрение, чтобы ловко прыгать с ветки на ветку и, сидя на этой ветке, точно кидать шишками в тех, кто не умеет залезать на дерево. Индикатор боезапаса: «У вас осталось пять шишек, пора пополнить БК или переключиться на орехи», – удобен, но только в играх, когда все изображение в одной плоскости монитора. В реальности он бы плохо действовал на вестибулярный аппарат.

На сегодня AR-очки остаются очень нишевым гаджетом прежде всего потому, что не удается сделать девайс одновременно легким, удобным, недорогим и не вызывающим расстройств восприятия у пользователя. Ах, да – поскольку это устройство постоянного ношения, он должен быть еще и красивым! Никто не хочет ходить по улицам с полукилограммовой штуковиной на голове, обладающей эстетикой чего-то среднего между маской для подводного плавания и противогазом.

Однако сектор AR бурно развивается, и уже продемонстрированы прототипы вполне приемлемого форм-фактора. На выставке CES 2022 компания TCL показала NXTWear Air, которые выглядят как обычные солнцезащитные очки. Правда, это не очки дополненной реальности, а скорее очки-дисплей к телефону. На них можно смотреть кино или играть. Но это показывает, что миниатюризация устройств отображения продвинулась достаточно далеко. В этом же ряду Spectacles от Snapchat, Ray-Ban Stories от Meta, Project Iris от Google, Apple View и так далее.

Отдельной и очень перспективной историей стало автомобильное применение AR. Проецирование дополненной реальности на лобовое стекло гораздо проще хотя бы потому, что можно не думать о размере и весе оборудования – его же не на голове таскать. Кроме того, меньше проблем с аккомодацией глаз – лобовик не так близко, как стекло очков. Учитывая, что в довольно близкой перспективе автомобили обретут настоящий автопилот, водителя надо будет в дороге чем-то развлекать!

AR действительно будет повсюду?

Разные подходы, разные конструкции, разный функционал. Производители и разработчики торопливо нащупывают коммерчески привлекательное решение, которое сподвигнет массового пользователя водрузить на нос AR-очки. Пользователь пока капризничает – дорого, неудобно, непонятно зачем, да и голова кружится. Однако каких-то лет двадцать назад он точно так же морщил нос от смартфонов – зачем они? Телефон-компьютер? Да вы смеетесь! Какая-то чушь для гиков! А теперь за уши не оттащишь.

Что отлично умеют IT-гиганты – это создавать массовый спрос на то, что еще вчера казалось совершенно ненужным. AR-очки дороги? Оглянуться не успеем, как их будут раздавать бесплатно. Дело в том, что это абсолютно уникальное в перспективе устройство доставки контента. Только представьте, сколько рекламы через них можно показать, насколько точно она будет таргетирована, как актуальна и геопозиционирована – и у вас не останется даже тени сомнения: торжество AR-технологий неизбежно.

Хотим мы того или нет.