Сергей Апресов

Текст

Дополненная реальность — терра инкогнита технологического мира. Железо уже есть, но еще предстоит придумать, как им пользоваться. Каждый AR-разработчик — ​визионер, каждый пользователь — ​тестировщик. «Цифровой океан» испытал гарнитуру Microsoft Hololens 2

Надеваю на голову гарнитуру и… ничего не происходит. Окружающие предметы по-прежнему видны через прозрачные линзы и ничуть не изменились. Этим и отличается AR от VR: устройства виртуальной реальности (virtual reality) перемещают пользователя в нарисованные дали, а инструменты дополненной реальности (augmented reality), напротив, приносят несуществующие объекты и графику в реальный мир. На офисном столе передо мной лежит человеческая почка. Это голограмма, и кому понадобилось ее создавать — ​это тема для отдельного рассказа. Беру почку двумя пальцами — ​гарнитура отслеживает движения рук. Чуть увеличиваю, поворачиваю, рассматриваю со всех сторон и кладу на место.

Постойте, но ведь так могут любые современные VR-очки! К примеру, у Oculus Quest 2 на корпусе есть камеры, и гаджет может передать изображение с них на экраны, а поверх показать 3D-объект, не так ли? Так, да не совсем. Снова беру с собой почку, выхожу из комнаты за дверь и прохожу по коридору метров 30, не меньше. Кладу орган на стол коллеге, возвращаюсь к своей комнате и оборачиваюсь. Издалека видно: крохотный виртуальный объект, всего лишь нарисованный на стеклах в сантиметре от моих зрачков, стоит не шелохнувшись. Без дрожания, без смещения, точно там, где его оставили.

Невероятно точная привязка к реальному пространству — ​вот что отличает AR-гарнитуры от VR-очков. И даже на уровне железа это делает их совсем другими устройствами.

Александр Якубов
Александр Якубов, основатель и CEO компании HoloGroup:

Четыре видеокамеры на корпусе Hololens 2 нужны для сканирования окружающего пространства. Когда входишь в любое помещение, гарнитура немедленно строит его трехмерную модель. Карта пространства сохраняется в память, чтобы в следующий раз сориентироваться в знакомом месте еще быстрее. VR-гарнитуры больше полагаются на инерциальные (от самих себя) системы позиционирования на базе акселерометров и гироскопов, хотя камеры у них тоже есть. Благодаря привязке к точной 3D-модели помещения Hololens 2 позиционирует изображение в AR-сценариях намного точнее, быстрее и стабильнее. Хотя, конечно, акселерометр, гироскоп и компас у гаджета тоже есть

Дорогая не игрушка

Стоит ли покупать Microsoft Hololens 2 домой? Однозначно нет. Во-первых, за гаджет придется заплатить примерно полмиллиона рублей. Во-вторых, дома с ним совершенно нечего делать. Можно было бы «повесить» в своей комнате голографический кинопроектор во всю стену (и даже больше), но он будет слегка прозрачным. Было бы забавно пригласить к себе в гостиную виртуальную девушку, и AR-контент для взрослых наверняка появится в будущем. Но пока что производитель Hololens не рекомендует использовать в приложениях высокополигональные модели из соображений производительности. Так что гостья рискует показаться угловатой. Hololens — ​это продукт для бизнеса.

Вот несколько реальных кейсов. Заказчик приезжает на строительную площадку и надевает гарнитуру. Прямо на стены и своды полуготового здания накладывается 3D-изображение из BIM-модели. Любое несоответствие, будь то смещенная колонна, лишний проем или отсутствующий подрозетник, тут же бросается в глаза.

Телефон с секретом. Технически Microsoft Hololens 2 представляет собой что-то вроде мобильного телефона. Внутри корпуса «на затылке» находится процессор Qualcomm Snapdragon 850, 4 гигабайта оперативной памяти и 64-гигабайтный SSD. Самое интересное — ​это линзы с волнообразной призматической структурой, так называемые волноводы (не путать с каналами для передачи электромагнитных волн на расстояние). Такая линза преломляет и направляет в глаз пользователя изображение с микродисплея, расположенного у переносицы. Рядом с дисплеем спрятана инфракрасная камера для отслеживания положения зрачка — ​тоже через волновод.

Строящееся здание можно продемонстрировать заказчикам в готовом виде. Так было с торговым центром, в работе над которым принимали участие специалисты HoloGroup. Внутри бетонной коробки заказчики увидели полки с товарами, кассы, промощиты. Походив по смешанной реальности, они смогли проверить функциональность планировки и внести срочные коррективы.

AR-решения пригождаются в презентационных целях. Например, реальный автомобиль можно поместить в разные жизненные ситуации: отправить на природу, припарковать в тесном пространстве, до отказа заполнить поклажей. В небольшом помещении можно продемонстрировать широчайший ассортимент военной техники: разместить и со всех сторон показать хоть вертолет, хоть зенитно-ракетный комплекс.

Александр Якубов
Александр Якубов, основатель и CEO компании HoloGroup:

Каждый раз, когда мы приносим наш инструмент на стройплощадку, вскоре после включения Hololens заказчики переходят на восклицательные интонации. На стройках часто приходится что-то переделывать, поэтому они дорогие и долгие. В AR-среде несоответствия реальности и проекта выявляются гораздо быстрее, чем при сопоставлении с планами на бумаге или на мониторе. Важно, что и на стройке, и на презентациях все люди видят одно и то же и на равных участвуют в перемещении голограмм. Для этого все гарнитуры связываются друг с другом по Wi-Fi и синхронизируют данные о позиционировании объектов

Вопрос жизни и смерти

Итак, почка. На столе. Полупрозрачная голограмма, масштабируемая, очень хорошо детализированная. Кому она могла понадобиться? Хирургам. Медицинские AR-приложения уже тестировались в реальных операциях. Разработку одной из таких систем заказала московская клиника EMC (Европейский медицинский центр).

Современные хирурги проводят много лапароскопических операций. Работа ведется через небольшие разрезы, в которые вводится эндоскоп — ​гибкий инструмент, позволяющий видеть внутренности пациента и проводить манипуляции. С помощью эндоскопа хирург как будто путешествует внутри человеческого тела, и для этого ему нужна карта. Ветвление кровеносных сосудов, форма почечных лоханок и других полостей у всех людей разные, как и расположение опухолей, камней, инородных тел, которые послужили причиной операции.

Повелитель реальности. Одно из «нативных» приложений для Hololens от Microsoft — ​удаленный помощник. Оно может пригодиться при сборке сложной техники или, например, на экскурсии. Помощник — ​это человек, который сидит за монитором и видит на экране все, что видит пользователь Hololens. Пользователь же видит помощника на голографическом экране и общается с ним голосом. Самое главное: помощник может рисовать поверх реальных предметов в поле зрения пользователя, то есть графически подсказывать, какую кнопку нажать, какую деталь подобрать, на какие объекты стоит обратить внимание.

Существуют медицинские приложения, которые на основе изображений магнитно-резонансной или компьютерной томографии создают детальные 3D-модели. Такая модель может служить картой во время операции. Но может ли хирург рассматривать ее на отдельном мониторе? Вряд ли, для этого пришлось бы отойти от пациента, рядом с которым обычно мало свободного места. Манипулировать моделью с помощью мыши тоже неудобно — ​встает вопрос стерильности. Благодаря дополненной реальности хирург может разместить виртуальный экран там, где ему удобно, вращать и масштабировать карту с помощью жестов и даже сделать несколько мониторов с разными данными.

Технические характеристики Microsoft Hololens 2 позволяют позиционировать и демонстрировать голографические изображения «с хирургической точностью». Этим объясняется и высокая стоимость прибора, и ориентация на профессиональное применение.

Александр Якубов
Александр Якубов, основатель и CEO компании HoloGroup:

Множество предприятий из самых разных промышленных отраслей тестируют дополненную реальность и видят, что AR-решения значительно повышают производительность труда и качество его результатов. Перейти от пилотных проектов к реальному использованию часто мешают нормативы или «железные» особенности конкретной гарнитуры Hololens 2. Например, на неф­теперерабатывающих предприятиях все применяемые приборы должны быть взрывозащищенными. Вес Hololens хоть и небольшой, но тоже имеет значение: сложно 8 часов носить на голове чуть больше полукилограмма. Когда 6 лет назад на рынке появилась первая версия Hololens, мы были одними из первых, кто купил гаджет и начал разрабатывать под него приложения. В тот момент нам очень хотелось найти решения именно для массового пользователя. Но рынок еще не созрел, как не созрело и само устройство. Чтобы Hololens пропи­сался на условной кухне и помогал готовить блины, вес и размеры гаджета должны быть как у обычных очков, а стоимость — ​хотя бы как у VR-шлема. И этот день обязательно настанет, ведь мы уже не раз видели, в какую сторону развивается прогресс

Читать на ЦО.РФ

Подкаст с Александром Якубовым Виртуальные миры — будущее VR и AR

КАЖДУЮ ПЯТНИЦУ В 10 УТРА В ЭФИРЕ РАДИОСТАНЦИИ «‎СЕРЕБРЯНЫЙ ДОЖДЬ» ЗВУЧИТ ПРОГРАММА «‎НАБУТОВ ЗДЕСЬ: ЦИФРОВОЙ ОКЕАН». ВИДЕОВЕРСИЯ ВЫХОДИТ НА НАШЕМ САЙТЕ. ГЕРОЙ ЭТОГО ПОДКАСТА — Александр Якубов, основатель компании Хологрупп и российской метавселенной Virtonex, эксперт по дополненной и виртуальной реальности

Использованные источники: Материал опубликован в журнале «Цифровой океан» № 17 (май-июнь), 2023, Сафрон Голиков, Maxrale / iStock.com