Бейсбол и космонавтика Инструменты компьютерного зрения в профессиональном спорте

Россиян в бейсболе больше всего интересуют биты: за год их продают сотни тысяч, а мячей и перчаток — ​максимум десятки. Но если увлечься этим спортом по-настоящему, понадобится целая жизнь: один только глоссарий специальных терминов бейсбола насчитывает более 1200 слов. «Полные правила игры — ​это такая вот книженция страниц на триста, — ​говорит Роман Бессонов. — ​Такого количества нюансов нет, наверное, ни в одном другом виде спорта».

Внедрить современные технологии в бейсболе сложнее, чем в иных дисциплинах. Но это необходимо: инструменты компьютерного зрения используются в профессиональном спорте с середины нулевых, начиная с крикета и большого тенниса. Разработанная для них система Hawk-Eye предназначена для отслеживания попадания мяча в границы поля и уже развернута на кортах, где проводятся самые заметные теннисные турниры. В 2011-м стартап Hawk-Eye выкупила компания Sony, которая понемногу адаптирует систему для других видов спорта. Впрочем, в бейсболе уже обозначился собственный лидер — ​разумеется, из США.

Система Statcast используется на играх американской Главной лиги бейсбола (MLB), хотя позволить себе ее могут лишь самые большие, богатые стадионы и клубы. «Начинали они вообще с военных радаров, предназначенных для отслеживания объектов на поле боя, — ​объясняет Роман Бессонов. — ​Окружили ими стадион, дополнили массивом камер высокой четкости, сделали интеграцию с телевидением… Неудивительно, что система оказалась очень сложной и дорогой. Мы же стартовали позднее, уже на современном этапе развития технологий, и это сразу дало нам преимущество. Ведь сегодня все это можно сделать и обычной оптикой».

МЯЧ НА ФОНЕ НЕБА

Преимуществом оказался и «космический» бэкграунд разработчиков: в Институте космических исследований (ИКИ) РАН Роман уже 20 лет создает приборы для ориентации в полете. «Это глаза космического аппарата. Благодаря им он понимает, как ориентирован в пространстве по отношению к звездам, Солнцу, Земле и другим телам, — ​пояснил Роман. — ​Например, блок определения координат звезд (БОКЗ) работает на МКС. Но вообще наши приборы используют все отечественные производители космической техники. Вот мы сидим, а над нами в это время пролетает не меньше 15 спутников, на которых стоит аппаратура, созданная в нашем отделе».

Для отслеживания мяча на поле используются те же алгоритмы, которые работают и на орбите. Они позволяют заметить движущийся на статичном фоне объект, захватить и сопровождать его до нужной точки. «Сделать все удалось довольно быстро: месяца через два после принятия решения мы уже поставили первую пару камер на стадионе, — ​продолжает Роман. — ​А вскоре система GameTrack могла автоматически захватывать мяч, вычислять траекторию и оценивать зону попадания с точностью до нескольких миллиметров».

Пока мяч летит к игроку с битой, камеры успевают зафиксировать его несколько десятков раз. Стереоскопическое зрение позволяет определить точные координаты и рассчитать траекторию. По отклонениям реальной траектории от прогнозируемой можно вычислить скорость вращения, которую придал мячу питчер, бросая крученый. «Новейшая версия системы Statcast использует для этого отдельную камеру, длиннофокусную и высокоскоростную, которая успевает измерить вращение по швам на поверхности мяча, — ​добавляет Роман Бессонов. — ​Других задач у этой дорогой камеры нет, а мы все-таки хотели сделать свою систему максимально доступной, даже массовой».

Уже вскоре установленная на стадионе Russtar система GameTrack обзавелась несколькими новыми камерами, научилась распознавать и сопровождать мяч в любой части поля. Кроме того, разработчики дополнили ее нейросетями, обучив распознавать игроков и биту. Сегодня она автоматически регистрирует начало каждого розыгрыша, понимает, какую позицию заняли люди на поле и какую роль играет каждый их них, отслеживая всех вплоть до конца игрового момента. GameTrack определяет типы бросков питчера, скорость полета и вращения мяча, зону его прилета, показатели взмаха битой, угол и дальность полета отбитого мяча, скорости и позиции игроков на поле. Возник вопрос, как использовать эти данные с максимальной пользой.

ВСЕ ХОДЫ ЗАПИСАНЫ

В силу сложности правил даже профессиональные спортсмены не всегда могут однозначно интерпретировать ту или иную ситуацию на поле. Скоринг, счет по ходу матча, ведут опытные судьи, их помощники фиксируют каждый игровой момент в виде кратких описаний. Этот «лог» можно просмотреть почти по любой заметной встрече: словно в шахматной нотации, в них шаг за шагом отмечены все действия игроков при розыгрыше мяча. Существуют специальные программы для ведения скоринга в удобной цифровой форме, однако интегрировать оптическую систему с ними оказалось сложнее, чем разработать собственную.

Поэтому еще пару лет программисты и бейсболисты из ИКИ потратили на создание нового приложения GameTrack, которое сегодня используется всеми бейсбольными командами России. «В него уже заложены некоторые правила, позволяющие даже подсказывать скореру, как оценивать ту или иную ситуацию, — ​говорит Роман Бессонов. — ​Я как-то захожу к ним в будку во время игры и вижу: все обсуждают, что же за момент был на поле и как его записать. И тут самый авторитетный из них, известный знаток бейсбольных правил и нюансов Александр Каверин, говорит, мол, зачем спорить, программа все уже записала».

Следующим этапом стала интеграция оптической системы стадиона с приложением для скоринга, а также одноименным сайтом GameTrack, куда выкладывается вся статистика по проведенным играм и где ведутся онлайн-стримы матчей. Специально для трансляций на стадионе разместили еще несколько камер, в том числе и в дагаутах, где игроки ожидают выхода на поле. Система не может полностью заменить телевидение с дорогими подвижными камерами и профессиональными операторами. Но для любителей бейсбола в России даже такие трансляции — ​большая редкость. Умная система ведет трансляцию автоматически, сама переключаясь между разными камерами, дополняя картинку актуальной статистикой и даже спецэффектами, например автоматической дорисовкой удара битой и траектории полета мяча.

Создатели GameTrack планировали продвигать свою систему среди европейских команд, американских колледжей — ​для стадионов, которые не могут позволить себе установку аналога, стоящего миллионы долларов. Они даже начали рекламную кампанию, однако после февраля 2022 года эти планы пришлось оставить. «Для себя мы решили, что все равно делаем любимое дело: если получится продавать, то хорошо, а не получится, то и не в этом цель, — ​добавляет Роман. — ​Я бы назвал этот проект нашими частными инвестициями в космос. Мы учим специалистов применять компьютерное зрение, в том числе и нейросети. В том числе и на бейсболе».

Роман Бессонов, разработчик системы GAMETRACK

Благодаря GameTrack у меня открылось второе дыхание в бейсболе. Когда наиграешься на приличном уровне — ​а организм уже не такой молодой, накопились травмы, и времени не хватает, — ​то интерес к игре начинает падать. От спорта устаешь и больше не горишь им, как прежде, когда был на пике формы. Но с этой системой я заново влюбился в бейсбол, потому что совершенно по-другому взглянул на игру. Теперь мы думаем об установке GameTrack на других стадионах и даже знаем, как сделать ее лучше. Например, хотелось бы избавиться от дополнительной «коробки», с помощью которой синхронизируются камеры. Вместо этого можно использовать сигналы точного времени, получая их прямо из интернета. Вот у нас тут за спиной еще один стадион, поменьше — ​для софтбола. Наверное, дальше будем устанавливать там.