Возлюби хейтера своего Как работают современные роботы для анализа контента

К тест-драйву российской системы Brand Analytics мы подошли основательно — ​­запустили собственную пиар-кампанию. Ссылки на «Цифровой океан» разошлись по сайтам партнеров, и редакция приготовилась пожинать плоды. Но как измерить эти плоды? Раньше мы бы собрали выборку респондентов, опросили их и посчитали медийный охват. Компания Brand Analytics предлагает вместо этого новую социологию — ​ту, в которой понятие выборки теряет смысл. Потому что она всегда составляет 100 %. Машины видят и слышат всех. Ну почти всех.

БОЛЬШОЙ КУСОК ДАННЫХ

Роботов для анализа контента в интернете придумали не вчера. Когда в 1990-е годы стало ясно, что Всемирная сеть не похожа на библиотеку со строгим каталогом и алфавитным указателем, появились поисковые системы. Пробуем загуглить ключевые слова нашей PR-кампании, и видим лишь пару статей на информационных сайтах. Неужели нашими текстами никто не поделился, не похвалил и не обругал?

Дело в том, что поисковая выдача — ​лишь верхушка айсберга. Поисковики анализируют статичный контент сайтов. Пользовательские сообщения, будь то посты в соцсетях, записи на форумах или отзывы в товарных карточках, не индексируются поисковиками. На то есть несколько причин.

Во-первых, социальные сети не пускают к себе пауков поисковых систем и даже выстраивают от них программную защиту. Пользовательский контент для соцсетей — ​ценный коммерческий ресурс, которым никто не станет делиться бесплатно.

Наталья Соколова, СЕО Brand Analytics:

Бизнес становится успешным, когда он эффективно решает проблемы своих клиентов. До появления инструментов анализа соцмедиа маркетологи использовали опросы по нескольким тысячам рес­пондентов, чтобы узнать, какой продукт ждут люди и как его удачнее продвигать. Сегодня у бренда зачастую несколько целевых аудиторий, для каждой из которых нужно правильно подбирать свой способ коммуникации. Анализ соцмедиа — ​это сейчас самый быстрый, дешевый и непредвзятый способ понять клиента и его потребности. Нашими технологиями исследований пользуются не только в бизнесе, но и в гос­управлении. Россия — ​огромная страна, регионы которой живут очень по-разному, и обзвон нескольких тысяч граждан не позволяет судить о реальных потребностях населения. Чиновники активно используют безопросные методы анализа, предлагаемые Brand Analytics, для принятия наиболее эффективных решений

Во-вторых, пользовательские сообщения — ​это не просто текст, это еще и комментарии, вложения, множество метаданных, таких как лайки и геометки. Поисковики не работают с такими сложно структурированными данными. Задача поисковой системы — ​выдать полезную подборку, как правило, текстовых материалов с сайтов, ранжируя их по релевантности запросу.

Есть еще и «в-третьих». Индексировать материалы сайтов по ключевым словам — ​вовсе не то же самое, что хранить все сообщения целиком, да еще анализировать их содержание и настроение. Как ни парадоксально это звучит, от такого объема информации поперхнулся бы даже Google.

А Brand Analytics не поперхнется. В базе данных компании уже хранится 180 млрд единиц контента — ​похвал, жалоб, шуток, споров, мемов. Российские соцсети предоставляют Brand Analytics доступ к своему контенту на договорных условиях. С зарубежными работа строится через API*.

Возможности Brand Analytics позволяют не только читать тексты, но и расшифровывать речь из видеороликов, распознавать слова на картинках. Последнее весьма ценно, учитывая последний тренд писать скриншотами. Среди 15 петабайт (миллионов гигабайт) данных компании можно найти реальное мнение людей практически по любому вопросу.

* API — ​описание способов, которыми одна компьютерная программа может взаимодействовать с другой программой.

ЛЮБОВЬ И НЕНАВИСТЬ

По оценкам Brand Analytics, пользователи соцмедиа упоминают крупные компании вроде банков или магазинов одежды десятки тысяч раз в сутки. Даже целая армия модераторов не справилась бы с анализом такого объема сообщений. Разработчикам сервиса пришлось научить роботов понимать написанное: например, отличать комплименты от проклятий.

В начале тональность текстов измеряли с помощью алгоритмического лингвистического анализа. В любом языке есть законы, определяющие, как слова в предложении взаимодействуют друг с другом, как влияют на смысл написанного пунктуация и орфография. Лингвисты сводят все многообразие языка к набору формул, толковых словарей и правил чтения, которым можно научить компьютер. Опираясь на законы лингвистики, программа оценивает настроение каждого сообщения и ставит ему в соответствие значение тональности: негатив, нейтральность или позитив. Подобные алгоритмы появились на рынке еще в 2000-е и давали приемлемую точность распознавания настроения для простых ситуаций, например грамматически правильных текстов СМИ. Потом алгоритмы адаптировали для разговорного русского языка, практикуемого пользователями соцсетей.

Григорий Островский, технический директор компании Brand Analytics:

Мы мониторим более 55 тысяч различных источников, таких как соцсети, форумы, видеохостинги, геосервисы, сайты с отзывами, СМИ, сайты госорганов. К каждому собранному сообщению или тексту привязаны метаданные о языке, времени и месте публикации, местоположении, сведения об авторе. Роботы оценивают размер потенциальной аудитории сообщения, отслеживают количество лайков и репостов. Аналитические алгоритмы классифицируют тексты по тематикам, а среди авторов выделяются аккаунты СМИ и сообщения спам-ботов. Конкуренты при определении тональности могут довольствоваться полнотой и точностью определения 87–91 %. Подход Brand Analytics, совмещающий методы структурной лингвистики и машинное обучение, позволяет верно определять настроение с полнотой и точностью в 95–98 %. Это означает, что более чем у 95 % сообщений тональность будет распознана. И в 95 % случаев она будет распознана верно. Интересный факт. Многие думают, что люди чаще пишут в Сети негативные отзывы о брендах. То есть заходят в соцсеть, только чтобы поругаться. По нашим же исследованиям, люди проявляют любовь к чему-либо в 4–6 раз чаще, чем ненависть

В последнее время для определения тональности все чаще применяют нейросети. Однако работы языковедам только прибавилось: ​теперь они составляют наборы данных (датасеты) для обучения нейросетей. Для того чтобы научить машину отличать хороший отзыв от плохого, специалисты вручную размечают эмоциональную окраску в тысячах сообщений.

По словам технического директора Brand Analytics Григория Островского, сложнее всего составить грамотное техническое задание на разметку. В компании работают семь экспертов по русскому языку, прекрасно знакомых с потребностями клиентов. Самой разметкой сообщений для последующего обучения нейросети занимаются десятки внештатных специалистов.

ПУЛЬТ УПРАВЛЕНИЯ БИЗНЕСОМ

Нейросети, лингвистика, базы данных — ​звучит устрашающе сложно. Однако для пользователя система Brand Analytics — ​это реально простой и удобный инструмент с понятным интерфейсом.

Отсортируем сообщения по тональности. Внимание: на вершине списка оказалось сообщение с красной меткой — ​пользователь ругается. Действуем незамедлительно: направляем к недовольному клиенту «пожарную команду», чтобы разобраться с недоразумением. Практика показывает, что человек, проблему которого оперативно решили, нередко превращается в лояльного клиента и приводит за собой еще нескольких покупателей.

Одна быстро решенная проблема пользователя приносит компании 10 новых клиентов

Делаем сортировку по вовлеченности и ищем самых влиятельных фанатов и хейтеров, ​последних у «Цифрового океана» пока нет. Речь идет о людях, мнение которых вызвало максимальный отклик в сердцах других пользователей. С ними стоит познакомиться и поработать индивидуально.

Наш публичный образ виден в системе как на ладони. Информация о журнале течет по сети и ветвится, словно река. Видим активность с неожиданной стороны: о «Цифровом океане» пишут в «Аграрном вестнике Алтая», в «Сообществе борт­ников и пчеловодов Алтая», в других СМИ, группах и чатах по региону. Две недели назад издание участвовало в Алтайском экономическом форуме, именно там о нас узнали местные профессионалы. Такие «неожиданные встречи» помогают брендам (в данном случае нам) находить новую аудиторию для своих продуктов, дают ценные каналы обратной связи.

Василий Черный, директор по стратегическим коммуникациям компании Brand Analytics:

Наши клиенты уверены, что репутация важнее денег. Соцмедиа стали «сверхпроводящей средой» для распространения общественного мнения, поэтому компании постоянно мониторят, что люди говорят о бренде, продуктах и топ-менеджменте компании. Например, для „Сбера“ мы разработали автоматизированный репутационный дашборд, который хотел видеть на всех своих устройствах сам Герман Греф. В дальнейшем мы превратили один дашборд в целую систему быстро настраиваемых „пультов“, которыми теперь пользуется множество сотрудников банка для доступа к нашей аналитике. Включая центр управления кибербезопасностью „Сбера“. Еще одним хитом является наша система оповещений о критических рисках, которая настраивается на различные события в информационном поле банка. Если что-то идет не так, робот отправляет оповещение о ситуации ответственному сотруднику. Мы знаем, что одна быстро решенная проблема приносит компании 10 новых клиентов

Для топ-менеджеров полезны краткие аналитические отчеты, или дашборды, которые формирует Brand Analytics. Это своеобразный пульт управления бизнесом. Здесь отображаются ключевые показатели эффективности: уровень внимания пользователей (количество сообщений), их вовлеченность (число лайков, комментариев и репостов), а также индекс лояльности, рассчитанный на основе тональности сообщений. По показателям отчета можно в реальном времени отслеживать положение бизнеса среди конкурентов, находить проблемные места у продукта или в коммуникациях, а также быстро решать внезапно возникающие репутационные проблемы.

За кажущейся простотой интерфейса скрывается огромный вычислительный ресурс компании. Тарификация сервиса зависит от количества сообщений, собираемых и исследуемых в месяц в интересах клиента. Используя старшие тарифы Brand Analytics, можно создавать рейтинги общественных институтов, узнавать мнение людей по ключевым социально-политическим вопросам. Можно даже отслеживать реакцию публики на выступление первых лиц и в реальном времени корректировать повестку спикера. Компания на постоянной основе работает с многими госструктурами. В Brand Analytics уверены, что государство должно реагировать на проблемы людей так же быстро и эффективно, как это делает бизнес.