Голосовой бот будет слушать телефонные разговоры Для борьбы с мошенниками

В базе «Роспатента» появилась принадлежащая Сбербанку заявка под названием «Способ и система анализа голосовых вызовов на предмет выявления и предотвращения социальной инженерии с помощью активации голосового бота». Технология представляет собой анализа диалогов во время телефонного разговора на предмет выявления мошеннической активности.

В заявке указано, что ИИ получает получает входящий аудиопоток, после чего генерирует синтетический исходящий голосовой аудиопоток, выполняющий роль собеседника в диалоге. Затем алгоритм преобразует входящий аудиопоток в векторную форму и обрабатывает его при помощи машинного обучения. При этом выполняется сравнение векторной формы аудиопотока с ранее сохраненными образцами, характеризующими мошенническую активность.

Далее аудиопоток транскрибируется и обрабатывается при помощи другой модели машинного обучения, которая выполняет анализ диалога вызывающей стороны. Параллельно выполняется семантический состав информации и паттерн ведения диалога — включая анализ используемых в разговоре слов, построение и последовательность фраз, а также наличие и длительность пауз в диалоге входящего аудиопотока.

Затем на экран смартфона выводится сообщение о статусе классификации входящего аудиопотока. Бот может либо общаться по телефону, пока не определит, что собеседник является мошенником, либо слушать все аудиосигнатуры на предмет наличия в них определенных паттернов, после чего вмешиваться в разговор и предупреждать пользователя об опасности.

Здесь мы рассказываем, как мошенники пользуются социальной инженерией: