Провайдеры ограничат зарубежных ботов Это рекомендует Роскомнадзор

Как сообщает «Коммерсантъ», компании из реестра провайдеров хостинга получили письмо от Центра управления связью общего пользования (ЦМУ ССОП) Роскомнадзора с рекомендациями по настройке ограничений доступа поисковых ботов к информации на российских сайтах. Речь идет о зарубежных ботах — в том числе поисковых сервисах Google (Googlebot), GPTBot компании OpenAI, Apple Bot корпорации Apple и других.

Ограничение доступа иностранных ботов к российским сайтам, по замыслу Роскомнадзора, нужно для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации. Согласно рекомендациям, 428 провайдерам «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».

В письме приведен и список из 642 идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Роботы, посещающие сайты в автоматическом режиме, используются для индексации поисковиками, рекламы, сбора данных для обучения нейросетей и прочих задач. Технически они могут имитировать обычных посетителей сайтов, однако легитимные боты отправляют идентификатор, позволяющий выявлять его предназначение.

Здесь мы рассказываем, что такое отравление данных и зачем оно нужно: