Роскомнадзор призвал ограничить доступ к российским сайтам для ботов Google и OpenAI
Роскомнадзор рекомендовал российским хостерам ограничить доступ к сайтам для поисковых ботов Google, OpenAI и Apple. Это необходимо для исключения сбора данных о критических уязвимостях ресурсов и индексировании данных россиян, пояснили в РКН. Хостинг-провайдеры отмечают, что рекомендация ведомства может стать требованием, которое лишит российские сайты возможности индексироваться в зарубежных поисковиках
Роскомнадзор рекомендовал российским хостинг-провайдерам ограничить доступ к отечественным сайтам для иностранных поисковых ботов. Об этом пишет «Коммерсантъ» со ссылкой на письмо, направленное Центром управления связью общего пользования (ЦМУ ССОП) Роскомнадзора компаниям из реестра хостеров.
Получение письма изданию подтвердил российский провайдер информационной безопасности DDoS-Guard. Рекомендация касается, в частности, бота Googlebot от Google, GPTBot от OpenAI и Apple Bot от Apple, отметил источник газеты на рынке интернет-провайдеров.
Такие боты посещают сайты в автоматическом режиме, используются для их индексации поисковиками, в интернет-рекламе, для сбора информации для обучения нейросетей. Ограничение их работы необходимо для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации, говорится в письме. Хостерам рекомендовано «провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами», указано там же.
В письме также приводится список из 642 идентификаторов, по которым можно отличить вредоносных ботов и сканеры уязвимостей. Этот перечень полностью совпадает с публично доступным списком, опубликованным на GitHub, обнаружил «Коммерсантъ». Собеседник издания в крупной IT-компании предупредил, что блокировка всех идентификаторов из списка «может повлиять на стабильность работы IT-систем». В Роскомнадзоре на запрос газеты не ответили.
Гендиректор хостинг-провайдера RUVDS Никита Цаплин отметил, что в перспективе рекомендация РКН может стать требованием, и предупредил, что сбор информации для нейросетевых сервисов и поисковиков осуществляют одни и те же боты. «Следовательно, организация, которая выполнит рекомендацию, лишит себя возможности индексироваться в Google», — указал эксперт. Собеседник «Коммерсанта» в другом хостинг-провайдере заявил, что блокировка особенно отразится на компаниях, работающих в странах СНГ, где позиции Google выше российского поисковика «Яндекс».