Блокировщик парсинга с помощью обратного DNS-запроса
Блокировщик парсинга с помощью обратного DNS-запроса
Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.
Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.
Поддерживаемые роботы:
<*>Googlebot
<*>Yandex
<*>Mail
<*>Bing
Справка о проверке принадлежности роботов Яндексу: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html
Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Персональные рекомендации