Блокировщик роботов

Модуль позволяющий блокировать неопознанных роботов, которые не читают robots.txt Если посмотреть статистику сервера - нетрудно заметить что неопознанные роботы, не являющиеся крупными поисковиками - создают очень существенный трафик. Особенно это заметно на проектах с ресурсоемкими страницами. Вроде и посетителей не так много а сервер перегружен. Предлагаю простое решение отфильтровать "некультурных роботов". Создается папка /blackhole/, индексация содержимого которой запрещается в robots.txt. На сайте, например в футере, ставится незаметная ссылка на этот раздел, таким образом, чтобы посетитель сайта случайно туда не попал. Соответственно на эту страницу будут заходить только роботы, которые игнорируют robots.txt, и индексирующие зачем то ваш сайт. Уважающие себя поисковики так не делают, так что игнорирование таких роботов не будет ухудшать видимость сайта в поисковиках. Для того, чтобы исключить случайную блокировку реальных посетителей - в модуле предусмотрен механизм удаления IP из черного списка путем введения капчи. Когда на страницу /blackhole/ зайдет робот - вам на почту будет отправлено уведомление о блокировке.