Плохие боты - это и вирусы и сборщики "мыла" и им подобные.
Site rippers (типа автономного браузера) - могут просто выкачать ваш сайт.
И тут я вспомнила про Неожиданный дубль сайта DrupalCookBook.ru от VladSavitsky.
Если кому еще интересно — ответ лежит тут: Блокирование плохих ботов и расхитителей сайта (типа автономные браузеры).
Блокирование плохих ботов приведет к:
- защите email адресов
- большой экономии трафика
- снижение нагрузки на сервер до минимума (блог стал летать)
- защите от копирования (и/или клонирования) вашего сайта
- и т.п
Комменты и вопросы можно туда.
Также в будущем планируется дополнение списка плохих ботов.
Комментарии
Интересно.
Немалую нагрузку на сервер могут давать и "хорошие" боты. Для них случайно не закрывается доступ?
Да вроде пока не встречалось! "Хороших" ботов не нужно включать в список на бан и OK, особенно если в robot.txt разрешены ВСЕ боты, то и "хорошие" мимо не пройдут.