Защита от плохих ботов и site rippers через через .htaccess

Главные вкладки

Аватар пользователя EllECTRONC EllECTRONC 17 октября 2008 в 17:53

Плохие боты - это и вирусы и сборщики "мыла" и им подобные.

Site rippers (типа автономного браузера) - могут просто выкачать ваш сайт.

И тут я вспомнила про Неожиданный дубль сайта DrupalCookBook.ru от VladSavitsky.

Если кому еще интересно — ответ лежит тут: Блокирование плохих ботов и расхитителей сайта (типа автономные браузеры).

Quote:
Блокирование плохих ботов приведет к:

  1. защите email адресов
  2. большой экономии трафика
  3. снижение нагрузки на сервер до минимума (блог стал летать)
  4. защите от копирования (и/или клонирования) вашего сайта
  5. и т.п

Комменты и вопросы можно туда.
Также в будущем планируется дополнение списка плохих ботов.

Комментарии

Аватар пользователя EllECTRONC EllECTRONC 18 октября 2008 в 4:43

Да вроде пока не встречалось! "Хороших" ботов не нужно включать в список на бан и OK, особенно если в robot.txt разрешены ВСЕ боты, то и "хорошие" мимо не пройдут.