25 июля 2011 в 14:37
Как бороться с постоянными запросами несуществующих страниц на сайте?
В системном журнале уйма ошибок page not found на страницы которых нет и не было на сайте.
Запросы идут с разный IP, блокировка IP не помогает.
Скрин прилагается
| Вложение | Размер |
|---|---|
 scr-1.jpg | 34.51 КБ |
Комментарии
RewriteRule \.html$ - [F]
Извините, можно подробнее, пожалуйста.
http://www.codenet.ru/webmast/php/mod_rewrite.php
А зачем с ними бороться? Это ветряные мельницы. Всех не перебанишь ботов, а вреда от них нет. Вам же не по 1000 запросов в секунду идет.
Нет конечно не 1000 запросов в секунду, один два десятка в сутки, но как то меня расстраивают эти нехорошие слова в системном журнале. А как на эти запросы реагирует гугл и яндекс? Они же у себя фиксируют эти запросы и в отчете у себя их показывают?
Я так понял, что мне нужно в .htaccess прописать RewriteRule \.html$ - [F]
И что после этого будет происходить?
Обычно они об этом не знают. Если стоят гугл аналитикс и яндекс метрика - то узнают. Но ничего плохого не случится, они же не будут эти страницы индексировать
Интересно как
Вот так http://webmaster.ya.ru/replies.xml?item_no=11122
Это я прекрасно понимаю, но вы думаете что проверка путей происходит браузером? Это тупой скрипт который интересует только контент страницы, выполнять жаба-код он не может, значит и аналитикс данных не получит.
http://webmaster.ya.ru/replies.xml?item_no=11122 - страница недоступна
Бороться - никак, робот может обзванивать любые адреса. В mod_riwrite закрыть можно, но это будет лишь частичное решение