Druapl 7, вьюсов на странице нет, левых модулей не стоит.
Есть стандартный тип материала Page и есть несколько страниц этого типа.
Если у одной из таких страниц к урлу добавить любой параметр, то будет отображаться эта же страница, хотя в угле параметр (для поисковых ботов это 2 разные страницы), сайт ошибки не выдает.
Например:
adressayta.ru/razdel/podrazdel/translit-zagolovka
и
adressayta.ru/razdel/podrazdel/translit-zagolovka?page=1
это одна и та же страница, сайт ошибки не выводит.
Как бы и фиг с ним, но к одному сайту пристал бот Гугла и роет в одной и той же странице по адресам
?page=1/stati/301/stati//stati/241/stati/301/stati/301/...., и так далее, вызывая конскую нагрузку.
Хз нафига он вообще роет в этом параметре. Ошибок и неправильных ссылок с таким содержанием параметра page на сайте вообще нет.
Ограничение на частоту захода ботов в robots.txt (Например Crawl-delay: 1000 или даже Crawl-delay: 10000) ему не помеха, нагрузка не сменяется.
Почему сайт воспринимает и показывает, не выдавая предупреждений или не делая редиректов, простые страницы типа Page с параметрами в урле, как эти же страницы без параметров, хотя на странице по данному урлу параметры вообще не используются?
Как можно угомонить Гугл ботов? Например если на странице не используются параметры а в угле они есть то либо ронять в 404, либо редирект на угл без параметров, чтобы гугл понял тут не используются параметры и ему тут рыть/долбить не надо вообще.
Комментарии
Если это одна конкретная страница, то проще всего в .htaccess прописать жесткий отлуп при попытке доступа к этой странице с любыми параметрами.
Crawl-delay практически никто уже давно не поддерживает. Если сайт зарегистрирован в Google Search Console, то там можно настроить скорость обхода: https://support.google.com/webmasters/answer/48620
Ну такая вот особенность Друпала. А вдруг у Вас на странице какой-нибудь кастомный Javascript, которому нужны эти параметры?
Спасибо marassa за ответ.
Я так же подумал, но нигде не нашел информации как в .htaccess запретить посещать конкретный урл с параметрами, но не запрещать посещать ее без параметров.
Вот странно, с одной стороны это давно известно, а с другой стороны тех поддержка хостинга очень рекомендует именно Crawl-delay изменить.