Параметры в урле обычной страницы

Главные вкладки

Аватар пользователя void void 29 сентября 2022 в 10:35

Druapl 7, вьюсов на странице нет, левых модулей не стоит.

Есть стандартный тип материала Page и есть несколько страниц этого типа.
Если у одной из таких страниц к урлу добавить любой параметр, то будет отображаться эта же страница, хотя в угле параметр (для поисковых ботов это 2 разные страницы), сайт ошибки не выдает.

Например:
adressayta.ru/razdel/podrazdel/translit-zagolovka
и
adressayta.ru/razdel/podrazdel/translit-zagolovka?page=1
это одна и та же страница, сайт ошибки не выводит.

Как бы и фиг с ним, но к одному сайту пристал бот Гугла и роет в одной и той же странице по адресам
?page=1/stati/301/stati//stati/241/stati/301/stati/301/...., и так далее, вызывая конскую нагрузку.
Хз нафига он вообще роет в этом параметре. Ошибок и неправильных ссылок с таким содержанием параметра page на сайте вообще нет.

Ограничение на частоту захода ботов в robots.txt (Например Crawl-delay: 1000 или даже Crawl-delay: 10000) ему не помеха, нагрузка не сменяется.

Почему сайт воспринимает и показывает, не выдавая предупреждений или не делая редиректов, простые страницы типа Page с параметрами в урле, как эти же страницы без параметров, хотя на странице по данному урлу параметры вообще не используются?

Как можно угомонить Гугл ботов? Например если на странице не используются параметры а в угле они есть то либо ронять в 404, либо редирект на угл без параметров, чтобы гугл понял тут не используются параметры и ему тут рыть/долбить не надо вообще.

Комментарии

Аватар пользователя marassa marassa 29 сентября 2022 в 11:04
1

void wrote: к одному сайту пристал бот Гугла и роет в одной и той же странице

Если это одна конкретная страница, то проще всего в .htaccess прописать жесткий отлуп при попытке доступа к этой странице с любыми параметрами.

void wrote: Ограничение на частоту захода ботов в robots.txt (Например Crawl-delay: 1000 или даже Crawl-delay: 10000) ему не помеха, нагрузка не сменяется.

Crawl-delay практически никто уже давно не поддерживает. Если сайт зарегистрирован в Google Search Console, то там можно настроить скорость обхода: https://support.google.com/webmasters/answer/48620

void wrote: Почему сайт воспринимает и показывает, не выдавая предупреждений или не делая редиректов, простые страницы типа Page с параметрами в урле, как эти же страницы без параметров, хотя на странице по данному урлу параметры вообще не используются?

Ну такая вот особенность Друпала. А вдруг у Вас на странице какой-нибудь кастомный Javascript, которому нужны эти параметры?

Аватар пользователя void void 29 сентября 2022 в 11:19

Спасибо marassa за ответ.

Если это одна конкретная страница, то проще всего в .htaccess прописать жесткий отлуп при попытке доступа к этой странице с любыми параметрами.

Я так же подумал, но нигде не нашел информации как в .htaccess запретить посещать конкретный урл с параметрами, но не запрещать посещать ее без параметров.

Crawl-delay практически никто уже давно не поддерживает.

Вот странно, с одной стороны это давно известно, а с другой стороны тех поддержка хостинга очень рекомендует именно Crawl-delay изменить.