robots.txt простой вопрос

Главные вкладки

Аватар пользователя waifen waifen 30 августа 2019 в 15:39

Многостраничный сайт.

Один из моих модулей каждой ноде меняет дефолтный url типа /node123123 на человеко-понятные url и редиректит на них.

Каждый день поисковики бегают по /node123123 (о типа новая страница, а не, показалось, поставлю тогда статус 301). Я вот думаю. А не запретить ли мне к индексации все дефолтные url типа /node123123, оставив только человеко-понятные, чтобы роботы поисковиков не тратили время на их обход вообще, тем самым ускорив скорость индексирования сайта?

Есть подводные камни данного решения?

Комментарии