20 ноября 2010 в 13:22
Hello world))
Короткий вопрос, как закрыть от индексации страницы типа
user/register?destination=node%2F1316%23comment-form
user/login?destination=node%2F229%23comment-form
страницы такие вроде как есть, боты по ним ходят, а вот доступ запрещен.
Что это за страницы?
Содержимое сайта публикуется на условиях CreativeCommons Attribution-ShareAlike 3.0 или более поздней версии. Программные коды в тексте статей — на условиях GNU GPL v2 или более поздней версии.
Документация по совместной работе с репозиторием drupal.ru – https://docs.drupal.ru/code
Drupal – торговая марка Дриса Бёйтарта
Поддерживать инфраструктуру Drupal.ru нам помогает компания ДАЛЕЕ
Комментарии
В друпале в robots.txt уже всё закрыто
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Они и так закрыты, если Вы robots.txt не переделывали.
Как проверить, закрыты они или нет, в robots записи есть, но может ошибка какая то?
Уже проверил, страницы эти в индексе Гугла, значит ничего не закрыто, так как же закрыть?
Анализ robots.txt есть в вашем аккаунте http://www.google.com/webmasters/
Добавьте в роботс запрет /user/register?destination