2 августа 2014 в 11:38
Прошу помощи по файлу robots.txt
Первый раз работаю с друпал, опишу суть проблемы.
Каждый опубликованный материал имеет теги к примеру, торт Пьяная вишня теги: торт, вишня, мука и так далее...
То есть если пользователь пойдет по тегу вишня он получит: рецепты тортов с вишней, пирожных, пирожков и тому подобное... Это будет страница с анонсами этих материалов по адресу mysite/vishnya.
Яндекс заносит в индекс такие страницы. Собственно вопрос нужно ли убирать из индекса такие страницы( предполагаю что нужно ибо это дубль анонсов, которые находятся в соответствующих разделах). Как это сделать посредством файла robots.txt. Конечно можно брать каждый тег и запрещать индекс по нему, но это долго и не факт, что все теги переберу...
Комментарии
1. сделать url терминов вида tags/malina, tags/vishnya, и через роботс закрыть tags/
2. модулем metatag добавить meta noindex, nofollow и тд для страниц терминов
Дублями считать страницы с таксономией не будет. Лучший вариант через модуль метатагс или подобный ему настроить canonical урл. Закрывать вообще или нет вопрос спорный. Кто-то закрывает чтобы не терять вес ссылок, кто-то страницы таксономии продвигает. Пробуйте разные варианты.
Самый простой и при этом правильный вариант это установить и включить модуль Metatag.
Ничего настраивать в нём не надо достаточно просто включить.
Модуль установлен и настроен, вполне работа его удовлетворяет, только какое он отношение имеет к моей проблеме? Я спрашиваю, как закрыть от индексации страницы, которые открываются по тегам конце материалов...Теги не метатеги.. с помощью метатег а могу прописать к материалам метатеги , что я и делаю...
Ну, если Вам этого мало!?
То
/admin/config/search/metatags/config/taxonomy_term -> Расширенный -> Robots -> Запретить индексирование этой страницы поисковыми машинами.