seo, запрет индексации...

Главные вкладки

Аватар пользователя dimitrian777 dimitrian777 2 августа 2014 в 11:38

Прошу помощи по файлу robots.txt

Первый раз работаю с друпал, опишу суть проблемы.
Каждый опубликованный материал имеет теги к примеру, торт Пьяная вишня теги: торт, вишня, мука и так далее...
То есть если пользователь пойдет по тегу вишня он получит: рецепты тортов с вишней, пирожных, пирожков и тому подобное... Это будет страница с анонсами этих материалов по адресу mysite/vishnya.
Яндекс заносит в индекс такие страницы. Собственно вопрос нужно ли убирать из индекса такие страницы( предполагаю что нужно ибо это дубль анонсов, которые находятся в соответствующих разделах). Как это сделать посредством файла robots.txt. Конечно можно брать каждый тег и запрещать индекс по нему, но это долго и не факт, что все теги переберу...

Комментарии

Аватар пользователя EvgenySorokin EvgenySorokin 2 августа 2014 в 12:27

1. сделать url терминов вида tags/malina, tags/vishnya, и через роботс закрыть tags/
2. модулем metatag добавить meta noindex, nofollow и тд для страниц терминов

Аватар пользователя Lotar Lotar 2 августа 2014 в 13:26

Дублями считать страницы с таксономией не будет. Лучший вариант через модуль метатагс или подобный ему настроить canonical урл. Закрывать вообще или нет вопрос спорный. Кто-то закрывает чтобы не терять вес ссылок, кто-то страницы таксономии продвигает. Пробуйте разные варианты.

Аватар пользователя DD 85 DD 85 2 августа 2014 в 15:55

Самый простой и при этом правильный вариант это установить и включить модуль Metatag.
Ничего настраивать в нём не надо достаточно просто включить.

Аватар пользователя dimitrian777 dimitrian777 2 августа 2014 в 18:31

Модуль установлен и настроен, вполне работа его удовлетворяет, только какое он отношение имеет к моей проблеме? Я спрашиваю, как закрыть от индексации страницы, которые открываются по тегам конце материалов...Теги не метатеги.. с помощью метатег а могу прописать к материалам метатеги , что я и делаю...

Аватар пользователя DD 85 DD 85 2 августа 2014 в 20:05

Ну, если Вам этого мало!?
То
/admin/config/search/metatags/config/taxonomy_term -> Расширенный -> Robots -> Запретить индексирование этой страницы поисковыми машинами.