Индексация страниц

Аватар пользователя HooliganS HooliganS 14 сентября 2012 в 12:32

Добрый день. Уважаемые помогите советом, я где то вычитал в паутине такую вещь. В друпал 7 при создании материала который можно комментировать к примеру артикл происходит следующее: создавая страницу pathauto присваивает ей определённый ЧПУ, но когда к данной странице добавляют комментарий к примеру, эта страница воспринимается системой как другая и далее и далее, итог при хорошем архиве новостей всё это индексируется и получаем огромный выхлоп в поисковик, страниц в индексе много, получается нужные будут пере индексироваться гораздо реже, как вариант предлагают при помощи роботс.тхт вообще закрывать материал который комментируется, а какую директорию закрывать не рассказали.
Подскажите пожалуйста, на сколько это вообще правда? И если правда то как лучше поступить?
Как вариант на будущее подскажите пожалуйста куда действительно собираются материалы типа Артиклс, к комментариям это не относиться, но просто если новостей бывает много их действительно особо индексировать все не стоит. Что требуется закрыть в роботе.
Спасибо большое за помощь.

Комментарии

Аватар пользователя Айдар Айдар 14 сентября 2012 в 13:10

Уважаемый Андрей, статья остается по одному адресу в случае, если установлен модуль Global Redirect, вероятно, Вы имеете ввиду смену урлов самих комментариев - да, каждый комментарий в этом случае имеет свой урл-адрес.

Чтобы каждый комментарий не индексировался поисковыми системами (ведь в этом случае каждый комментарий будет на своей странице иметь и текст статьи), а индексировалась только статья со всеми комментариями, в robots.txt необходимо прописать:

Disallow: /comment/

Аватар пользователя HooliganS HooliganS 14 сентября 2012 в 13:33

k_dmitry и тебе тоже огромное спасибо, статейка очень нужная теперь понял что к чему.