robots.txt в Drupal 7 и яндекс.

Главные вкладки

Аватар пользователя andron13 andron13 19 апреля 2011 в 11:37

Сразу к сути.
Структура комментариев в семёре изменилась. А роботс остался от шестёрки.
В семёрке нет удаления дублированного контента по урлу /comment/ .

Disallow: /comment/
стоит добавить на любой русскоязычный сайт. Яндекс может не понять юмора на сайте с парой тысяч каментов.

Пример исправленного роботса, с добавленной хост директивой тута.

Комментарии

Аватар пользователя andypost@drupal.org andypost@drupal.org 19 апреля 2011 в 13:41

Ждём отзывов и коментов http://goo.gl/k8wnd

думаю, что правильнее заменить старый /comment/reply/ просто на /comment/

diff --git a/robots.txt b/robots.txt
index 490fa59..9ebf3c0 100644
--- a/robots.txt
+++ b/robots.txt
@@ -39,7 +39,7 @@ Disallow: /UPGRADE.txt
 Disallow: /xmlrpc.php
 # Paths (clean URLs)
 Disallow: /admin/
-Disallow: /comment/reply/
+Disallow: /comment/
 Disallow: /node/add/
 Disallow: /search/
 Disallow: /user/register/
@@ -48,7 +48,7 @@ Disallow: /user/login/
 Disallow: /user/logout/
 # Paths (no clean URLs)
 Disallow: /?q=admin/
-Disallow: /?q=comment/reply/
+Disallow: /?q=comment/
 Disallow: /?q=node/add/
 Disallow: /?q=search/
 Disallow: /?q=user/password/