robots.txt в Drupal 7 и яндекс.

Аватар пользователя andron13

Сразу к сути.
Структура комментариев в семёре изменилась. А роботс остался от шестёрки.
В семёрке нет удаления дублированного контента по урлу /comment/ .

Disallow: /comment/
стоит добавить на любой русскоязычный сайт. Яндекс может не понять юмора на сайте с парой тысяч каментов.

Пример исправленного роботса, с добавленной хост директивой тута.

0 Thanks

Комментарии

Аватар пользователя andypost@drupal.org
andypost@drupal.org 7 лет назад

Ждём отзывов и коментов http://goo.gl/k8wnd

думаю, что правильнее заменить старый /comment/reply/ просто на /comment/

diff --git a/robots.txt b/robots.txt
index 490fa59..9ebf3c0 100644
--- a/robots.txt
+++ b/robots.txt
@@ -39,7 +39,7 @@ Disallow: /UPGRADE.txt
 Disallow: /xmlrpc.php
 # Paths (clean URLs)
 Disallow: /admin/
-Disallow: /comment/reply/
+Disallow: /comment/
 Disallow: /node/add/
 Disallow: /search/
 Disallow: /user/register/
@@ -48,7 +48,7 @@ Disallow: /user/login/
 Disallow: /user/logout/
 # Paths (no clean URLs)
 Disallow: /?q=admin/
-Disallow: /?q=comment/reply/
+Disallow: /?q=comment/
 Disallow: /?q=node/add/
 Disallow: /?q=search/
 Disallow: /?q=user/password/
Аватар пользователя andypost@drupal.org
andypost@drupal.org 7 лет назад

А кто вообще автор того патча... я предложил - тестируйте, проверяйте, а у меня всё работает :)

Аватар пользователя Valeratal
Valeratal 7 лет назад

спасибо, полезно

Аватар пользователя Vydrin_AP
Vydrin_AP 7 лет назад

Уже пробую, о результатах отпишусь.

Аватар пользователя andron13
andron13 7 лет назад

до сих пор не исправлено. пичалька

Аватар пользователя andron13
andron13 6 лет назад

ну мне как то пофиг. я про баг один раз сказал. вот продолжение истории.
http://drupalace.ru/comment/3209#comment-3209
Когда ваши проекты под агс сотнями уходить начнут, то я буду мило улыбаться.