2 сентября 2013 в 13:30
Программисты не берутся собрать файл robots.txt, хочу попросить пользователей помочь закрыть ненужные страницы движка Drupal6 от поисковых систем.
Проблема в том, что сайт участвует в бирже ссылок и в поиске площадок для оптимизаторов выдаётся мой сайт с большой разницей индекса Google (63000) и Yandex (14000), а для них - это первое правило: "подобные площадки не использовать".
Уверен, что Ваш многолетний опыт мне поможет!
Вот что имеется:
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Полагаю к моему robots добавить строчки:
Disallow: /taxonomy/term/
Disallow: /devel/
#Строчка pm под вопросом, так как сюда закрыт доступ
Disallow: /pm/
#или что мне закрыть, чтобы убрать все страницы? http://yarcube.ru/top-rated и http://yarcube.ru/top-rated-points (здесь их больше 1000)
Disallow: /node/*votes
Disallow: /top-rated
Disallow: /top-rated-points
Host: домен.ru
Sitemap: http://домен.ru/rss.xml
Какие ещё строчки добавить, чтобы в индексе Google не было 60000 страниц, вместо 14000, которые нашёл Yandex.
Комментарии
Нашёл robots одного из пользователей
http://www.drupal.ru/comment/reply/77847/464112
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: googlebot
#созданная мной страничка
Disallow: /404
Disallow: /themes/
Disallow: /cron.php
Disallow: /update.php
#убиваем дубли
Disallow: /comment/reply/
#гугль упорно сканит html код страниц, а там линки на фиды таксономии в head, на сайте синонимы
Disallow: /taxonomy/term/
#забыл поставить галочку, чтобы юзеры не могли проглядывать историю голосований в правах доступа
Disallow: /node/*votes
User-agent: yandex
Disallow: /404
Disallow: /themes/
Disallow: /cron.php
Disallow: /update.php
Disallow: /comment/reply/
Disallow: /taxonomy/term/
Disallow: /node/*votes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Подскажите, нужно использовать этот шаблон или добавить его строки к моему стандартному?