robots.txt

Запрет на индексацию страницы в поддоменах

Аватар пользователя kolyuchy.org

Всем здравствуйте!

Задача примерно такая.
Есть сайт site.com и есть бесчисленное количество поддоменов вида sub.site.com.
На сайте site.com есть страница site.com/news, причем на поддоменах sub.site.com/news она тоже открывается.
А хочется, чтобы не открывалась.

Страница формируется модулем views, используется также модуль domain для организации поддоменов.

Самое первое, что напрашивается - ограничить вывод views только в определенном домене, но как это сделать, ума не приложу...

0 Спасибо

вопросы по SEO(robots.txt)

Аватар пользователя Sven

Здравствуйте, я который день пытаюсь вникнуть в robots.txt и пока видел касательно друпала только примеры начального файла, которые ни у кого в комментах не вызывают вопросов от чего-то. но я хочу настроить хорошо и у меня возникает ряд вопросов.

0 Спасибо

Проблема с модулем robots.txt на Drupal 7 (мультисайт)

Аватар пользователя zwicky

Проблема с модулем robots.txt на Drupal 7 (для мультисайта).
kross.by/robots.txt - Not Found 404
kross.com.ru/robots.txt - Работает.
krossovkiopt.ru/robots.txt - Работает
Возможно проблема в неправильно разделенной базе данных.

Прошу предложить стоимость за решение данной проблемы.
Пишите на почту zwicky@mail.ru или скайп bsb-belarus

0 Спасибо

Заблокированные ресурсы(js, css), Google, Robots.txt

Аватар пользователя chatanin

Доброго времени суток обнаружил что google в webmastere ругается на заблокированные ресурсы JavaScript и CSS в файле Robots. Просит к ним доступ и грозится в противном случае понизить в выдаче. Ресурсы лежат в misc и modules. Подскажите пожалуйста как поправить

0 Спасибо

Два robots.txt на сайте. Помогите настроить

Аватар пользователя Ines

Добрый день друпаллеры, вынужденна снова обратиться за вашей помощью!

Имеется два доменных имени - SITE1.COM и SITE2.COM. Через файл .htaccess уже настроены переадресация с www на без www, а также редирект с алиаса на основной домен. В robots.txt также прописана директива Host: SITE1.COM и если с Яндексом проблем нет никаких, то Гугл (!!!) к сожалению индексирует сайт по обеим доменам.

0 Спасибо

Как убрать не чистые ссылки

Аватар пользователя meyirimbek

Здравствуйте. Подскажите пожалуйста, как закрыть или удалить от индексации страницы заканчивающиеся на ?qt-_none_=0 (0,1,2,3). При анализе сайта на дубли страниц, Google Web Master находит много дубли заканчивающиеся на это. Спасибо. В robots.txt указал не индексировать это. Но бесполезно. Спасибо.

0 Спасибо

Помогите закрыть субдомен от индексации! (сайт на друпале)

Аватар пользователя krock

Привет!

Сделан мультисайтинг на друпале. Получились домены:

site.ru
ua.site.ru

ua.site.ru очень похож на site.ru (хотя и не копия), поэтому его надо пока закрыть от индексации.
Рады бы положить роботс в корень субдомена, но никакого корня, как вы понимаете, нет.

Пробовали вот так: http://forum.searchengines.ru/showthread.php?t=81151
не работает. Отдаёт старый.

Кто возьмётся за вознаграждение?
Спасибо!

0 Спасибо

Нужно ли закрывать от индексации страницы вида book/export/...

Аватар пользователя MaxPal

Здравствуйте.

Подскажите пожалуйста, нужно ли блокировать страницы с подобными урл в файле роботс.ткст? Вопрос уже обсуждался, но стало интересно, а не пострадает ли сайт, поскольку довольно много страниц такого типа проиндексировано, и если вдруг все они вылетят из поиска, как это отразится на сайте?

..../book/export/html/2627
..../book/export/html/118

и как точнее с точки зрения сео и яндекса прописать директиву? Так: Disallow: /book/export/html ?

заранее спасибо за советы

0 Спасибо

Robots.txt для Drupal6

Аватар пользователя avast@

Здраствуйте уважаемые друпаводы -)), есть вопрос, что означает написание в директории
Disallow: /node/
Будут ли индексироваться ноды?

Так же интересует написание
Disallow: /node
Что означает это?
Пожалуйста напишите!

0 Спасибо

Периодически выпадает сохраненная копия главной страницы из Яндекс

Аватар пользователя julia_ryazan

Добрый день.
Есть 2 сайта на Drupal 7, в обоих случаях одна и та же ошибка (или неправильная настройка): главные страницы периодически выпадают из индекса Яндекс, пропадает сохраненная копия только главной страницы (в связи с чем сайт резко теряет позиции в Яндекс).
Вроде бы у дублирующих страниц прописаны canonical, в индексе нет дублей, сайты без краденного контента, поддержка Яндекса при очередном обращении просто добавляет главную страницу в индекс и пишет, ждите, все будет ОК, но ситуация повторяется.

0 Спасибо

неправильный robots.txt

Аватар пользователя greengarden@narod.ru

Здравствуйте!
В корне сайта лежит robots.txt один, а по адресу http://sadovod-moskva.ru/robots.txt и Яндексу отдается совершенно другой, причем Яндексу отдается то один роботс, то другой, когда еще раз нажимаешь на "загрузить роботс с сайта", причем оба роботса не те, не из корня.
Поиск через админку не дал результатов, находится роботс, из корня, а отдается вообще джумловский. Откуда он берется?
Никогда такого не видел, помогите, кто знает!!!!!!!!!!!!!!!!!!!

0 Спасибо

Запрет дублирования контента https в htaccess

Аватар пользователя Thor

Обнаружил, что робот Яндекса проиндексировал весь сайт, точнее будет сказать продублировал по протоколу https, то есть получилось по сути 2 сайта с одним и тем же контентом, один сайт как положено http:// а другой сайт https://
Для СЕО это конечно минус, поисковики не любят дубли!

Вопрос у меня такой, кто знает подскажите пожалуйста, каким образом в htaccess можно создать для https:// свой robots.txt с запретом индексации? То есть нужно что бы при запросе по http:// был 1 robots.txt, а при обращении к сайту по https:// выдавался бы уже другой robots.txt

Какими способами это можно реализовать? Я попробовал делать так в htaccess..

Первоначально создал robots.txt с именем -- robots-https.txt

В htaccess указал так..

RewriteEngine on

RewriteCond %{HTTPS} on

0 Спасибо

Подскажите по robots.txt

Аватар пользователя andrey-z

Здравствуйте! Помогите разобраться с robots.txt

Есть такие адреса странниц
сайт.ру/moon/phases/calendar

и ее наследственные странницы типа
сайт.ру/moon/phases/calendar?month=8&year=2011
сайт.ру/moon/phases/calendar?month=9&year=2011
и т.д..

Как правильно прописать в robots чтобы первую сайт.ру/moon/phases/calendar оставить для индексации, а остальные закрыть?Буду благодарен за помощь.

0 Спасибо

Яндекс индексирует только главную страницу.

Аватар пользователя koodry

У меня был домен на нем размещался не уникальный контент. Затем я разместил на нем новостной сайт с 100% уникальным контентом. Гугл проиндексировал все сразу, яндекс добавил только главную.

Потом купил домен wallpy.ru и перенес на него сайт. Яндекс проиндексировал 23 страницы из 150, никаких исключений, загружено роботом тоже 23. После последней яндекс выдачи ничего не изменилось.

Сайт обновляется раз в 1-2 дня.

Может быть модули какие блокируют. Еще где то читал что robots.txt может блокировать.

Помогите пожалуйста..

0 Спасибо

Мусор в индексе! Помогите!!!

Аватар пользователя Мария 2010

Здравствуйте, уважаемые коллеги!

Сегодня посмотрела какие страницы моего сайта в индексе Яши и чуть не упала. СТОЛЬКО МУСОРА!!!!

Например: множество страниц с такими адресами www.мой-сайт.ru › user/register?page=56

А также множество таких:

http://www.мой-сайт.ru/user/register?destination=node%2F936%23comment-form

Как закрыть всё это от индексации?

И что удивительно - нужные страницы из подшивок не добавляются :(((

0 Спасибо

Как запретить индексацию поисковиками профилей пользователей?

Аватар пользователя Мария 2010

Здравствуйте!

Подскажите как в файле robots.txt закрыть от индексации профили пользователей?

Путь к пользователю такой: http://www.мой_сайт.ru/users/имя_пользователя

Заранее благодарна всем ответившим.

0 Спасибо

Internal SEO в Drupal 6 от А до Я

Аватар пользователя Shift-Web

Internal SEO в Drupal 6 от А до Я

Внутренняя оптимизация Drupal

Введение в Drupal iSEO

Есть мнение, что друпал трудный и негибкий, имеет кучу недостатков и плохо индексируется, что делать на друпал маленькие сайты неразумно и затратно. Так ли это на самом деле и как избежать SEO граблей молодому сайту? Несомненно порог входа в индустрию играет определённую роль и будьте готовы к трудностям, тем не менее на Друпал можно всё! Достаточно немного свободного времени на изучение и желание учиться.

0 Спасибо

Закрыть от индексации?

Аватар пользователя kpv_dnepr@drupal.org

Hello world))

Короткий вопрос, как закрыть от индексации страницы типа

user/register?destination=node%2F1316%23comment-form
user/login?destination=node%2F229%23comment-form

страницы такие вроде как есть, боты по ним ходят, а вот доступ запрещен.

Что это за страницы?

0 Спасибо

(!!!) ROBOTS.TXT (!!!)

Аватар пользователя galaystra

Господа! Я совсем ничего не понимаю: У кого-нить есть ПРАВИЛЬНЫЙ robots.txt? Который не допускает к индексу именно то, что "попросишь"?
Пример:

0 Спасибо

Индексация картинок

Аватар пользователя webroid

Оказалось, по умолчанию в robots.txt закрыта папка sties/ где, собственно, лежат в основном все картинки, если кто-то, конечно, не переделал путь. Какое коварство со стороны друпальщиков! :) Никому нельзя доверять. Источник

0 Спасибо