Два robots.txt на сайте. Помогите настроить

Главные вкладки

Аватар пользователя Ines Ines 30 марта 2015 в 20:33

Добрый день друпаллеры, вынужденна снова обратиться за вашей помощью!

Имеется два доменных имени - SITE1.COM и SITE2.COM. Через файл .htaccess уже настроены переадресация с www на без www, а также редирект с алиаса на основной домен. В robots.txt также прописана директива Host: SITE1.COM и если с Яндексом проблем нет никаких, то Гугл (!!!) к сожалению индексирует сайт по обеим доменам.

Перекопала интернет и поняла, что нужно править .htaccess предварительно создав альтернативный robots.txt для алиаса и через него полностью запретить индексацию. Кто уже сталкивался с такой проблемой? Помогите разобраться!

Буду благодарна за любую помощь!

Комментарии

Аватар пользователя Ines Ines 30 марта 2015 в 22:35

Plazik wrote:
У вас мультисайтинг или что?
Попробуйте https://www.drupal.org/project/robotstxt[/quote]

Нет не мультисайтинг, просто два домена, один основной, другой зеркало на него. Нужно сделать так чтобы гугл не индексировал зеркало.

Аватар пользователя Ines Ines 30 марта 2015 в 22:38

Plazik, вы мне уже однажды помогли здесь решить одну проблему. Очень рассчитываю и сейчас на ваш опыт.

Аватар пользователя Plazik Plazik 31 марта 2015 в 8:48

По хорошему с зеркала надо ставить 301 редирект на основной сайт. Гугл будет индексировать сайт, даже если он закрыт в robots.txt.

Аватар пользователя Ines Ines 31 марта 2015 в 12:21

Plazik wrote:
По хорошему с зеркала надо ставить 301 редирект на основной сайт. Гугл будет индексировать сайт, даже если он закрыт в robots.txt.

Редирект уже поставлен и корректно работает, но вот гугл все-равно индексирует сайт по обеим доменам.

Аватар пользователя Plazik Plazik 31 марта 2015 в 14:59

Не может такого быть. Если редирект настроен для всех страниц, то гугл никак не получит доступ к сайту, с которого идет редирект.

Аватар пользователя Ines Ines 31 марта 2015 в 15:39

Plazik wrote:
Не может такого быть. Если редирект настроен для всех страниц, то гугл никак не получит доступ к сайту, с которого идет редирект.

Возможно вы правы, ведь сайт пока молодой. На основном домене проиндексировано уже 120 страниц, а на зеркале всего 17... может быть Гугл еще склеит домены и все будет окей. Если есть еще какие-то решения данной проблемы пишите!

Аватар пользователя Ines Ines 31 марта 2015 в 19:16

Plazik wrote:
У вас у самой редиректы все нормаль работают?
Если сомневаетесь, скиньте сайты, я гляну.

Нет, спасибо! Я на 100% уверенна, что редиректы работают правильно.

Аватар пользователя Plazik Plazik 1 апреля 2015 в 8:56

Тогда надо просто подождать, когда гугл выкинет из индекса старый сайт. Вы еще можете в панеле вебмастера гугла указать ему, что сайт переехал с одного адреса на другой, так он быстрее их склеит.