Мультисайтинг и robots.txt - простое решение

Аватар пользователя WiseMan

Всем кто знает зачем нужен robots.txt и насколько он важен для продвижения.

Нашел довольно простой способ как управлять файлом robots.txt в мультисайтинге, делая его уникальным под каждый сайт. Как раньше не догадался, а решение-то на поверхности.

Просто берем и используем SSI. Если у вас Apache.

Другими словами в robots.txt прописываем следующее:

<!--#if expr=" \"${HTTP_HOST}\" != \"www.site.ru\" " -->
# здесь стандартные правила из robots.txt по умолчанию - не забываем!
# + ваши правила
User-Agent: *
Disallow: /
<!--#endif -->

В этом файле будет запрещена индексация всего сайта www.site.ru. Естественно, вы можете использовать свои правила, например, для указания главного зеркала Яндексу.

Иногда SSI надо включать. Обратитесь в тех. поддержку хостинга.

Проверить результат можно пройдя по адресам:

http://www.site.ru/robots.txt
http://другое_имя_сайта_из_мультисайтинга.ru/robots.txt
и т.п.

Если все работает, то результаты должны отличаться.

К слову, есть и более сложный вариант реализации управления файлом robots.txt

Выбирайте, кому какой ближе и удобней.

Версия Drupal:
0 Thanks

Комментарии

Аватар пользователя VladSavitsky
VladSavitsky 10 лет назад

Подшиваем такое решение!...

Аватар пользователя Demimurych
Demimurych 10 лет назад

интересно, кто то еще принимает во внимания правила из робост тикст. ?
гугл на них кладет с высокой горки например

Аватар пользователя WiseMan
WiseMan 10 лет назад

Возможно гугл на них кладет, но для рунета уже весьма важно, что Яндекс правилам из robots.txt придает значение.

И даже более того, ввел свое правило для указания главного зеркала сайта.

Аватар пользователя VladSavitsky
VladSavitsky 10 лет назад

Я так понял, что можно использовать так:

общие правила
...
<!--#if expr=" \"${HTTP_HOST}\" = \"www.site.ru\" " -->
правила специфичные для сайта site.ru
...
<!--#endif -->

Да?

Аватар пользователя WiseMan
WiseMan 10 лет назад

Конечно. Весьма хороший вариант, чтобы не плодить лишнего.

Аватар пользователя Valeratal
Valeratal 9 лет назад

пригодится

Аватар пользователя egrik
egrik 8 лет назад

alexmethod, что за ошибка то?
На хостинге вы имеете доступ для исполнения SSI?
Вы настроили SSI, чтобы он "обрабатывал" txt файлы, а не только (по умолчанию) shtml?

Аватар пользователя PVasili
PVasili 8 лет назад
Demimurych написал:
гугл на них кладет с высокой горки например

хм... не замечал. в вебмастере все ошибки вываливает и все директивы для себя выполняет