16 февраля 2017 в 15:54
Ребят поделитесь опытом, каким должен быть правильный Robots txt?
Как правильно прописать Robots txt когда сайт на https
Главные вкладки
16 февраля 2017 в 15:54
Комментарии
Чисто интуитивно - точно таким же, как и без https
А код можете показать? я понимаю как работает интуитивно. Просто в инете нашел пару. Хочу еще у гуру увидеть. Тем более темы на форуме тут не нашел. Она полезна для новичков. Буду благодарен.
Оф. справка:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
https://support.google.com/webmasters/answer/6062608?hl=ru
2 примера "у гуру":
http://drupal.ru/robots.txt
https://www.drupal.org/robots.txt
А вообще это лучше к сеошникам (не к ночи будет помянуто).
В роботах же не указывается ни протокол, ни домен. Вообще должно быть без разницы.
host указывается. но не друпалом. яндекс напоминает, если host в роботс отсутствует
Всем спасибо. Нашел в справке, что мне надо. ссылку на него не дает только поставить где нашел. Переход такой: Вебмастер.Обратная связь-Смена адреса сайта,зеркала-Смена адреса и протокола
Единственное отличие в последней строке:
для http протокол можно было не указывать, а для https обязательно указать.
Host: https://site.ru или Host: https://www.site.ru
то есть в роботе тхт Host: https://www.site.ru прописывается по друпалу?