27 апреля 2018 в 9:13
Как полностью скрыть сайт от поисковиков? Чтоб прям ни одной страницы поисковики не видели.
Как полностью скрыть сайт от поисковиков?
Главные вкладки
27 апреля 2018 в 9:13
Комментарии
Поставьте basic auth или ограничьте только своими IP
Роботс не гарантия, роботс - рекомендация для ботов.
Мне на хостинге порекомендовали закрыть паролем при входе на сайт, т.е., если нужно закрыть от поисковиков, то перед тем как зайти на сайт (не как админ или юзер, а просто увидеть сайт), я ввожу логин и пароль. Не могу сказать, связано ли это с basic auth, настраивали в файле .htpasswd. После создания файла и указания там данных, в файле .htaccess нужно указать полный путь к файлу .htpasswd.
Ограничение по IP тоже рекомендовали делать через через .htaccess.
Да, это оно и есть.
А в htacces можно каким-нить правилом ботов отвадить?
в robots.txt
Disallow: /И в индекс не пойдет.
В гугле полно страниц, где в описании написано что-то вроде "описание страницы недоступно из-за ограничений в файле robots.txt.
Вылетают со временем, морды могут остаться, если искать по названию домена.
В целом человеку уже дали два метода - авторизация, роботс.
А что человек имел ввиду, вообще не понятно. Так что этого более чем достаточно, полагаю)
Почему непонятно? Я просто делаю клон сайта чисто для тестовых работ в режиме онлайн, от и надо сделать так, что бы его страницы поисковики не индексировали. Вообще мб, конечно, лучше просто
сделать у него препроцессор html чтоб был редирект на оригинальный сайт?
Сделайте http авторизацию. Для данного кейса это наиболее подходящее решение.
Дев/тест/стейдж версии сайтов обычно размещают на технических субдоменах, до которых поисковикам нет никакого дела.
Можно вообще не делать записи в NS для таких субдоменов, а прописать их в hosts.
Если клиенту надо показывать тест/стейдж версию, и вариант с hosts не прокатывает - такие хосты можно закрывать Basic Http Auth, и для спокойствия клиента - ещё в robots.txt: Disallow: /
Главное, потом этот роботс на прод не выкатить )
Извините за, возможно, глупый вопрос. А перевод друпал-сайта в режим обслуживания не решает эту задачу?
Вы не сможете проверять под анонимом что-нибудь...
Зачем под анонимом? Заводишь специальную роль где из всех дополнительных прав (сверх анонима) только просмотр сайта в режиме обслуживания и профит.
Или я не прав?
Нет, не прав, так как сайт для анонимных пользователей работает иначе, например в случае кеширования. К тому же могут по разному формироваться данные, могут быть другие наборы блоков и тому подобное.
В режиме обслуживания сайт будет доступен суперпользователю с uid=1
Фронт, который отображается для админа, отличается от фронта, который видит обычный пользователь.
Cамый простой пример:
Самое главное - принципиально разные пермишены для админа и анонима в режиме обслуживания
Ну, анон-то увидит заглушку.
А что толку от заглушки, если тебе анонимом нужно потестить Ajax например?
Чтобы потестить, надо сначала сделать. Вот и делают под админом, а потом удивляются - ой, а чойта у анона все развалилось.
Да что там фронты, мне тестеры попадались, которые под админом тестили, ваще ребята.