Как полностью скрыть сайт от поисковиков?

Главные вкладки

Комментарии

Аватар пользователя univerico univerico 27 апреля 2018 в 9:43

Мне на хостинге порекомендовали закрыть паролем при входе на сайт, т.е., если нужно закрыть от поисковиков, то перед тем как зайти на сайт (не как админ или юзер, а просто увидеть сайт), я ввожу логин и пароль. Не могу сказать, связано ли это с basic auth, настраивали в файле .htpasswd. После создания файла и указания там данных, в файле .htaccess нужно указать полный путь к файлу .htpasswd.
Ограничение по IP тоже рекомендовали делать через через .htaccess.

Аватар пользователя gun_dose gun_dose 27 апреля 2018 в 10:16

В гугле полно страниц, где в описании написано что-то вроде "описание страницы недоступно из-за ограничений в файле robots.txt.

Аватар пользователя pselfin pselfin 27 апреля 2018 в 10:22
1

Вылетают со временем, морды могут остаться, если искать по названию домена.
В целом человеку уже дали два метода - авторизация, роботс.
А что человек имел ввиду, вообще не понятно. Так что этого более чем достаточно, полагаю)

Аватар пользователя Кришпер Кришпер 27 апреля 2018 в 10:43

Почему непонятно? Я просто делаю клон сайта чисто для тестовых работ в режиме онлайн, от и надо сделать так, что бы его страницы поисковики не индексировали. Вообще мб, конечно, лучше просто
сделать у него препроцессор html чтоб был редирект на оригинальный сайт?

Аватар пользователя Andruxa Andruxa 27 апреля 2018 в 12:26

Дев/тест/стейдж версии сайтов обычно размещают на технических субдоменах, до которых поисковикам нет никакого дела.
Можно вообще не делать записи в NS для таких субдоменов, а прописать их в hosts.
Если клиенту надо показывать тест/стейдж версию, и вариант с hosts не прокатывает - такие хосты можно закрывать Basic Http Auth, и для спокойствия клиента - ещё в robots.txt: Disallow: /
Главное, потом этот роботс на прод не выкатить )

Аватар пользователя alsagan alsagan 27 апреля 2018 в 13:23

Извините за, возможно, глупый вопрос. А перевод друпал-сайта в режим обслуживания не решает эту задачу?

Аватар пользователя alsagan alsagan 27 апреля 2018 в 15:21

Зачем под анонимом? Заводишь специальную роль где из всех дополнительных прав (сверх анонима) только просмотр сайта в режиме обслуживания и профит.
Или я не прав?

Аватар пользователя bsyomov bsyomov 27 апреля 2018 в 17:43

Нет, не прав, так как сайт для анонимных пользователей работает иначе, например в случае кеширования. К тому же могут по разному формироваться данные, могут быть другие наборы блоков и тому подобное.

Аватар пользователя Andruxa Andruxa 27 апреля 2018 в 13:53

В режиме обслуживания сайт будет доступен суперпользователю с uid=1
Фронт, который отображается для админа, отличается от фронта, который видит обычный пользователь.
Cамый простой пример:

.contextual-links-region {position: relative;}
Аватар пользователя Andruxa Andruxa 27 апреля 2018 в 14:39

Чтобы потестить, надо сначала сделать. Вот и делают под админом, а потом удивляются - ой, а чойта у анона все развалилось.
Да что там фронты, мне тестеры попадались, которые под админом тестили, ваще ребята.