Тут довольно часто люди спрашивают как удалить из Гугла/Яндекса кучу "несуществующих" страниц, которые каким-то образом оказались в поисковых базах. На это всегда следует ответ, что Гугл и Яндекс адресов никогда не выдумывают, а могут их взять только с существующих страниц. И как правило в каждом конкретном случае находится вполне рациональное объяснение тому, откуда и как эти мусорные страницы появились в базах поисковых систем.
Но вот случился со мной такой случа́й, которому не могу я найти рационального объяснения. На днях на форуме спрашивали про коробочное представление Glossary. С первого раза я его даже не нашел у себя, потом нашел в отключенных, и, чисто из любопытства, включил и немного с ним поковырялся. На проде, естественно - где же ещё? Потом через пару суток отключил обратно. И сразу в логе увидел как по многочисленным адресам /glossary/* исступлённо колотится яндекс-бот. И даже сейчас, спустя несколько суток после отключения представления, этот адрес есть в яндекс-выдаче при правильном поисковом запросе.
Вопрос: откуда Яндекс мог узнать об этом адресе? Никаких ссылок на этот адрес с публично доступной части сайта быть не могло. С других сайтов тем более. Никаких яндекс-метрик и гугл-аналитик на сайте нет. Как, каким образом?