Откуда Яндекс мог узнать адрес вьюхи, которую я открыл для экспериментов на пару дней?

Аватар пользователя marassa marassa 31 августа 2020 в 17:44

Тут довольно часто люди спрашивают как удалить из Гугла/Яндекса кучу "несуществующих" страниц, которые каким-то образом оказались в поисковых базах. На это всегда следует ответ, что Гугл и Яндекс адресов никогда не выдумывают, а могут их взять только с существующих страниц. И как правило в каждом конкретном случае находится вполне рациональное объяснение тому, откуда и как эти мусорные страницы появились в базах поисковых систем.
Но вот случился со мной такой случа́й, которому не могу я найти рационального объяснения. На днях на форуме спрашивали про коробочное представление Glossary. С первого раза я его даже не нашел у себя, потом нашел в отключенных, и, чисто из любопытства, включил и немного с ним поковырялся. На проде, естественно - где же ещё? Wink Потом через пару суток отключил обратно. И сразу в логе увидел как по многочисленным адресам /glossary/* исступлённо колотится яндекс-бот. И даже сейчас, спустя несколько суток после отключения представления, этот адрес есть в яндекс-выдаче при правильном поисковом запросе.
Вопрос: откуда Яндекс мог узнать об этом адресе? Никаких ссылок на этот адрес с публично доступной части сайта быть не могло. С других сайтов тем более. Никаких яндекс-метрик и гугл-аналитик на сайте нет. Как, каким образом?

Комментарии

Аватар пользователя VVS VVS 31 августа 2020 в 18:54

расширения разные сливают данные в яндекс, антивирус тот же "бесплатный", браузер "бесплатный" тоже.

Аватар пользователя marassa marassa 31 августа 2020 в 19:26

Я смысла в этом никакого не вижу. Я же могу ещё по интранетам всяким шариться, сайтам с закрытым доступом и т.д. - Яндекс всё это будет пытаться проиндексировать? А зачем?

Аватар пользователя VVS VVS 1 сентября 2020 в 16:25

Это плата за бесплатность, знать яндексу всё, чем вы интересуетесь "смерды" - это ж его хлеб, показывать более релевантную интересам рекламу.