Индексирование несуществующих страниц

Главные вкладки

Аватар пользователя SergOZ SergOZ 24 апреля 2020 в 18:46

Приветствую всех!
В крайнее время стал на странице Яндекс.Вебмастер замечать, что поисковик пытается индексировать страницы, которых не существует, о чем ему сразу прилетает ответ в виде 404 ошибки.
Дело все в том, что он пытается индексировать страницу, в URL которого в конце прибавляется рандомно от 1 и более символов и не находя такой странички присваивает статус 404. Тех.поддержка сказала, что скорее всего сайт сам генерирует ссылки такого рода и дает роботу для индексирования.

Так же в поисковый индекс стали попадать каким то образом ссылки такого вот вида

Я понимаю, что можно закрыть от индексирования в robots.txt директорию /addticket/, как это было сделано с двумя другими веб-формами, но хочется разобраться, что друг поломалось в работе сайта. Такого рода ссылки появляются в поиске спустя пару дней, когда кто то заполняет веб-форму. Обе эти проблемы появились одновременно около месяца, ну или чуть больше, назад.
Сам сломал голову пытаясь найти закономерности и взаимосвязи, но моего уровня "любителя" тут явно не достаточно.

Drupal core 8.8.5.
Все модули обновленны до самых новых версий.

Заранее благодарю за наводки, куда посмотреть и как это исправить.

Комментарии

Аватар пользователя SergOZ SergOZ 25 апреля 2020 в 17:56

По идеи быть не должны, проверял даты создания/изменения файлов - все как положено. В коде, так же, вроде, ничего лишнего не обнаружил.

Аватар пользователя marassa marassa 25 апреля 2020 в 18:47

А там же в Яндекс.Вебмастере в разделе Ссылки нет ли каких-нибудь стремных сайтов, ссылающихся на эти несуществующие страницы? Или страниц на самом Вашем сайте, ссылающихся на эти страницы? Откуда-то же Яндекс их берет, сам он ничего не выдумывает.

Аватар пользователя SergOZ SergOZ 26 апреля 2020 в 11:13

Проверял, нет ни в ссылках, ни в страницах на сайте, ссылающиеся куда-либо, кроме сайтов партнеров.
Я понимаю, что паук из головы их придумывает, поэтому и обратился к помощи, в решении этой нелегкой проблеме

Аватар пользователя pselfin pselfin 26 апреля 2020 в 11:51

Паук из головы не придумывает ничего, он ходит по ссылкам. Кто их генерирует - сам сайт (вероятнее) или внешний - вот это вопрос.
Просканируйте ваш сайт с помощью SEO Sceaming Frog или иным пауком, возможно что-то найдете.

Аватар пользователя SergOZ SergOZ 26 апреля 2020 в 15:05

Спасибо за очень интересную утилиту, думаю в будущем она еще ни раз мне пригодиться, но вот сканирование подозрительных ссылок, или несуществующих страниц не выявило.
Вот и пытаюсь понять, что именно эти несуществующие ссылки на сайте и генерирует и откуда "ноги растут"...