Приветствую всех!
В крайнее время стал на странице Яндекс.Вебмастер замечать, что поисковик пытается индексировать страницы, которых не существует, о чем ему сразу прилетает ответ в виде 404 ошибки.
Дело все в том, что он пытается индексировать страницу, в URL которого в конце прибавляется рандомно от 1 и более символов и не находя такой странички присваивает статус 404. Тех.поддержка сказала, что скорее всего сайт сам генерирует ссылки такого рода и дает роботу для индексирования.
Так же в поисковый индекс стали попадать каким то образом ссылки такого вот вида
Я понимаю, что можно закрыть от индексирования в robots.txt директорию /addticket/, как это было сделано с двумя другими веб-формами, но хочется разобраться, что друг поломалось в работе сайта. Такого рода ссылки появляются в поиске спустя пару дней, когда кто то заполняет веб-форму. Обе эти проблемы появились одновременно около месяца, ну или чуть больше, назад.
Сам сломал голову пытаясь найти закономерности и взаимосвязи, но моего уровня "любителя" тут явно не достаточно.
Drupal core 8.8.5.
Все модули обновленны до самых новых версий.
Заранее благодарю за наводки, куда посмотреть и как это исправить.
Комментарии
вирусы могут быть? у меня вроде все нормально.
По идеи быть не должны, проверял даты создания/изменения файлов - все как положено. В коде, так же, вроде, ничего лишнего не обнаружил.
А там же в Яндекс.Вебмастере в разделе Ссылки нет ли каких-нибудь стремных сайтов, ссылающихся на эти несуществующие страницы? Или страниц на самом Вашем сайте, ссылающихся на эти страницы? Откуда-то же Яндекс их берет, сам он ничего не выдумывает.
Проверял, нет ни в ссылках, ни в страницах на сайте, ссылающиеся куда-либо, кроме сайтов партнеров.
Я понимаю, что паук из головы их придумывает, поэтому и обратился к помощи, в решении этой нелегкой проблеме
Паук из головы не придумывает ничего, он ходит по ссылкам. Кто их генерирует - сам сайт (вероятнее) или внешний - вот это вопрос.
Просканируйте ваш сайт с помощью SEO Sceaming Frog или иным пауком, возможно что-то найдете.
Спасибо за очень интересную утилиту, думаю в будущем она еще ни раз мне пригодиться, но вот сканирование подозрительных ссылок, или несуществующих страниц не выявило.
Вот и пытаюсь понять, что именно эти несуществующие ссылки на сайте и генерирует и откуда "ноги растут"...