Ботами созданы страницы (контент), как удалить?

Аватар пользователя linecash linecash 3 декабря 2014 в 0:52

Визуально страниц нет, но Google их видит, вот примеры : /.../masters-family-nurse-practitioner-over...; /.../6-major-prerequisites-getting-top-nurse...; /bureau-licensing-and-certification; /high-quality-massage-therapy; /.../fen-phen-combination-proves-unsafe-p... и т.д. При переходе по этим ссылкам, просто попадаю в свой раздел, и ни какого чужого контента якобы нет? В сниппетах Google стоит дата уже с Aug 29, 2014, я так предполагаю эти страницы могут быть связаны с модулем Metatag. Журнал постоянно пополняется ошибками входа в систему для ботов. Ошибка входа в систему для пользователя: arronjacobswaxuu; lesfitzmauriceja; nolaspencernbvmrlb и т.д. До этого момента считал что Друпал более менее безопасная CMS. Подскажите как избавится от этого, боты просто посадили сайт в выдаче! Из-за дублей страниц гугл уже полным ходом песимизирует сайт и отодвинул его от топовой выдачи! (Какое то время не менял ядро 7.28, сйчас обновил до 7.34, изменил все пароли.)

0 Thanks

Комментарии

Аватар пользователя linecash linecash 3 декабря 2014 в 8:48

Два пользователя каким то образом появились в группе администраторы. Пользователей удалил и изменил пароли базы и сайта.

Аватар пользователя Moel Moel 3 декабря 2014 в 10:51
"linecash" wrote:

До этого момента считал что Друпал более менее безопасная CMS.

Как бы кто первый стал, того и тапки. Не успели обновится...

Аватар пользователя linecash linecash 3 декабря 2014 в 20:16

Почему наивно, возможно кто то уже сталкивался с этим и непротив помочь.

Аватар пользователя gun_dose gun_dose 3 декабря 2014 в 20:42

так в чём проблема удалить лишние страницы? В admin/content смотришь, что левое, потом смотришь в алиасах урл, есть ли там что-нибудь и куда оно ведёт. Юзеров лишних тоже удалить. Посмотреть в журнале, какие страницы не найдены и повыкидывать их из индекса гугла через гугл вебмастерс.

А то, что пишет в журнале "ошибка входа для пользователя" - так это хорошо, значит, что бот не смог залогиниться.

Аватар пользователя linecash linecash 3 декабря 2014 в 22:45

Спасибо за ответ «gun_dose».
Тут вот что происходит. Гугл видит страницы которые создавались ботами, а может и сейчас создаются, таких спамных страниц много! Их на самом сайте никогда не было, я бы их сразу заметил, обнаружил их по выдече в Гугл, через инструменты RDS. Самую превую спам-страницу недавно нашел в поиске за 29 августа, есть страницы 3 ноября, 8го ноября, 15го ноября. Где то после 20 го обновил ядро, как увидел спам)). Если перейти по этим ссылкам в поиске то попадеш в корень раздела, а в адресной строке браузера остается ботовский url, вот к примеру: мой сайт/board/school-nursing.

Да, удалил Юзеров. По журналу ничего подобного нет. По "ошибка входа для пользователя" все понятно, боты пытаються войти. Но ранне были двое в группе админов, видать ядро 7.28 им по содействовало. Проверял на вирусы: яндексы и докторы вебы молчат, а один забугровый сервис ссылается на подозрительный файл "Js" в библеотеке ckeditor. Ckeditor убрал поставил другой NicEdit.

В admin/content все нормально, ничего левого нет. Если по журналу смотреть, то есть боты которые пытаються(лись) попасть в модуль XML sitemap, и некоторые в Ckeditor.

Аватар пользователя Moel Moel 4 декабря 2014 в 0:05
"linecash" wrote:

Этот модуль поможет?

Ну это пакетные операции. Через Views создается страничка. Например фильтруете по (типу статья, неопубликованы, категория такая то) и двумя кликами удаляете пару тысяч страниц или сколько там у вас. Главное критерии подобрать, что бы от ботов отделить нормальные страницы.

Аватар пользователя Moel Moel 4 декабря 2014 в 0:06

Это как в обычном Views только появляются разные действия которые вы можете выполнить с нодами

Аватар пользователя imarat imarat 4 декабря 2014 в 4:45

Если стариниц нет в разделе контент, делайте hook menu alter, сайт проверяйте оффлайн-поисковиком, типа доктора веба. Поставьте молуль hacked и обновите все что он выявит

Аватар пользователя linecash linecash 4 декабря 2014 в 9:48

Не могу разобраться с hook menu alter?
Поставил молуль hacked, он лишь выдает что есть изменения в robots.txt, в нем все нормально, он менялся мною, на будущее модуль пригодится. Поменял файл .htaccess на оригинал с drupal-7.34, скорее всего что он стоял и до этого. ftp доступ закрыл.
Спасибо всем за советы и отзывчивость.

Аватар пользователя gun_dose gun_dose 4 декабря 2014 в 10:02
"linecash" wrote:

Если перейти по этим ссылкам в поиске то попадеш в корень раздела, а в адресной строке браузера остается ботовский url, вот к примеру: мой сайт/board/school-nursing.

А как у вас сайт "page not found" обрабатывает? Попробуйте из корня раздела в строку браузера добавить слэш и всякую билиберду и посмотрите, что произойдёт. Просто ссылки могли быть раскинуты ботами по левым ресурсам, а страницы могли и не создаваться. Просто если настроено так, что при вводе некорректного адреса не происходит переадресация, то гугл индексирует ссыль как существующую. А поскольку там у вас спам-ссылки ЧПУ-шные, то они могут иметь некий сеошный вес, а соответственно могут быть задействованы в чьих-то схемах.

В общем, моё мнение такое, что нужно проверить таблицу алиасов и сделать нормальный 404 редирект. И не забыть добавить каноникал ко всем страницам сайта, дабы склеить все дубликаты в индексе.

Аватар пользователя linecash linecash 4 декабря 2014 в 10:38

Вот об этом я тоже подумывал "gun_dose". Только ссылки которые раскинуты ботами по левым ресурсам, я их не нахожу в Инструментах для веб-мастеров ни в яндексе, ни в гугл?

Если билиберду добавить к мой.сайт/board/school-nursing то выйду на мой.сайт/board но в адресной строке браузера остается мой.сайт/board/school-nursing. Знчит 404 редирект нужен, а системный 404 я так понял не обрабатывает это? Я смотрел в инструментах, так там некоторые страницы родной 404 перенапрявляет.

Я каноникал еще в самом начале поставил, по этому тегу все нормально, дублей нет.

По таблице алиасов я ноль)), подскажи если не сложно, там можно отредактировать?

Аватар пользователя gun_dose gun_dose 4 декабря 2014 в 10:52

Конфигурация - Поиск и Метаданные - Синонимы УРЛ либо admin/config/search/path. Просто посмотреть, есть ли там левые ссылки.

Где размещены ссылки можно найти например тут: https://www.linkpad.ru/

Аватар пользователя linecash linecash 4 декабря 2014 в 11:25

Синонимы я смотрел там только мои страницы, по линкпад только мои ссылки стоят.

Аватар пользователя ttenz ttenz 4 декабря 2014 в 14:35

а в яндексе есть?

я помню у меня нечто подобное было, так я после дезинфекции сайта, ещё в вэбмастере гугла удалял их из индекса поисковика.

Аватар пользователя Fotina_by Fotina_by 4 декабря 2014 в 20:37

вопрос от дилетанта
а если посмотреть напрямую XML sitemap? могут прямо туда вписать левые ссылки?

хотя этот же файл должен регулярно обновляться...