25 ноября 2013 в 21:58
Вообще странная ситуация. К топику прикрепил скриншоты графиков использования памяти. Все началось сегодня утром, на суточном графике это видно. Причем я уходил на работу в 6 утра и сайт уже лежал, на графике же видно, что загрузка началась примерно в 9:30 (что странно). Весь день сайт вообще не поднимался, временами его отпускало, я мог пройтись по паре страниц и всё снова лежало.
На недельном графике видно, что есть всплески потребления памяти периодические. Сейчас вообще какой-то ахтунг, мне график выдал потребление 641 МБ.
Разве такое может быть из-за работы скриптов модулей Drupal?
Использую хостинг руцентр, тариф 301 (шаред). Ограничение по памяти стоит 192 МБ. По совету хостеров отключил некоторые модули, после чего собственно мне статистика выдала эти 641 МБ (т.е. стало еще хуже).
С сайтом вообще ничего не делал, неделю назад только обновил до 7.24 и активировал модуль metatag (сейчас уже отключил). Немного правил стили (что не имеет отношения к делу).
Что случилось? Помогите пожалуйста! Как мне выявить, что так сильно грузит сайт?
Комментарии
друпал тут скорее всего как бы и не при чем - тут либо проблема сервера , либо большое количество http запросов выполняется
смотри статистику сервера , обращайся к хостеру
модулем devel тоже выведи информацию о времени выполнения запроса, потребление памяти и выведи запросы к бд и посмотри
как вариант, проверить логи доступа к сайту. ВОзможно брутфорсят или пытаються заспамить. У меня такое было когда ломились на сайт, а я на сайт уже забил и было пофиг, просто ради интереса глянул чо было, а через неделю одурел как жрать бабло начал, глянул, там 100.000 комментариев спама добавили)
Есть один нюанс, у меня на этом хостинге два сайта крутятся - второй сайт, обычная визитка, абсолютно не потребный. Так вот, когда я первый сайт останавливаю (выключаю, через хостинг), второй начинает летать. Есть подозрение, что всетаки из-за сайта. Но дело в том, что, как я уже писал, я ничего не менял на сайте. Он просто в определенный момент перестал работать.
К сожалению девилом проверить не могу, т.к. мне его активировать нужно, а я даже пробраться в раздел модулей не могу, я уже не говорю про сохранение изменений в админке.
Что касается лога доступа (приложил), то там на мой взгляд одни пауки ломятся (хотя я их не умею читать).
так у тебя большая половина запросов на /user/password(/user/register) - брутфорс однако и в основном с китайских айпишников
подожди неделю -может успокоятся , нет так обращайся в суд по правам человека
ну так запросы то идут на этот сайт - ты его выключаешь и друпал не обрабатывает их
Как боротся с бутфорсом? Есть какие-нибудь способы защиты?
PS Я так понимаю, что китайцы тут не при чем, просто через их сервера кто-то делает (даже догадываюсь кто, хотя может школота тренируется).
Да заколебали эти ускоглазые, мне тут давеча на почту рухнуло 150 писем с оповещением о том, что на сайте контактная форма сработала, в содержимом иероглифы. Пришлось и там ставить каптчу.
Под Моллом, имеется ввиду этот - https://drupal.org/project/mollom ???
Интересно, а что за брешь была?
Т.е. ты капчу прикрутил к контактной форме? Интересно, если прикрутить к регистрации, она отсечет атаку?
у меня уже где-то полгода - год, такие всплески, сначала боролся, потом забил, все равно ресурсы сервера больше чем на 50% не загружают.
Советую внимательней анализировать куда ломятся, и прикрывать. Можно блокировать по IP, только не через сам Drupal, а через .htaccess.
У мну Honeypot сечет их по времени. Т.е. если регистрация или коментарий были заполнены меньше чем за 3 секунды, то в лес отправляется данный ip. И никаких captcha для добропорядочных юзеров.
Анализ серверных логов - наше все. Логи помогут выявить причину, а то гадать можно сколько угодно.
Ну, а так (если ранее все было нормально, исключая кривой код в модулях и реальный рост посещалки), то скорее всего спам-боты, нехорошие поисковые боты (не Google), боты всяких веб-сервисов (собирают "сео" инфу о сайте к примеру в автоматическом режиме), парсеры и прочая ересь.
Изредка бывает хотлинкинг (тянут к примеру скрипт или ещё что-нибудь с вашего сайта, как с хостинга JS-библиотек Гугла к примеру.
Ещё, как уже сказали, бывают недохакеры (брутфорсинг, - грубый подбор паролей по словарям).
ну так а кто мешает правило прописать в htaccess ,чтобы хотя бы если http referrer пустой , то по этим адресам (/user/password , /user/register , user)выдавать 403 - должно спасти
ну или можно по айпишникам - там 90% начинаются на 27.х.х.х
хотя судя по логам там как раз таки реферер присутствует везде
Если не сложно, как должно выглядеть это правило в .htaccess? Может правильнее Моломом? Или это тяжеловесное решение?
Блокировать по IP замучаюсь, я посмотрел там под одним ником ломятся с разных IP.
ну если у запросов HTTP_REFERER пустой , то это будет самое эффективное решение , чтобы запросы даже не доходили до друпала
никакие моломы при брутфорсе не нужны - здесь нужно отсекать запросы на уровне сервера , отдавать им 403 ну или если с юмором отнестись , то можно все эти запросы перенаправить на drupal.ru или на гугл или на сайты советчиков , которые советуют фигню всякую
по запросу "htaccess http_referer empty " гугл выдает кучу решений как на английском так и на русском
по поводу айпишников я уже сказал что можно отсечь 90% начинающихся на 27.
а кстати сегодня днем друпалру выпадал в оффлайн и тормозила конкретно загрузка страниц - видимо все таки смог перенаправить
Частично да, но тоже не панацея.
Установил honeypot. Крутая штука, автоматом по времени блокирует ip. Сайт вздохнул с облегчением. Правда теперь нужно оптимизировать сам сайт, слишком много модулей.
Интересно то, что эти хрень узкоглазая до сих пор ломится, пошла уже вторая неделя. Хонейпот всех ботов блокирует, но всёравно напрягает.
Еще, интересно то, что не так уж и много ломилось ботов (по словам техподдержки руцентра), но вот сайт, вообще падал. Тут дело наверное во внутренней оптимизации.
да там если на друапл сайт зайдет хотябы 10 человек разом, за ДДОС примут наверное.
Друпалу - друпалхостинг.
и это какой?., тот что it-patrol, дорогой! (в смысле дорогой хостинг)
Вот это поворот... Это дорогой хостинг? Привидите пример дешевого?
Друпал сам по себе не дешовое удовольствие из-за прожорливости. Либо лагаете, либо платите. Но то что друпалхсотинг дорого, это нонсенс для меня
Справедливости ради ..я с уважением отношусь к IT-Patrol ребята молодцы! лучшее для начинающих и небольших сайтов! и одна из достойных служб поддержке, всегда отвечают на мои письма.
Советую всем!!!
так одним глазком..
digitalocean.com/price
А эластик для кого. Там нет ограничений ни на место, ни на базы, ни на домены. Платежь по факту каждый день снимают.
2 сайта общим объемом ~2-3гб, общая посещалка примерно под 300-500 чел в сутки. Плачу 90р в месяц. При том что один сайт очень кривой и грузит сервер неслабо.
Есть статический сайт компании, он и вовсе жрет по 30-40копеек в сутки.
И это также с SSD. А то что он шаред ни о чем не говорит в данной ситуации. Этот шаред поддерживает все что нужно для друпала
Niklan, Да я тут пост выше подредактировал, что бы лишний тени сомнения не бросать...можешь и свой чуток подмести..
А что это за эластик, ребят я не в курсе..?
тариф такой на друпалхостинге. УЖе наверное все на нем сидят, а иначе да, выходит очень дорого)
Ок, Спасибо!
Задолбался, попрежнему ломятся узкоглазые уроды, уже две недели прошло. Ситуация не меняется. Хостер говорит, что не большое количество ломится, мол сам сайт такой неоптимизированный. Но дело в том, что до брутфорса, всё было нормально, притормаживал конечно, но не так, по графикам потребления памяти это видно. Сейчас сайт вообще временами падает.
1. Как остановить это?
2. Должен ли хостер пресекать такие атаки?
1. В вашем случае лучшим решением будет найм грамотного специалиста.
2. Нет, администрировать сайт за вас хостер не обязан.
Остановить никак, максимум ослабить воздействие.
Да оно само должно пройти через какое-то время. Давно было пора сменить хостера или наймите админа и переходите на digitalocean.com. Там админ поднимет веб-сервер, его в принципе можно более гибко настроить. Или попробуйте сами настроить сервер, мануалы + форумы и за неделю справитесь. Используйте nginx + php5-fpm + percona.
На патруль переходить сейчас сомнительно. На эластике разоритесь, а на обычном тарифе можно только если за квоты не сильно выходить, что думаю будет вряд ли.
У меня когда подобное было я прикрыл доступ к админке, авторизации и всему что смог, оставил доступ только со своего постоянного IP. Но у меня сайт такой что можно так сделать, у вас то вроде форум.
На счёт referer не понял - а если пользователь из своих закладок в браузере открывает сайт, получается будут отсекаться такие переходы т.к. referer будет отсутствовать?
Судя по логам, как Вы сказали, referer передаётся - как это понять?
И получается, если referer всётаки передаётся, то это решение не поможет?
/user/register в закладках ?
но судя по логам все боты хитросделанные , они когда отравляют запрос на какой то урл , его же и передают в реферрер
Стало более понятно, спасибо за развернутый ответ.