22 февраля 2012 в 4:21
Странно но факт; Drupal страшно много потребляет ресурсов процессора.
Недавно был на хостинге, и в графиках видел один вис, решил переехать на VDS.
На VDS работаю в Debian, Всё что нужно установлено, всё новое, в логах ошибок нет,
Но есть странный момент: при простом открытии страницы, (просматривал как пользователь)
На сервере видна весомая нагрузка: более 512 мегагерц при открытии 1 страницы!
Мониторинг загрузки процессора в реальном времени виден в дебиановской программе Htop
(установить программу можно набрав: aptitude install htop)
Ускоритель APC установлен, вот конфиг:
; configuration for php apc module
[APC]
extension=apc.so
apc.enabled = 1
apc.shm_segments = 1
apc.shm_size = 300M
apc.optimization = 0
apc.num_files_hint = 4096
apc.ttl = 0
apc.user_ttl = 0
apc.gc_ttl = 900
apc.cache_by_default = 1
apc.filters = "apc\.php$"
apc.mmap_file_mask = "/tmp/apc.XXXXXX"
apc.slam_defense = 0
apc.file_update_protection = 2
apc.enable_cli = 0
apc.max_file_size = 10M
apc.stat = 1
apc.write_lock = 1
apc.report_autofilter = 0
apc.include_once_override = 0
apc.localcache = 0
apc.localcache.size = 300M
apc.coredump_unmap = 0
apc.stat_ctime = 0
apc.use_request_time = 1
apc.canonicalize = 1
apc.lazy_functions = 0
apc.lazy_classes = 1
C любым другим конфигом не лучше. ставил и Xcache, то же примерно.
Проверил базы на оптимальность скриптом от мэтью монтгомери - tuning-primer.sh
всё нормально, база настроена неплохо. (для настройки базы использовался my-large.cnf)
На VDS: 1024 мегагерц CPU, 1024 Мб. RAM, 40 гигобайт HDD.
Скриншот страницы состояния в Drupal прилогаю
Также скриншот дополнительно
Комментарии
Похоже что запись/чтение из базы создаёт эту нагрузку на CPU.
Когда я включил кэш в drupal, процессор практически перестал нагружаться,
С тем как было до того не сравнить, Но! когда я попробовал добавить комментарий,
и пошёл процесс обращения к базе, график стал снова выглядеть как раньше,
1 из 2 ядер полностью нагружено (1 ядро=533 Mhz), и слегка второе, и это при открытии 1 страницы
и пользователей других пока ещё нет, так как это абсолютно новый сайт, который ещё не раскручен.
Я специально вышел из админки для просмотра страниц.
У вас VPS, отлично, вы сможете использовать правильные инструменты. Поставьте модуль devel посмотрите запросы, поставьте xhprof или xdebug - отпрофилируйте.
Да, и посмотрите top обычный во время выполнения, параметры wa и st, они должны быть нулевыми. Если они подскакивают, смените хостра. А то может вы не там искать собрались.
Точно, параметр st меняется при загрузке страницы: до 37% и более!
Параметр wa также увеличивается.. А что означают эти параметры?
Что вы стали жертвой маркетинга и рекламы и взяли VPS, который не лучше шареда
В общем да, RxB очень хорошо выразил мысль.
Напишите сюда название хостера и тарифного плана, чтобы другие не повелись впоследствии.
wa - iowait сколько процессорного времени тратится в ожидании ввода/вывода. Высокие значения говорят о перегрузке дисков.
st - steal сколько процессорного времени не отдаёт вам гипервизор. Высокие значения, обычно, говорят о том, что процессора продали больше чем есть.
Если что, пишите в скайп, попробую вам помочь с выбором.
Странно но факт; Drupal страшно много потребляет ресурсов процессора.
++++
У меня компьютер страшно гудеть начинает, когда я открываю сайт на друпале или на битриксе.
На амире, на вп и джумле - кулера тихонько крутяца.
А на однокласники я ваще не хожу, там какаято самописка, от которой комп ресетица сам по себе от напряжения процессора, по открытию однокласниковых страниц!
Если чо: цылерон 2 кора дуо 2 гига памяти + 3 вентилятора, не считая штатных
У кого такая же проблема ?
только если у тебя биомагнитное поле не в порядке , карму надо периодически чистить .
да всё нормально у меня - просто разные кмс по разному нагружат процессор компа - однокласнеги такие тяжолые, что система охлаждения не справляеца
а браузер какой?
стандартный, на котором всё работает - ИЭ6
остальное даже не смотрю - недовиряю неприпроприперетарным програмам!
Вобщем я просто выбрал маленькую контору(cishost.ru), где мне показалось что дешевле,
Но я конечно сразу должен был думать.. Я просто перейду к другому VPS провайдеру,
Может подойдёт FirstVDS
это не они же ISPserver?
с VPSа вторых я ушел, изрыгая проклятия - крайне тормозной хостинг, плюс последнее время (осень прошлого года) падал уж слишком часто и слишком надолго
Да вроде нет, сайт firstvds.ru
всё-таки они же:
дело, конечно, хозяйское - возможно мне просто крупно не повезло и всё такое...
Да нет, это не невезение. Действительно так себе.
Тогда придётся ещё поискать.. а кого Вы порекомендуете?
Из тех, у кого жили/живут мои клиенты, неплохо пожалуй работает http://openhosting.ru/ например. Много неплохих VPS хостеров за границей.
Вообще говоря наши хостеры в большинстве это нечто, им обычно глубоко положить на клиента и во главу угла ставится не доброе имя, а маржа побольше, и ценник в итоге немалый, а качество отвратное...
Ну и личку почитайте, я вам там предложение отписал, которое вам может понравится.
Решил заняться проверкой. И вот результаты:
openhosting.ru - st 60% wa 60% (при установке панели ISP Manager Pro)
www.firstvds.ru st 0% wa 100%(при установке панели ISP Manager Pro)
sprinthost.ru st 0% wa 5-7% (при установке панели ISP Manager Pro)
Лучше остальных только sprinthost.ru (VDS без администрирования)
Но там дают всего 1 ГГц и 1 Гб. оперативы, хард 15 гб., канал 10 мегабит/с.
Вообще ситуация расстраивает. либо есть цензура, либо удаляют без разбирательств по любой жалобе (и разбираться даже не будут, что как. не угодил? - нам не нужен) fastvps.ru, либо чуть что не так, и как it-patrul без разговоров. удаление, как учение. учение "хоть немножечко уважать", "с волей считаться, с мнением".
"по-своему не делать" иметь и своё мнение можно, но вот высказывать его - это уже нет. а что? - "правильная", "действительно современная" "конкурентноспособная" демократия в действии.
IE 6 и всё работает? лучше уж Mozilla FireFox или Opera..
На самом то деле непроприетарные программы часто быстрее и функциональнее,
Хотя бывает что их нужно понимать, вот я недавно поставил себе Debian на домашний пк, и понял что всё таки не то, но для домашнего сервера возможно самое оно, но я вот в деревне, тут только 3G и всё, да и тот удушен насмерть, с ним домашний сервер замутить сложно было бы. для меня в деревеньке только сервисные предложения разных контор актуальны, но фирмы у нас одна другой не лучше, выбрать сложно..
попробуйте FastVDS, я сейчас беру vps у них, по сравнению с ISP - значительно лучше, правда - у меня vps для dev, т.е. не нагружен (но у ISP была та же ситуация)
а для production - шаред от it-patrol, тут, имхо, особой альтернативы по цене/качеству нет.
У fastvds виртуалки на OpenVZ. Это то, чего надо крайне избегать. Т.к. оверселл практически всегда, особенно у наших ехостеров, проблемы с выделением памяти приложениям, из за которой реально при прочих равных памяти надо значительно больше, общее ядро и FS для виртуалок...
А что у вас удалили? Пост выше про сравнение VPS на месте.
По поводу ваших тестов, если вы смотрели именно на процесс установки панели, то они они некорректны.
Например нагрузить диск выполняя локально какую-нибудь файловую операцию можно очень неслабо и на выделенном сервере с массивом дисков. А получить st можно там, где есть выделение процессора гарантированное и пиковое, после всплеска естественно будет ограничение, например так у openhosting. Лучше залить какой-нибудь тестовый сайт и при одинаковых настройках сервера и одном и том же сайте сравнить количество запросов, которые обрабатывает сервер. Это куда более показательно.
Или потестить диски отдельно с помощью iometer, например, проц отдельно с помощью какого-нить super_pi, сеть с помощью iperf (правда тут сложнее, если канал достаточно широкий, то надо иметь и ответную часть для тестирования хорошую). И тогда уже строить сравнение.
Ну или хотя бы запустить сборку какой-нибудь немаленькой программы из исходников, ядра Linux например, вот таким образом time make и сравнить получившиеся данные, тут влияет и процессор и диск.
Я вот в теме VPS недавно, но уже начинаю кое-что понимать, есть кое-какие выводы.
Вот например я заметил, что лучше всего работает виртуализация на базе KVM.
Почитал об этом и выяснил, что XEN уже устарел, KVM новее и лучше.
Тарифы на VDS KVM достаточно привлекательные, качество работы виртуализации на мой взгляд хорошее.
Есть информация, что XEN не будет поддерживаться в debian wheeze.
Как бы так сказать. Вы как минимум несколько не правы. KVM имеет ещё много недостатков, по сравнению с XEN, который хоть и старше но во всю развивается. С другой стороны для клиента разницы нет, это касается прежде всего хостера. Для потребителя есть набор гипервизоров, под которыми можно брать виртуалку - XEN, KVM, VMWare, Hyper-V.
Есть под которыми не стоит - FreeBSD jail, OpenVZ, Virtuozo, т.к. это не совсем виртуализация, и там очень просто клиента обмануть с выделением ресурсов и степень изоляции меньше.
Кроме того, OpenVZ, Virtuozo это ещё и знаменитый гемор с памятью, её надо заметно больше в тех же условиях, чем при полноценной виртуализации, и это системы полные костылей, и не очень надёжные.
Второй момент это хостеры. Многие в предложении пишут пиковые значения выделяемых ресурсов, а не гарантированные - добро пожаловать в мир рекламы.
Многие продают больше ресурсов, чем есть на сервере - это называется оверселлинг. Пока не час пик, это не страшно. Но всегда настаёт момент, когда бОльшая часть виртуалок захотят-таки получить ресурсы и тут начинается веселье - их нет столько.
Многие не нормируют дисковый ввод вывод, не ограничивают его и даже не приоретизирует. Это с одной стороны в общем-то хорошо, но с другой, когда сосед засвопится например или просто начнёт лихорадочно писать много чего-нить мелкого, можно нарваться на то, что диск отвечает десятками секунд.
И последнее, VPS это прежде всего не замена шаред хостинга для получения производительности, это версия шаред хостинга, где можно настроить нестандартное окружение. Не более того. В итоге это МОЖЕТ дать возможность повысить производительность, например использую кеширование в memcached или APC(данных а не скриптов), которого не используешь на шаред хостинге, или поставив лёгкий веб сервер и хорошо всё настроив, но по реально выделяемым ресурсам МОЖЕТ оказаться выгоднее быть на хорошем шаред хостинге.
Если хочется действительно большей производительности нужен свой или арендованный сервер в нужной конфигурации, т.к он будет дешевле VPS с достаточно большими ресурсами без оверселлинга.
Дальше система из нескольких серверов, выполняющих разные функции.
Дальше, возможно, кластер из серверов, свои стойки с серверами, т.к. это становится на какой-то момент выгоднее аренды.
интересно и познавательно вы пишите, спасибо
про OpenVZ был наслышан, когда брал vps, но поскольку он для разработки, то особых требований к производительности не предъявлялось - лишь бы тянул трёх пользователей одновременно: суперадмина, зарегистрированного и анонима,
хостинг от FastVPS с этим справляется гораздо лучше, чем от ISP
Если не трудно, просветите по вопросу выделенный сервер vs виртуальный в том же выделенном:
- виртуальный вроде удобнее администрировать/масштабировать, насколько это удобство соизмеримо с затратами ресурсов на виртуализацию?
Например: взял я выделенный сервер с невысокой производительностью, поднял в нем виртуальный сервер, и с ростом потребления ресурсов, сменил сервер на более мощный, перенеся туда образ виртуального - вроде удобно, но насколько это удобство перекрывает потери ресурсов в гипервизоре?
Или второй (более извращенный) вариант - в одном физическом сервере поднять два виртуальных - один вебсервер, второй - сервер БД, разделив между ними ресурсы физического сервера в нужной пропорции (с учетом будущего разведения их по разным физическим серверам).
Стоит такая игра свеч?
При поддержке виртуализации на уровне железа, оверхед в принципе невелик. Но...
Если вы будете перелезать на другой сервер, то разумно будет перенести только данные, а настройки сделать согласно имеющимся ресурсам, а часть перенести как есть. И сервер настроен правильно и данные перенести немогим сложнее, чем образ виртуалки - а ведь до этого вам на новом сервере надо будет поднять и настроить гипервизор.
Второй вариант тоже смысла не имеет. Вам надо будет только поправить в одном конфиге сайта строчку и вы уже работаете с сервером БД на другом сервере. А перенести БД, опять же куда проще, чем настроить гипервизор и перенести туда образ. К тому же правильно распределить ресурсы непросто.
Виртуализация до кучи довольно сложная тема. Даже имея более-менее готовые решения типа Xen Server или Proxmox-VE, надо будет по хорошему немало сделать, чтобы всё работало оптимально. Немало подводных камней. Например, на вашем слабом сервере, наверняка не будет поддержки виртуализации на уровне железа, и тогда оверхед будет весьма немал.
Ещё один минус, вместо одного сервера у вас получается несколько, каждый из которых надо администрировать - следить за ним, обновляться и.т.п, хотя на каждом сервере и будет меньше всего.
Задачи решаются виртуализацией совсем другие. Это например разделение отдельных проектов, или сервисов в рамках одного сервера, и возможность ограничения потребляемых ими ресурсов, что бывает сложно сделать в рамках одной ОS. Возможность использовать разные OS на одном сервере. Построение отказоустойчевой среды, для работы набора сервисов, когда в случае отказа работает миграция виртуалок на другой физический сервер. Хотя если проект один, то удобнее делать избыточность без виртуализации, и заодно использовать ресурсы всех серверов параллельно, по крайней мере в штатном режиме.
спасибо, познавательно
что не так на www.fastvds.ru ?
Может с фаствпс спутали?
http://www.fastvds.ru/tarifs.html - тут виртуалки на OpenVZ.
http://fastvps.ru/vds/ - и тут виртуалки на OpenVZ.
Путай, не путай, а легче-то не становится.
В первом случае довольно дорогие, так что возможно без сильного оверсела, и скорее всего всё довольно неплохо, но выгоднее взять на ХЕN за те же деньги, с теми же ресурсами, если уж на то пошло, выгода по памяти(если её столько же, приложениям нужно при прочих равных меньше) и меньше проблем, выше изоляция.
Во втором случае оверселят. А ещё, у fastvps до кучи есть подводный камень на VPS - если будет подозрение, что вас задосили, виртуалку отключат... ...и больше не включат.
у нас должно быть все "неплохо"
и именно поэтому так среагировал ...
эх...
надеюсь после тестов новые тарифы на kvm запустим
@bsyomov
Я правильно вас понял, что лучше стараться взять VPS с виртуализацией на XEN, нежели OpenVZ?
UPD: нашел доку: http://openhosting.ru/vps/xen-vs-openvz.jsp
Правильно понимаете. Но обязательно именно XEN - есть ещё VMWare, KVM, HyperV. Статья конечно рекламная, но кое-что разумное в ней есть.
Вообще то у меня похожая проблема ,на сколько я понял ),по то му как ,ваш я зык мне не понятен(. Я скажу своим я зыком ,с вашего разрешения. Открытие одной странички в интернете ,через любой браузер потребляет 100% ресурсов ЦП ,да и одноклассники это без порно "лидер" среди них. Проблема началась сразу как я поменял провайдера но в ночале это не так было серьезно ,вот уже пол пол года я мучаюсь и не могу понять в чем дело, при чем есть одна особеность , если свернуть страничку загрузка ЦП ту же секунду падоет до нуля практически , без интернета комп работает отлично как бы я его не нагружал ,винду снасил ,память тестил, жеский диск формотировал ,Проц тестил ,ну за пол года сами понимаете все пере пробовал) не чего не помогает . При шол к выводу что дело в провайдоре ,завтро потключусь к другому напишу) что вышло
интересным слогом пишешь
исчо интересней
исчо интересней ))) спасибо за коментарий)))
пеши, абизатильна пяши исчо!!!
сегодня в первые решил поставить браузер Mozilla . И о ужас всё работает как часы ,я в шоке чесно . Теперь я вообще не чего не понимаю !!!!!!!!!!!!!!