20 000 посетителей в день или абитур-эффект на it-patrole

Аватар пользователя Geldora Geldora 24 августа 2010 в 10:20

Уже больше года я размещаю свой сайт на хостинге it-patrol.ru. Хочу сказать большое СПАСИБО специалистам этого хостинга, которые помогли мне в период, метко названным моими посетителям абитур-эффектом.

В течении двух дней, 9 и 10 августа, посещаемость моего сайта повысилась разом в десять (10!!!) раз, со средних 2500 человек в день до +20 000 посетителей, количество просмотров возросло со средних 5000-7000 до 120 000! В этой ситуации, когда любой другой хостинг вырубил бы сайт нафиг, ит-патрол встал на мою сторону и держался как мог. В определенные моменты, легли сайты (точнее, не работали определенные страницы): Министерства Образования Казахстана, сайты конкурентов, сайт газеты национального масштаба и даже сайт-конкурент на юкозе выдавал ошибки... Мой сайт все это время держался, за весь день он лежал только один час поздней ночью 9ого, пока аккаунт переносили на вип.

Итак, как это было:

Вообще, у меня образовательный сайт - www.uchi.kz. Здесь можно найти всю информацию об Образовании в Казахстане и зарубежом, например, истории успеха посетителей (работает Форум, Комменты, подключен даже Shoutbox), много статей, полезной информации, гранты и конкурсы и т.д. Иначе говоря, работают все основные и тяжелые модули - сск, вьювс, системы голосований, сообщения, пойнты и т.д.

Ежегодно у нас в Казахстане сдают Единое Национальное Тестирование (рос. аналог - ЕГЭ), по его результатам в августе присуждают госгранты на обучение (в России - бюджетное обучение). Понятно, что есть два основных пика - в июле, когда сдают ЕНТ и в августе, когда выходят результаты конкурса грантов. Так вот, мой сайт на ит-патроле пережил три таких пика: в прошлом августе посещаемость была +7000, держалась один день, в этом июле в течении десяти дней посещаемости была +5000 с пиком также в +7000 человек, ну и рекорд августа 2010 - посещаемость +5000 в течении недели, и пики 14000 и 21000 человек. Иначе говоря, рост был не то чтоб не запланированным... но ТАКОЙ рост был абсолютно неожиданным для меня.

Сайт был заранее немного оптимизирован (ведь я ожидала +7000 в течении одного дня):

  • включен троттл,
  • отключены все лишние модули
  • включены все основные модули кэша

Был включен СуперКрон. А также поставлен поиск от Гугла, вместо Люсен АПИ.

Но: чего я не ожидала, это активности посетителей в течении сразу нескольких дней - все началось еще 4ого, люди буквально сидели на сайте, не выходили с него. Возросла активность комментаторов и в мини-чате. В пики же, народ сидел на сайте с утра, просто рефрешил страницы, ожидая результатов - я предполагаю, эти рефреши и создали основную нагрузку.

В течении 9ого, выяснилось, что понятие ненужные модули - довольно растяжимое :) Я выключила все, что было можно, даже то, что использовалось. При помощи троттла отключила:

  • все эмейл рассылки: comment notify, account reminder, уведомлений о сообщениях в личке
  • все, что создает нагрузку - хмлсайтмапы, модули поиска
  • модули, которые следят за посетителями - юзер статс, браузкап, каунтри комментс

В конце дня отключила даже Vote Up Down и многое другое, казалось бы "необходимое".

Блоки - также отключила через троттл.

Кэши: включила все, что можно в друпале по дефолту (кроме агрессивного кеширования). Настроила кэши для всех вьювсов.

Крон - в СуперКроне есть настройка, отменять запуски крона также по троттлу, но я наоборот, его не отключила - иначе как будет выполняться очистка кэшей? Только настроила, чтобы не выполнялись тяжелые запросы + большинство модулей были итак не активны.

Наконец, я ограничила активность пользователей, их возможности комментировать и чатить - это было необходимо не только для производительности, но и для модераторов, потому что сайт буквально выходил из под контроля.

ЧТо не было сделано:

я не рискнула ставить модули типа Мемкэшед, адвансед кэш и т.д. Во-первых, я не умею с ними работать. Во-вторых, ИМХО, ставить их нужно в более или менее спокойное время, а не в такой бурный период.


Итого: самые простые советы тем, кто ожидает (или не ожидает) всплеск активности на своем сайте.

  1. Включите (или проверьте, что он включен) кэш друпала.
  2. Троттл - действительно, классный модуль! Настройте его.
  3. Не забывайте про кэша вьювса.

Ну и совет: переходите на ит-патрол :) www.it-patrol.com

RxB, Gor, вся команда Ит-Патрола - СПАСИБО!

0 Thanks

Комментарии

Аватар пользователя Sinkora Sinkora 24 августа 2010 в 10:34

Geldora, интересно было почитать.

Но, как я понимаю, на твоем сайте основная аудитория - неавторизованные пользователи? А представь, что было бы, если бы основная часть посетителей была залогиненными пользователями. Для них бы не так просто было реализовать кеширование. Хотя, все зависит от функционала на сайте...

Аватар пользователя Geldora Geldora 24 августа 2010 в 10:58

У меня было +750 неавторизованных и +15 залогиненных одновременно в пик... При обычных 25/2.

Смысл статьи такой: а) поблагодарить хостера :) б) рассказать свой личный опыт, авось кому поможет. Я действительно мало знаю про "реализовать кэширование", поэтому действовала максимально просто.

Аватар пользователя Baaa Baaa 24 августа 2010 в 11:04

Интересно какова была нагрузка на сервер при такой посещаемости.

Аватар пользователя us11@drupal.org us11@drupal.org 24 августа 2010 в 12:12

Для борьбы в анонимами использовал модуль cacherouter (на файлах) очень неплохо помогает. Тоже планирую перейти на it-patrol, уже общался с поддержкой, радует что все заботы по переносу сайта они берут на себя.

Насколько я видел у них предустановлен Sphinx , не пробовали реализовать поиск на нем?

На каком тарифе сидите? У меня похожий по посещаемости сайт зная Ваш тариф было бы проще определиться.

Аватар пользователя kodo kodo 24 августа 2010 в 12:27

Да,интересный опыт. :)
А что за модуль троттл? на орге ничего не нашел.

Аватар пользователя Виктор Степаньков ака RxB Виктор Степаньк... 24 августа 2010 в 12:51
"Baaa" wrote:

Интересно какова была нагрузка на сервер при такой посещаемости.

Доходила до 300% на процессор для
2x Quad-Core AMD Opteron 2344 HE, 16 GB DDR2-RAM ECC 3x 500 GB SAS HDDs, 7.2k rpm Hardware RAID 5
по atop

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

Для борьбы в анонимами использовал модуль cacherouter (на файлах) очень неплохо помогает.

Boost для анонимов самое-то, а вообще на каждом хостинге надо строить свою кеш-систему, так как слишком много нюансов.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

Насколько я видел у них предустановлен Sphinx , не пробовали реализовать поиск на нем?

Очень многие используют, один раз настроил и навсегда забыл.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

На каком тарифе сидите? У меня похожий по посещаемости сайт зная Ваш тариф было бы проще определиться.

В первую очередь важен набор модулей, в случае uchi.kz, даже не набор, а количество, так как нагрузка шла не от мускуля, а от интерпретатора.

Аватар пользователя Geldora Geldora 24 августа 2010 в 12:57
"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

На каком тарифе сидите? У меня похожий по посещаемости сайт зная Ваш тариф было бы проще определиться.

До 3000 человек сидела на обычном тарифе (400 р.), сейчас меня перенесли на ВИП-2, в конце этого месяца попрошу перенести на ВИП-1 за 1000р.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

у них предустановлен Sphinx , не пробовали реализовать поиск на нем?

Он-то установлен, НО! я не умею (точнее не люблю и не хочу) использовать ssh, а для сфинкса нужно что-то настраивать. Второе НО: инструкция на ит-патроле написана для модуля в статусе дев, не обновлявшемся уже больше года... Для второго, более нового модуля инструкции нет, а самостоятельно я не смогла.

Вообще, у меня больше полугода работал Lucene API, отличный модуль и ставится на любом хостинге.

"kodo" wrote:

А что за модуль троттл?

Trottle, в стандартной поставке Друпала. На него многие не обращают внимания, я тоже впервые за 2 года включила :)

Аватар пользователя kodo kodo 24 августа 2010 в 14:02
"<a href="mailto:volocuga@drupal.org">volocuga@drupal.org</a>" wrote:

В стандартной поставке Друпал

"Geldora" wrote:

Trottle, в стандартной поставке Друпала. На него многие не обращают внимания, я тоже впервые за 2 года включила :)

Да, анекдот! :) Тоже не обращал внимания :)))))))))))))))))

Аватар пользователя us11@drupal.org us11@drupal.org 24 августа 2010 в 14:08
"Geldora" wrote:

До 3000 человек сидела на обычном тарифе (400 р.)

Тариф хорош, но я по дисковому пространству не прохожу. Минимально что подходит это vip - 1100 руб. Но и в этом случае запаса по объему диска хватит не надолго. Хотя надеюсь я ошибаюсь и все будет нормально.

Модулей тоже хватает, из них 2 самописных и тот что погодный у меня подозрения увеличивает время генерации страницы в 2 раза, нужно будет что то с ним делать. В любом случае буду надеяться что спецы из хостинга подскажут что и как лучше с'оптимизировать.

Про Boost начитал больше негатива чем про кешрутер, поэтому и выбрал последний.

А почему выбрали сфинкс для хостинга, а не Apache Solr или другие ?

Аватар пользователя gor gor 24 августа 2010 в 16:08
<a href="mailto:us11@drupal.org">us11@drupal.org</a> wrote:

А почему выбрали сфинкс для хостинга, а не Apache Solr или другие ?

Причины следующие:

- не требует установки дополнительного ПО. для Apache Solr необходимо устанавливать Java.
- работает через unix socket, что позволяет защитить доступ к вашей базе поиска обычными хостинг правами. Вообщем более гибкий в условиях хостинга
- на момент выбора был приемлемый модуль на drupal.org.

Аватар пользователя Виктор Степаньков ака RxB Виктор Степаньк... 24 августа 2010 в 14:16
"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

Модулей тоже хватает, из них 2 самописных и тот что погодный у меня подозрения увеличивает время генерации страницы в 2 раза, нужно будет что то с ним делать. В любом случае буду надеяться что спецы из хостинга подскажут что и как лучше с'оптимизировать.

Если это погодный, то я так понимаю он парсит какой-то сайт, нужно добавить туда кеширование результатов парсинга и всё, видимо затык в этом.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

Тариф хорош, но я по дисковому пространству не прохожу.

Ну тут уж сожалею, бизнес-модель такова, что, как кто-то правильно заметил на http://hosting101.ru/it-patrol.ru - Продаётся объём услуги.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

Про Boost начитал больше негатива чем про кешрутер, поэтому и выбрал последний.

Всё зависит от настроек хостинг-среды, один из наших клиентов, он же более чем известная друпал-личность, но одном сайте, благодаря Boost добился отдачи страницы менее чем за 30мс.

"<a href="mailto:us11@drupal.org">us11@drupal.org</a>" wrote:

А почему выбрали сфинкс для хостинга, а не Apache Solr или другие ?

тут я не знаю, возможно из-за того что был опыт с ним

Аватар пользователя svolobuev svolobuev 25 августа 2010 в 15:31

блин, тоже собираюсь переходить на этот хостинг. Но у меня до НГ оплачен другой хостинг :(

Аватар пользователя smile smile 25 августа 2010 в 17:18

впечатляющая история.
у меня правда от патруля (ребят, без обид) остались ощущения как от хостера для друпал с небольшой нагрузкой.

потому как как только нагрузка стала большой шустрый и недорогой патруль превратился в шустрый и очень дорогой.
да, гор клевый и оставляет только положительные эмоции. да, все оптимизированно под друпал. но! платить за впс сопоставимые деньги с реальным выделенным и полностью твоим, настоящим железным сервером где-нить в хецнере... ну я не знаю.

Аватар пользователя smile smile 25 августа 2010 в 17:43

RxB, ок. Сделаем вид, что это не впс, а хитрый шаред такой.
Давай тогда в твоей терминологии - шаред по цене dedic в той же Германии это нормально? Да,я про вип тарифы.

Аватар пользователя gor gor 25 августа 2010 в 18:45
smile wrote:

RxB, ок. Сделаем вид, что это не впс, а хитрый шаред такой.
Давай тогда в твоей терминологии - шаред по цене dedic в той же Германии это нормально? Да,я про вип тарифы.

Если позволите, я отпишу.
Верно ли я понял, что интересует в чем отличие VIP тарифа от Выделенного сервера при той же стоимости?

1 - Железо. Мы используем серверное железо для всех наших серверов, которое в аренду сдаваться меньше чем за $100 не может, не рентабельно получается.
2 - Датацентр. Мы выбираем ДЦ очень тщятельно. Очень важна скорость реагирования тех персонала на проблемы. Она не может быть быстрой при низкой стоимости аренды.
3 - Администрирование. Мы делаем все чтоб вам осталось только заниматься вашим сайтом. Следим за железом и при выходе из строя заменяем, обновляем ПО, ставим для вас разные вкустности. Например drush, sphinx.
4 - Тех поддержка клиентов. мы помогаем клиентам с их проблемами.
5 - Бекапы. Мы делаем бекапы на сервер, который расположен на другом континенте. Это значит что если что то случится серьезное с ДЦ, мы сможем восстановить работу вашего сайта в другом ДЦ в очень короткое время. Последний раз это заняло 4 часа и 30 минут.

и главное, на VIP севера мы размешаем только VIP клиентов, в строго ограниченном количестве. Никакого оверсела.

Конечно если вам не важен ваш проект, вы можете его держать на дешевом железе. Сгорит железо? ну и ладно через пару дней поставят новое и вы сново Онлайн, с последнего бекапа который вы не забыли скачать.
Если вы сам себе админ, знаете как общаться с линуксом или другой OS и вам не жалко своего времени, или у вас его много и некуда девать - то действительно зачем обращаться в хостинг компанию, если можно сделать все самому?

Надеюсь я смог донести до вас почему VIP стоит так дорого.

PS делать вид не надо. это действительно хитрый шаред а не VPS технология

Аватар пользователя Valeratal Valeratal 4 октября 2010 в 19:59

так, судя по тому, что включали тротл
модуль no anonim не использовался (отменяет записи в базу от гостей)

а между тем, полезный модуль, но с тротлом не работает

еще есть прессфлоу, форк друпала, ставиться просто, тож вроде обещают повышение производительности

Аватар пользователя restyler restyler 6 октября 2010 в 1:49

Топик можно было назвать "как я все отключила и спаслась" :)
Надеюсь, качество у патруля не упадет с ростом количества клиентов.