Ускорение выдачи сайта

Только что сделал такое же. Результат превзошел все ожидания. Сайт просто полетел!

Спасибо за статью! Очень полезно и актуально. Особенно, если на сайте работают много модулей.
Даже FCKeditor, который у меня разворачивается в popup окне стал гораздо быстрее открываться.

ща попробуем

У меня стоит apache-2.2.8 и там gzip_module отсутствует. Из портов не ставится, хотя там написано что он уже там стоит. =( непонятно.

Насколько помню, gzip не является обязательным модулем. На хостинге Ру-центра, например, его можно включать или выключать из панели управления. А раз модуль необязательный, то его вполне может и не быть.

вот блин. я его ставлю а он не хочет, ругается.

Спасибо, будем пробовать.

А вот и нестыковка - при первой включенной в модуле опции, которая как раз пакует и кэширует (забыл как она называется, и негде посмотреть сейчас) на странице создания материала пропадают ВСЕ ссылки, которые ниже текстового поля. Вернее, они перестают быть ссылками, и соответственно не разворачиваются.
Можно, конечно, отключать эту опцию, потом создавать новые материалы, и снова включать. Но это же неправильно!

При установке модуля использовал код, взятый со страницы модуля на .org, который вставляется в page.tpl.php
Надо бы еще проверить другой вариант. Тот, где уже другой код вставляется в template.php

Кто какие варианты делал? И как у кого дела обстоят с данной проблемой?
Если бы не данная проблемка, то метод отличный! Сайт реально залетал!

Читайте внимательно мой комментарий:
"При установке модуля использовал код, взятый со страницы модуля на .org, который вставляется в page.tpl.php
Надо бы еще проверить другой вариант. Тот, где уже другой код вставляется в template.php"

Так кто-нибудь еще столкнулся с этим или только я?

Я не сталкивался.
Может js где-нибуть глючит после объединения файлов.
Смотри ошибки в Firebug.

Как вы считаете "сжатие"? Есть какие специальные утилиты, позволяющие это проверить?

полезно, попробую, спасибо.

Firebug

В общем, немного разобрался в проблеме. Но не до конца. У меня включен FCKeditor, соответственно все его js тоже сжимаются. При его отключении все работает отлично. Вот, что выдает Firebug:

Но теперь что, не пользоваться FCKeditor?

Такой вопрос - а компрессия css и js со стороны сервера совместима с друпалловской?

попробуй поставить последние версии модулей.
Вроде на http://drupal.org/project/javascript_aggregator что-то проскакивало про конфликты Javascript Aggregator с FCKeditor и их разрешение

Они же независимы.
Drupal вроде как просто объединяет файлы в один.
gzip_module - сжимает при выдаче.
У меня работают вместе.
Косяков пока не обнаружил.

Спасибо, буду искать.
Кое-что уже посмотрел, но там только про TinyMCE. В комментариях встретились и другие модули, с которыми были проблемы. Может, конечно, ошибаюсь, но данный способ кажется не совсем надежным. Особенно, если в перспективе на сайт еще предстоит устанавливать другие модули, имеющие js.

А как поисковики относятся к сжатию?

им на css и js вобще ровно

Используем на своём сайте давно.
.html - 3-4 раза
.css - 4 раза

Если честно, то использовать JavaScript Aggregator - имеет мало смысла (в отличие от компрессии).

Достаточно проверить, что на ваши скрипты стоит директива Expires на пару недель (так делает Drupal по умолчанию через .htaccess).

Можно поподробнее?

<IfModule mod_expires.c>
  # Enable expirations.
  ExpiresActive On
 
  # Cache all files for 2 weeks after access (A).
  ExpiresDefault A1209600
 
  # Do not cache dynamically generated pages.
  ExpiresByType text/html A1
</IfModule>

Естественно, это работает, только если на вашем сервере стоит mod_expires. У нас стоит, естественно.

А касательно GZip-компрессии - включать выгодно всегда, но аккуратно. Наиболее аккуратно это делает nginx с настройками для прокси-серверов по умолчанию.

ну, как известно, практика всегда лучше теории... а для меня в пользу подобного решения было то, что Административные страницы стали открываться гораздо быстрее...

Попробуйете отключить аггрегатор и не выключать компресию. И проверить настройки и включенность expires.

С уважением,
Акжан (http://www.masterhost.ru/ - обрашайтесь ко мне по вопросам дорогого и качественного хостинга).

спасибо, полезно

А если в течении этих 2 недель я внесу изменения в css на сайте, а люди будут пользоваться закэшированными CSS, то у них сайт будет отображаться некорректно.
Или у браузера есть проверка на дату создания или размер кэшированного файла?

Для этого есть политика E-Tag/If-Modified-Since... она немного дороже... если успею, вечером обьясню, как.

Akzhan wrote:

Если честно, то использовать JavaScript Aggregator - имеет мало смысла (в отличие от компрессии).

Мало смысла и нет смысла - вещи разные, поэтому необходимы пояснения. Да, для постоянных пользователей - смысла почти нет. Но для большого количества анонимов, посещающих сайт редко или вообще по разу - есть, ибо сокращает кол-во запросов к серверу. Также зависит от кол-ва JS-файлов. Если их 2-3 - смысла нет, если 10-20 - сократит кол-во запросов на порядок и соответственно увеличится скорость загрузки.

Совет "Попробуйете отключить аггрегатор и не выключать компресию. И проверить настройки и включенность expires." - не катит, т.к. проверяющий есть постоянный пользователь и для него файлы закэшированы браузером.

Следующий шаг - ускорение php
http://drupal.ru/node/12947

Это решение вызвао у меня Error 500.

Пришлось привести .htaccess в первозданный вид

работает!!

Нашел объяснение ускорению работы сайта и уменьшение потребляемой памяти при включении сжатия страниц gzip.
Как ни странно нашел это в тестовой установке битрикса :)

Почему умирают сайты?

Оперативная память: медленные каналы

Еще один аспект проблемы – это медленные каналы пользователей вашего сайта по меркам веб-сервера. Казалось бы, какое отношение эта проблема может иметь к владельцу сайта? Оказывается, не просто имеет отношение, но и может стать причиной больших проблем.

Например, время генерации страницы может составлять 0.01 секунды, а время передачи страницы клиенту даже с компрессией может занимать от 5 до 50 секунд и более.

В течение всего времени передачи страницы клиенту веб-сервер будет держать в памяти практически бездействующий процесс Apache, который будет только дожидаться завершения передачи данных, но не сможет высвободить память и высвободиться сам, чтобы обработать другой запрос.

Очень часто администраторы не отдают себе отчет в том, насколько данный фактор влияет на стабильность системы и эффективное использование оперативной памяти.

Давайте сделаем простой расчет. Рассмотрим две системы: А и Б.

В системе А время генерации страниц составит 0.1 секунды, а время передачи страницы клиенту в среднем будет составлять всего 5 секунд (в реальной жизни среднее значение окажется еще больше). В системе Б мы будем считать время генерации страниц равным 0.1, а время передачи страницы пользователю равным нулю.

Предположим, что на каждый сайт поступает по 100 запросов в секунду.

Система А: обработка 100 запросов в секунду потребует одновременной работы 100 самостоятельных процессов веб-сервера! "Почему?" - спросите вы. А как же иначе, если даже обработав запрос за 0.1 с., наши процессы, получается, еще не способны обрабатывать другие запросы, а будут висеть в памяти и просто дожидаться, пока пользователи в течение 5 секунд будут получать страницу. На четвертой секунде веб-сервер получит еще 100 запросов и должен будет запустить еще 100 процессов. Соответственно, на пятой секунде в памяти должно находиться 500 процессов и только с этого момента процессы первой секунды начнут высвобождаться и обрабатывать новые запросы. Таким образом, система А для нормальной работы будет запускать порядка 500 процессов, что потребует от нас в лучшем случае 10Г оперативной памяти. Обратите внимание, что даже если бы время генерации страниц было равно 0.001 секунды, это бы не увеличило производительность системы, так как процессы ожидают передачи данных пользователям на медленных каналах, а не времени генерации страниц. Т.е. производительность системы А никак не связана с производительностью PHP и продукта.

Система Б: за первую секунду на сервер поступит 100 запросов. Для обработки 100 запросов нам потребуется всего 10 процессов. Один процесс обрабатывает один запрос за 0.1 секунды. Как мы договорились для системы Б, время передачи страницы пользователю будет равно нулю. Т.е. за 1 секунду, один процесс веб-сервера способен обработать 10 запросов пользователей! К завершению первой секунды, все запросы будут обработаны всего 10 процессами и ко второй секунде все эти процессы будут свободны и готовы обрабатывать следующие запросы. Так же случится и на третьей секунде, и через час. Таким образом, система Б для нормальной работы будет запускать всего 10 процессов, что потребует от нас порядка 200М оперативной памяти. И очень важно отметить, что уменьшение времени генерации страниц до 0.01 секунды позволит реально увеличить производительность системы в 10 раз, и нам будет достаточно уже только 1 процесса для обработки всех 100 запросов в секунду. Производительность системы Б зависит только от производительности PHP и продукта и не зависит от медленных каналов.

Очень наглядный пример, который демонстрирует, насколько велико влияние медленных каналов пользователей на общую производительность веб-системы. Веб-сервер очень неэффективно расходует оперативную память на медленных каналах.

Смысл делать один js файл есть, дело в том, что паковка и гзип лучше работают на одном но большом файле, чем на нескольких маленьких.

В течение всего времени передачи страницы клиенту веб-сервер будет держать в памяти практически бездействующий процесс Apache, который будет только дожидаться завершения передачи данных

ну так ведь уже сколько лет как для решения этой проблемы используют проксирование - вот nginx например или lighttpd
а с включенным gzip лично у меня не все на сайте работает - не помню что, но что-то у кого-то да не работает

Оптимизация mysql
http://drupal.org/node/85768

у меня включен mod_deflate кстати (тот, который стандатный модуль во втором апаче)
вот что я нашел

Модуль mod_deflate заменил в Apache 2.0 модуль mod_gzip, используемый в Apache 1.3.
тут
получается, что мне не нужно включать gzip

Никто случайно не знает, как изменить права на файлы выдаваемые сервером по умолчанию?

Кстати, у меня почемуто права на TMP-файлы Javascript Aggregator -а chmod 600 выставляется
никто случаем не знает - это от него зависит или от настроек сервера?

Чесно говоря не знаю: посмотри владельца и права скрипта, папки, глянь код.

К сожалению javascript_aggregator не заработал с tinymce.
Пришлось отказаться от tinymce.

Исключил tinymce в настройках javascript_aggregator - Все заработало.

Так вернулся в итоге к tinymce?

да

Для совместной работы JS aggregator и tinyMCE нужно на странице "производительность" (admin/settings/performance) указать:

Exclude from js aggregation:

• /sites/all/modules/imce-5.x-1.0/imce_set_tinymce.js
• /sites/all/modules/tinymce-5.x-1.9/tinymce/jscripts/tiny_mce/tiny_mce_gzip.js

Эти файлы и так оптимизированы, поэтому можно не беспокоиться за трафик. Правда остаются лишние запросы к серверу для их получения...

получается, что мне не нужно включать gzip
не - не нужно, если nginx-а попросить - то он будет все проходящее зиповать, наверно так

Помогите пожалуйста:
Возникла проблема: никак не сжимается выдача php-скриптов (ни html ни js) gzip_module
При этом сохраненные на диске файлы сжимаются.

если прописать в настройках
mod_gzip_item_include mime ^text/html$
то отключается сжатие css и js (сжатие html тоже не работает).

mime_magic_module и mime_module на всякий случай включены.

вот интересный сайт http://f-stop.com.ua/ - это магазин конечно не на друпал - но в нем все функции работают моментально - и вывод раздела с кучей позиций и работа с корзиной - попробуйте добавить несколько позиций и удалить - сайт это делает мгновенно - непонятно как им удалось.

С настройками gzip_module пока не получилось.

Зато сжал html средствами php.
http://www.internet-technologies.ru/articles/article_2.html

Просто добавил в template.php строку
ob_start("ob_gzhandler");
И страницы стали отдаваться в сжатом виде (примерное сжатие - в 8 раз).
Еще добавил эту же строчку в модуль AD /modules/ad/adserve.php для сжатия js.

Dimm,
А как вы делаете сжатие в php? Что-то я не понял принципа - вы просто включили буферизацию...
Мой хостер сказал, что им "не выгодно включитаь mod_gzip" и оно "не включено ни на одном из наших серверов".
Короче, нет и не будет.
Я уже было думал по крону заставить спец. скрипт создавать архив всех .css и .js-файлов и их отдавать вместо несжатой версии...

Подскажите как вы сделали сжатие!

Я же говорю:
Просто добавил в template.php строку
ob_start("ob_gzhandler");
Решение нашел здесь:
http://www.internet-technologies.ru/articles/article_2.html
Если ob_start("ob_gzhandler"); не работает, то там описан второй способ.
Но это у меня html сжимается.
А отдельные css файлы у мнея mod_gzip сжимает.
А js сжимает javascript_agregator.