19 июля 2018 в 13:19
Есть сеть новостных сайтов:
1. 116chelny.ru
2. 116kama.ru
3. 116kzn.ru
4. 152gorod.ru
5. 154sibir.ru
6. 155omsk.ru
7. 163gorod.ru
8. 164saratov.ru
9. 178piter.ru
10. 196ekb.ru
11. 197msk.ru
Раньше они были на сервере, но решил перенести на виртуальный хостинг. После переноса на виртуальный хостинг начались проблемы. Сайты стали тормознуто работать, особенно в админке, в некоторых случаях просто отдавали различные ошибки:
http://joxi.ru/BA04Oo3uJeJV7A
http://joxi.ru/n2YzBxKsogo5JA
Самые успешные сайты имеют менее 500 посетителей в сутки, а большая часть сайтов имеет трафик менее 100 человек в сутки.
То есть, тут вообще нет никакого экономического смысла содержать сервер. Нужно оптимизировать нагрузки.
Попросили хостера прислать информацию процессы дают наибольшую нагрузку:
Top 20 of 26 domains:
-------------------------------------------
79279 28.33% 163gorod.ru
65993 23.59% 116chelny.ru
33360 11.92% 116kzn.ru
22819 8.16% 178piter.ru
14203 5.08% 152gorod.ru
12490 4.46% 164saratov.ru
11560 4.13% 155omsk.ru
9939 3.55% 154sibir.ru
9748 3.48% 116kama.ru
8357 2.99% 196ekb.ru
7063 2.52% 197msk.ru
1139 0.41% www.197msk.ru
582 0.21% www.163gorod.ru
580 0.21% gopr.ru
476 0.17% www.154sibir.ru
400 0.14% www.116chelny.ru
379 0.14% www.116kama.ru
340 0.12% www.116kzn.ru
225 0.08% www.164saratov.ru
208 0.07% www.155omsk.ruTop 20 of 11745 IPs:
-------------------------------------------
20849 7.45% 31.28.170.216 - Ukraine
10082 3.60% 54.86.175.16 - United States: Amazon.com, Inc.
8121 2.90% 88.99.213.30 - Germany: Hetzner Online GmbH
5610 2.01% 37.9.113.75 - Russian Federation: YANDEX LLC
4423 1.58% 141.8.142.176 - Russian Federation: YANDEX LLC
4316 1.54% 188.127.251.97 - Russian Federation
3982 1.42% 188.127.249.245 - Russian Federation
3951 1.41% 95.173.146.220 - Russian Federation, Moscow
3762 1.34% 54.38.130.51 - France: OVH SAS
3757 1.34% 185.77.233.162 - Russian Federation
3537 1.26% 94.242.57.211 - Russian Federation
3531 1.26% 94.242.55.248 - Russian Federation
3278 1.17% 5.45.207.43 - Russian Federation: YANDEX LLC
3167 1.13% 66.249.69.181 - United States: Google Inc.
3146 1.12% 66.249.69.169 - United States: Google Inc.
2773 0.99% 141.8.142.112 - Russian Federation: YANDEX LLC
2688 0.96% 89.107.124.36 - Russian Federation, Moscow
2532 0.90% 141.8.142.146 - Russian Federation: YANDEX LLC
2531 0.90% 46.4.167.235 - Germany: Hetzner Online GmbH
2505 0.90% 46.4.167.237 - Germany: Hetzner Online GmbHTop 20 of 5897 User-Agents:
-------------------------------------------
39414 14.09% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
30460 10.89% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
23781 8.50% Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)
20841 7.45% Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
15280 5.46% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
10067 3.60% trendkite-akashic-crawler
8927 3.19% Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
8103 2.90% Wget/1.16 (linux-gnu)
7735 2.76% Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
5544 1.98% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
5520 1.97% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36
5344 1.91% Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)
4796 1.71% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
4081 1.46% Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0
3757 1.34% Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)
3542 1.27% Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/52.0.2743.116 Chrome/52.0.2743.116 Safari/537.36
3463 1.24% Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
3403 1.22% -
2666 0.95% Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
2020 0.72% Mozilla/5.0 (Windows NT 5.1; rv:45.0) Gecko/20100101 Firefox/45.0Top 4 of 4 METHODs:
-------------------------------------------
255755 91.41% GET
23344 8.34% POST
690 0.25% HEAD
3 0.00% OPTIONSTop 20 of 54624 Requests:
-------------------------------------------
20841 7.45% POST 116chelny.ru/NewsApi.php
11281 4.03% GET 163gorod.ru/sites/116kzn.ru/files/styles/news-img-full/public/2016/02/Zhiteli-Rossii-potratili-na.jpg?itok=NqidoV5h
7048 2.52% GET 116chelny.ru/yandex-news.xml
5374 1.92% GET 154sibir.ru/yandex-news.xml
4557 1.63% GET 116kzn.ru/yandex-news.xml
4271 1.53% GET 163gorod.ru/yandex-news.xml
4041 1.44% GET 164saratov.ru/yandex-news.xml
4001 1.43% GET 196ekb.ru/yandex-news.xml
3930 1.40% GET 197msk.ru/yandex-news.xml
3855 1.38% GET 152gorod.ru/yandex-news.xml
3715 1.33% GET 116kama.ru/yandex-news.xml
3489 1.25% GET 152gorod.ru/probki
2862 1.02% GET 178piter.ru/sites/all/modules/elysia_cron/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
2680 0.96% GET 155omsk.ru/yandex-news.xml
2176 0.78% GET 163gorod.ru/
2052 0.73% GET 116chelny.ru/
1713 0.61% GET 154sibir.ru/probki
1654 0.59% GET 116chelny.ru/latest-events
1353 0.48% GET 116kzn.ru/latest-events
1088 0.39% GET 116kzn.ru/Top CPers: (1741.900 total)
-------------------------------------------
137.111 116chelny.ru/NewsApi.php
67.958 163gorod.ru/batch
34.749 116chelny.ru/yandex-news.xml
33.053 152gorod.ru/probki
23.585 116chelny.ru/batch
22.310 116chelny.ru/admin/config/development/generate/content
21.545 116chelny.ru/
16.223 154sibir.ru/probki
13.177 163gorod.ru/latest-events
12.843 178piter.ru/sites/all/modules/elysia_cron/cron.php
9.336 155omsk.ru/
8.513 116chelny.ru/latest-events
6.296 164saratov.ru/
5.885 116chelny.ru/admin/config/delete-all-firms/firm
5.507 116kama.ru/
5.431 164saratov.ru/probki
5.417 155omsk.ru/rubriki/proisshestviya
5.412 197msk.ru/latest-events
5.308 163gorod.ru/cron.php
5.221 164saratov.ru/rubriki/gorodTop 20 of 25 domains:
-------------------------------------------
43731 27.51% 163gorod.ru
33626 21.15% 116chelny.ru
18503 11.64% 116kzn.ru
14538 9.14% 178piter.ru
8250 5.19% 152gorod.ru
7637 4.80% 164saratov.ru
7095 4.46% 155omsk.ru
6254 3.93% 154sibir.ru
6175 3.88% 116kama.ru
5285 3.32% 196ekb.ru
4794 3.02% 197msk.ru
826 0.52% www.197msk.ru
453 0.28% www.163gorod.ru
384 0.24% www.154sibir.ru
294 0.18% gopr.ru
174 0.11% www.116kzn.ru
149 0.09% www.116chelny.ru
142 0.09% www.152gorod.ru
139 0.09% www.164saratov.ru
139 0.09% www.155omsk.ruTop 20 of 6703 IPs:
-------------------------------------------
15167 9.54% 31.28.170.216 - Ukraine
6520 4.10% 88.99.213.30 - Germany: Hetzner Online GmbH
2573 1.62% 188.127.251.97 - Russian Federation
2562 1.61% 95.173.146.220 - Russian Federation, Moscow
2502 1.57% 188.127.249.245 - Russian Federation
2320 1.46% 185.77.233.162 - Russian Federation
2092 1.32% 66.249.69.53 - United States: Google Inc.
2034 1.28% 94.242.55.248 - Russian Federation
1996 1.26% 54.38.130.51 - France: OVH SAS
1832 1.15% 66.249.69.41 - United States: Google Inc.
1807 1.14% 94.242.57.211 - Russian Federation
1765 1.11% 188.163.37.71 - Ukraine, Lutsk
1642 1.03% 54.86.175.16 - United States: Amazon.com, Inc.
1602 1.01% 141.8.142.157 - Russian Federation: YANDEX LLC
1544 0.97% 178.154.200.37 - Russian Federation: YANDEX LLC
1542 0.97% 178.154.200.40 - Russian Federation: YANDEX LLC
1542 0.97% 5.255.253.26 - Russian Federation: YANDEX LLC
1524 0.96% 37.9.113.75 - Russian Federation: YANDEX LLC
1520 0.96% 87.250.224.118 - Russian Federation: YANDEX LLC
1519 0.96% 5.45.207.43 - Russian Federation: YANDEX LLCTop 20 of 3202 User-Agents:
-------------------------------------------
24458 15.38% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
17167 10.80% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
15167 9.54% Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
14303 9.00% Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)
8599 5.41% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
6510 4.09% Wget/1.16 (linux-gnu)
5389 3.39% Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
4347 2.73% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
3890 2.45% Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
3253 2.05% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3145 1.98% Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)
2746 1.73% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36
2623 1.65% Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0
2322 1.46% Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)
1880 1.18% Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
1647 1.04% -
1641 1.03% trendkite-akashic-crawler
1434 0.90% Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36
1355 0.85% Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
1123 0.71% Mozilla/5.0 (Windows NT 5.1; rv:45.0) Gecko/20100101 Firefox/45.0Top 3 of 3 METHODs:
-------------------------------------------
141886 89.25% GET
16762 10.54% POST
328 0.21% HEADTop 2 of 2 Dates:
-------------------------------------------
158975 100.00% 18 Jul 2018
1 0.00% 17 Jul 2018Top 20 of 30829 Requests:
-------------------------------------------
15167 9.54% POST 116chelny.ru/NewsApi.php
5848 3.68% GET 163gorod.ru/sites/116kzn.ru/files/styles/news-img-full/public/2016/02/Zhiteli-Rossii-potratili-na.jpg?itok=NqidoV5h
3790 2.38% GET 116chelny.ru/yandex-news.xml
3239 2.04% GET 154sibir.ru/yandex-news.xml
2521 1.59% GET 196ekb.ru/yandex-news.xml
2461 1.55% GET 116kzn.ru/yandex-news.xml
2448 1.54% GET 197msk.ru/yandex-news.xml
2426 1.53% GET 164saratov.ru/yandex-news.xml
2388 1.50% GET 163gorod.ru/yandex-news.xml
2381 1.50% GET 152gorod.ru/yandex-news.xml
2210 1.39% GET 116kama.ru/yandex-news.xml
1616 1.02% GET 155omsk.ru/yandex-news.xml
1504 0.95% GET 178piter.ru/sites/all/modules/elysia_cron/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
1428 0.90% GET 152gorod.ru/probki
1017 0.64% GET 163gorod.ru/
968 0.61% GET 116chelny.ru/
883 0.56% POST 163gorod.ru/batch?id=13959&op=do
876 0.55% GET 197msk.ru/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
826 0.52% GET 154sibir.ru/probki
821 0.52% GET 116chelny.ru/latest-eventsTop CPers: (965.137 total)
-------------------------------------------
99.080 116chelny.ru/NewsApi.php
56.997 163gorod.ru/batch
19.079 116chelny.ru/yandex-news.xml
13.304 152gorod.ru/probki
10.114 116chelny.ru/
8.895 154sibir.ru/probki
6.790 178piter.ru/sites/all/modules/elysia_cron/cron.php
6.440 163gorod.ru/latest-events
6.177 163gorod.ru/cron.php
4.923 116chelny.ru/cron.php
4.440 155omsk.ru/
4.242 116chelny.ru/latest-events
4.086 197msk.ru/cron.php
3.654 164saratov.ru/
3.442 197msk.ru/latest-events
3.218 164saratov.ru/latest-events
3.192 155omsk.ru/rubriki/proisshestviya
3.187 152gorod.ru/latest-events
3.152 164saratov.ru/rubriki/gorod
3.141 116kama.ru/
До этого хостер присылал рекомендации по снижению нагрузки:
1. Прописать в панели вебмастера Яндекса и Гугла ограничение на скорость индексации сайтов – это все прописали.
2. Также в одно время, когда еще сайт работал на серверы, в домены https://116chelny.ru/ и https://163gorod.ru/ импортировали большое количество новостей скриптом. Скорее всего, наследие в нагрузке:
116chelny.ru/NewsApi.php
Осталось от него, но такого файла уже физически на сайтах нет и на работу сайта он никак не влияет, поэтому прописали в .htaccess:
Order Allow,Deny
Allow from all
Deny from 31.28.170.216
RewriteEngine On
RewriteCond %{REQUEST_URI} NewsApi.php [NC]
RewriteRule .* - [F]
А с этого IP 31.28.170.216 больше всего запросов было, вот и решили и его забанить.
3. Также в списке создаваемых страниц увидели страницы вида /yandex-news.xml , эта RSS-лента автоматически формировалась для Яндекс и Гугл новостей при каждом обращении, сейчас уже это не актуально и просто выложили вместо него текстовой файл https://116kzn.ru/yandex-news.xml .
Что еще можно сделать для снижения нагрузки?
Параллельно ищу специалиста, кто бы мог платно этим заняться.
Сейчас хостимся на Бегете, просто из-за щедрости хостера. Я думал проблема в хостинге и переехал на Hostiman, где сайты сражу заглохли. Тех поддержка написала:
Учитывая характер отказов (аккаунт пытается "съесть" до 38гб оперативной памяти) работать на хостинге Ваши сайты не будут должным образом. Лучше всего Вам подойдет VPS/VDS, либо оптимизация сайтов.
Комментарии
Память любят кушать процессы, которые генерируют различные xml и тп. использующие node_load() Нужно искать.
возможно нагрузка зависит не от числа посетителей а от кол-ва материалов.
Также есть модуль "filecache" который иногда помогает...
И еще есть хостинг timeweb.
У вас обычные статейники, кроме gopr.ru.
Загнать их в статичный кеш и забыть о нагрузке раз и навсегда.
Может быть, триггеры на очистку кеша настроить.
Могу помочь.
При каком количестве материалов могут быть проблемы? Недавно сделали каталог фирм для сайтов:
https://116chelny.ru/katalog-firm тут до 10 000 нод, но все статично, как написали выше.
У вас на этой странице очень кустистое дерево категорий, да ещё и с подсчётом количества организаций в категории.
Данная операция может быть дорогой для скорости в зависимости от реализации, но врядли актуальность цифр в реальном времени критична.
Поэтому, загонять в кеш и забыть.
На скорость обычно влияет разросшийся словарь таксономии.
Про кол-во материалов. Если сделано грамотно(то есть ненакосячить) , то нагрузки быть не должно. Новостные сайты с десятками тысяч материалов у меня всегда очень шустрые
Попробуйте включить кеширование, и еще кеширование views
надо собственный сервер и кластерный nginx.
a. Нужен анализ нагрузки по сайтам
b. VPS и настройка веб сервера
Как выше, очень правильно написали, вам нужен статический кеш, и скорее всего, большую часть проблем сможет решить https://www.drupal.org/project/boost а остальные оптимизация страниц, которые не получится кешировать на долго.