Чрезмерная нагрузка на CPU от 6.x... 39315!!!! активных блоков. Спасите!

Главные вкладки

Аватар пользователя edemus edemus 13 мая 2011 в 11:51

Здравствуйте.

Моя проблема вызвана чрезмерной нагрузкой моего сайта на CPU!

Вследствие чего хостер запретил доступ поисковым ботам на мой сайт НАЗВАНИЕ_САЙТА.net.

Их ответ был такой
"В таком варианте обеспечивать индексацию ботами мы не можем, нагрузки слишком большая и 13 часов набора "кеша" никак ситуацию не решили. Как только я закрыл доступ к сайту для ботов, нагрузка сразу пошла вниз. Сайт надо приводить в порядок и существенно снижать нагрузку по CPU.

У вас например 39315!!!! активных блоков.
Только определение какие блоки где и как вывести может создавать значительную часть нагрузки.
К сожалению разблокировать доступ для ботов мы не можем, пока вами не будет устранены проблемы с нагрузкой.
Начните с блоков. Как закончите - сообщите, посмотрим какая нагрузка."

Ну вот собственно и все.
Прошу помощи, консультаций в плане решения моей проблемы.

Почитал на этом сайте, что советуют отключить - отключил модули
Pathauto (хоть и не хотел). Правильно ли сделал?!? Можно включить обратно?
Content translate
Xmlsitemap (это отключил Хостер, поскольку все сжирал именно этот модуль). А КАК ЖЕ МНЕ БЕЗ КАРТЫ САЙТА?!?
BBCODE

У меня сейчас около 70К записей.
Используется
Друпал 6.20 (дистрибутив Pressflow)
Модули
Ad
Biblio
ССК
Block Cache Alter (им я выбираю что кешировать, а что нет) ЯДРО НЕ ПАТЧИЛ
Boost
CacheRouter (сохраняет в файл подпапки сайта по умолчанию)
Chaos tools
Archive
Blod
Contact
Forum
Locale
Menu
Phpfilter
Statistics (+number) - выводит кол-во прочтений материалов
Throttle
Upload
FEEDS (auto content)
Image +GD + Amage Magic
Image Gallery
Nodewords
Featured Content Slider Block
Related Items
JavaScript Aggregator
Path alias cache
Send by e-mail
Noindex External Links
reCAPTCHA
Tagadelic
Views
Advanced Forum More Styles
Avatar Selection
CSS Gzip
DB Maintenance
DHTML Menu
Global Redirect
Google CSE
IMCE
Node_Type_Filter
Site map
Site Verification
Thickbox
Token

вроде бы все.

Комментарии

Аватар пользователя edemus edemus 13 мая 2011 в 12:00

Я понятия не имею откуда столько блоков))))).
Я в друпале разбираюсь на уровне включить/выключить модуль.

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 13 мая 2011 в 12:13

<a href="mailto:Sentrashy@drupal.org">Sentrashy@drupal.org</a> wrote:
"edemus" wrote:
У вас например 39315!!!! активных блоков.

инферно рыдает в углу от зависти.

Думаю что не о блоках друпала речь идет ;)


да. это пять!

Аватар пользователя edemus edemus 13 мая 2011 в 12:11

Хостинг - it-patrol.
Кстати, на сайт в основном заходят боты и гости.
Юзеров онлайн не более трех паралельно. Обычно - 1,2 или 0.

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 13 мая 2011 в 12:16

"Ветер" wrote:
Епть, 39000 блоков,

[telepatmode on]я бы сказал что юзер не знает как кеш блоков работает Smile и это числоединиц в кеше для блоков, которые кешируются. возможно лишние разы Smile
[/telepatmode]
я кстати видел как таблица кеша блоков сжирает на сайте до 600000 записей и как все это тормозит - особо при удалении/вставке. Wacko

Аватар пользователя Sentrashy@drupal.org Sentrashy@drupal.org 13 мая 2011 в 12:16

"Ильич Рамирес Санчес" wrote:
[telepatmode on]я бы сказал что юзер не знает как кеш блоков работает Smile и это число блоков которые кешируются. возможно лишние разы =)[/telepatmode]

это был ответ поддержки патруля, со слов ТС

Аватар пользователя edemus edemus 13 мая 2011 в 12:31

Да, они для ботов перекрыли кислород. Зато хоть смилостивились, не запретили доступ для ботов бирж ссылок, где я торгую...

Аватар пользователя edemus edemus 13 мая 2011 в 12:50

Я так понял попкорн здесь главная тема))).
Что самое интересное, я не понимаю, то ли вы с меня прикалываетесь, то ли удивляетесь.
Я разбираюсь в друпале на уровне включить/выключить модуль и добавить записи.)))

Аватар пользователя Sentrashy@drupal.org Sentrashy@drupal.org 13 мая 2011 в 12:54

"edemus" wrote:
Да, точно.
Всего поменял порядка 20-ти тем. Все с друпал.орга. Включал, смотрел, менял на другие.

а теперь поройдите в админку и выключите их

и все равно, объясните пожалуйста кто нить: 20 тем , это более 1900 блоков в теме. Это кэш или так реально бывает?

Аватар пользователя edemus edemus 13 мая 2011 в 13:02

Все темы выключены

кроме одной. она то и работает. скрины выше.

п.с.: когда-то давно я перебирал много тем путем включения и отключения, а также удаления ненужных.

Аватар пользователя edemus edemus 13 мая 2011 в 13:04

АААА... Слушайте, может в этом и проблема. Раз вы говорите.
А как их можно удалить?!?
В админке "темы" я их отключил (скрины выше), затем удалил по ФТП их.

Или они записались в БД MySQL?
Если да, то как называется таблица, которую надо почистить?!?

Аватар пользователя edemus edemus 13 мая 2011 в 13:19

RxB wrote:
"edemus" wrote:

Или они записались в БД MySQL?


Они живут в таблице blocks и boxes

спасибо в любом случае. буду пробовать.

Аватар пользователя edemus edemus 13 мая 2011 в 13:07

это вы спрашиваете или даете консультацию?!? в конце вашего вопроса "?".

Если я очищу таблицу, сайт будет работать, новые таблицы создадутся заново?!?

Аватар пользователя edemus edemus 13 мая 2011 в 15:48

Проблема была в другом! РЕШЕНО!!!!!!!!!!!!!!!

Оказывается, все дело в том, что раньше мой сайт был на Друпал 5.х. Я обновился до 6.х Друпал, затем с Друпала перекочевал на его дистриб. Прессфлоу 6.х, а блоки Друпала 5.х остались(((((((((((((((((((((((((((((((((((((((
Всего более 60.000 блоков.
После удаления менее 16.000 стало.

Удаляем дальше....))))

Аватар пользователя Geldora Geldora 3 июня 2011 в 2:44

Слушайте... а как вы блоки очистили?

А то у меня тоже - с 5ки на 6ку + за три года немеряно тем попробовано-отключено. Для меня вообще шок, что темы создают блоки, которые в таблицах остаются! Я то думала, блоки всегда одни и те же...

Аватар пользователя Geldora Geldora 3 июня 2011 в 3:31

Разобралась.

Открываете базу сайта, идете в таблицу Блокс... и широко раскрываете глаза от удивления - она содержит ВСЕ блоки от ВСЕХ когда-либо использованных на сайте тем... В т.ч. тех, которые были поставлены, а потом выключены за пару минут...

Например, у меня там 2 500 записей для 38 блоков (судя по бокс). Удалить их просто, т.к. одно из полей имя темы, ИМХО удалить можно все, что сейчас не используется, оставить набор для одной-двух тем. Что самое забавное - удаление блока в админке не приводит к удалению записи в базе... Записи расположены хронологически, от исторически старых к новым. Т.е. по факту, они не несут ВООБЩЕ никакой пользы - если в начале существования вашего сайта у вас было 5 блоков включены, то они все есть в таблице. Если вы переключите тему на старую через пару лет, создастся еще один набор записей в таблице по числу новых блоков.

Короче, маразм.

Аватар пользователя Geldora Geldora 3 июня 2011 в 4:54

Я под глубоким впечатлением от этого топика... спасибо ТС и техподдержке Ит-Патрол, что вывели на такую интересную тему!

Итак: почистила себе таблицу блокс, пришлось все делать руками... Оставила три темы: основную, админка + гарланд на всякий случай. Все остальное - снесла к чертям. Конечно, глубокой ночью сложно проверять статистику... но визуально сайт стал лучше работать и в админке резко пошла вниз нагрузка. Буду смотреть завтра, совпадение это или вправду подействовало Smile

Аватар пользователя kodo kodo 3 июня 2011 в 9:54

Интересно... не сталкивался с данной проблемой видно потому что эксперементировал с темами в основном на тестовом сайте. Но пару лишних тем почистить не помешат в блоках.
Да, ситуация в Д7 изменилась?

Аватар пользователя itnn itnn 16 декабря 2011 в 17:40

а вы не пробовали ставить минимальное время обращения робота к вашему сайту? (в файле robots.txt есть директива crawl-delay)