Нагрузка на сайт

Главные вкладки

Аватар пользователя Иван Пуговкин Иван Пуговкин 26 декабря 2011 в 15:36

Неделю назад хостер перенес наш аккуант на новый сервер, в целях разрузки мощностей сервера. Сразу начались проблемы с сайтами. На тарифном плане 2 сайта. У одного посещаемость 500-600 в сутки, другой-50-80 в сутки.
Сайты тормозят. Грузятся долго. Даже выключали аккуант из-за чрезмерной нагрузки...
Проверяю на http://host-tracker.com/ очень часто выдает ошибку 503. Техподдержка советует смотреть логи и оптимизировать сайты. Но тех.данные сайтов не меняли уже с полгода, модулей никаких новых не подключал. И до переноса на новый сервер все работало четко.
И вот уже с неделю с техподдержкой хостинга на связи… Сегодня они мне говорят что просмотрели логи и предлагают отключить подгрузку с mail.ru и бота http://www.majestic12.co.uk/bot.php, типа они и вызывают эти проблемы.
Я добавил в файл robots :
User-agent: MJ12bot
Disallow: /
User-agent: Mail.Ru
Disallow:
Техподдержка пишет что: “К сожалению нет, данные строки не запретят подключение.
В данном случае нужно смотреть сами скрипты и отключить подключение в них.
Пожалуйста свяжитесь по данному вопросу с разработчиком сайта.


Парни, подскажите, какие скрипты тут надо смотреть? Где отключить правильно эти боты?
P.S. А еще тут товарищ говорит что скорее всего со сменой сервера поменялся ай-пи адрес, и пока боты не проиндексируют сайт заново – сайты будут тормозить…
Может такое быть?

Комментарии

Аватар пользователя drupby drupby 26 декабря 2011 в 16:55

"ИванС" wrote:
Могу посоветовать хороший хостинг, который решит ваши проблемы -

неплохо было бы отзывы добавить пользователей cms/cmf drupal добавить действующих .

Аватар пользователя gnatovsky.igor gnatovsky.igor 26 декабря 2011 в 17:36

Ссылку на сайт предоставьте.
А вообще если часто выдает 503, то, насколько мне известно, сервер не справляется с нагрузкой и отклоняет запросы.
А если до переноса на новый хостинг все работало четко - то либо ответ очевиден, либо, действительно, с ботами связано (что маловероятно).

Аватар пользователя leovka leovka 26 декабря 2011 в 17:20

Вряд ли роботы дают такую нагрузку. Обычно робот сам определяет подходящую скорость обхода страниц.
Попробуй в robots.txt с директивой Crawl-delay поиграться.
А вообще советую для Drupal использовать кэширование. Я, например, Varnish использую, сильно нагрузку снизило. В твоём случае можно Boost попробовать.

Аватар пользователя Semantics Semantics 26 декабря 2011 в 18:21

"Иван Пуговкин" wrote:

Ну зачем мне ваш хостинг, ребята? Проблемы могут возникнуть на любом хостинге. Их нужно просто решать.


Аватар пользователя Vladimir_Z Vladimir_Z 26 декабря 2011 в 21:25

"Иван Пуговкин" wrote:
Ну зачем мне ваш хостинг, ребята? Проблемы могут возникнуть на любом хостинге. Их нужно просто решать.

Тут вы неправы. Многие проблемы просто не возникают у нормального хостера.
IT-Patrol хороший выбор. Хостился у них. Но научился сам настраивать VPS и переехал от них на hetzner.de
Если сами не готовы конфигурировать сервер, то IT-Patrol лучший выбор. До них перепробовал много хостингов...

Аватар пользователя Иван Пуговкин Иван Пуговкин 26 декабря 2011 в 22:20

Да я и не спорю. IT-Patrol возможно и хороший хостинг. А я на sweb.ru уже больше трех лет. В техподдержку обращался всего наверное раза три. И то, в начале, только когда купил и сейчас. Все, больше проблем никаких нет и не было. ПУ очень удобна. Все настроено и работает четко. Спрашивается, ну нафига мне эти переезды на другой хостинг?

Аватар пользователя K0r5hun K0r5hun 27 декабря 2011 в 0:54

Эх... пару ласковых слов в адрес sweb. Настроек ради клиентов никаких не меняют. После обновления до последней версии Битрикс стала возникать ошибка в сложном JOIN запросе - у них лимит был 2??, а надо было 5. Сообщили, что ничего менять не будут - переписывайте код. Ага щас....

Потом ограничение времени выполнения скрипта. 30 секунд, а если сильно грузит - то 10 секунд - и как хочешь, так и пляши. Кстати это ограничение также действует и например на создание архивов по ssh Smile - так что были проблемы с созданием бэкапов сайтов. Приходилось их просить.
Да... базу данных через PHP My Admin - максимум можно скачать несжатым файлом. Если поставить архивацию, а база большая - также отрубается по таймауту.

Также раньше сайт на DLE был. И именно у них картинки автоматически не грузились на хостинг... Вспомнился небольшой косячок.

Ещё недоволен тем, как с партнёрской программой своей поступили. Вообще больше я к ним ни ногой. Какой-то негатив их политика стала вызывать.

P.S. это по опыту работы с 3 аккаунтами и ~5 сайтами, в т.ч. клиентскими

Аватар пользователя Chyvakoff Chyvakoff 27 декабря 2011 в 13:05

K0r5hun wrote:
Эх... пару ласковых слов в адрес sweb. Настроек ради клиентов никаких не меняют. После обновления до последней версии Битрикс стала возникать ошибка в сложном JOIN запросе - у них лимит был 2??, а надо было 5. Сообщили, что ничего менять не будут - переписывайте код. Ага щас....

Потом ограничение времени выполнения скрипта. 30 секунд, а если сильно грузит - то 10 секунд - и как хочешь, так и пляши. Кстати это ограничение также действует и например на создание архивов по ssh Smile - так что были проблемы с созданием бэкапов сайтов. Приходилось их просить.
Да... базу данных через PHP My Admin - максимум можно скачать несжатым файлом. Если поставить архивацию, а база большая - также отрубается по таймауту.

Также раньше сайт на DLE был. И именно у них картинки автоматически не грузились на хостинг... Вспомнился небольшой косячок.

Ещё недоволен тем, как с партнёрской программой своей поступили. Вообще больше я к ним ни ногой. Какой-то негатив их политика стала вызывать.

P.S. это по опыту работы с 3 аккаунтами и ~5 сайтами, в т.ч. клиентскими


Нафиг хостинг с такими ограничениями.. я на одном бесплатном nx0.ru вроде - делал запрос с десятью джоинами-всё работало.

Аватар пользователя ihappy ihappy 27 декабря 2011 в 2:07

"Иван Пуговкин" wrote:
Спрашивается, ну нафига мне эти переезды на другой хостинг?

так они тебя в попу имеют сейчас. В самом прямом смысле.
Уходи от них подальше. наприме на "датахата"
Отличный хостинг с отличной техподержкой, с отличными серверами.

Аватар пользователя Chyvakoff Chyvakoff 27 декабря 2011 в 13:39

"ИванС" wrote:
отличный тем, что цены выше, чем по рынку? тем, что у них обычный виртуальный хостинг, даже не кластерный? тем, что хамят везде и презирают своих конкурентов? Тем, что не гнушаются писать левые отзывы о кункурентах?

сто рублей-это ниже чем по рынку.
мне пофиг какой у них хостиг,хоть облачный. у меня всё шикарно работает и ладно.
мне не хамили ни разу))

Аватар пользователя ihappy ihappy 27 декабря 2011 в 14:43

"ИванС" wrote:
вы беситесь от бессилия.

да нет, просто говорю, чтобы долбоеб съебался с форума.
А так ты даже веселишь меня, своей тупость.