1 июня 2009 в 11:39
Ситуация такова
Кто то упорно ( пров. Пенза-телеком) пытается выкачать сайт -видно по вотчдогу
и создает не нужную нагрузку.
Подскажите, если в друпале способы ограничения хитов с одного IP за определенное время?
есть варинат сторонного скрипта
http://php.spb.ru/other/_dima_noflood.php
однако не пробовал, но возможно что то что нужно.
Комментарии
Я бы на вашем месте просто закрыл бы выкачку.
Для этого в .htaccess можно прописать IP в соответствующей директиве deny from
Ещё один вариант - настройте mod_rewrite так чтобы по User-Agent или опять же по IP-адресу выполнял переадресацию на статическую HTML-страничку, на которой можете написать всё, что вы думаете о скачивающем сайт в таком варварском режиме.
Ещё один способ можно применить если у вас есть nginx или lighttp. Там можно настроить скорость отдачи контента как по IP так и по User-agent. Можно поставить всем роботам скорость в 1-2к и пусть удавятся
Самый цивилизованный способ - это директивы в robots.txt, вот только многие скачивалки клали с пробором на эти директивы.
да толку, IP ж менятся
заблокировать отдельный IP можно и в вотчдоге (что я и делаю)
задача блокировать любую чрезмерную активность
ну тогда показ контента только зарегистрированым
может стоит поменять хостинг? это нездорОво
хостинг - сейчас сложно, в мае только оплатил
проблема еще в том, что следующий тарифный план в 2! раза дороже
да и в принципе, до недавних пор проблем особых не было
есть еще резерв оптимизации - на судбомене живет каталог файлов с 500к записей - попробую его перевести на отдельный тарифный план
писать перл или пхп скрипт, который ест лог апачи. смотрит ип адреса которые были активны прошлые несколько секунд - частоту запросов и блокирует.
я чаще пишу абузы хостерам. хотя есть отмороженные хостеры тип кейвеба которым абузы похрен. но чаще все же работает.
радоваться надо чрезмерной активности,а не блокировать её.
1. Траффик хоть какой?
2. Загружают не боты?
пример скрипта я приводил в начале
попробую подключить и доложу о результатах
Сталкер, так там такая активность - типа телепорт
за 24 часа сервер потратил 25 часов времени на генерацию страниц для этого IP 
Трафик оренбургский, загружают какой-то качалкой
ну и что? а завтра ты напишешь
за 24 часа сервер потратил 25 часов времени на генерацию страниц для этого IP 
Сталкер, так там такая активность - типа яндекс, гугл ботов
если это не флуд запросов в несколько потоков. ботов их видно.
да понятно, что нормальный сервер должен тянуть такого рода ботов
Просто видимо мой "сервер" и так на ладан дышит, крон подвисает, что допнагрузка валит его вообще
если это не флуд запросов в несколько потоков. ботов их видно.
флуд - неправильное слово.
есть ддос - это плохо.
и есть, как правильно сказал ТС - чрезмерная активность - это хорошо, когда сайт приносит деньги. а он приносит. и ничего ненормального нет в том, что кто-то допустим с работы хочет взять сайт домой почитать.
Есть ненормальное. Скачивалка должна как минимум уважать директивы robots.txt, в частности crawl-delay
Если она этого не делает, то такая скачивался равносильна ДОС атаке
А всякие кеширующие прокси не спасают от этого?
Они под пользователем качают или как анонимус?
по строке HTTP_USER_AGENT его. Может там че-нить экзотичное и специальное прописано, резко отличающее его от обычного браузера, чем черт не шутит. Или кукисы проверить.
Есть ненормальное. Скачивалка должна как минимум уважать директивы robots.txt, в частности crawl-delay
Если она этого не делает, то такая скачивался равносильна ДОС атаке
дадада, знаете, дружище, есть такое понятие, как digg/хабраэффект.
если ваш сайт не выдерживает одной качалки... ну что же, удачи вам в его продвижении.
дадада, знаете дружище, если вы относитесь к другим по-жлобски, нагружая ресурс потому что вам плевать, лишь бы вам было хорошо, то будьте готовы к тому, что и к вам отнесутся соответствующим образом, забанят и зарежут. В конце концов адекватных клиентов намного больше, чем жлобов и в итоге ситуация, которую вы пытаетесь поставить с ног на голову придёт в норму, т.е. жлобы не смогут работать с ресурсом, а нормальные люди будут работать нормально!
К слову сказать, всё зависит от толщины канала, а так можно и одной качалкой завалить практически любой ресурс, не имеющий защитных ограничений, если поставить качать на максимальной скорости в сотню-другую параллельных потоков - так что не надо мне рассказывать сказок - плавали, знаем!
как правильно заметили - вопрос в скорости
вспомните безумную вебальту
я не против скачивания всего сайта. Но можно/лучше делать это в выходные - когда народу меньше.
Понятно, что большая часть решается повышением тарифного плана, но в условиях кризиса, не так просто найти деньги
Valeratal, дело даже не в этом. Я считаю, что на своём ресурсе хозяин я, а не тот кто хочет скачать мой сайт. Поэтому и играть придётся по поим правилам. А вот хостер вне зависимости от тарифа должен предоставить ручки, которыми я могу крутить, чтобы эти правила обеспечить. Я сам работаю в хостиновой компании и такие ручки у нас есть - стоит только клиенту попросить. Более того, изначально даже делаем то, чего клиенты не просят - ограничиваем количество коннектов с одного IP до 10-12 и скорость для роботов уменьшаем. Зато и соотстветственно серверы виртуального хостинга работают даже когда несколько сайтов одновременно начинают пилить яндексы, яхи, ремблеры и прочие. А также варвары со своими флешгетами обламываются на некотором числе потоков, ибо нефиг, а те кто разумно качает в 1-2 потока работают и ничего не замечают.
К слову сказать, всё зависит от толщины канала, а так можно и одной качалкой завалить практически любой ресурс, не имеющий защитных ограничений
вы абсолютно непрофессиональны. включайте качалку и завалите rambler.ru.
Я считаю, что на своём ресурсе хозяин я, а не тот кто хочет скачать мой сайт. Поэтому и играть придётся по поим правилам.
не думаю, что ваш ресурс станет посещаемым в нашу-то эпоху. лет на 10 с таким отношением опоздали однако.
Более того, изначально даже делаем то, чего клиенты не просят - ограничиваем количество коннектов с одного IP до 10-12
надеюсь, вы скоро пойдёте ко дну вместе с таким хостингом.
сравни ресурсы рамы и ресурсы васи пупкина...
знаешь.... мои клиенты тоже не будут выделять такой бюджет на аппаратное обеспечение. и будут правы. пока нет такой посещаемости - огалтелых идиотов проще забанить.
когда идет расчет на нее - нормальные компании покупают бальшую циску которая говеный траффик ФИЛЬТРУЕТ(есть у них алгоритмы резки флуда) а потом уже пускает к вебсерверам. Впрочем некоторые хостеры тоже это делают.
Более того, изначально даже делаем то, чего клиенты не просят - ограничиваем количество коннектов с одного IP до 10-12
А если это шлюз и через него сразу десяток людей сидит?
А вы знаете как настроен хостинг на Ремблере? Думаю что нет. Но как сисадмин могу вам сказать, что либо надо ставить дорогую выделенную железку или надо резать либо скорость, либо количество процессов, либо число коннектов, а часто всё вместе - чудес не бывает! Если админы грамотные - завала не будет по той простой причине, что неадекватный клиент будет задавлен одним из ограничений - впрочем я про это уже говорил.
Не думайте дальше, а мой ресурс вполне посещаем. Как я уже сказал - адекватные пользователи работают, а остальные могут не думать дальше!
Зря надеетесь.
10 людей не равно 10 ОДНОВРЕМЕННЫХ коннектов - это раз. Если клиенту это надо - расширим лимит - не проблема. Клиенты в основном люди понимающие и многие что такое DOS атаки на сайты знают не понаслышке. Достаточно объяснить что к чему и спросить сколько и чего надо - и взаимопонимание возникает в 99% случаев.