Проблема при выкачивании сайта Teleport'ом, Wget'ом
15 февраля 2008 в 15:44
При выкачивании сайта Teleport'ом сайт не закачивается, но при этом происходит бесконечный запрос на index.php (по нескольку раз в секунду), и при этом на сервере где установлен сайт возникает чуть не 100% загрузка процессора, что может продолжаться хоть бесконечно.
Посоветуете. Как настроить скачивание сайта или, если это нельзя сделать, то существует ли модуль для запрета скачивания сайта качалками типа Teleport?
- Блог
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии
Комментарии
Прописать все возможные юзер-агенты этих программ в robots.txt
эти проги умеют подставлять браузерский юзер -агент