Как "урезать" доступ ботам к сайту

Главные вкладки

Аватар пользователя klerk2007 klerk2007 25 сентября 2008 в 20:51

Всем привет, в общем проблема такая:

У меня сайт www.gdegde.kz (движок - drupal 5.3, средняя посещаемость 2700-3000 хостов/день, максимум пользователей сколько я видел на сайте одновременно было 44, не считая гостей), на сайте часто бывает очень много анонимов(гостей, максимум сколько я видел было 250). Есть подозения что это роботы(боты) поисковиков.

Кто нибудь стлкивался с такой проблемой? Может дело в robots.txt (у меня стандартный друпаловский)? Помогите настроить.

Еще здесь читал может быть дело в ошибках 404,403 и т.д. Как их правильно настроить?

Так же дело может быть с одинаковыми страницами. Как проверить есть ли дубли страниц на сайте?

Может быть еще это с чем то связано...

Помогите кто чем может... Заранее спасибо.

Комментарии

Аватар пользователя Dr. Hardcore Dr. Hardcore 25 сентября 2008 в 21:13

Стандартный друпаловский robots.txt заполнен по дефолту, то есть только запрещает доступ ботам к директориям... о том как правильно настроить robots.txt куча манов в рунете, с учетом реалий рунета, а так же тема поднималась на форуме...