Всем привет, в общем проблема такая:

У меня сайт www.gdegde.kz (движок - drupal 5.3, средняя посещаемость 2700-3000 хостов/день, максимум пользователей сколько я видел на сайте одновременно было 44, не считая гостей), на сайте часто бывает очень много анонимов(гостей, максимум сколько я видел было 250). Есть подозения что это роботы(боты) поисковиков.

Кто нибудь стлкивался с такой проблемой? Может дело в robots.txt (у меня стандартный друпаловский)? Помогите настроить.

Еще здесь читал может быть дело в ошибках 404,403 и т.д. Как их правильно настроить?

Так же дело может быть с одинаковыми страницами. Как проверить есть ли дубли страниц на сайте?

Может быть еще это с чем то связано...

Помогите кто чем может... Заранее спасибо.