Робот Яндекса видит страницы сайта с кодом статуса 403

Главные вкладки

Аватар пользователя astrameridian astrameridian 27 сентября 2012 в 14:37

Сайт http://www.bronnikovmethod.ru
проверял различными сервисами в интернете для проверки кода статуса, везде пишет код статуса 200 для разных страниц.
Однако в панели янедкс вебмастера пишет:

Внимание! Главная страница сайта исключена из индекса: HTTP-статус: Доступ к ресурсу запрещён (403).

В итоге почти все страницы из 1000 осталось около 15, уже выпали из индекса.

Никак не могу разобраться в чём причина и как её решить...

Тех поддержка яндекса написала:

Все страницы Вашего сайта, в том числе и главная, были недоступны для индексирования. На их запрос Ваш сервер возвращал нашему индексирующему роботу (IP 199.21.99.122) HTTP код 403, вы можете отследить эту проблему по логам Вашего сервера. По вопросу возникновения этой проблемы, пожалуйста, обратитесь к администратору сервера, а котором расположен Ваш сайт.

Звучит так, что вроде сейчас проблемы уже нет, но сообщение в яндекс вебмастере, что главная страница исключена всё ещё висит, а страниц в индексе ещё вчера было 119, а сегодня 15...

У кого есть какие идеи???

Комментарии

Аватар пользователя astrameridian astrameridian 27 сентября 2012 в 16:12

Да, смотрел.
Вот пример строчек из лога:

213.180.206.197 - - [26/Sep/2012:08:03:06 -0600] "GET / HTTP/1.1" 200 54758 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)"
199.21.99.81 - - [27/Sep/2012:02:46:55 -0600] "GET /product/el-ohim-monoshens-video-intervju-chast-14 HTTP/1.1" 200 12460 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Который, как я понимаю, говорит о том, что код 200 получает бот Яндекса.

Так что пока не понятна причина...

Аватар пользователя Chyvakoff Chyvakoff 27 сентября 2012 в 23:02

Может быть хостер заблочил адреса яндекс ботов?
Патруля помню ддосили как-то, и они заблочили в том числе и адреса яши.Пришлось саппорту писать,чтоб разблочили.
Модулей, опирающихся на юзер агент нет?