Роботы массово ставят ошибку 403 страницам

Главные вкладки

Аватар пользователя aksernar aksernar 7 июля 2011 в 1:50

Всем привет! Есть печальные новости Sad роботы массово ставят 403 ошибку страницам сайта, при условии, что ранее эти страницы были проиндексированы и даже попали в поиск на Яндексе и Гугле. Выпала даже главная страница сайта с ошибкой 403. При этом ничего в коде не менялось - ни index.php , ни .htaccess , ни robots.txt и права на папки не менялись! что же делать и как быть?!

В некоторых разделах сайта 2 новости опубликованные одним и тем же способом ( одинаковый тип урлов и вообще все одинаковое кроме текста) : 1 забанена 403 ошибкой, а другая в свеже проиндексирована!

Вот что за? А на support-хостинга говорит мол ни хрена нету 403 ошибки. А Яндекс Вебмастер с Гуглом Вебмастером покрылись 403 ошибками вдоль и поперек Sad

Комментарии

Аватар пользователя Darteg Darteg 7 июля 2011 в 2:13

На drupal.org вроде что-то подобное видел. Можно поподробнее: совсем ничего не изменилось? Ссылку на проблемные страницы?

Аватар пользователя aksernar aksernar 7 июля 2011 в 2:50

да вот на центральной странице даже 403 - сайт, вообщем писец полный( на папках нормальные права стоят.

А главный фейл в том , что у Гугла можно посмотреть страницу "глазами робота" - и все страницы сайта у которых 403 легко и просто загружаются без ошибок и сразу!

Аватар пользователя Dan Dan 7 июля 2011 в 15:11

"aksernar" wrote:
Взять и отрубить голову, пока болит рука - вот такое предложение вы делаете

Но ведь рука-то болеть перестнет! Smile

По теме - ошибка повторяющаяся или один раз получилось? Время индексации страниц примерно одинаково? Есть гарантии, что в момент индексации сервер не глючил?

Аватар пользователя aksernar aksernar 7 июля 2011 в 21:42

"RxB" wrote:
Создайте третий топик, но логи не читайте

я почитал логи, но ничего толкового там нету, просто заходит google bot некоторые страницы отдают ему 200, а некоторые при таких же условиях 403 Sad Саппорт русоникса , говорит дело не в хостинге и не файлах и правах.
Ждем разъяснений от яндекса

Аватар пользователя Dan Dan 7 июля 2011 в 21:52

"aksernar" wrote:
Саппорт русоникса , говорит дело не в хостинге и не файлах и правах.
Ждем разъяснений от яндекса

И что скажет Яндекс? Зашёл бот, получил 403, ушёл. Вы хотите, чтобы Яндекс внёс в бот спец-обработку вашего сайта? Smile

Аватар пользователя wargan wargan 8 июля 2011 в 13:45

Платоны Щукины скажут: спасибо за "стук" на бота, мы поглядим что у него с головой случилось...
У нас на сайте бот картинковый непрерывно стучит по несуществующим адресам, уже больше месяца продолжается этот ад, а Щукины говорят нам спасибо и только-то Smile При этом вся индексация поломалась на6уй. Так что всё у вас в порядке Smile