9 февраля 2010 в 13:15
Зравствуйте.
Полгода назад Яндекс меня сильно обиде - выкинул из индекса. Оставил 10 страниц. Ну про АГС и т.п. здесь речь не идет, другая тема...
Проблема в следующем, в панели веббмастера яндекса появились следующие замечания:
22: # Directories Синтаксическая ошибка
32: # Files Синтаксическая ошибка
44: # Paths (clean URLs) Синтаксическая ошибка
55: # Paths (no clean URLs) Синтаксическая ошибка
в связи с чем вопрос - что нужно подшаманить в robots.txt ?
и следующий вопрос.
Одно время сайт перегружал сервер баз данных, и я забанил некоторые ай-пи, которые на мой взгляд и являлись причиной этих перегрузок. Но возможно погорячился и случайно забанил бот того же яндекса. Как найти в админке друпала список забаненных айпи?
заранее балагодарен за ответ.
P.S. файл robots.txt прилагается
| Вложение | Размер |
|---|---|
 robots.txt | 1.71 КБ |
Комментарии
Думаю, это сам Яша глючит. У меня те же ошибки. Хотя у самого же и написано "Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается."
З.Ы. Гуглевский чекер не принимает только "Строка 21: Crawl-delay: 10" - Правило, которое не учитывается Googlebot
По поводу где забаненные Айпи - не знаю (наверное, модуль специальный, хотя, гляньте в .htaccess), но Яша бы в вебмастере написал что-то типа "Ошибка 503".
Еще возник вопрос, на этот раз по панели вебмастера Google:
Там написано, что основные ключевые слова для моего сайта (строительныой тематики) следующие:
font 100%
span 93%
style 84%
гост 84%
Что не так с сайтом? почему гугл видит теги как ключевые слова? Подскажите пожалуйста