10 ноября 2015 в 23:58
Добавил сайт в вебмастер гугла, указал robots.txt и sitemap.xml (сайт на двух языках) в вебмастере гугла на закладке Файлы sitemap вылетает надпись:
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt
Не понимаю, какая надпись в файле robots блокирует url см.вложения
Содержимое сайта публикуется на условиях CreativeCommons Attribution-ShareAlike 3.0 или более поздней версии. Программные коды в тексте статей — на условиях GNU GPL v2 или более поздней версии.
Документация по совместной работе с репозиторием drupal.ru – https://docs.drupal.ru/code
Drupal – торговая марка Дриса Бёйтарта
Поддерживать инфраструктуру Drupal.ru нам помогает компания ДАЛЕЕ
Комментарии
Дополнительно могу добавить, что домен долгое время не индексировался т.к. В файле робота был полный запрет на индексацию. Яндекс вебмастер пишет тожесамое, но ещё есть сообщение, что ... Если в роботс разблокирован доступ, то необходимо подождать 2-3 недели, чтобы сайт появился в выдаче.
С Гошей тоже самое, нужно ждать или необходимо предпринимать какие либо действия?
Такая же ситуация наблюдается и у меня в данный момент, проверил все, url которые пишет, что заблокированы в robot.txt - там же и проверяю, пишет что url разрешен и доступ есть, решил подождать некоторое время...
Есть кто живой?
Генерация sitemap.xml никак не связана с содержимым robots.txt
Т.е. либо надо что-то исключить из индексации для генерации сайтмапа(какие-нибудь термины таксономии или профили пользователей, или что ещё у вас может быть запрещено в robots.txt), либо убрать какие-то правила из robots.txt, либо ничего не делать.
В этом то и дело, что список страниц, которые в sitemap.xml находятся, все разрешены и в robots.txt, а в панели вебмастера пишет что дело обстоит иначе. Проверил так же и не только чистые ссылки, но и например - адрес node/1 и синоним ее - названиеСтраницы.html, все доступно в robots.txt
Думаю какой то глюк, который решиться сам собой в процессе переиндексации
Сделайте запрос на переобход адресов ваших файлов robots.txt и saitemap.xml
Тоже было подобное, с саппорта яндекса написали так сделать.
Но было про отсутствие тегов дискрипшен, после их добавления месяц ждал, пока не сделал запрос на переобход этого адреса.
После запроса через 2 дня все на место встало
Нужно было просто подождать)))