Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.tx

Главные вкладки

Аватар пользователя Funtik44 Funtik44 10 ноября 2015 в 23:58

Добавил сайт в вебмастер гугла, указал robots.txt и sitemap.xml (сайт на двух языках) в вебмастере гугла на закладке Файлы sitemap вылетает надпись:

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Не понимаю, какая надпись в файле robots блокирует url см.вложения

ВложениеРазмер
Иконка изображения image.png83.29 КБ
Иконка изображения image.png97.96 КБ
Иконка изображения image.png196.54 КБ

Комментарии

Аватар пользователя Funtik44 Funtik44 12 ноября 2015 в 8:29

Дополнительно могу добавить, что домен долгое время не индексировался т.к. В файле робота был полный запрет на индексацию. Яндекс вебмастер пишет тожесамое, но ещё есть сообщение, что ... Если в роботс разблокирован доступ, то необходимо подождать 2-3 недели, чтобы сайт появился в выдаче.

С Гошей тоже самое, нужно ждать или необходимо предпринимать какие либо действия?

Аватар пользователя FreeLancerPro FreeLancerPro 15 ноября 2015 в 11:50

Такая же ситуация наблюдается и у меня в данный момент, проверил все, url которые пишет, что заблокированы в robot.txt - там же и проверяю, пишет что url разрешен и доступ есть, решил подождать некоторое время...

Аватар пользователя bsyomov bsyomov 16 ноября 2015 в 2:28

Генерация sitemap.xml никак не связана с содержимым robots.txt
Т.е. либо надо что-то исключить из индексации для генерации сайтмапа(какие-нибудь термины таксономии или профили пользователей, или что ещё у вас может быть запрещено в robots.txt), либо убрать какие-то правила из robots.txt, либо ничего не делать.

Аватар пользователя FreeLancerPro FreeLancerPro 16 ноября 2015 в 6:57

В этом то и дело, что список страниц, которые в sitemap.xml находятся, все разрешены и в robots.txt, а в панели вебмастера пишет что дело обстоит иначе. Проверил так же и не только чистые ссылки, но и например - адрес node/1 и синоним ее - названиеСтраницы.html, все доступно в robots.txt

Думаю какой то глюк, который решиться сам собой в процессе переиндексации

Аватар пользователя quattro quattro 10 сентября 2016 в 16:04

Сделайте запрос на переобход адресов ваших файлов robots.txt и saitemap.xml
Тоже было подобное, с саппорта яндекса написали так сделать.
Но было про отсутствие тегов дискрипшен, после их добавления месяц ждал, пока не сделал запрос на переобход этого адреса.
После запроса через 2 дня все на место встало