8 августа 2017 в 13:57
Случайно обнаружил, что файл карты сайта запрещен от индексации тегом X-Robots-Tag: noindex, follow
Drupal 7, модуль XML sitemap
В настройках модуля ничего про индексацию не нашел. Где копать?
[IMG]https://api.monosnap.com/rpc/file/download?id=nnonhyYEIg2rUB1ALn72jcLdd4...
Комментарии
Этот модуль такого не делает.
Делает http://cgit.drupalcode.org/xmlsitemap/tree/xmlsitemap.pages.inc#n157
И делает все правильно.
Ну и отлично раз делает правильно
«noindex - Не отображать эту страницу, а также ссылку "Сохраненная копия" в результатах поиска.»
Т.е. данный заголовок разрешает переход по ссылкам для робота, но запрещает индексировать файл и выводить в резаультатах поиска, в чем проблема?
Если бы там было nofollow, тогда стоило бы беспокоиться.