Гугл бот и robots.txt

Главные вкладки

Аватар пользователя alexo alexo 4 ноября 2020 в 13:42

Здравствуйте! На сайте на Друпал 7 возникла проблема с индексированием Гугл.

Выдается сообщение о проблеме покрытия
"Проиндексировано, несмотря на блокировку в файле robots.txt"

Страниц с ошибками до 100 с лишним, но в примерах пусто

Яндекс при этом индексирует нормально, таких предупреждений нет.

Как понять, с какой страницей проблемы?

Где искать решение?

Судя по существующим топикам дело может быть, как в неправильных настройках, так и
в хостере или в плагинах? В последней теме пишут про вордпресс вероятно, а какой плагин аналог на Друпал?

В карте сайта тоже 126 ошибок

Файл робот сделан с учетом этой темы, прикрепляю его
(в нем большая часть добавленного идет после # My, и при добавлении имя сайта для демонстрации убрано)

ВложениеРазмер
Иконка простого текстового файла robot.txt3.25 КБ

Комментарии

Аватар пользователя yaro yaro 5 ноября 2020 в 4:43
1
Disallow: /en/*
Disallow: /es/*
Disallow: /it/*
Disallow: /de/*
Disallow: /ru/*
Disallow: /fr/*

Я так полагаю, сайт мультиязычный и вы этими строками запретили всё индексировать на языках en/es/it/de/ru/fr
полагаю, в этом проблема

Аватар пользователя alexo alexo 5 ноября 2020 в 7:50

Спасибо. Возможно, что Гугл из-за добавленных мною "Disallow:" ругается. Но сейчас матераилов на иностранных языках нет, поэтому такие страницы не нужно индексировать.
Если проблема в этом, то как это исправить?

Изначально был установлен дистрибутив со встроенными материалами, вероятно Яндекс успел их проиндексировать. Проблема с языками описана в этой теме
Цитата:

"При том, что на сайте всегда были только русский и английский, и сейчас вообще включен только русский, в индексе много страниц с другими языками со статусом 404 (в частности /fr/user/registe, /it/node/253, /de/node/249 - при том что мною была создана только 1 нода), также есть еще сслыки на страницы, которые идут в качестве образца по умолчанию при установке дистрибутива

типа /bags-cases/drupal-commerce-iphone-case с кодом 200, хотя все материалы, которые ставились по умолчанию сначала были сняты публикации, потом удалены."