Как считаете, насколько сеошник прав в составлении robots.txt ?

Главные вкладки

Аватар пользователя VasyOK VasyOK 20 октября 2018 в 11:49

Сеошника не устраивает файл стандартный robots.txt.
Взамен он предлагает использовать такой файл. Как считаете прав ли сеошник?

User-agent: *
Allow: *.css
Allow: *.js
Allow: *.gif
Allow: *.jpg
Allow: *.jpeg
Allow: *.png
Allow: *?page=*
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (no clean URLs)
Disallow: */admin
Disallow: */user
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: */cart
Disallow: *?*
Disallow: *&*

Комментарии

Аватар пользователя VasyOK VasyOK 20 октября 2018 в 14:29

что зачем?
Не нравятся ему переходу по страницам пейджера например. Но как бы то, что он добавил - не главное. Главное ему мешют дублирующие правила в существующем файле.

Аватар пользователя pselfin pselfin 20 октября 2018 в 22:09

У Гугла была рекомендация разрешать индексировать жс и цсс. Одно время вебмастер активно об этом напоминал

Аватар пользователя VasyOK VasyOK 21 октября 2018 в 13:47

сеошник, считает, что в стандартном другпаловском "достаточно много дублирующих правил" больше я из него не могу ничего выжать.

Аватар пользователя Zwe3do4et Zwe3do4et 22 октября 2018 в 1:05

VasyOK wrote:

что зачем?

Не нравятся ему переходу по страницам пейджера например. Но как бы то, что он добавил - не главное. Главное ему мешют дублирующие правила в существующем файле.


чтобы не было переходов по страницам пейджера, установите и настройте rel=canonical

Аватар пользователя pselfin pselfin 22 октября 2018 в 8:52

Рел=каноникал в друпале на пейджере итак настроен по умолчанию. В данном случае скорее наблюдается борьба с ветряными мельницами...

Аватар пользователя VasyOK VasyOK 22 октября 2018 в 11:49

Пейджер оборачиваю в ноиндекс и на ссылки пейджера нофоллов ставлю. Так у меня было с бывшивми сошниками.

Повторяю то что добавлено интересует мало. Больше интересует то что убрано.

Аватар пользователя gun_dose gun_dose 22 октября 2018 в 12:10

Мне кажется, в данном случае лучше сделать то, что просит сеошник. Потом при первом обновлении изменения затрутся, да и пофиг.

Аватар пользователя pselfin pselfin 22 октября 2018 в 13:43

Мне кажется, в данном случае лучше сделать то, что просит сеошник

Самый правильный совет. Если не хочешь учиться SEO, то и не забивай себе голову механиками, просто делай.

Аватар пользователя pselfin pselfin 22 октября 2018 в 16:06

да пофиг на сокращение, что оно тебе сдалось? Оно итак избыточное, ибо сейчас редко встретишь нечистые урлы например, а админка закрыта паролем. Хочет сеошник показать работу свою именно так - ну и пускай.

Аватар пользователя real-man real-man 29 октября 2018 в 17:27
2

Аргументировать что именно? Allow: *?page=* ? Если не проработаны уникальные метаданные для постраничной пагинации, включая указание link rel="prev" и link rel="next", то страницы ?page=* будут дубли плодить, и их лучше закрывать от индексации (а оптимизированные страницы пагинации я встречал крайне редко на друпал)

То что сеошник открыл к индексации css и js файлы - так это уже давным давно является правилом оптимизации роботс, как минимум для Гугла

Что еще в Disallow нужно добавить - нужно конкретно по сайту смотреть. Также не помешало бы добавить Sitemap. В любом случае предложенный выше robots.txt куда лучше роботса, идущим в друпале по умолчанию

Аватар пользователя pselfin pselfin 30 октября 2018 в 17:17

Думаешь друпального каноникала, ведущего на первую страницу пангинатора, не достаточно, чтобы пангинацию не закрывать?
Бо в дисаллоу он и по ссылкам не пойдет, а так хоть индексировать ноды на второй итд страницах будет.

Аватар пользователя real-man real-man 30 октября 2018 в 17:26

Может и достаточно будет, на усмотрение робота, но по рекомендациям того же Гула пагинацию желательно отмечать еще и next - prev. И ценность открытой пагинации не в том, чтобы ноды там индексировались (для этого сайтмап лучше использовать), а в передаче веса всех существующих страниц пагинации на главную страницу сайта\категории где представлена эта пагинация.

Аватар пользователя adano adano 30 октября 2018 в 0:40

Вообще, правильно так делать:
- Удаляется стандартный robots.txt
- https://www.drupal.org/project/robotstxt (при мультисайтинге - must have)

В нем, по настройкам, должно быть:

Disallow:
Host:
Sitemap:

Disallow: /*? // в идеале, при правильной структуре

Пример - тык

P.S. При установленном globalredirect, no clean URLs - можно смело исключать.

Аватар пользователя real-man real-man 30 октября 2018 в 9:24

Не пишите ерунду и не вводите людей в заблуждение. Роботс для мультисайтинга можно настроить и без модуля (пример), a Host уже не используется поисковиками. Роботс указанный вами в примере мягко говоря не очень.

PS, Crawl-delay: 10 - это во первых дофига, во вторых ее тоже поисковики игнорируют уже из-за типичных неверных настроек юзерами.

Аватар пользователя adano adano 30 октября 2018 в 10:39

Уважаемый, мультисайтинг - это не поддомен.
Пока есть зеркала, без редиректа - Host будет актуален.
Роботс в примере чудесен и проверен временем.

Аватар пользователя gun_dose gun_dose 30 октября 2018 в 10:49
2

Как по мне, модуль robots.txt просто идеален для случаев, когда сеошник считает себя умнее всех - установил и пусть он там редактирует всё, что хочет.

Аватар пользователя fairrandir fairrandir 19 ноября 2018 в 15:24

Чем страницы пагинации не угодили? Как поисковику узнать о контенте не на основной странице? И что за страницы доработки?

Аватар пользователя real-man real-man 19 ноября 2018 в 15:30

Мда.. учиться Вам батенька еще и учиться. Не стоит комментировать все подряд посты только ради того, чтобы себе историю заработать, а то с самого начала себе репутацию не ту заработаете

Аватар пользователя real-man real-man 19 ноября 2018 в 15:46

Вы так яро по все постам в этом разделе пошли комментарии оставлять, что сложилось впечатление, что Вы их даже не читали, лишь бы написать что. Прошу прощения если чем задел.

Аватар пользователя pselfin pselfin 19 ноября 2018 в 17:35

Это называется - некропостинг.
И ладно бы не было ответов, а то практически везде, где оставлен комментарий - уже даны правильные ответы.
Можно еще поднять темы 5-10-лет давности. Очень актуально будет.

Аватар пользователя VasyOK VasyOK 19 ноября 2018 в 18:06

Почему некропостинг? Тему в октябре создал. Сейчас ноябрь. Я не против обсуждения как методов сеошника так и моих методов в других темах. Но вы слишком много Павел, обсуждаете как мою персону так и других участников.