robots.txt функция Allow (То что никак не могу понять)

Главные вкладки

Аватар пользователя Happy Smile Happy Smile 14 апреля 2019 в 15:05

Немного не понимаю - в стандартном файле Drupal robots.txt есть что нельзя сканировать:

# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /cron.php
Disallow: /update.php
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/password/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/

И что нужно принудительно сканировать:

# CSS, JS, Images
Allow: /misc/*.css$
Allow: /misc/*.css?
Allow: /misc/*.js$
Allow: /misc/*.js?
Allow: /misc/*.gif
Allow: /misc/*.jpg
Allow: /misc/*.jpeg
Allow: /misc/*.png
Allow: /modules/*.css$
Allow: /modules/*.css?
Allow: /modules/*.js$
Allow: /modules/*.js?
Allow: /modules/*.gif
Allow: /modules/*.jpg
Allow: /modules/*.jpeg
Allow: /modules/*.png
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /themes/*.css$
Allow: /themes/*.css?
Allow: /themes/*.js$
Allow: /themes/*.js?
Allow: /themes/*.gif
Allow: /themes/*.jpg
Allow: /themes/*.jpeg
Allow: /themes/*.png

А остальной контент потом сканируется, или как оно работает ?
или просто будет правильнее удалить все Allow: /misc/*.css$... и оставить то чего нельзя сканировать ?

Лучший ответ

Аватар пользователя gun_dose gun_dose 14 апреля 2019 в 17:56

Ничего принудительно не сканируется. Пример: disallow полностью закрывает сканирование папки modules, а затем allow разрешает сканировать скрипты, стили и картинки из этой папки. То есть суммарно эти правила говорят ботам, что папку сканировать нельзя, за исключением определённых типов файлов.

Как поступить правильно в этой ситуации? Просто ничего не трогать.

Комментарии

Аватар пользователя gun_dose gun_dose 14 апреля 2019 в 17:56

Ничего принудительно не сканируется. Пример: disallow полностью закрывает сканирование папки modules, а затем allow разрешает сканировать скрипты, стили и картинки из этой папки. То есть суммарно эти правила говорят ботам, что папку сканировать нельзя, за исключением определённых типов файлов.

Как поступить правильно в этой ситуации? Просто ничего не трогать.

Аватар пользователя Happy Smile Happy Smile 14 апреля 2019 в 20:01

Большое Вам спасибо! Теперь я хоть знаю, а то в статьях все так было написано по разному, что не знала что и думать! СПАСИБО ВАМ!

Аватар пользователя Happy Smile Happy Smile 14 апреля 2019 в 20:16

В одних писало, что allow это принудительное сканирование, на других писало что больше ничего не сканируется кроме allow и я не знала что думать...