9 мая 2008 в 17:09
Постоянно у себя в логах наблюдаю сотни сообщений о том что гость ломится туда, куда нельзя.
Понятно что это роботы, обходя сайт, посещают все ссылки, даже те, по которым не пройти без авторизации.
Вот появилась такая идея: написать модуль, который будет для всех ссылок, для которых нужна авторизация, добавлять rel="nofollow", чтобы роботы её не посещали.
Как думаете, имеет смысл?
Теоретически это должно кроме избавления от надоедливых сообщений ещё и снизить нагрузку на сервер и уменьшить трафик, т.к. иначе на каждый такой запрос генерируется страница 404.
Комментарии
А откуда роботы эти ссылки берут, интересно?
Роботы поисковых систем не пойдут туда, куда нужна авторизация. Для них можно прописать нежелательные ссылки в robots.txt (rel=nofollow это только для гугля). А если Вы утверждаете, что некие роботы авторизируются и заходят к Вам )) то тем пофиг на директивы
Во-первых: никуда роботы не регятся, нужно читать внимательнее.
Вот болтается например на сайте ссылка, по которой может пройти только авторизованный пользователь, а если по ней пройдёт гость или робот то в ответ движок выдаёт страницу 404, тратя тем самым своё драгоценное время. А вот если бы в ссылочке было прописано rel="nofollow" то робот бы туда не пошёл.
Во-вторых: robots.txt рулит, но как быть если в день добавляется десяток страниц на которые нельзя ходить? Постоянно его править? ИМХО - не совсем то.
Тут пути два: либо добавлять в ссылки вышеозначенную директиву, либо прятать такие ссылки от гостей. Но, например, пункты меню сами не прячутся, да и если в текст статьи такую ссылку жёстко прописать - тоже никуда не денется, ясен пень. Нужен какой-то постпроцессинг сгенерированной страницы.
Не знаю... может я преувеличиваю, но меня сотня лишних сообщений об ошибках в логе бесит, особенно если они регулярно повторяются.
Так вроде ж Drupal контролирует, чтобы в меню появлялось только то, что доступно... Разве нет?
А в тексте - вообще - неплохо было бы модуль какой-нибудь поискать, который бы это автоматом исправлял - благо, система фильтров в Drupal очень мощная. Случайно Pathologic такой фичи не имеет?
Pathologic не тестил, надо будет глянуть что за зверь
Нашёл модуль Nofollow List который решает данную проблему. Можно также вести белый и чёрный список сайтов.