26 апреля 2008 в 0:45
После первой индексации Яндекс обнаружил на друпал-сайте (порядка 100страниц в реале) около 15 000 страниц
пока терпения хватило просмотреть первую пару тысяч - вот такой тип регистрируется:
http://name.ru/node/45/track?sort=asc&order=%D0%92%D1%80%D0%B5%D0%BC%D1%...
или просто:
http://name.ru/node/87/track
и таких страниц тысячи...
я так понимаю это трекер.
Вопрос - как можно это запретить?
видимо как-то хитро в robots.txt прописать?
Комментарии
http://help.yandex.ru/webmaster/?id=996567
Судя по описанию, Вам должно подойти что то типа:
Disallow: /node/*track*
Спасибо. Посмотрел справку, правда не понял, а как еще и вот такой тип закрыть?
http://name.ru/node/268?size=gallery
/node/*size* - ?
Попробую объяснить Disallow: /node/*track*, в этой конструкции вы закрываете все ссылки начинающиеся на /node/ и в тоже время имеющие track после /node/, т.к. знак * заменяет последовательность любых символов.
А про ссылку типа http://name.ru/node/268?size=gallery, сказать не могу, т.к. не знаю что это, Вы хотите закрыть все ссылки содержащие gallery? Тогда Disallow: /node/*gallery , а если содержащие size=gallery то: Disallow: /node/*?size=gallery
Пока писал уже отредактировали свое сообщение:)
/node/*size* - ? - если напишете так, то у вас будут закрыты все ссылки с упоминанием size
да, именно size - просто друпал автоматом создает много типов картинок - size=gallery, size=tumbnails... их видимо не стоит индексировать.