Ковырял тут в яндекс.вебамастер страницы, которые проиндексированы яндексом и увидел тьму страниц каталога дублеров просто с другой сортировкой. Т.е. в каталоге товаров есть ссылки на сортировку по имени и цене.
Яндекс туда ходит и индексирует тоже.
Учитывая, что яндекс за раз индексирует какую-то часть страниц + потенциально дублирующий контент, я бы хотел запретить ему либо переход по ссылкам сортировки, либо индексирование описания полей таблицы каталога (говорят тогда не переходит по ссылкам).
например запретить индексацию части текста на странице можно внутри тегов
Только вот не нашел я где же это нужно прописать, какой файлик отвечает за формирование таблицы товаров в каталоге? Т.е. нужно найти код, где формируется ссылка на сортировку и перед этой ссылок и после поставить тег ноиндекс.
Ну или какой есть вариант запретить переход по ссылке с сортировкой, а индексирование названия ссылки оставить?
Каталог стандартный ubercart'овский, views не стоят, пока не надо.
Буду признателен за конкретный код замены, а то я не особо силен в php
Комментарии
Сделайте сортировку товаров аяксом, и так, чтобы она работала только с включенным джаваскриптом... тогда поисковики не смогут переходить...
Проще всего в robots.txt прописать те страницы, которые не нужно индексировать...
сортировка аяксом, включеный джаваскрипт... что-то хочется более простых решений я даже затрудняюсь сообразить что для этого нужно. Или это не сложно?
В файле для роботов можно отключить пути в папки или к конкретным страницам. Однако как запретить пути такие как http://www.сайт.ru/catalog/6?sort=asc&order=Цена , где 6 - это номер раздела каталога а их у меня ого-го сколько? При этом запретить индексирование каталога - будет убийством для бизнеса
Думаю тут проще просто найти часть кода где формируется ссылка на сортировку и заключить её в тэги ноиндекс.
Правда это вроде только для яндекса работает, а вот для гугла нужно прописывать в ссылке rel=nofollow . Короче по любому бы модифицировать кусок кода со ссылкой.
До сих пор не могу найти файл отвечающий за формирование этого кусочка.
robots.txt
Crawl-delay: 5
Disallow: /admin/
Disallow: /aggregator/
Disallow: /contact
Disallow: /comment
Disallow: /node/add/
Disallow: /logout
Disallow: /search/
Disallow: /user
Disallow: /tracker
Disallow: /*/feed
Disallow: /*sort=
Disallow: /*size=
Disallow: /tagadelic/
Вот Vladimir_VVV хороший пример показал...
И я согласна с Vladimir_VVV. Это самый легкий способ запретить индексировать повторяющиеся страницы. Правда поисковики реагируют не сразу - нужно подождать
Ух ты! Что-то даже и в мыслях не было, что можно делать подстановки в виде звездочек.
То, что нужно, легко и изящно, не модифицируя код.
Спасибо!!!