27 июля 2011 в 11:37
Здравствуйте. Такая проблема:
Есть страница товара http://clearspb.ru/minimoika-karcher-520m-plus
Внизу есть подходящие аксессуары в виде блока на views, страницы в котором переключаются при помощи AJAX. Я думал, что поисковики не будут индексировать страницы на AJAX.
Но, обнаружил в яндекс вебмастере страницы типа:
clearspb.ru/minimoika-karcher-520m-plus?page=1
clearspb.ru/minimoika-karcher-520m-plus?page=2
и т.д.
Т.е. в поиске много страниц, на которых отличаются только список аксессуаров, а всё остальное дублируется. Думаю, это не очень хорошо для SEO.
Как можно решить эту проблему? Как запретить индексацию таких страниц?
Конечно, можно бы просто написать одну строку в robots.txt, но, ведь есть и нормальные страницы, типа страниц блога: http://clearspb.ru/otzivi-i-lichnii-opit-karcher?page=1 , где пангинация делается нормальным образом и запрещать её не нужно.
Может можно как то исключительно для блоков поменять page=1 на stranica=1 и спокойно запретить её для индексации?
Комментарии
это не чистый аякс, там дублирование функционала присутствует
А как то чистый аякс сделать можно?
Есть вообще мысли, как эту проблему решить?
хороший вопрос
если, если view будет отдавать следующие страницы блока при ручном вызове запроса, то в подвал блока можно вывести соответствующий код
но вообще рекомендую не выдумывать, а сделать карусель
т.е. вывести в блок всё, а потом навесить на это прокрутку
robots.txt
Disallow: /*?какой хороший совет
Так я же написал, что так не катит, ведь так запретятся все пангинаторы.
Тоже не лучшее решение, на мой взгляд. На сайте много товаров, к которым по 50 аксессуаров. И всё это безобразие выводить (хоть и с прокруткой для пользователя) не хорошо как для производительности, так и для поисковиков.
Что на этих страницах? Дублирующий контент из других материалов? Постоянно меняющийся контент. В ПС они не будут высоко ранжироваться из-за этого. Их следует закрывать.
И еще, их следует закрывать, иначе в индексе будут дубли http://clearspb.ru/?test, http://clearspb.ru/?lololo, http://clearspb.ru/?kukuku
Все они возвращают ответ сервера 200, значит будут проиндексированы
любое изображение пересилит любой html что вы спрячете под карусель
вот с картинками под каруселью может быть проблема
а поисковику хуже не станет
Да что же вы пристали к гет-параметрам то, это обычная работа веб-сервера
А что это значит? Как избавиться от этого, не запрещая всё, у чего есть знак вопроса. Или в этом вообще нужды нет, и так и должно быть?
Это, в основной массе страница блога на сайте магазина. Там 29 страниц http://clearspb.ru/blog/1 . Закрывать их все от индексации всёже не правильно, хоть содержимое на них и меняются.
Вы закрываете не эти страницы, а только страницу с дублирующим контентом http://clearspb.ru/blog/1. Сами страницы с записями (http://clearspb.ru/lichnii-opit-karcher-sc-2500c например) вы не закрываете от индексации.
Продвигать такого рода страницы http://clearspb.ru/blog/1 следует только в том случае, если вы понимаете что делаете.
Да, я понимаю, что сами записи в этом случае не закроются. Однако, для перелинковки страницы блога важны. Они конечно все найдёться поисковиками хотя бы потому, что есть файл карты сайта, но, и такую возможность перелинковки терять не хотелось бы.
Но, пиСя это сообщение я подумал, ведь в поботке можно сначала РАЗРЕШИТЬ все clearspb.ru/blog/1?page , а потом запретить все остальные страница
Да нахрен это не нужно для линковки. Для линковки используйте Associated Links, Next Previous, хэндлерную линковку с текста и таксу. С натяжкой можно посмотреть на book. Пагинаторы sucks
p.s.: это работает на WP очень через раз т.к. там используется хитрожопый инопланетный семантический профайл(http://gmpg.org/xfn/11) и доп разметка в правильных темах. Для друпала это не вариант, вы можете сЫмитировать семантику, но всё равно не факт, что сработает. Кстати, работает профайл только для гугл судя по моим наблюдениям.
Всё, запретил и разрешил что нужно правкой роботса:
Allow: /new-tovari?page
Allow: /new-stati?page
Allow: /sadovii-inventar?page
Allow: /aksessuari-pilesosi?page
Allow: /aksessuari-minimoiki?page
Allow: /aksessuari-paroochistiteli?page
Disallow: /*?
Спасибо всем за участие.