3 апреля 2005 в 6:01
Решил попробовать сделать свой сайт на Друпале.
Залил на http://bizpromoter.ru
Изучаю, юзаю потихоньку. Заметил вот какую штуку.
Регулярно забегает Яндекс и ищет файл robot.txt
Оставляет в логах такую информацию:
Тип httpd
Дата Суббота, Апрель 2, 2005 - 12:56
Пользователь Anonymous
Местонахождение /robots.txt
Сообщение Страница не найдена
Имя хоста 213.180.216.253
Что лучше написать в этом файле для Друпала?
Комментарии
Этот файл ищет не только Яндекс, а любой поисковик. И на любом сайте (не только Друпаловском). В этом файле должны быть указания, как индексировать сайт.
[url=http://cvs.drupal.org/viewcvs/drupal/contributions/tricks/robots_txt/]Пример robots.txt[/url]
--
USU-Lug http://usu-lug.org.ru
Я в курсе про любой поисковик.
Спасибо за пример, про него и спрашивал.
Раньше использовал Постнюк, так там был в дистрибутиве robot.txt и я не заморачивался его изучением, поставил типовой и вперед.
В дистрибутиве Друпала его не было, а поиск по этому сайту с помощью Гугля результата не принес.
Есть модуль RobotsTxt http://drupal.org/node/53579