Вопрос про Feeds и грабинг данных .

Главные вкладки

Аватар пользователя Caterpillar Caterpillar 1 апреля 2013 в 6:03

Здравствуйте могучие друпаловеды . Сам я неместный , четвертый день прибился к вашему табору .
Хочу сделать загрузку данных на свой сайт (сграбить с других).
Имею в мыслях два варианта :
а) загрузка из сторонней бд , куда данные помещаются скриптом-парсером .
б) загрузка через модуль Feeds .

В первом варианте , как я понимаю , мне нужно или забирать из чужой бд через feed sql . Загонять в материалы и выводить через views .
Или грубо прописав в шаблоне запрос сторонней бд получать оттуда данные напрямую .

Во втором меня интересует такой момент . Вполне вероятно , что сайты , которые я планирую грабить , будут немного против . И раньше или позже заклеймят меня как галимого бота и забанят к лешему . Можно ли как-то замаскировать Feeds против бана ? Те хотя бы имитировать User-Agent , может быть использовать прокси ?

Комментарии

Аватар пользователя Sandy Big Boy Sandy Big Boy 1 апреля 2013 в 9:34

Как вариант можно парсер сделать отдельной программой, которая будет парсить и формировать, например csv файлы, а их уже скармливать feeds.

Аватар пользователя Caterpillar Caterpillar 1 апреля 2013 в 22:47

Про модуль Parser и phpQuery почитал . Спасибо . Увы не понял , есть там функции маскировки или нет .

Добрые тут ребята попадаются . Остается пожелать тебе Санитар таких же приключений . Ну еще лом потолще .

Аватар пользователя neltharian neltharian 2 апреля 2013 в 11:07

"theСанитар" wrote:
Хочется верить, что тебя выебут в дупу ломом ;-)

ну ти і мудак

ПО поводу маскировки - ну так недо парсить 100 раз по дню