Библиотеки для парсинга вместе с drupal.

Аватар пользователя Moel

Использовал кто нить библиотеки типо phpquery и т.д. для парсинга через сайт? Если да то какие впечатления. Может тестировал кто-нить. Я пользую phpquery через queue API. 130-150 страниц за 2 минуты. Это два селектора + сохранение. Норм скорость или можно быстрее?

Ключевые слова:
Тип материала:
Версия Drupal:
0 Спасибо

Комментарии

Аватар пользователя drupby
drupby 3 года назад
ХулиGUN написал:
Я так понял питон не предлагать? )))

на питоне раз в 100 быстрее чем на пыхе парсят?

0 Спасибо
Аватар пользователя Moel
Moel 3 года назад
drupby написал:
на питоне раз в 100 быстрее чем на пыхе парсят?

Да я кстати читал вроде не очень там все хорошо с парсингом. Вообщем не лучше.

Plazik написал:
http://xandeadx.ru/blog/drupal/391 использует phpquery.

Я в курсе я смотрел его код. Токо он вроде батч пользует, я queue. И много лишнего конкретно для моих задач. Проще было свои 400 строк написать.

0 Спасибо
Аватар пользователя drupby
drupby 3 года назад
ХулиGUN написал:
Те бенчмарки сделать?

так смотря как ты собрался парсить, может ты банально регулярками на питоне воспользуешься и будешь потом козырять, забыв в своем бенче отразить потребляемые ресурсы

0 Спасибо
Аватар пользователя Moel
Moel 3 года назад

Будет свободное время nodejs + cheerio попробую. Вроде это все дело можно с друпалом сцепить.

0 Спасибо