Parser статей

Аватар пользователя Kirillweb Kirillweb 3 октября 2017 в 21:10

Доброго времени суток.

Нужно настроить автоматический импорт статей со sportbox.ru на sportbox.online
Поставил модуль feeds, но не могу настроить нормальный импорт с картинками.

Кто может помочь и за какое вознаграждение?

Комментарии

Аватар пользователя alexsaab alexsaab 4 октября 2017 в 15:46

Делал такое, но как то PHP не понравился для такого случая сделал экспорт на Python.
Но можно и на PHP.

Решение будет стоить от 200$ я думаю.

Если интересно, то сообщите.

связь dev@agaxx.ru

С ув., Алексей

Аватар пользователя alexsaab alexsaab 4 октября 2017 в 22:42

ХGUN wrote:

BeautifulSoup - не панацея

У меня есть более опытный коллега, он уже шишку набил на таких операциях. Еще такая штука есть как экспорт больших файлов Excel в таблицу MySql. К сожалению наш любимый и хороший PHP (Drupal) с установленной библиотекой PHPExcel весело умирает после экспорта 5000 строчки, хоть это через batch хоть через cron делай все равно. Smile А вот python хоть бы хны и реально быстрее, но тут тоже от библиотеки зависит.
Так вот этот коллега мне говорит, что только python - я его слова в этот раз проверять не стал: на ошибках учатся, продвинутые учатся на чужих ошибках. Я стараюсь продвигаться... Правда тоже не всегда получается.

Аватар пользователя bumble bumble 5 октября 2017 в 16:25

ПЫХ не ограничивается PHPExcel'ем.
Свеж опыт в импорте ~35 000 строк, с предобработкой, на "унылом ПЫХовом Друпале" ;).

Аватар пользователя ХулиGUN ХулиGUN 4 октября 2017 в 23:51
1

BS4 избыточен, и отъедает львиную долю памяти. Сама библиотека говно как и предшественник. Единственный плюс - понятный код. В остальном юзлесс. Самая нормальная lxml и по скорости и по прожерливости.
Набитые шишки не показатель профессионализма. Любой кусок кода на python и скажу ваш уровень(ну или вашего коллеги).

alexsaab wrote:

PHPExcel весело умирает после экспорта 5000 строчки

Тут ничего удивительного. Обыкновенные итераторы и генераторы в пхп появились только с приходом версии 5.5.

Аватар пользователя Studio VIZA Studio VIZA 7 октября 2017 в 2:56
1

bumble wrote:

Свеж опыт в импорте ~35 000 строк, с предобработкой, на "унылом ПЫХовом Друпале" ;).

Хвастаца кармугрохать ))