Нужно настроить автоматический импорт статей со sportbox.ru на sportbox.online
Поставил модуль feeds, но не могу настроить нормальный импорт с картинками.
У меня есть более опытный коллега, он уже шишку набил на таких операциях. Еще такая штука есть как экспорт больших файлов Excel в таблицу MySql. К сожалению наш любимый и хороший PHP (Drupal) с установленной библиотекой PHPExcel весело умирает после экспорта 5000 строчки, хоть это через batch хоть через cron делай все равно. А вот python хоть бы хны и реально быстрее, но тут тоже от библиотеки зависит.
Так вот этот коллега мне говорит, что только python - я его слова в этот раз проверять не стал: на ошибках учатся, продвинутые учатся на чужих ошибках. Я стараюсь продвигаться... Правда тоже не всегда получается.
BS4 избыточен, и отъедает львиную долю памяти. Сама библиотека говно как и предшественник. Единственный плюс - понятный код. В остальном юзлесс. Самая нормальная lxml и по скорости и по прожерливости.
Набитые шишки не показатель профессионализма. Любой кусок кода на python и скажу ваш уровень(ну или вашего коллеги).
alexsaab wrote:
PHPExcel весело умирает после экспорта 5000 строчки
Тут ничего удивительного. Обыкновенные итераторы и генераторы в пхп появились только с приходом версии 5.5.
Комментарии
Делал такое, но как то PHP не понравился для такого случая сделал экспорт на Python.
Но можно и на PHP.
Решение будет стоить от 200$ я думаю.
Если интересно, то сообщите.
связь dev@agaxx.ru
С ув., Алексей
BeautifulSoup - не панацея
У меня есть более опытный коллега, он уже шишку набил на таких операциях. Еще такая штука есть как экспорт больших файлов Excel в таблицу MySql. К сожалению наш любимый и хороший PHP (Drupal) с установленной библиотекой PHPExcel весело умирает после экспорта 5000 строчки, хоть это через batch хоть через cron делай все равно.
А вот python хоть бы хны и реально быстрее, но тут тоже от библиотеки зависит.
Так вот этот коллега мне говорит, что только python - я его слова в этот раз проверять не стал: на ошибках учатся, продвинутые учатся на чужих ошибках. Я стараюсь продвигаться... Правда тоже не всегда получается.
ПЫХ не ограничивается PHPExcel'ем.
Свеж опыт в импорте ~35 000 строк, с предобработкой, на "унылом ПЫХовом Друпале" ;).
BS4 избыточен, и отъедает львиную долю памяти. Сама библиотека говно как и предшественник. Единственный плюс - понятный код. В остальном юзлесс. Самая нормальная lxml и по скорости и по прожерливости.
Набитые шишки не показатель профессионализма. Любой кусок кода на python и скажу ваш уровень(ну или вашего коллеги).
Тут ничего удивительного. Обыкновенные итераторы и генераторы в пхп появились только с приходом версии 5.5.
Хвастаца кармугрохать ))