Порт модуля Parser с Drupal 7 на 8

Аватар пользователя webmasternew webmasternew 24 января в 23:43

Добрый день друпалисты! Есть один замечательный модуль http://xandeadx.ru/blog/drupal/554 который не однократно выручал меня в переносе контента и наполнения с других сайтов. Но дело в том что этот чудо модуль для Drupal 7 а он уже не молод и было бы круто если бы этот модуль продолжал свою жизнь вместе с Drupal 8.

На странице этого модуля я предложил сложиться и если автор согласился бы на перенос модуля... Но автор занят. Может быть есть желающий кто СМОЖЕТ перенести этот модуль на Drupal 8. Так же было бы супер если бы нашлись единомышленники (такие были на странице этого крутого модуля) и мы сложились бы и оплатили человеку который портировал бы модуль на D8.

Ссылка для сбора средств https://yasobe.ru/na/drupal8parser

0 Thanks

Комментарии

Аватар пользователя Orion76 Orion76 25 января в 0:38

Модулей для импорта контента, мягко говоря, не мало.
Возможно автор "забросил" модуль, потому что ему есть достойные альтернативы.

А какого формата предполагаются источники контента ?
html-xml, json, csv, БД и т.п.

Аватар пользователя gun_dose gun_dose 25 января в 6:41

Парсер на то и парсер, что он парсит. То есть ходит по сайту и копирует контент из html.

Мне он тоже пару раз был нужен и каждый раз просто писал с нуля ненастраиваемый парсер под текущую задачу.

Аватар пользователя Orion76 Orion76 25 января в 6:59

Я под migrate начинал писать плагины фетчера, парсера и препроцесса для парсинга из произвольного кол-ва источников.
Но гибкости мигрейта нехватило.
Надо что-то с мигрейтом делать-)

Аватар пользователя gun_dose gun_dose 25 января в 7:34

Ничего не надо с мигрейтом делать. Делал парсинг яндекс-маркет-хмл для трёх проектов на мигрэйт. Когда понял, что на каждый пук тратится слишком много времени на отладку, решил переписать всё с нуля на полностью кастомный код. В итоге рефакторинг занял времени меньше, чем первоначальный запуск этого дела на мигрэйт. А быстродействие самого импорта выросло в 7~10 раз.

Моё мнение такое - миграции подходят только для переноса контента с друпала на друпал при наличии доступа к базе. Причём только для разового импорта.

Аватар пользователя sas@drupal.org sas@drupal.org 25 января в 8:54

> в переносе контента
Имхо для переноса с сайтов с доступом к админке эффективней использовать json xml csv ...
> наполнения с других сайтов
Синхронизация периодическая или разовый парсинг?
Нет доступа к админке?
Контент будет дублироваться с уже проиндексированный в интернете страниц?
Вы будут их сильно менять чтобы нормально потом проиндексироваться поисковиками?
Было бы интересно узнать цели такого парсинга и положительные стороны для сайта получателя?

p.s. пробовали?
https://www.drupal.org/project/feeds_ex

Аватар пользователя webmasternew webmasternew 30 января в 0:07

Цель парсинга проста - наполнение сайтов. Да понятно контент не уникальный...

Feeds ex пробовал но не поставил так как ставлю не через composer

Аватар пользователя gun_dose gun_dose 30 января в 6:50

Портированный парсер без композера тоже не поставите, т.к. там используется PHPQuery.

Аватар пользователя dandily dandily 25 января в 11:27

Очень удобный парсер. Реально помогает во многом для тех, кому надо собирать информацию с завидной периодичностью. Во всём, кроме сайтов с капчей от гугла на любой документ - очень помогает.

Я готов скинуться, хотя ещё не перехожу на 8ку.

Аватар пользователя asdg asdg 7 февраля в 14:08

+1 Готов материально поучаствовать, хотя сам еще не на восьмерке. Будем ждать еще желающих?

Аватар пользователя webmasternew webmasternew 7 февраля в 22:28
asdg wrote:

+1 Готов материально поучаствовать, хотя сам еще не на восьмерке. Будем ждать еще желающих?

На данный момент согласны Evgeny S, dandily, asdg и я.
Еще бы пару человек и в принципе было бы нормально я думаю.

Аватар пользователя gun_dose gun_dose 1 марта в 6:41

А почему бы не продолжить юзать PHPQuery? Хотя в описании simpledom есть упоминание, что он умеет работать с невалидным html. Вопрос лишь в том, насколько невалидным он может быть, т.к. незакрытые тэги на сайтах - отнюдь не редкость.

Аватар пользователя gun_dose gun_dose 1 марта в 14:54
2

Что значит, не умеет? Я использовал его уже на нескольких проектах именно с php7. И классы нормально подгружались. Просто надо знать, откуда брать. А именно отсюда

Аватар пользователя adubovskoy adubovskoy 3 марта в 18:31
1

https://yasobe.ru/na/drupal8parser - открыл страничку для сбора. Просьба писать в комментарии логин от drupal.org (можно отдельно от drupal.ru) - при публикации модуля чтобы не забыть указать спонсоров.

Аватар пользователя webmasternew webmasternew 2 марта в 10:56

Отлично! Ожидаем всех кто согласился на участие в сборе, а так же есть возможность запрыгнуть в последний вагон и тоже быть в списке спонсоров!

Аватар пользователя webmasternew webmasternew 3 марта в 17:30

Спасибо всем кто принял участие в сборе! Собрали 50% остаток я перевел разработчику. Если у посетителей этого топика будет желание поучаствовать в уже закрытом сборе можете сделать перевод тут https://yasobe.ru/na/drupal8parser
Теперь ожидаем новостей с нетерпением.

Аватар пользователя adubovskoy adubovskoy 3 марта в 17:23
1

Сбор завершен, большую часть средств предоставил webmasternew. Он же может тут опубликует свою ссылку на сбор - может кто компенсирует ему, чтоб выровнять участие). Всем задонатившим спасибо, ушло в очередь задачек, через пару недель будет что-то показать. На первую альфу рабочую должно хватить, ну или мы из своего кармана добьем (мы ж тоже временами пользовались старым :).

Аватар пользователя webmasternew webmasternew 3 марта в 17:33

Ожидаем альфа версию. Всем еще раз спасибо!
ps попрошу модераторов добавить ссылку на сбор в первый пост