24 января 2019 в 23:43
Добрый день друпалисты! Есть один замечательный модуль http://xandeadx.ru/blog/drupal/554 который не однократно выручал меня в переносе контента и наполнения с других сайтов. Но дело в том что этот чудо модуль для Drupal 7 а он уже не молод и было бы круто если бы этот модуль продолжал свою жизнь вместе с Drupal 8.
На странице этого модуля я предложил сложиться и если автор согласился бы на перенос модуля... Но автор занят. Может быть есть желающий кто СМОЖЕТ перенести этот модуль на Drupal 8. Так же было бы супер если бы нашлись единомышленники (такие были на странице этого крутого модуля) и мы сложились бы и оплатили человеку который портировал бы модуль на D8.
Ссылка для сбора средств https://yasobe.ru/na/drupal8parser
Комментарии
Модулей для импорта контента, мягко говоря, не мало.
Возможно автор "забросил" модуль, потому что ему есть достойные альтернативы.
А какого формата предполагаются источники контента ?
html-xml, json, csv, БД и т.п.
Парсер на то и парсер, что он парсит. То есть ходит по сайту и копирует контент из html.
Мне он тоже пару раз был нужен и каждый раз просто писал с нуля ненастраиваемый парсер под текущую задачу.
Я под migrate начинал писать плагины фетчера, парсера и препроцесса для парсинга из произвольного кол-ва источников.
Но гибкости мигрейта нехватило.
Надо что-то с мигрейтом делать-)
Ничего не надо с мигрейтом делать. Делал парсинг яндекс-маркет-хмл для трёх проектов на мигрэйт. Когда понял, что на каждый пук тратится слишком много времени на отладку, решил переписать всё с нуля на полностью кастомный код. В итоге рефакторинг занял времени меньше, чем первоначальный запуск этого дела на мигрэйт. А быстродействие самого импорта выросло в 7~10 раз.
Моё мнение такое - миграции подходят только для переноса контента с друпала на друпал при наличии доступа к базе. Причём только для разового импорта.
> в переносе контента
Имхо для переноса с сайтов с доступом к админке эффективней использовать json xml csv ...
> наполнения с других сайтов
Синхронизация периодическая или разовый парсинг?
Нет доступа к админке?
Контент будет дублироваться с уже проиндексированный в интернете страниц?
Вы будут их сильно менять чтобы нормально потом проиндексироваться поисковиками?
Было бы интересно узнать цели такого парсинга и положительные стороны для сайта получателя?
p.s. пробовали?
https://www.drupal.org/project/feeds_ex
Цель парсинга проста - наполнение сайтов. Да понятно контент не уникальный...
Feeds ex пробовал но не поставил так как ставлю не через composer
Портированный парсер без композера тоже не поставите, т.к. там используется PHPQuery.
Очень удобный парсер. Реально помогает во многом для тех, кому надо собирать информацию с завидной периодичностью. Во всём, кроме сайтов с капчей от гугла на любой документ - очень помогает.
Я готов скинуться, хотя ещё не перехожу на 8ку.
Супер! Чем больше единомышленников тем меньше нужно будет скидываться.
Нашел человека который готов сделать перенос парсера с D7 на D8
Сам xandeadx не хочет делать это так как нет у него времени... жаль.
Сколько денег надо собрать?
20.000 руб
Готов поддержать сбор на оплату работы по портированию.
+1 Готов материально поучаствовать, хотя сам еще не на восьмерке. Будем ждать еще желающих?
На данный момент согласны Evgeny S, dandily, asdg и я.
Еще бы пару человек и в принципе было бы нормально я думаю.
Вопрос по ходу. А как вы думаете - что лучше для d8 версии, https://symfony.com/doc/current/components/dom_crawler.html +
https://symfony.com/doc/current/components/css_selector.html или http://simplehtmldom.sourceforge.net/ ?
А почему бы не продолжить юзать PHPQuery? Хотя в описании simpledom есть упоминание, что он умеет работать с невалидным html. Вопрос лишь в том, насколько невалидным он может быть, т.к. незакрытые тэги на сайтах - отнюдь не редкость.
phpquery не умеет в php7 . а так бы да, не было бы вопросов.
Что значит, не умеет? Я использовал его уже на нескольких проектах именно с php7. И классы нормально подгружались. Просто надо знать, откуда брать. А именно отсюда
шикарно, тогда вопрос видимо снят)
https://yasobe.ru/na/drupal8parser - открыл страничку для сбора. Просьба писать в комментарии логин от drupal.org (можно отдельно от drupal.ru) - при публикации модуля чтобы не забыть указать спонсоров.
Отлично! Ожидаем всех кто согласился на участие в сборе, а так же есть возможность запрыгнуть в последний вагон и тоже быть в списке спонсоров!
Спасибо всем кто принял участие в сборе! Собрали 50% остаток я перевел разработчику. Если у посетителей этого топика будет желание поучаствовать в уже закрытом сборе можете сделать перевод тут https://yasobe.ru/na/drupal8parser
Теперь ожидаем новостей с нетерпением.
Здраствуйте, будет ли работа над модулем?
Работает тольке после редактирования библиотеки что в ядре :
Создал обходной путь, но как я понял так неправильно.
https://www.drupal.org/project/content_parser/issues/3117403
Перевёл.
Вчера перевел.
+1
Сбор завершен, большую часть средств предоставил webmasternew. Он же может тут опубликует свою ссылку на сбор - может кто компенсирует ему, чтоб выровнять участие). Всем задонатившим спасибо, ушло в очередь задачек, через пару недель будет что-то показать. На первую альфу рабочую должно хватить, ну или мы из своего кармана добьем (мы ж тоже временами пользовались старым :).
Ожидаем альфа версию. Всем еще раз спасибо!
ps попрошу модераторов добавить ссылку на сбор в первый пост
Кто-нибудь уже парсил комменты новым модулем?
В последнем обновлении "глубина">0 игнорируется...
Модуль для drupal 8, искал ссылку в треде.
Добавил ссылку в пост
Здраствуйте, будет ли работа над модулем?
Работает тольке после редактирования библиотеки что в ядре :
Создал обходной путь, но как я понял так неправильно.
https://www.drupal.org/project/content_parser/issues/3117403