Импорт вариантов для полей, иерархия, таксономия и сопоставление разных терминов

Аватар пользователя univerico univerico 19 сентября 2017 в 0:58
1

Здравствуйте!
Есть задача для сайта для научных исследователей импортировать большие списки с областями деятельности ( вариантами для полей с выбором, чтобы пользователи выбирали для себя свою область и потом группы делать на основании этой классификации и/или материалы этими же тегами помечать).

1)как лучше настроить варианты для разных языков?
если термины переводить, то у меня они сейчас отображаются при выборе в словаре на обоих языках, а нужно чтобы только для одного. где настройка не так сделана у меня?

2) нужно импортировать из excel или csv с сохранением иерархии
смотрю в сторону модулей
1.shs Simple hierarchical select так как у него вроде для 7 есть стабильная версия
2. Hierarchical Select нет стабилной версии и проблемы с виджетом
3. Client-side hierarchical select https://www.drupal.org/project/cshs нет стабильной версии для 7

(обсуждения по этим темам
- Hierarchical Select http://drupal.ru/node/55488
- Hierarchical Select + views http://drupal.ru/node/86122)

4.Node_export есть рабочий вариант для 7, позволяет делать экспорт и импорт
5. Feeds (но у него нет безопасной версии и сомнения поэтому) Как вариант рассматриваю импортировать на какой-то вспомогательный сайт и потом оттуда уже с помощью migrate переносить на рабочий
6.Backup and Migrate
7.Taxonomy CSV import/export (есть безопасная версия для 7)
8.views_data_export для экспорта из представлений есть рабочий вариант для 7

9.Node import (только для 4 и 5 небезопасная версия)

Какой из этих или возможно другой лучше подходит под мои задачи?

3) нужно чтобы в одном поле набор терминов был выпадающим списком но при желании можно было бы в другом поле сделать автозавершением.
Но хотелось бы чтобы для выпадающего списка использовались разные словари (части всех категорий, чтобы проще было искать), а для автозавершения все возможные словари.

4)некоторые термины или просто пункты списков (если это вообще будет не на основе таксономии) могут совпадать по части названия (но иметь разное цифровое обозначение - код по определенному классификатору)
можно ли настроить чтобы при автозавершении предлагались все варианты или даже чтобы при выборе одного из пунктов выпадающего списка другие варианты предлагались в автозавершении автоматически
Например есть классификатор научных данных ГРНТ, ВАК, УДК (упрощенно классификация 1,2,3) и в них есть под разными "соусами" фармаколгия
Нужно чтобы в одном поле был выбор для ГРНТИ, в другом для ВАК и в третьем для УДК, но в поле автозавершения варианты подставлялись из всех трех (т.е. в одном поле классификация 1, в другом -2, в третьем -3, а в автозавершении из 1,2,3)
Есть пример где это реализовано http://scs.viniti.ru/rubtree/main.aspx?tree=RGNTI
Java?
Но задачи именно так делать нет, так как там больше для поиска информации, а мне нужно больше для авторов, чтобы они свою область интереса выбирали удобным способом и уже во вторую очередь для материалов.

5) и нужно как-то данные для подставления импортировать
файл выглядит на настоящий момент приблизительно так
(см скриншот) т.е. есть либо классификация без нормальных разделителей, либо частично разделенная, но без названий для кодов. Нужно добавить разделители вручную видимо или в полуручном режиме (подстановкой) ? разделить или доразделить по столбикам и добавить названия к кодам (сейчас есть либо таблицы с названиями поотдельности, либо свобдная без названия, либо сводная с одним из трех названий, но разделять вручную ее нужно ).
или можно как-то автоматически из файла где название с кодом подставить название в другую таблицу к коду, где названия не было ?

6) нужно как-то периодически добавлять обновления в этих классификации

Классификатор есть например на сайте РАН др
Но я не могу понять что и как с этим можно делать?
Вот здесь предлагают такой вариант: "Служба отображений рубрик в режиме программного доступа предлагает услуги навигации по классификациям в автоматическом режиме при обработке поискового запроса на виртуально объединенном пространстве разнородных информационных ресурсов"
http://scs.viniti.ru/MapService/MapService.asmx?op=MappedNodes

ВложениеРазмер
Иконка изображения список104.98 КБ
Иконка изображения таблица неполная44.89 КБ
Иконка изображения таблица с разделителями26.78 КБ

Комментарии

Аватар пользователя alexsaab alexsaab 19 сентября 2017 в 11:35

Excel для большого объема данных вообще не смотрите - Excel у вас умрет через 5000 строчек импорта, через библиотеку во всяком случае PHPExcel. Smile

Лучше и быстрее импортировать XML, CSV, JSON.

Если что обращайтесь - но дешево не будет, так как импорт в PHP -> Excel штука дорогая и творческая.

Аватар пользователя xakd xakd 19 сентября 2017 в 12:38

univerico wrote:

но у него нет безопасной версии и сомнения поэтому

Заканчивайте с этим бредом про безопасные и опасные версии, эта бутафория новомодная на сайте drupal.org

Аватар пользователя univerico univerico 19 сентября 2017 в 13:34

alexsaab wrote:

Excel у вас умрет через 5000 строчек импорта
... обращайтесь - но дешево не будет


По 5000 строчек меня вполне строит. Будем вручную частями загружать поэтапно, если нужно.
Какой модуль Вы рекомендуете исходя из моих задач?
Или Вы имеете ввиду всего 5000 строчек?
Ну тогда загрузим 5000 строчек всего и будем ждать пока появятся деньги ))))

Учитывая бюджет пока все же смотрю в сторону готового модуля. И буду ограничиваться возможностями его функционала.

А что вы можете сделать именно? Модуль написать? Или настроить существующие?

Аватар пользователя univerico univerico 19 сентября 2017 в 13:35

xakd wrote:

univerico написал:

но у него нет безопасной версии и сомнения поэтому

Заканчивайте с этим бредом про безопасные и опасные версии, эта бутафория новомодная на сайте drupal.org


Спасибо за участие. Буду думать ) Озадачили.

Аватар пользователя univerico univerico 26 сентября 2017 в 10:33

Я склоняюсь к Simple hierarchical select для работы с иерархией и наравне с ним рассматриваю Taxonomy Manager
А для импорта к модулю Taxonomy CSV import/export
Также еще могу добавить к списку как потенциальные модули для работы с таксономией, иерархией и экспортом - импортом: Views Bulk Operations, Bulk Export (bulk_export), Features

Вот есть интересная таблица сравнения
Comparison of Content and User Import and Export Modules https://groups.drupal.org/node/21338

Аватар пользователя ХулиGUN ХулиGUN 26 сентября 2017 в 12:53

Совет на будущее: Раз разработка ещё у самых истоков, то стоит учитывать возможные наполеоновские планы по масштабированию в принятии каждого решения. Потому, как каждое подобное решение

univerico wrote:

Учитывая бюджет пока все же смотрю в сторону готового модуля. И буду ограничиваться возможностями его функционала.

... может повлечь за сабой переделку всего сайта

Аватар пользователя univerico univerico 28 января 2019 в 2:20

Здравствуйте! Продолжаю с этими классификаторами работать.
Подскажите, на сегодняшний день, как проще всего установить соответствия

Например между 02.01 Общие вопросы философии и УДК 1, ВАК 09.00
Нужно это все как-то разбить на разные столбцы, т.е. чтобы первая цифра была в одной ячейке, номер УДК в другой и т.д.
Если парсер писать, то, который будет смотреть, есть ли в каждом из подпунктов соответсвие УДК или ВАК и если есть, то выносить в отдельную ячейку
Например
"02.01 Общие вопросы философии" - в ячейку А1
Далее: если в тексте есть "удк", то как-то вместе с цифрой или только цифру вынести в другую ячейку В1,
а ВАК с номером в С1
Проблема только в том, что количество символов везде разное и где-то есть ВАК, где-то нет и т.д., или слишком сложный алгоритм и проще вручную? Всего страниц около 200

Также нужно типа такого списка пропарсить

Там указаны журналы и нужно для каждого рубрики как теги из словаря занести в отдельное поле списком
Т.е. здесь нужно разделить на "строки", один журнал - одна строка и на столбцы, название в одном столбце, темы в другом,

причем желательно номер в один столбец, расшифровку в другую