Друпал и нейросети

Аватар пользователя univerico univerico 21 января в 0:04

Здравствуйте! Подскажите как - то интегрируется сайт на Друпал с функционалом нейросетей?
Можно будет расположить сайт прямо на сервере для нейросети? Или как-то направить данные из нейросети для представления на сайте, кроме импорта из csv или наоборот прямо с сайта заливать в нейросеть?
(нейросеть нужна для анализа и прогнозирования в медицине и биологии). Или может посоветуете какую-то библиотеку, из которой потом будет потом удобнее данные импортировать?
Стоит ли ПО для создания нейросети смотреть только на php, если хочу интегрировать с сайтом или все равно их так просто не свяжешь?

Вот это выдается в поисковике на "drupal neural network"

https://github.com/akamaus/neurocenter

https://www.drupal.org/project/dail/issues/986556

для чего ?

0 Thanks

Комментарии

Аватар пользователя bsyomov bsyomov 21 января в 1:38
2

ПО для создания нейросети стоит смотреть на основе Python, например, но уж точно не PHP.
Интеграция может быть совершенно разными путями построена. И на основе обмена через базу, и на основе запросов через какой-то API.

На одном сервере можно запускать совершенно разное ПО, на совершенно разных языках, вопрос только в наличии достаточного количества ресурсов.

Аватар пользователя univerico univerico 21 января в 10:21

Спасибо большое! Почему именно python?
Какие главные преимущества для моих задач по сравнению с php?
Я вообще смотрю в сторону FANN из бесплатных ПО для нейросетей. Ну или могу рассмотреть платные какие-то, если возможности конкретно под мои задачи будут больше.
Придется ли идти на ограничения по функционалу в случае, если я буду делать интеграцию через базу или API (в таком случае проще делать экспорт и потом в ручном режиме загрузить в базу).

И на основе обмена через базу

Т.е. нужно будет настроить чтобы и нейросеть и сайт отсылали данные в одну базу и обращались к одной базе?
Какую тогда лучше базу использовать? Как ее настроить?
И нейросеть на python, и сайт подключить к mysql?

и на основе запросов через какой-то API.

Вы можете что-то рекомендовать или это зависит от конкретной нейросети?

Аватар пользователя bsyomov bsyomov 21 января в 13:58

Потому, что библиотеки для построения сетей на Python есть, а PHP вообще-то слабо для таких задач подходит как таковой - это довольно специализированный язык...

Если у вас есть готовое решение, то какая вам разница, на чём оно, по большому счёту?

По интеграции всё зависит от возможностей интеграции ПО для организации сети, если вы берёте его готовым.

Аватар пользователя univerico univerico 21 января в 10:35

На одном сервере можно запускать совершенно разное ПО, на совершенно разных языках, вопрос только в наличии достаточного количества ресурсов.

Я вообще пока очень слабо себе все это представляю, вопросы у меня поэтому могут быть ну совсем примитивными.

На разных серверах было бы лучше конечно, потому что для нейросети у нас и так будет скорее всего сервер с минимумом необходимой мощности. В идеале, если сеть будет у меня на месте, а сайт удаленно.

А если на разных серверах, а база одна, то просто как-то где-то в настройках прописать путь к базе на другом сервере?
Или будет по свое база на своем сервере и у сети, и сайта, просто сайт например будет еще дополнительно обращаться и к дополнительной второй базе?

А если через API то какой принцип?

Аватар пользователя univerico univerico 21 января в 11:39

Для нейросети мне делать Mysql тоже или можно наоборот для сайта какую-то другую припиливать?

Аватар пользователя itcrowd72 itcrowd72 21 января в 7:44
4

Я бы пригласил в этот пост специалиста-питонщика по нейросетям, но к сожалению он забанен на друпал.ру

Аватар пользователя sas@drupal.org sas@drupal.org 21 января в 7:45
itcrowd72 wrote:

Я бы пригласил в этот пост специалиста-питонщика по нейросетям, но к сожалению он забанен на друпал.ру

Сейчас приглашу под другим ником его

Аватар пользователя sas@drupal.org sas@drupal.org 21 января в 8:15

:( неужели все "специалиста-питонщика по нейросетям" забанены?
О ком речь вообще, можно уточнить?

Аватар пользователя Grayw0lf Grayw0lf 21 января в 10:33
1

Пхп не предназначен для сложных вычислений тем более для нейросетей, самый доступный это питон с его либами

Аватар пользователя univerico univerico 21 января в 10:44

Ясно. Спасибо. Тогда Питон скорее всего будет. А из библиотек под Питон, которые подходят для прогнозирования или заточенных под медицинское прогнозирование, какую тогда лучше выбирать? Чтобы потом проще было с сайтом соединить?
(судя по первым поискам архитектура нужна для обучения с учителем "Перцептрон" или для смешанного обучения
"Сеть радиально-базисных функций", для анализа "Самоорганизующаяся карта Кохонена", "Нейронная сеть Кохонена".

Аватар пользователя Grayw0lf Grayw0lf 21 января в 10:52
1

Библиотека выбирается в зависимости от типа сети, можно построить на numpy а так есть keras tensorflow pytorch, под некоторые надо сервер подготовить

Аватар пользователя univerico univerico 21 января в 11:04

Библиотека выбирается в зависимости от типа сети,

В смысле типа архитектуры с учетом способа обучения?
Если это, то архитектура скорее всего нужна а)для прогнозирования в случае обучения с учителем "Перцептрон" или

б)в случае смешанного обучения "Сеть радиально-базисных функций",

в)для анализа "Самоорганизующаяся карта Кохонена", "Нейронная сеть Кохонена"

Аватар пользователя Grayw0lf Grayw0lf 21 января в 10:55
1

Кстати да, Гугл и Майкрософт тоже предоставляют сервисы для создания сетей, по ценам только не знаю как у них

Аватар пользователя gun_dose gun_dose 21 января в 11:01
1

Там цены, начиная с бесплатных. И ещё Амазон тоже предоставляет. Мне просто кажется, что если ничего не понимаешь в нейросетях, то проще будет попытаться начать с каких-то шаблонных решений.

Аватар пользователя univerico univerico 21 января в 11:06

Так и придется, наверное. Просто может есть какие-то, которые с сайтом потом проще интегрировать, я вот думаю с них начать.

Аватар пользователя Grayw0lf Grayw0lf 21 января в 11:10
1

Не большой знаток но для перцептрона думаю достаточно numpy, с подкреплением keras или pytorch

Аватар пользователя Grayw0lf Grayw0lf 21 января в 11:30
1

Вспомнил нвидиа предоставляет свои rtx бесплатно но раз в сутки обнуляет результаты, это если для тензорных вычислений

Аватар пользователя univerico univerico 21 января в 11:37

Спасибо. Кстати, а что лучше под мои задачи с последующей интеграцией с сайтом GPU или CUDA и т.д.?

Аватар пользователя multpix multpix 21 января в 14:14
4

Просто оставлю это здесь:
А.Мюллер, С.Гвидо - Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с
данными - 2017
Гудфеллоу Я., Бенджио И., Курвилль А. - Глубокое обучение - 2018
Во второй которткие главы: линейная алгебра, теория вероятности, информации, и численные методы - ваще бестселлер)))

Аватар пользователя Orion76 Orion76 21 января в 15:04
3

про нейросети и питон.

Софт для организации "нейросети" обычно разрабатывают специалисты прикладной области (физики, математики, медики, инженеры и т.п.)

Питон относительно не сложный язык, поэтому проще медика научить программированию на питоне, чем программиста на питоне обучить "побыстрому" медицине.-)

Аватар пользователя univerico univerico 21 января в 19:59

Спасибо, ну в любом случае чуть-чуть подучить придется. А что порекомендуете для освоения Питона непрограммистом с нуля при наличии очень базовых знаний других языков?

Аватар пользователя univerico univerico 21 января в 20:22

Спасибо, ну в любом случае чуть-чуть подучить придется. А что порекомендуете для освоения Питона непрограммистом с нуля при наличии очень базовых знаний других языков? Любое руководство брать или что-то именно порекомендуете? Вот это пойдет https://pythonworld.ru/samouchitel-python? или книги И. А. Хахаев или Марк Лутц?
На какие разделы обратить внимание?

Аватар пользователя univerico univerico 21 января в 21:04

а сколько месяцев закладывать на изучение Питон в среднем до нужного уровня, если заниматься по 2-4 часа в день?

Аватар пользователя Orion76 Orion76 21 января в 21:46
1

К сожалению, учебные материалы по питону порекомендовать не могу, т.к. я на нем не специализируюсь.
Когда-то "познакомился" из любопытства и все.-)

В общем, человеку, знакомому не понаслышке с программированием и имеющем какой-либо опыт работы с любым языком, освоить еще один много быстрее и проще чем человеку, изучающему программирование с нуля.

Принципы программирования на большинстве языков практически одни и те же.
Для начала, обычно достаточно освоить синтаксис и базовые функции.

Некоторые уже через пару недель начинают довольно уверенно пользоваться "новым" языком.

Так что скорость изучения тут зависит:
- от Вашего предыдущего опыта
- от Ваших способностей
- от Вашей усидчивости и целеустремленности
И да.. хорошие учебные материалы (теория и практика) тоже не маловажны.
Про них поспрашивайте лучше на специализированных форумах по Питону и нейросетям.
Там же, возможно Вам расскажут по подробнее про Питон и нейросети.

А организовать обмен данными между Drupal и "внешними" приложениями есть тысяча и один способ, если не больше.
Так что, я бы рекомендовал сначала решить "прикладную" задачу - организовать необходимые вычисления при помощи нейросетей.
А потом уже думать, как подружить их с Drupal.

Аватар пользователя Orion76 Orion76 21 января в 21:59
1

Кстати.. поинтересуйтесь еще парочкой языков:
Go (Golang)
JavaScript (node.js)

Их тоже часто используют для работы с нейросетями.
Один из немаловажных аспектов выбора языка-инструмента: наличие готовых качественных библиотек оптимально подходящих для решения Ваших задач.

Пару статей по теме:
https://habr.com/ru/post/343466/
https://waksoft.susu.ru/blog/2017/04/29/10-primerov-algoritmov-mashinnog...

Аватар пользователя multpix multpix 21 января в 15:33
1

Да и нейросетка вобщемто - это только один из возможных элементов комбайна по анализу данных.
Над комбайном всегда работают три стороны - архитектор, кодер, и спецы из прикладных областей.
Для лучшей коммуникации - необходимо вникать в базовые принципы смежников.

Аватар пользователя Grayw0lf Grayw0lf 21 января в 17:17

Для использования нейросетей а также генетических алгоритмов друпал не ваш путь, выбирайте стек не связанный с пхп,

Аватар пользователя bsyomov bsyomov 21 января в 20:20
3

Почему?
Какая разница, где вводить и выводить обрабатываемые данные, и какой стек для этой задачи использовать? =)
Если нужен веб интерфейс, php ничем, в общем-то, не хуже. А если есть необходимость делать это где-то на сайте, с контролем доступа, какими-то материалами и.т.п., то и Drupal вполне годная основа, в общем-то.

Никаких особых проблем интегрировать приложения на разных стеках нет.

Аватар пользователя Grayw0lf Grayw0lf 21 января в 20:27

я имел ввиду что спрашивал тс, а тогда лучше использовать нужный стек, т е лучше сервер настроить под него, но пхп не для него, хотя не один ли хрен где будет работать его модель. быстро можно поднять на джанго рест.

Аватар пользователя univerico univerico 21 января в 21:02

Спасибо. Не пойму как с Друпалом интегрировать. Это будет модуль на js? или все же самостоятельная сеть просто с общей бд?

Аватар пользователя loup54 loup54 21 января в 21:30
1

У меня нет опыта работы с подобными задачами, однако, всем известно, насколько легко интегрировать в Drupal любые js библиотеки, наверняка нужно будет через модуль подключать. Вообще нужно отталкиваться от задач и согласно философии Drupal сначала создать инструмент и только потом подключать\интегрировать.

Аватар пользователя Orion76 Orion76 21 января в 23:44
1
univerico wrote:

Спасибо. Не пойму как с Друпалом интегрировать. Это будет модуль на js? или все же самостоятельная сеть просто с общей бд?

Судя по количеству комментов в теме, тема очень интересная.
Так что если Вы будите задавать вопросы без конкретики, Вам сейчас столько советов навалят, что Вы сами запутаетесь.-)

Успех любого предприятия сильно зависит от хорошо проработанного плана.
Я бы начал с него:
Описал бы систему в общих чертах: что, зачем, как и для чего.
Составил(нарисовал) бы схемку данных и схему работы системы в целом. (лучше 1 раз увидеть, чем 100 раз прочитать)

Потом прикинул в общих чертах алгоритмы решения Ваших задач при помощи нейросетей без привязки к конкретному языку программирования(ЯП)

А уже после этого уже можно попробовать определиться с ЯП, библиотекой нейросети и способе интеграции ее с Drupal,
задавая конкретные вопросы тут и на других тематических ресурсах.

Аватар пользователя univerico univerico 22 января в 0:42

Да, спасибо, все так, только схемка из тысяч компонентов и их надо будет наверное как-то импортировать)))
По языку уже склоняюсь к Питон, по нему много всего. И уже по ходу дела на практике остальные вопросы.