16 октября 2013 в 13:56
Здравствуйте, уважаемые форумчане.
Задача: Сайт с несколькими миллионами материалов и неограниченым количеством пользователей. (попытка реализации идеи с помощью Drupal.)
Суть: Drupal пригоден?! Если есть ложка дегтя, озвучте, пожалуйста. Развейте мои сомнения, уважаемые господа)
Искренне прошу поделиться опытом и знаниями, логичными допущениями, подскажите путь реализации решения.
Не ищу легких путей, готов к труду и обороне. временные рамки "безграничны".
Вопросы:
1)
=о Пользователях=
- существует ли допустимый предел количества пользователей в Drupal ?!
(в некоторых источниках встречал информацию, что Drupal без проблем (?!) справиться с нагрузкой несколько десятков тясяч пользователей, не уж то это предел ?!)
- какое единовременное количество пользователей зашедших на сайт может адекватно переварить Drupal ?!
(предположим, что сервер(хостер) выдержит... если да, то какой?!... кроме самостоятельной реализации)
=================
2)
=о Базе данных=
- существует ли допустимый предел количества материалов в Drupal ?!
(сможет ли он адекватно обрабатывать порядка нескольких миллионов материалов ?!)
- какие варианты насчет чтобы подключить базу Oracle?!... либо аналогов...
=================
Искренне благодарен, за Вашу поддержку и внимание.
Комментарии
Обсуждение сферического коня в вакууме?) вы покажите сайт, который примерно будет похож на ваш)
так таких ещё нет - этот будет первым
Материалы и пользователи хранятся в бд. Если хотите знать максимальный размер таблицы - это не к друпалу вопрос.
Повесить сайт можно и тысячей пользователей и пятью тысячами материалов. Это смотря как вы готовите друпал) А так-выдержит.
этот эксперимент уже проведен - http://habrahabr.ru/post/131901/
у спортбокса доступна статистика - http://www.liveinternet.ru/stat/Sportbox/
я думаю ТС не скоро доберется до таких значений.
вы для начала скажите какое соотношение анонимов/авторизованных пользователей будет , а то как то посетитель на сайте слишком уж абстрактное понятие
да и о чем вы говорите - о посещаемости сайта или о количестве записей в таблице юзеров?
хорошее замечание! = все количество уникальные(зарегистрированных будет не так много... )
(цель на этапе внедрения не столкнуться с невозможностью зайти на сайт - затем и спрашиваю о подводных камнях при внедрении... - иначе... Скажите мне, будьте так добры, какие проблемы могут быть...?!
выбор хостера с заявленными требованиями так никто и не озвучил... (если кто знает, поделитесь)
географическая привязка не важна...
домен: .com
о Базе данных отдельный вопрос...
(пока как средство хранения используется SQL server
что требуется - межбазовое взаимодействие между 2-3 системами управления...
к механизму пока еще не приступал. Идет процесс наполнения.
что посоветуете...?! какие в дальнейшем могут быть подводные камни...
еще хотелось бы заметить, проект НЕ продажи
Другими словами, это некая База данных
если у Вас есть вопросы по Сути данного вопроса... задавайте!
для супервысоконагруженных баз друпал не годится, это противоречит самой концепции друпала, доказательство - Yahoo, Google, Microsoft, Facebook, Livejournal не на друпале. Преимущество друпала - скорость разработки, удобство, легкость освоения, но никак не высокопроизводительность.
Я бы посмотрел в сторону джанги, yii, а под базу Oracle.
))) И что это не доводы. Существуют сайты к примеру об одном таком рассказывали на MoscowCamp 2013 (датский новостной портал) с количеством посещений 100 000 000 + в месяц.
с каких цифр начинается супервысоконагруженная база?
- по этому я его и выбрал, как инструмент для начальной реализации.
а какой инструментарий Вы посоветовали бы для дальнейшей миграции...?!?
(я имею ввиду front-end. Другими словами "хранилище данных" выгружаемой из БД)
//проект максимально статичен по и форма унифицированна. Пользователь просто получает данные
Я спрашиваю Потому, что масштабируемость это оно из ключевых правил, проектирования
Искренне прошу прощения если выразился не так и/или не конкретизирующе в том и/или ином случае...
За меня скажут, кто прошел этот путь:
- http://habrahabr.ru/post/131901/
- http://grishaev.me/2013/03/25/1/
Лично мне нравиться друпал, как инструмент бизнеса - магазин за день сделал, продал за 30 тыс.р. - кайф,
но если бы я делал для себя, не для продажи, я бы никогда не стал использовать чужой велик.
оффтоп: а что скажете про java?
а почему бы и нет? freenet реализован на java. Просто мы не знаем всех подробностей, для чего эта база, для кого, что будет хранится и т.д.
если делаешь для себя, то законы экономики перестают работать?)
решайте проблемы по мере их появления. насколько я понял у вас со временем все упрется не в друпал, а в базу.
совершенно верно, в этом и отличие мастера от ремесленника, для себя, для души - это произведение. Друпал - это произведение, но оно другого мастера, для его задач.
Под каждую задачу есть свой инструмент, "Друпал - универсален" - это больше вопрос веры, убеждения но не реальности.
здесь соглашусь, для начала сделайте на друпале работающий прототип, для Вас мне кажется хватит, если это не новый Файсбук.
ещё плюс друпала, что сможете быстро его освоить, знать что и как Вы сделали и быть независимым от внешнего разработчика.
я к тому что очень часто появляются топики, в которых друпалеры пишут о переходе на RoR или Django, но ни разу не видел топика о переходе на Java с друпала...
то есть магазин для себя вы сделаете убыточным? вы его будете пилить годами, но так в продакшн и не запустите?)
мы здесь все взрослые люди и не верим в сказки. и для определенных задач(а это 99% сайтов) друпал действительно универсален.
p.s. для ТС, я слегка удивлен, не имея ни готового сайта, ни каких либо конкретных цифр вы просите указать вам подводные камни. прям битва экстрасенсов)
p.p.s не делайте гигантского меню, это единственный подводный камень, который сложно обойти и с которым я столкнулся)
База для хранения материалов ... это текст + его графическое представление
для кого... для тех, кто испытывает Потребность в такого роде информации...
Математика проекта готова и сейчас проверяется на "Действительность"
нет. Это поисковый сайт! но ищет он не в интернете, а по своей базе. Возможности пользователей - только просмотр...
вот как то так... Что еще можете подсказать...?!
типа такого?
- http://elibrary.rsl.ru/?menu=s410/elibrary/elibrary4267/4429/&lang=ru
- http://podvignaroda.ru/ (я своего деда там нашел)
с таким друпал с пол-пинка справится.
если пользователи будут все анонимами и им надо отдавать одинаковые страницы , то проблем не будет даже при очень большом количестве материалов
в качестве кеширующего прокси сервера использовать varnish или nginx - анонимам будут страницы моментально отдаваться
поиск- ну тут лучше с индексированием справится apache solr
для поиска можно отдельно поисковый сервер развернуть, например apache solr
Вы удивляете... Вы думаете и предполагаете... Вы "слушаете"... скажу Так, Вы достойны лаврового венка... но вы думаете о реализованных проектах... это нечто другое... Размах идеи несколько в другой проекции...
но помысл,.. защитан...
- учту ... проверю...
да ... Вы правы... такова селяви... (цыфры здесь были бы субъективным аргументом, и скорее всего они бы оттолкнули от обобщенного решения...
еще... один... загубленный... проект...
Художник - птица гордая, покуда не пнёшь, не нарисует.
Как эффективнее всего, на Ваш взгляд, реализовать взаимодействие Баз Данных?!
(в данном случае sql server и MySQL)
лучше Как?!.. сразу перезаписывать данные в MySQL, а далее синхронизировать или постоянно перезаписывать?!
если можно пошагово) и/или Ваш вариант...
имхо еще одна жертва болезни под названием "преждевременная оптимизация"
если уж интересует именно скорость и неимоверная масштабируемость, используйте node.js или другие магистральные решения для нагруженных проектов
и если я правильно понял, используется MS SQL Server, для ваших задач более чем, зачем "даунгрейдиться" до связки PHP+MySQL, если можно использовать другие решения, которые будут работать с MS SQL без костылей, тот же ASP.NET к примеру ?
это будет пиздец, застрелитесь лучше сразу
Всё ждал, когда же это скажут.
Посчитайте во сколько рублей обойдётся написание этого контента. Только не говорите что посетители сами напишут. Это будет в разы дороже, чем создание этого сайта.
так можно же все спарсить
с материалом проблем нет. (по крайней мере не в нем дело)привлекать сторонних контент-менеджеров нет смысла.
Проект не коммерческий
***
Возможности Drupal мне подходят. Варианты представления/управления информации/ей - устраивают.
Пока что как инструмент он мне подходит.
Вопрос остался только в том:
как наиболее правильно пополнять/обновлять базу mysql данными?!
(sql server пока это как хранилище всех данных - пока привязываться к нему нет смысла)
Ну тогда вперёд.
Чето не очень понял ваши мысли... Друпал сам всё наполняет.
топик доставляет неимоверно
- на мой взгляд это просто затянет проект разработки (консультации раз, разбор полетов и поиск других решений для уже имеющихся пунктов) - если я не прав, то поправьте
вопрос как наиболее правильно пополнять/обновлять базу mysql данными?!!
-остался без ответа...
Инструмент dbForge Studio for MySQL ... У Вас есть отзывы по работе с ним...?!
мне бы как то оптимизировать процесс обновления ...
не спорю, но это приведет к миграции на сторонние ресурсы...
может с новостями, это было бы кстати, но в данном случае это не применимо по крайней мере в "чистом" виде
заранее спасибо
посоветуйте Хостера, который справиться с планируемыми нагрузками ?!
Нет такого хостера. Ваш проект слишком крутой и тяжелый.
так Вы ответа не получите, разговаривая загадками. Что конкретно Вы хотите сделать и зачем Вам ещё sql server? Друпал уже будет общаться с mysql на хостинге.
ну толсто ведь...
Это сарказм?!.. мне нужно это преодолевать ?!..
for example:
- нагрузка 1млн уникальных пользователей в сутки
- база 1вариант - 100 Мб)
2вариант - 1 Gb
критикуя предлагайте...
Есть база mysql - в которую мне необходимо писать данные с регулярностью Сутки (на начальном этапе это не требуется)
меня интересует оптимальный механизм наполнения(загрузки изменений) базы.
(т.е. я добавил к имеющейся базе ~ 100 "материалов" и исправил ~ 300)
сейчас идет речь только о mysql базе, sql-server - это просто временное хранилище части данных)
прикрутить .net ... четкого представления как это реализовать в деталях пока нет...
мне трудно однозначно сказать что лучше (я Выбрал Drupal ибо хочу сделать работающий прототип в приемлемые сроки), поэтому и обращаюсь к Вам за помощью и советом
ps: по факту лучше думать больше с начала, проектировать и реализовывать уже максимально взвешенную концепцию...
в детстве такая шутка была, если дать в левый глаз, то на какой ноге шнурок развяжется?)
на правой
а знаешь Что в древнем Египте делали с теми кто злоупотреблял гостеприимностью ?!...
проанализируй все свои посты...
в Вашем случае лучше жевать чем говорить....
если у тебя есть желание поделиться опытом либо соображениями... пожалуйста...., иначе не нужно дискредитировать сообщество...
вопрос остался прежним...
и продолжение...
q2_faith , ну и чего ты со своими глупостями лезешь - ты же видишь , что здесь собираются только серьезные люди
- у кого то млн уников в сутки ,у кого то млн рублей в день уже практически есть , а ты тут со своим детским лепетом
сатира - это хорошо...
но проект не коммерческий... повторюсь...
теперь постарайся не злоупотреблять нашей,
ибо лимит сомнительных постов на исходе.
по сабжу:
плыви в digitalocean, при желании подрубай amazon s3 известно для чего.
только не сам плыви, а с сисадмином и кодером, ибо утопнешь))))
Чето я инзу вспомнил...к чему бы это?
может все таки пригласить священника и drupal.ru освятить -ну так на всякий случай
Ты это, осторожней... а то кастанешь лишка суммон
0. а школьнегов не учат сейчас обращаться к незнакомым людям на "вы"?...
1. чтобы понять уровень вашей квалификации, расскажите о себе, что использовали в работе, с какой посещаемостью сталкивались?
2. вам уже все сказали) но почему то... до вас... это не дошло...
предлагаю всем помериться портфолио)))
не стоит упоминать всуе
ну это спорный момент - на форуме друг к другу обращаться на вы
знакомость конечно условная. но это вопрос взаимного уважения.
пациентТС сначала обращался на "вы", уже потом на ты перешел.ну он как бы обозначил , что планирует посещаемость в млн уников в сутки и в результате перешел естественно на ты
То есть достаточно обозначить "мега-глобальную цель", и за счет этого получить право ходить по головам?
Оригинальный ТС, ничего не скажешь...
я думаю, что сознание ТС не выдержит такого факта, что он никогда таких цифр не увидит. И поэтому зря ссыт)
В рамках этого форума, как раз и неоригинальный, тут каждый второй школьнег с такими амбициями
У настоящих программистов нумерация всегда начинается с нуля)))