Интересная статья: Архитектура Google

Главные вкладки

Аватар пользователя Dimm Dimm 4 февраля 2008 в 20:35

Интересная статья Архитектура Google
http://www.insight-it.ru/net/scalability/arkhitektura-google/

В статье проскочила ссылка на Hadoop - Фреймворк на Java для организации распределенных вычислений
Почитать можно здесь:
http://hadoop.apache.org/core/
http://www.businesspress.ru/newspaper/article_mId_37_aId_403705.html
http://www.opennet.ru/prog/info/3364.shtml

Возник вопрос: в принципе возможно ли адаптировать Drupal для распределенного хранения данных (В целях повышения надежности, масштабируемости и тд...)?
Ведь основные типы данных ноды и термины все равно валяются в куче, которую разгребаем с помощью вьюесов. Так может сделать эту кучу распределенной?

Комментарии

Аватар пользователя axel axel 5 февраля 2008 в 0:02

Смотря что распределять. Ориентированность друпала на хранение всего подряд в БД даже упрощает задачу - можно сделать несколько фронтендов, обращающихся к общей базе, не заботясь о синхронизации кешей и сессий. А БД на несколько серверов можно разнести с помощью репликации. Ещё в mysql некоторое время назад появилась фича полезная для большого числа данных в одной таблице - partitioning (впрочем подобное есть и в других СУБД, например в Оракле). Суть в том, что логически таблица остаётся единой, а физически распределяется между несколькими файлами, по некоторым критериям, например по датам записей - старые записи до определённой даты в одном файле, свежие в другом. Правда в случае mysql как я понял файлы должны принадлежать одной БД. Но для случаев, когда сайт содержит много архивных данных (тех же нодов), а основные выборки идут по свежему контенту - разбиение таблиц имхо может быть полезным. Это конечно не позволит распределять сервера между датацентрами, но позволит масштабировать проекты на несколько рядом стоящих серверов.

Кстати, на http://highscalability.com ещё немало статей по архитектуре крупных проектов. Респект переводчику.

Аватар пользователя axel axel 6 февраля 2008 в 13:59

Если говорить о стабильности - на мой взгляд 5.1 стабильна. Использую на некоторых продуктивных сайтах. Mysql RC это всё ж не Drupal RC.

Аватар пользователя PVasili PVasili 5 февраля 2008 в 0:21

В случае такого разноса файла при "лежании" одного из серверов будет недоступно все Smile
Эта фишка полезна только на локальных SQL серверах, для ускорения дисковых операций на сильно нагруженных массивах дисков.
Дешевле - нормальный ком с приличной парой скази дисков, хотя это не самое слабое звено.

Аватар пользователя tema tema 5 февраля 2008 в 10:07

Есть такой проект http://drupal.org/project/services
(для 6-й версии уже есть ветка).
Тусят они соответственно на http://groups.drupal.org/services

Кроме строительства сетей из сайтов Services+AMFPHP служат прослойкой между Drupal и Flash/Flex.

Сайт на Flex для сборки своих страниц может обращаться к нескольким серверам одновременно.

Аватар пользователя Dimm Dimm 8 апреля 2008 в 21:04

http://habrahabr.ru/blog/google/39400.html#habracu
Google запустил Google App Engine
Google не просто так говорил о хостинге приложений. Сегодня они запустили бета-версию сервиса Google App Engine, амбициозный проект, позволяя разработчикам создавать масштабируемые веб-приложения. Построена платформа на BigTable и GFS.

На первый взгляд это копия их конкурента Amazon Web Services с набором веб-сервисов, предлагаемых Amazon Web Services ( S3, EC2, SimpleDB ). Но в отличие от АWS, которая состоит из независимых друг от друга сервисов, которые затем могут быть связаны между собой разработчиками
t

Аватар пользователя Dimm Dimm 10 мая 2008 в 18:23

http://net.compulenta.ru/354561/
Компания 10gen представила платформу для построения сложных сайтов

Фирма 10gen, входящая в сеть дочерних компаний AlleyCorp, представила альфа-версию новой платформы, предназначенной для развертывания сложных веб-ресурсов. Речь идёт о новом проекте "вычислительного облака" - cloud computing platform.

Платформа 10gen разрабатывалась Кевином Райаном, Дуайтом Мерриманом и Элиотом Горовицом, которые ранее занимали должности, соответственно, исполнительного директора, главного технического директора и одного из ведущих разработчиков компании DoubleClick (недавно была куплена поисковым гигантом Google). Кевин Райан отмечает, что разработка сложных сайтов традиционно отнимает много времени и средств. Платформа 10gen как раз и призвана упростить данный процесс.

10gen представляет собой объектно-ориентированный сервер приложений, облегчающий построение, тестирование и развертывание комплексных веб-ресурсов, размещаемых на распределенных массивах серверов. Платформа позволяет создавать веб-приложения, автоматически подстраивающиеся под растущую нагрузку. Разработчики также подчеркивают, что благодаря использованию 10gen компании могут сократить финансовые затраты и время, необходимые для построения сложной веб-инфраструктуры.

Платформа 10gen, более подробную информацию о которой можно найти здесь, уже прошла успешное тестирование в компании Silicon Alley Insider, также входящей в сеть AlleyCorp.