4 февраля 2008 в 20:35
Интересная статья Архитектура Google
http://www.insight-it.ru/net/scalability/arkhitektura-google/
В статье проскочила ссылка на Hadoop - Фреймворк на Java для организации распределенных вычислений
Почитать можно здесь:
http://hadoop.apache.org/core/
http://www.businesspress.ru/newspaper/article_mId_37_aId_403705.html
http://www.opennet.ru/prog/info/3364.shtml
Возник вопрос: в принципе возможно ли адаптировать Drupal для распределенного хранения данных (В целях повышения надежности, масштабируемости и тд...)?
Ведь основные типы данных ноды и термины все равно валяются в куче, которую разгребаем с помощью вьюесов. Так может сделать эту кучу распределенной?
Комментарии
Смотря что распределять. Ориентированность друпала на хранение всего подряд в БД даже упрощает задачу - можно сделать несколько фронтендов, обращающихся к общей базе, не заботясь о синхронизации кешей и сессий. А БД на несколько серверов можно разнести с помощью репликации. Ещё в mysql некоторое время назад появилась фича полезная для большого числа данных в одной таблице - partitioning (впрочем подобное есть и в других СУБД, например в Оракле). Суть в том, что логически таблица остаётся единой, а физически распределяется между несколькими файлами, по некоторым критериям, например по датам записей - старые записи до определённой даты в одном файле, свежие в другом. Правда в случае mysql как я понял файлы должны принадлежать одной БД. Но для случаев, когда сайт содержит много архивных данных (тех же нодов), а основные выборки идут по свежему контенту - разбиение таблиц имхо может быть полезным. Это конечно не позволит распределять сервера между датацентрами, но позволит масштабировать проекты на несколько рядом стоящих серверов.
Кстати, на http://highscalability.com ещё немало статей по архитектуре крупных проектов. Респект переводчику.
в 5.1 появилась. да
а 5.1. стабильной стала уже?
Если говорить о стабильности - на мой взгляд 5.1 стабильна. Использую на некоторых продуктивных сайтах. Mysql RC это всё ж не Drupal RC.
В случае такого разноса файла при "лежании" одного из серверов будет недоступно все
Эта фишка полезна только на локальных SQL серверах, для ускорения дисковых операций на сильно нагруженных массивах дисков.
Дешевле - нормальный ком с приличной парой скази дисков, хотя это не самое слабое звено.
Есть такой проект http://drupal.org/project/services
(для 6-й версии уже есть ветка).
Тусят они соответственно на http://groups.drupal.org/services
Кроме строительства сетей из сайтов Services+AMFPHP служат прослойкой между Drupal и Flash/Flex.
Сайт на Flex для сборки своих страниц может обращаться к нескольким серверам одновременно.
http://habrahabr.ru/blog/google/39400.html#habracu
Google запустил Google App Engine
Google не просто так говорил о хостинге приложений. Сегодня они запустили бета-версию сервиса Google App Engine, амбициозный проект, позволяя разработчикам создавать масштабируемые веб-приложения. Построена платформа на BigTable и GFS.
На первый взгляд это копия их конкурента Amazon Web Services с набором веб-сервисов, предлагаемых Amazon Web Services ( S3, EC2, SimpleDB ). Но в отличие от АWS, которая состоит из независимых друг от друга сервисов, которые затем могут быть связаны между собой разработчиками
t
http://net.compulenta.ru/354561/
Компания 10gen представила платформу для построения сложных сайтов
Фирма 10gen, входящая в сеть дочерних компаний AlleyCorp, представила альфа-версию новой платформы, предназначенной для развертывания сложных веб-ресурсов. Речь идёт о новом проекте "вычислительного облака" - cloud computing platform.
Платформа 10gen разрабатывалась Кевином Райаном, Дуайтом Мерриманом и Элиотом Горовицом, которые ранее занимали должности, соответственно, исполнительного директора, главного технического директора и одного из ведущих разработчиков компании DoubleClick (недавно была куплена поисковым гигантом Google). Кевин Райан отмечает, что разработка сложных сайтов традиционно отнимает много времени и средств. Платформа 10gen как раз и призвана упростить данный процесс.
10gen представляет собой объектно-ориентированный сервер приложений, облегчающий построение, тестирование и развертывание комплексных веб-ресурсов, размещаемых на распределенных массивах серверов. Платформа позволяет создавать веб-приложения, автоматически подстраивающиеся под растущую нагрузку. Разработчики также подчеркивают, что благодаря использованию 10gen компании могут сократить финансовые затраты и время, необходимые для построения сложной веб-инфраструктуры.
Платформа 10gen, более подробную информацию о которой можно найти здесь, уже прошла успешное тестирование в компании Silicon Alley Insider, также входящей в сеть AlleyCorp.