Никит: Занимался по проблеме передачи настроек (системные, модульные: views, cck,...) сайта на друпал между dev -> uat -> prod с выборочным обменом данных (node, user, blocks...) по требованию клиента. Универсального решения не нашел, придётся написать кастомный. В поисках наткнулся на свежую статью, оказалось не то, но сумбурный перевод прилагаю. Статья в кратце описывает действия с модулем Migration с некоторыми дифирамбами.


Источник

moshe weitzman - 1 октября, 2010 - 13:43
Компания The Economist теперь использует Drupal 6 для обслуживания большинства страниц их основного сайта economist.com, со всеми статьями, каналами, комментариями, и т.д. Для начала The Economist рассмотрел несколько CMS с открытым исходным кодом, а также просто частные решения ориентированные на медийные издательства. В итоге, The Economist выбрал Drupal за его "живое" сообщество со своей "экосистемой" модулей.  The Economist планирует добавлять много социальных инструментов к сайту, которые превратили бы старую платформу в медленную систему.

Для миграции огромного количества постоянно меняющихся данных в Drupal The Economist наняли Cyrve. C финансовой поддержкой и со всякими поощрениями от The Economist (Никит: ну не только они), Cyrve разработал модуль migrate который является сердцем методики миграции. The Economist и Cyrve надеются что эта статья поможет многим мигрировать в Drupal.

Перед миграцией

• Около 3-х миллионов зарегистрированных пользователей
• Скорость постинга превышает 1 комментарий в минуту. (?)
• Сайт работает на Cold Fusion, СУБД Oracle.

Обзор источника данных

Обычно начинается с обзора страницы и определения где какой кусок данных сохранён в исходной системе. Наиболее интересные моменты для the Economist :

• Исходная схема пытается наложить объектно-ориентированный дизайн на реляционную базу. Все виды контента записаны в центральной таблице cms_object, с раздельным хранением специфичных данных до второго уровня вложенности, что означает сложные запросы, даже для простых вещей. (?)
• Текстовые данные хранятся как объект NITF в базе данных, требующую XML-обработку для миграции в друпал.
• Много повторяющейся работы по кодировке в UTF8 с использованием iconv().
• www.economist.com очень много использует ссылочные поля "node reference". При миграции, вы должны ссылаться на статью которой еще нет в базе данных (например, статья, имеющая несколько ссылок на другие статьи). Модуль Migrate поддерживает такие отношения. Она создает мнимую ноду если ссылочная нода не существует. И эта мнимая нода будет заполнена соответствующей информацией позже.

Разделение проекта на несколько отдельных миграций

Миграция представляет собой передачу из одного множества источника данных (обычно результат запроса) в типы материалов Drupal. Приемник может включать ноды, термины таксономии, пользователей и их профили, комментарии, или сообщения. Разделение в The Economist следующее:

• Статьи
• Издания (периодические)
• Газеты (наши разные издания)
• Покупатели (пользователи)
• Роли пользователей
• Блоги

Написание кода

Обслуживающие файлы миграции включены как в примере migrate_example module согласно документации. Сейчас уже есть версия 2.x для Drupal 6 или Drupal 7. Сущностью класса миграции является выбор запроса SQL или другого метода выборки данных, а также определение соотношения (далее, маппинг) между полями источника и свойствами в обьектах Drupal: $node, $user, $comment, etc. Пример миграции:

Для миграции The Economist была использована Migrate 1, но мы изменили примеры и обсуждения этого поста применительно к Migrate 2.

Обработка данных

Данные в любом случае должны быть обработаны перед миграцией в друпал. Просто пример - конвертация DateTime в unix timestamp используемый в Drupal. Класс миграции обеспечивает следующий код для трансформации:
public function prepare(stdClass $account, stdClass $row) {
// Даты источника записаны в формате ISO.
$account->created = strtotime($account->created);
}
?>

Запуск миграции снова, и снова, и снова...

Для улучшения маппинга и трансформации, вы можете запускать миграцию снова и снова. Ключевая выгода модуля миграции- она делает этот процесс быстрее и не требует никаких усилий. Далее приведен пример обычной последовательности команд, где мы делаем импорт и откатываем изменения несколько раз.

Команды отката работают так свободно, потому что модуль migrate хранить соотношения между ID источника и ID объекта Drupal. С таким соотношением, мы можем удалить только нужные nodes/users/terms и т.д. созданные этой миграцией и не более. Также запомните, что мы можем ограничить миграцию 10 записями. Это немного быстрее чем запуск 3 миллионов или руками чистить прерванную миграцию. Альтернативой откатов и импорта является обновление на месте: drush migrate-import articles --updates. Мы использовали это когда откат удалил бы важные данные (например, откат ноды удалил бы его комментарии).

Заинтересованные стороны

Также очень полезным в модуле migrate являются страницы администриирования, который показывают клиентам и разработчикам что было приведено в соответствие, а что нет. Далее, открытые задачи о полях могут быть назначены клиентам или менеджеру миграции. Эти задачи могут быть соединены с системой управления проектами (см. рисунок).

Эти страницы облегчают страхи клиента перед импортом в Drupal. Миграция работающего сайта, такой как economist.com в новую платформу похожа на операцию на открытом сердце над твоим бизнесом. Cyrve и модуль migrate очень много работали чтобы сделать этот процесс обычным, надежным и повторяющимся.

Гарантии

Таблицы соответствия, дающие возможность отката, являются также ключом к аудиту данных. Процессы аудита могут быть выполнены для автоматического сравнения между записями источника и результирующих объектов Drupal, потому что мы точно знаем какой объект Drupal получился из заданного источника данных.

Производительность

Миграция тонны данных, такой как в www.economist.com, приводит нас к оптимизации вставки данных. Хорошим инструментом поиска замедлений является xhprof. Devel, drush и xhprof очень хорошо работают вместе, т.к. drush выдает URL на профилирующий отчет в конце каждого запуска. Используйте этот отчёт чтобы определить медленный код и удалите/оптимизируйте её. У нас в итоге получилось отключить модуль token.

Хранение изменений - инкрементная миграция

Большой бизнес, такой как The Economist, подходит с большой осторожностью при смене платформы. Чтобы минимизировать риски клиента и менеджеров миграции, модуль migrate поддерживает инкрементную миграцию в дополнение к миграции "всё за один раз". Инкрементная миграция импортирует только те записи, которые были добавлены или изменены после последнего запуска миграции. Эти записи определяются поддержкой "точкой предела" для каждой миграции, который задается первичным ключом или полями типа datetime в источнике данных. Модуль Migrate автоматически изменяет точку предела как только был произведен импорт. The Economist очень часто использовал эту возможность.

Запуск в интернет

Как только инкрементная миграция начала нормально работать, The Economist видел сайт Drupal на "стадии завершении разработки" с новыми содержимым/пользователями и т.д. Drupal был синхронизирован, отставание от реального сайта составляла 5 минут. Синхронизированный сайт был хорошим местом для определения багов дополнительно к багам импорта. Истинная красота в том как разработанный сайт запускается в интернет. Все что нужно - это сменить DNS старого сайта Cold Fusion на новый в Drupal.

Заметки

• The Economist представил на Drupalcon о нашем сайте на Drupal, а также о нашей Схватке выбора стратегии управления проектом.
• Заинтересованным в медиаиздания с Drupal приглашаются в группу Newspapers on Journal.