Вопросы и ответы по сервису миграции баз данных AWS

Общие вопросы

Сервис миграции баз данных AWS (AWS DMS) – это управляемый сервис миграции и репликации, который помогает быстро и безопасно перенести рабочие нагрузки баз данных и аналитики на AWS. Исходная база данных во время миграции остается в полностью рабочем состоянии, что сводит к минимуму время простоя использующих ее приложений.

Сервис миграции баз данных AWS позволяет выполнять оценивание, преобразование и миграцию данных, используя в качестве исходных и целевых БД большинство распространенных баз данных, как коммерческих, так и с открытым исходным кодом. Сервис миграции баз данных AWS поддерживает как однородные миграции, например из Oracle в Oracle, так и разнородные миграции между различными базами данных, например из Oracle или Microsoft SQL Server в Amazon Aurora.

С AWS Database Migration Service можно непрерывно и с низкой задержкой реплицировать данные из поддерживаемого источника в поддерживаемую цель. Например, вы можете реплицировать из нескольких источников в простом сервисе хранения данных Amazon (Amazon S3), чтобы создать высокодоступное и масштабируемое решение с озером данных.

Возможно также объединить базы данных в хранилище объемом несколько петабайт путем потоковой передачи данных в Amazon Redshift. Подробнее о поддерживаемых исходных и целевых базах данных.

Начать работу с сервисом миграции баз данных AWS можно быстро и просто. Большинство задач репликации данных можно настроить не более чем за 10 минут.

Перейдите в раздел «Сервис миграции баз данных AWS» в Консоли управления AWS и запустите мастер начала миграции. Укажите исходную и целевую конечные точки, выберите существующий инстанс репликации или создайте новый, после чего примите правила преобразования схемы по умолчанию или определите собственные правила преобразования. Репликация данных начнется сразу по завершении работы мастера.

Сервис AWS DMS – это бюджетный способ переноса рабочих нагрузок баз данных и аналитики. Вы платите только за репликацию между инстансами и хранение любых дополнительных журналов. Передача данных выполняется бесплатно. Подробные сведения о стоимости можно найти на странице Цены на DMS.

Преобразование схемы AWS DMS предоставляется для использования бесплатно как часть DMS. Плата взимается только за использованное хранилище.

Во время простой миграции базы данных вы создадите целевую базу данных, перенесете схему базы данных, настроите процесс репликации данных, инициируете полную загрузку и последовательное отслеживание изменений данных и их применение, после чего, как только данные будут перенесены из исходной базы данных в целевую, закончите работу переключением рабочей среды на использование новой базы данных.

Единственное отличие состоит в последнем действии (переключение рабочей среды), которое при непрерывной репликации данных выполнять не нужно. Ваше задание, связанное с репликацией данных, будет выполняться, пока вы не измените или не завершите его.

Да. У AWS Database Migration Service есть разнообразные метрики, отображаемые в Консоли управления AWS. Они обеспечивают полное наблюдение за процессом репликации данных, предоставляя диагностические данные и данные производительности для каждой точки в конвейере репликации.

Сервис миграции баз данных AWS также интегрирован с другими сервисами AWS, например журналами CloudTrail и CloudWatch. Кроме того, вы можете использовать API сервиса миграции баз данных AWS и интерфейс командной строки AWS (AWS CLI), чтобы интегрировать их со своими существующими инструментами или создавать настраиваемые инструменты мониторинга для решения своих узкоспециальных задач.

Сервис миграции баз данных AWS предоставляет соответствующий API, который позволяет создавать задачи репликации непосредственно из среды разработки, а также с помощью сценариев запускать эти задачи в запланированное время в течение дня.

API сервиса и интерфейс командной строки позволяет разработчикам и администраторам БД автоматизировать процесс создания, перезапуска и завершения задач репликации, а также управления ими.

Поддерживаемые исходные и целевые движки

AWS Database Migration Service (DMS) поддерживает целый ряд однородных и неоднородных вариантов репликации данных.

При этом либо исходная, либо целевая БД (либо обе) должны располагаться в RDS или в EC2. Репликация между двумя локальными БД не поддерживается.

Бессерверная конфигурация AWS DMS Serverless поддерживает популярные базы данных и аналитические сервисы, такие как Oracle, Microsoft SQL Server, PostgreSQL, MySQL, Amazon Redshift, Amazon RDS, Amazon Aurora и другие. Ознакомьтесь с полным списком поддерживаемых движков.

Преобразование схемы AWS DMS поддерживает ряд популярных баз данных, перечисленных здесь.

Инструмент преобразования схемы AWS (AWS SCT) поддерживает ряд вариантов модификации баз данных и хранилищ, которые указаны здесь.

Ознакомьтесь с полным списком поддерживаемых движков для миграции однородных данных AWS DMS, включая PostgreSQL и MySQL.

Преобразование схемы

Да, частью сервиса миграции баз данных AWS является инструмент преобразования схемы AWS DMS Schema Conversion (DMS SC), который автоматизирует модификацию кода Oracle PL/SQL или SQL Server T-SQL до эквивалентного кода Amazon RDS для MySQL-диалекта SQL или до эквивалентного PL/pgSQL кода PostgreSQL.

Если отдельные фрагменты не могут быть автоматически преобразованы в код целевого языка, DMS SC строго документирует места, которые разработчику приложения потребуется переписать вручную. Доступна также загружаемая версия под названием Инструмент преобразования схемы AWS (AWS SCT).

Да. Когда нужно использовать более настраиваемый процесс миграции схемы (например, когда нужно перенести производственную базу данных, сохраненные процедуры и объекты вторичной базы данных), можно использовать встроенную в AWS DMS функцию преобразования схемы для гетерогенных миграций. Альтернативные варианты включают загрузку AWS Schema Conversion Tool или использование инструментов экспорта схем, нативных для исходного движка, если выполняются гомогенные миграции, например:

  1. Import and Export Wizard в SQL Server Management Studio.
  2. Инструмент SQL Developer Database Export в Oracle или сценарий экспорта с использованием пакета dbms_metadata.
  3. Workbench Migration Wizard в MySQL.

AWS DMS и AWS SCT работают вместе, чтобы обеспечить миграцию баз данных и поддержку действующих репликаций (например, для заполнения озер и хранилищ данных, синхронизации систем и т. д.). AWS SCT может копировать схемы баз данных для однородных миграций и преобразовывать их для выполнения неоднородных миграций. Поддерживаются схемы преобразований между БД (например, Oracle в PostgreSQL) или между хранилищами данных (например, Netezza в Amazon Redshift).

Как только для пустого целевого объекта создана необходимая схема, можно использовать AWS DMS или AWS SCT для переноса данных. Выбор инструмента зависит от объема данных и/или поддерживаемых ядер. Традиционно AWS DMS используется для переноса небольших реляционных нагрузок (менее 10 ТБ), в то время как AWS SCT используется прежде всего для миграции рабочих нагрузок, связанных с большими хранилищами данных. При этом AWS DMS поддерживает непрерывную репликацию для обеспечения синхронизации целевого объекта с источником, а AWS SCT – нет.

Конфигурация Serverless

Бессерверная конфигурация Сервиса миграции баз данных AWS (AWS DMS) автоматически выделяет, отслеживает и масштабирует ресурсы, чтобы сделать миграцию баз данных и аналитики в AWS проще и экономичнее. Благодаря бессерверной конфигурации AWS DMS вам больше не нужно выделять ресурсы для миграции или вручную отслеживать и масштабировать их для непрерывной репликации данных. Бессерверная конфигурация AWS DMS оптимизирует ресурсы в соответствии со спросом, поэтому вы платите только за используемые ресурсы. Благодаря этому решение может использоваться в таких популярных случаях, как непрерывная репликация данных, а также при сложных неоднородных миграциях между различными исходными и целевыми движками.

Да, бессерверную конфигурацию AWS DMS можно использовать для непрерывной репликации. Бессерверная конфигурация DMS поддерживает варианты развертывания как в одной, так и в нескольких зонах доступности.

При миграции однородных данных мы рекомендуем использовать встроенные нативные инструменты DMS для поддерживаемых движков, поскольку они хорошо знакомы и легко переносятся. Вам не нужно организовывать или контролировать миграцию; вы платите только за часы, использованные во время нее. Чтобы проверить поддерживаемые движки, перейдите на эту страницу документации DMS.

Для миграции гетерогенных данных или непрерывной репликации с колебаниями данных мы рекомендуем использовать бессерверную конфигурацию AWS DMS, поскольку она автоматически отслеживает и масштабирует ресурсы в соответствии с требованиями без ручного вмешательства или чрезмерного выделения ресурсов, что позволяет сэкономить время и деньги. С другой стороны, инстансы по требованию хорошо подходят для предсказуемой и стабильной передачи данных, поскольку их размер можно оптимизировать по производительности и стоимости. Информацию о поддерживаемых движках см. в документации по бессерверной конфигурации AWS DMS.

Да, встроенные нативные инструменты AWS DMS для миграции однородных данных бессерверны. Они не используют инстансы репликации и автоматически отслеживают и масштабируют ресурсы миграции по мере необходимости для обеспечения бесперебойности.

Планирование миграции

AWS DMS Fleet Advisor – это бесплатный, полностью управляемый компонент Сервиса миграции баз данных AWS (AWS DMS). Он автоматизирует планирование миграции и помогает переносить большие базы данных и аналитические парки в облако с минимальными усилиями. Для обнаружения локальных баз данных можно использовать автономный коллектор AWS DMS Fleet Advisor или модуль сбора баз данных и аналитики в Agentless Collector Сервиса обнаружения приложений AWS (ADS).

AWS DMS Fleet Advisor предназначается для пользователей, которым нужно перенести большое количество серверов баз данных и аналитики в AWS. Когда вы будете готовы перенести рабочие нагрузки баз данных и аналитики в целевые сервисы AWS, используйте AWS DMS Fleet Advisor, чтобы обнаружить и проанализировать рабочие нагрузки баз данных онлайн-обработки транзакций (OLTP) и аналитической обработки онлайн (OLAP). С помощью Fleet Advisor можно создать настраиваемый план миграции, определив сложность переноса исходных баз данных в целевые сервисы AWS.

Сервис обнаружения приложений AWS (ADS) и Инструмент оценки миграции предназначены для универсального выявления вычислительных систем и подключенных блочных хранилищ. Migration Evaluator используется клиентами, которые начинают миграцию и нуждаются в фактологической аргументации в пользу AWS. ADS служит для поддержки Центра миграции AWS, позволяя визуализировать зависимости «сервер-сервер», создавать группы приложений и отслеживать выполнение миграции.

Большинству клиентов мы рекомендуем применять Agentless Collector Сервиса обнаружения приложений AWS в регионах, где это возможно, поскольку этот сервис поддерживает миграцию серверов через Центр миграции AWS, а также позволяет обнаруживать локальные базы данных. Для всех других регионов мы рекомендуем использовать коллектор AWS DMS Fleet Advisor. Метаданные базы данных и метрики использования, собранные как из автономного коллектора AWS DMS Fleet Advisor, так и из сервиса Agentless Collector AWS ADS, будут доступны в AWS DMS Fleet Advisor.

Применяйте Agentless Collector AWS ADS, если у вас есть серверная среда VMware vCenter, иначе коллектор AWS DMS Fleet Advisor можно будет установить на Microsoft Windows Server 2012 или более поздней версии.

Политика жизненного цикла

Политика поддержки жизненного цикла AWS DMS определяет, как долго поддержка будет доступна для каждой версии DMS с момента выпуска версии до момента прекращения поддержки.  

Политика поддержки жизненного цикла направлена на обеспечение предсказуемых и последовательных рекомендаций по поддержке для каждого выпуска версии AWS DMS. Эти рекомендации помогут клиентам стратегически планировать миграцию и модернизацию.

Спустя 18 месяцев после первоначального выпуска каждой новой версии DMS ее поддержка будет прекращена. Чтобы ознакомиться с актуальным расписанием всех существующих версий DMS, перейдите в новый раздел «Политика поддержки жизненного цикла» в консоли DMS. 

Сроки поддержки каждого выпуска версии AWS DMS будут указаны в соответствующих примечаниях к выпуску DMS, а также в новом разделе «Политика поддержки жизненного цикла» в консоли DMS. Если вы используете версии, поддержка которых закончится в течение 90 дней, вы увидите предупреждение рядом с версией сервиса в разделе «Инстанс репликации». Кроме того, AWS будет ежеквартально отправлять владельцам инстансов DMS напоминание по электронной почте о том, что они используют версию, поддержка которой прекратится в следующем квартале.

Политика вступила в силу 1 января 2023 года. Все инстансы, достигшие даты окончания поддержки через 18 месяцев после выпуска, будут автоматически обновлены до последней предпочтительной версии DMS независимо от настройки автоматического обновления.

Сервис DMS назначает один из новейших выпусков DMS в качестве предпочтительной версии. Эта предпочтительная версия используется для автоматического обновления и является выбором по умолчанию для клиентов, создающих новый инстанс DMS.

Новые версии DMS выпускаются только после тщательного тестирования. После выпуска новой версии команда сервиса DMS внимательно следит за показателями надежности и отзывами клиентов. Как только мы убедимся в отсутствии существенных проблем с новым выпуском, мы отметим его как новую предпочтительную версию, которую вы сможете найти при выборе версии для создания инстанса репликации.

AWS DMS не делает различий между выпуском основной и дополнительной версий и не планирует применять разные политики поддержки. 

Если вы включите функцию автоматического обновления, ваш инстанс репликации будет автоматически обновляться до последней предпочтительной версии по мере ее появления. Если вы откажетесь от автоматического обновления, AWS DMS обновит ваши инстансы до последней предпочтительной версии по достижении даты окончания срока службы, о чем будет сообщено по электронной почте и в уведомлении на консоли перед обновлением. Подробнее о том, как обновить версию движка DMS с помощью Консоли AWS или AWS CLI, можно узнать в этом руководстве пользователя DMS.

Настройка автоматического обновления в инстансе репликации включена по умолчанию. Чтобы проверить или изменить этот параметр с помощью AWS CLI, API DMS или консоли, вы можете использовать следующее руководство.

Если таблицы в задании миграции находятся в фазе репликации текущих изменений (CDC), AWS DMS приостанавливает задание на время применения исправления. Затем миграция продолжается с того места, на котором она остановилась, после применения исправления.

Если во время применения исправления AWS DMS выполняет операцию с полной нагрузкой, AWS DMS перезапускает миграцию для таблицы. Эти обновления будут происходить во время периода обслуживания, указанного для инстанса репликации. Более подробную информацию вы можете найти в руководстве по работе с периодом обслуживания AWS DMS.

После истечения срока службы версии DMS сервис AWS DMS может удалить версию выпуска из консоли и обновить ваш инстанс репликации до последней предпочтительной версии, чтобы продолжить оказание поддержки. Мы рекомендуем вам как можно скорее перейти на последнюю версию AWS DMS.

Свяжитесь с командой поддержки разработчиков AWS, чтобы узнать больше.