Репликация в Amazon S3

Возможность межрегиональной репликации (CRR) в S3 упрощает репликацию объектов (а также связанных с объектами метаданных и тегов) в другие регионы AWS для снижения задержек, аварийного восстановления, обеспечения соответствия требованиям и ряда других примеров использования. S3 CRR можно настроить для репликации объектов из исходной корзины S3 в одну или более целевых корзин в другом регионе AWS.

Возможность Amazon S3 CRR автоматически выполняет репликацию данных между корзинами в различных регионах AWS. С помощью тегов объектов S3 CRR позволяет настроить репликацию на уровне корзин, общих префиксов или отдельных объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Функция CRR также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга. Межрегиональную репликацию можно использовать для передачи владения реплицированными данными в другой аккаунт, чтобы предотвратить их случайное удаление. Подробнее о межрегиональной репликации см. в документации по репликации в S3.

Примеры использования

Соответствие требованиям. По умолчанию в Amazon S3 данные хранятся в нескольких географически удаленных друг от друга зонах доступности, однако для обеспечения соответствия требованиям может требоваться хранение данных с соблюдением еще большего расстояния. Межрегиональная репликация позволяет выполнять эти требования, используя репликацию данных между территориально удаленными регионами AWS.

Влияние задержки на производительность. Если клиенты или конечные пользователи находятся в одной или нескольких географических местоположениях, можно максимально сократить задержку доступа к объектам, поддерживая несколько копий объектов в регионах AWS, расположенных территориально ближе к клиентам.

Эффективность в рамках региона. При наличии в двух или более разных регионах AWS вычислительных кластеров, которые анализируют один и тот же набор объектов, можно настроить копии соответствующих объектов во всех этих регионах AWS.

Amazon S3 SRR – это возможность S3, которая осуществляет автоматическую репликацию данных между корзинами в одном регионе AWS. SRR позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. Внутрирегиональную репликацию можно использовать для создания одной или нескольких копий данных в том же регионе AWS. Внутрирегиональная репликация решает такие проблемы, как обеспечение суверенитета данных и соответствия требованиям, позволяя хранить копию данных в отдельном аккаунте AWS, но в том же регионе, что и оригинал. Внутрирегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Кроме того, можно использовать SRR для простой агрегации журналов из разных корзин S3 в целях обработки в пределах региона или для настройки репликации в режиме реального времени между средами тестирования и разработки. 

Примеры использования

Агрегация журналов в одну корзину. Если журналы хранятся в нескольких корзинах или в нескольких аккаунтах, можно с легкостью реплицировать их в одну корзину в рамках одного региона. Это обеспечит упрощенную обработку журналов в едином местоположении.

Репликация между аккаунтом разработки и тестовыми аккаунтами. Если у вас или у ваших клиентов есть аккаунты разработчика и тестовые аккаунты, использующие одни и те же данные, можно реплицировать объекты между несколькими аккаунтами, управляя метаданными этих объектов путем реализации правил SRR.

Соблюдение законов о суверенных данных. Зачастую клиентам необходимо хранить данные в отдельных аккаунтах AWS, чтобы обеспечить нахождение данных в пределах заданного региона. С помощью репликации данных в рамках этого региона можно создать резервную копию критически важных данных, если нормативные требования запрещают их перемещение за пределы государства.

Репликация в режиме реального времени, такая как CRR и SRR, автоматически реплицирует вновь загруженные объекты по мере их записи в корзину, в то время как пакетная репликация S3 позволяет работать с уже существующими объектами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Пакетная репликация S3 подходит для любого объема данных, предлагая полностью управляемое решение для защиты и обеспечения соответствия данных требованиям, аварийного восстановления и оптимизации производительности. Работу с пакетной репликацией S3 можно начать всего за несколько кликов в консоли S3 или с помощью одного запроса API.

Пакетная репликация S3 дополняет внутрирегиональную (SRR) и межрегиональную репликацию (CRR). Пакетная репликация S3 копирует существующие объекты, в то время как SRR и CRR отслеживают загрузку новых объектов и осуществляют их репликацию между корзинами.

Примеры использования

Заполнение новых корзин. При создании нового хранилища в нескольких регионах требуется создать новые корзины и заполнить их существующими объектами из другой корзины, и для этого можно задействовать пакетную репликацию.

Повторная репликация. Пакетная репликация используется при необходимости повторить репликацию из-за таких причин, как неудавшаяся репликация, дополнительная репликация в другое место назначения после удачной репликации или изменение источника репликации.

Миграция. Если необходимо перенести существующие объекты в разные корзины, независимо от того, в каком регионе или аккаунте они находятся, пакетная репликация поможет сохранить метаданные и идентификационный номер версии.

Контроль времени репликации в Amazon S3 позволяет соблюдать нормативные требования или обеспечивать потребности бизнеса в ходе репликации за счет поддержания прозрачности процессов репликации в Amazon S3. Возможность контроля времени репликации обеспечивает репликацию объектов, загружаемых пользователями в Amazon S3, за считаные секунды, при этом для 99,99% объектов репликация обеспечивается в пределах 15 минут. Контроль времени репликации S3 по умолчанию включает метрики S3 и оповещения о событиях S3, с помощью которых можно мониторить общее количество операций API S3, ожидающих репликации, общий размер объектов, ожидающих репликации, и максимальное время репликации.

Контроль времени репликации в Amazon S3 регулируется соглашением об уровне обслуживания (SLA), по условиям которого в течение любого расчетного месяца для 99,9 % объектов репликация занимает не более 15 минут.

Подробнее о контроле времени репликации в S3 см. на странице документации по репликации в S3 или на странице вопросов и ответов по репликации в S3.

Репликация в Amazon S3 (CRR, SRR) и контроль времени репликации в S3 можно настраивать с помощью тегов объектов S3 на уровне корзин, общих префиксов или объектов. Кроме того, контроль времени репликации в S3 можно включить для одной или нескольких пар регионов.

Чтобы приступить к репликации в S3, ознакомьтесь с руководством по репликации в S3, руководством по пакетной репликации в S3, вопросами и ответами по репликации в S3 и документацией по репликации в S3. Цены на репликацию S3 приведены на странице цен на S3.