Интеграция с Amazon DynamoDB

Благодаря Amazon DynamoDB можно легко интегрировать рабочие нагрузки с Ускорителем Amazon DynamoDB (DAX) для повышения производительности до 10 раз, использовать Сервис Amazon OpenSearch для обеспечения возможностей поиска и аналитики в реальном времени, а также задействовать множество других сервисов AWS. DynamoDB обеспечивает гибкую интеграцию с широким спектром сервисов AWS, которые соответствуют требованиям вашего сценария использования.

Ускоритель Amazon DynamoDB (DAX) – это полностью управляемый высокодоступный сервис кэширования для Amazon DynamoDB. Сервис DAX обеспечивает повышение производительности в 10 раз – с миллисекунд до микросекунд – даже при миллионах запросов в секунду. Также он управляет аннулированием кэша и заполнением данных, чтобы ускорить работу таблиц DynamoDB в оперативной памяти. DAX – это встроенный кэш, поэтому, если кэшированный элемент не существует или устарел, данный сервис автоматически перейдет в базовую таблицу.

Теперь можно сосредоточиться на разработке отличных приложений для своих клиентов, не беспокоясь об обеспечении эффективной работы любого масштаба. Поскольку сервис DAX совместим с существующими вызовами API DynamoDB, вам не нужно вносить изменения в приложение, что упрощает начало работы. 

Интеграция Amazon DynamoDB с Сервисом Amazon OpenSearch с нулевым использованием ETL обеспечивает полностью управляемый конвейер ETL без программирования, а также репликацию из DynamoDB в Сервис OpenSearch практически в реальном времени. Интеграция с нулевым использованием ETL позволяет клиентам легко синхронизировать данные из DynamoDB с Сервисом OpenSearch за считанные секунды, избавляя от необходимости писать собственный код, чтобы создавать и обслуживать сложные конвейеры данных для операций извлечения, преобразования и загрузки (ETL). Такая интеграция снижает операционную нагрузку и затраты, связанные с синхронизацией данных между транзакционными и поисковыми базами данных, что позволяет клиентам сосредоточиться на основных бизнес-задачах. 

Первый конвейер можно быстро создать на вкладке «Возможности интеграции» в консоли DynamoDB. Интеграция использует конвейеры Amazon OpenSearch Ingestion для определения и обработки преобразований, маршрутизации и сопоставления данных DynamoDB с конкретными индексами Сервиса OpenSearch.

Интеграция с нулевым использованием ETL позволяет легко создавать индексы для полнотекстового, геопространственного и векторного поиска, а также многого другого. Поиск и агрегирование Сервиса OpenSearch работают вместе с запросами DynamoDB для создания интерактивных и высокопроизводительных приложений. Теперь клиенты DynamoDB могут использовать расширенные возможности поиска и машинного обучения Сервиса OpenSearch, чтобы предлагать новые возможности, которые повышают вовлеченность пользователей и удовлетворенность их приложениями. Узнайте больше в этом руководстве по нулевому использованию ETL.

Триггеры AWS Lambda для Amazon DynamoDB позволяют легко настроить собственную логику для запуска в ответ на любые изменения элемента в DynamoDB. После включения Потоков DynamoDB можно быстро создать свой первый триггер на вкладке «Экспорт и потоки» в консоли DynamoDB. После настройки триггера код Lambda может срабатывать в течение нескольких секунд после внесения любых изменений в данные таблицы.

С помощью триггеров AWS Lambda для DynamoDB можно легко создавать триггеры базы данных для проверки и дополнения данных, интегрироваться с другими сервисами путем репликации данных, а также создавать целые архитектуры, управляемые событиями, такие как выполнение заказов или обработка мультимедиа, которые реагируют на изменение данных в таблицах DynamoDB. Функция Lambda может выполнять любые указанные вами действия, включая отправку оповещений и запуск рабочих процессов.  

Интеграция Amazon DynamoDB с Сервисом Amazon OpenSearch с нулевым использованием ETL устраняет сложности эксплуатации, связанные с организацией репликации данных из транзакционного хранилища в хранилище поисковых данных. Конвейеры данных, используемые для синхронизации транзакционных и поисковых хранилищ данных, могут быть сложными и дорогостоящими в создании и управлении. Кроме того, периодически возникают ошибки, которые трудно отследить. 

Данная интеграция позволяет клиентам Amazon DynamoDB получать результаты поиска по транзакционным данным практически в режиме реального времени, предлагая полностью управляемое решение, которое предоставляет возможность сделать транзакционные данные из DynamoDB доступными в Сервисе OpenSearch в течение нескольких секунд после их записи. Клиенты просто выбирают таблицы DynamoDB, содержащие данные, которые они хотят проанализировать с помощью Сервиса OpenSearch, а интеграция с нулевым использованием ETL позволяет легко реплицировать схему и данные в Сервисе OpenSearch с применением конвейеров OpenSearch Ingestion. Клиенты могут реплицировать данные из нескольких таблиц DynamoDB в один управляемый домен или бессерверную коллекцию Сервиса OpenSearch для получения целостной информации о нескольких приложениях, а также консолидировать свои основные аналитические ресурсы, что позволяет значительно сократить расходы и повысить операционную эффективность. 

Клиенты могут начать работу с использования Консоли управления AWS для DynamoDB, сервиса OpenSearch, Интерфейса командной строки AWS (AWS CLI), AWS SDK или AWS CloudFormation. Чтобы включить интеграцию, пользователи сначала выбирают таблицу DynamoDB, данные которой необходимо реплицировать. Затем они выбирают Потоки DynamoDB для репликации в режиме, близком к реальному времени, или инкрементный экспорт DynamoDB для отложенной репликации в качестве механизма CDC, чтобы синхронизировать данные между двумя системами. 

Интеграция с нулевым использованием ETL создает конвейер получения данных OpenSearch Ingestion в учетной записи клиента. Данный конвейер обеспечивает репликацию данных в управляемый кластер или бессерверную коллекцию Сервиса OpenSearch. OpenSearch Ingestion понимает структуру таблиц DynamoDB, затем создает эквивалентный управляемый домен или бессерверную коллекцию Сервиса OpenSearch и загружает конечную точку с существующими данными из таблиц DynamoDB. При желании клиенты могут указать схему индексов, которые будут созданы в Сервисе OpenSearch. 

Интеграция с нулевым ETL предоставляет панель управления, на которой можно отслеживать состояние комплексной интеграции с помощью метрик и журналов Amazon CloudWatch в реальном времени. Можно настроить оповещение на случай, если пользователь превысит установленные пороговые значения. Данная интеграция постоянно отслеживает состояние таблиц DynamoDB и индексов Сервиса OpenSearch, а также немедленно уведомляет пользователей в случае регрессии с любым из этих объектов.

Чтобы обеспечить OpenSearch Ingestion необходимыми разрешениями на репликацию данных в обеих системах, интеграция DynamoDB с Сервисом OpenSearch с нулевым использованием ETL создает роль IAM с необходимыми разрешениями для чтения данных из таблиц DynamoDB, а также записи в домен или коллекцию OpenSearch. Затем эту роль берут на себя конвейеры OpenSearch Ingestion, гарантирующие постоянное соблюдение надлежащего уровня безопасности при перемещении данных от источника к конечной точке.

Интеграция с нулевым ETL использует собственные возможности преобразования данных конвейеров OpenSearch Ingestion для агрегирования и фильтрации данных во время их перемещения. При транспортировке данных из таблицы DynamoDB клиенты могут удалить несколько полей или создать новые на основе агрегирования уже существующих полей. 

Чтобы получить индивидуальные трансформационные возможности, при желании клиенты также могут написать собственную логику для OpenSearch Ingestion. Для других пользователей, которые просто хотят перенести все свои данные из источника в получатель, эта интеграция с нулевым использованием ETL предоставит готовые чертежи OpenSearch Ingestion, с помощью которых можно выполнять интеграцию всего несколькими щелчками мыши.

Интеграция с нулевым ETL предоставляет клиентам возможность указать собственную схему данных и сопоставление индексов, которое используется OpenSearch Ingestion во время записи данных из DynamoDB в Сервис OpenSearch. Данная функция добавлена в консоль пользовательского интерфейса в DynamoDB, чтобы клиенты могли полностью контролировать формат индексов, создаваемых в Сервисе OpenSearch.

Применение интеграции DynamoDB с Сервисом OpenSearch с нулевым использованием ETL не требует дополнительных затрат, кроме стоимости существующих базовых компонентов. Интеграция с нулевым ETL использует Amazon OpenSearch Ingestion для чтения данных в таблицах DynamoDB и репликации в Сервисе OpenSearch. Стоимость интеграции DynamoDB с Сервисом OpenSearch с нулевым использованием ETL – это стоимость вычислительных блоков OpenSearch (OCU), которые необходимы OpenSearch Ingestion для репликации данных между системами. Кроме того, клиенты могут выбрать потоки DynamoDB или инкрементный экспорт в качестве выбора CDC. При инкрементном экспорте запись данных в корзины S3 сопряжена с затратами. За использование потоков DynamoDB с клиентов будет взиматься стандартная плата.

Интеграция Amazon DynamoDB с Сервисом Amazon OpenSearch с нулевым использованием ETL позволяет обмениваться данными между учетными записями. Пользователи смогут читать данные из таблиц DynamoDB в одной учетной записи и записывать данные в домены Сервиса OpenSearch или бессерверные коллекции в другой учетной записи. OpenSearch Ingestion уже позволяет использовать данные разных учетных записей других источников, из которых сервис считывает данные, например из корзин Amazon S3 и кластеров Amazon MSK, а также обеспечивает доступ к таблицам Amazon DynamoDB с применением тех же парадигм IAM в нескольких учетных записях.

Интеграция DynamoDB с Сервисом OpenSearch с нулевым использованием ETL возможна во всех регионах, где сегодня доступен сервис OpenSearch Ingestion.