Amazon Aurora 與 Amazon Redshift 的零 ETL 整合

針對 PB 級交易資料來實現近乎即時的分析
開始使用零 ETL 整合
聯絡支援

為何選擇 Aurora 與 Amazon Redshift 的零 ETL 整合？

Amazon Aurora 與 Amazon Redshift 零 ETL 整合，可在 PB 交易資料上使用 Amazon Redshift 使用近乎即時分析和機器學習 (ML)。在將交易資料寫入 Amazon Aurora 的幾秒鐘內，零 ETL 就能順暢地在 Amazon Redshift 中使用資料，無需建置和管理執行擷取、轉換和載入 (ETL) 操作的複雜資料管道。

優勢

在幾秒鐘內存取 Amazon Redshift 中的 Aurora 交易資料，即可在 PB 資料上執行近乎即時的分析和 ML。

近乎即時快速分析您的交易資料，無需建置和管理 ETL 管道便能將交易資料移至分析系統。

合併來自各種 Aurora 資料庫叢集的多個資料表，並將資料複製到一個 Amazon Redshift 資料倉儲，跨多個應用程式和資料來源執行統一分析。

當同時使用 Amazon Aurora Serverless v2 和 Amazon Redshift Serverless 時，就交易資料執行近乎即時的分析，而無需管理任何基礎架構。

使用案例

使用 Amazon Redshift 分析和 ML 功能，從交易和其他資料獲取近乎即時的洞察，有效回應重要、時間敏感事件。近乎即時的分析可協助您針對內容定位、最佳化遊戲體驗、資料品質監控、欺詐偵測和客戶行為分析等使用案例獲得更準確且及時的洞察。

透過 Aurora 與 Amazon Redshift 零 ETL 整合，您可以使用 Amazon Redshift 功能來分析從多個 Aurora 資料庫叢集合併的 PB 交易資料。您可以利用 Amazon Redshift 的全面分析功能，例如內建 ML、具體化視觀表、資料共用以及多資料存放區和資料湖的聯合存取權。透過 Amazon Redshift ML，您可以使用直接 SQL 命令執行數十億次預測，同時原生整合到 Amazon SageMaker。

將資料從交易資料庫移至中央資料倉儲通常需要建置、管理和操作複雜的資料管線 ETL 解決方案。透過零 ETL 整合，您可以將結構描述、現有資料和資料變更從 Aurora 資料庫順暢複製到新的或現有 Amazon Redshift 叢集。零 ETL 整合消除了管理複雜資料管道的需求。

如何開始使用

若要在 Aurora 與 Amazon Redshift 之間建立零 ETL 整合，請指定 Aurora 資料庫叢集做為資料來源，並指定 Amazon Redshift 資料倉儲做為目標。整合會將來源資料庫中的資料複製到目標資料倉儲中。在幾秒鐘內即可在 Amazon Redshift 中使用資料，讓資料分析師開始在資料上進行 Amazon Redshift 分析和 ML 功能。若要進一步了解，請造訪 Aurora 和 Amazon Redshift 入門指南。

資源

定價

對於 Aurora 與 Amazon Redshift 零 ETL 整合，AWS 不會收取額外費用。您需要為使用現有的 Aurora 和 Amazon Redshift 資源，建立和處理做為零 ETL 整合一部分而產生的變更資料付費。這些資源可能包括：

  • 啟用變更資料擷取所使用的額外 I/O 和儲存
  • 初始資料匯出至做為 Amazon Redshift 資料庫種子的快照匯出成本
  • 用於儲存複寫資料的額外 Amazon Redshift 儲存
  • 用於處理資料複寫的額外 Amazon Redshift 運算
  • 將資料從來源移至目標的跨可用區域資料傳輸成本。

透過零 ETL 整合持續處理資料變更，而無需額外費用。如需詳細資訊，請造訪 Aurora 定價頁面。 

客戶

  • Infosys

     

    貨運驗證對於 Infosys 維持製造、零售和物流客戶的供應鏈完整性至關重要。為實現這一目標，追蹤貨件和貨運分析必須即時擷取貨運追蹤資料。

    Infosys 已利用零 ETL 的各種功能來即時接收資料，從而實現貨運貨件追蹤，並提供了對位置、狀態和預計到達時間的可視性。這可最佳化貨運營運並大幅降低成本。藉助零 ETL 全面的報告與分析，以及 Infosys Cobalt 和 Topaz 產業藍圖，現在可做出資料驅動型決策。

    Infosys 資料、分析和 AI 副總裁暨全球主管 Sunil Senan

  • Intuit

    Intuit 是全球金融技術平台，透過 TurboTax、Credit Karma、QuickBooks 和 Mailchimp 為 1 億消費者和小型企業客戶取得成功提供支援。由於即將進行的遷移錯綜複雜，Intuit 預計每天的設定檔遷移增長速度將超過 1,000 萬次。Intuit 轉向 Amazon Aurora MySQL 與 Amazon Redshift 的 零 ETL 整合，以精簡其資料擷取程序，並消除複雜工程工作的需求。

    資料量龐大，以及對無縫遷移的需求對我們而言是一項重大的挑戰。此外，我們需要一項解決方案，讓我們能夠迅速分析遷移程序，進而快速做出資料驅動型決策。為應對這些挑戰，我們轉向 Amazon Aurora 與 Amazon Redshift 的 零 ETL 整合，以精簡我們的資料擷取程序，並消除複雜工程工作的需求。憑藉 Zero-ETL，我們無需資料擷取或單獨的擷取任務，即可將大量資料傳送至 Amazon Redshift。這可獲得快速洞察，以推動關鍵的技術和業務決策，從而節省數月本來需要完成的工作。利用 Aurora 與 Amazon Redshift 的 零 ETL 整合，可協助我們在 Intuit 探索新的模式，以進行大規模資料遷移和近乎即時的分析。

    Intuit 產品開發經理 Aruna Ghiware

  • KINTO Technologies Corporation

    KINTO Technologies Corporation 是行動平台產業的領導者，也是做為 Toyota 的金融服務公司，負責 KINTO 服務開發的技術公司。KINTO Technologies 利用 Amazon Aurora MySQL 與 Amazon Redshift 的零 ETL 整合，能夠實現更具彈性的資料管道，並且現在可將 Amazon Redshift 的進階分析功能近乎即時地套用至其營運資料中。

    在零 ETL 整合可供使用之前，我們採用了可持續將變更從核心資料庫串流至下游應用程式的定製解決方案，但我們面臨持續的效能挑戰，並對我們的生產工作負載具有影響。為解決對生產工作負載的效能影響，我們必須手動調整管道，以減少更新的傳送頻率，並處理 Amazon Redshift 中的舊資料。使用 Aurora MySQL 與 Amazon Redshift 的零 ETL 整合，我們能夠隨時在 Amazon Redshift 中提供近乎即時的資料，從而減少開發人員手動管理 ETL 營運資料管道，或處理工作負載效能影響的時間，進而協助降低我們的營運負擔。

    KINTO Technologies Corporation 執行副總裁 Hitoshi Kageyama

  • Money Forward i

    Money Forward i 透過直觀的 SaaS 管理平台 Admina 來精簡重複性任務，降低成本並增強安全性，致力於提升組織中 IT 團隊的生產效率和創新潛力。

    Amazon Aurora 與 Amazon Redshift 的零 ETL 整合發布之前，在 Amazon Redshift 中實作和維護我們的 ETL 營運，以分析 Amazon Aurora MySQL 中的產品資料是極具挑戰性的工作。憑藉 Aurora MySQL 與 Amazon Redshift 的零 ETL 整合，我們的 Aurora MySQL 資料庫與 Amazon Redshift 之間可實現近乎即時的資料同步，建置分析環境的時間從一個月縮短為僅三小時。利用零 ETL 整合，除了減輕開發時的初始負擔之外，對生產環境的影響也得以減小，從而能夠以最低成本和最大速度建置分析環境。

    Money Forward i 董事暨產品執行長 Katsutoshi Murakami

  • Woolworths

    Woolworths 是撒哈拉以南非洲領先的零售商，提供各種優質服裝、一般商品和食品，專注於創新、價值和永續發展。

    從我們的資料獲得及時洞察至關重要，因為這意味著我們可在整個業務中快速推動資料驅動型決策，並有效地回應關鍵、時間敏感的事件。使用變更資料擷取和記錄凝聚非常耗時，而且處理的成本比預期更高。藉由使用 Amazon Aurora MySQL 與 Amazon Redshift 的零 ETL 整合，我們可在一天內產生相同的結果，否則，由於 ETL 營運所需的工程工作，開發可能需要 2 個月。利用整合功能，我們的資料延遲可顯著降低，因為資料處於可查詢的狀態。在事件發生時，這使我們能夠更快地做出決策。使用 Aurora 與 Amazon Redshift 的零 ETL 整合，我們縮減了工程工作、減少了管道管理中的故障點，並節省了成本。

    Woolworths 商業智慧負責人 Raamy Schroeder