Tích hợp không ETL trên Amazon Aurora với Amazon Redshift

Cho phép phân tích gần như theo thời gian thực trên hàng petabyte dữ liệu giao dịch

Tại sao nên chọn tích hợp không ETL trên Aurora với Amazon Redshift?

Tích hợp không ETL trên Amazon Aurora với Amazon Redshift hỗ trợ công nghệ máy học (ML) và phân tích gần theo thời gian thực bằng Amazon Redshift trên hàng petabyte dữ liệu giao dịch. Chỉ trong vài giây ghi dữ liệu giao dịch vào Amazon Aurora, tích hợp không ETL sẽ cung cấp dữ liệu trong Amazon Redshift một cách liền mạch, giúp loại bỏ nhu cầu xây dựng và quản lý các quy trình dữ liệu phức tạp nhằm thực hiện các thao tác trích xuất, chuyển đổi và tải (ETL).

Lợi ích

Truy cập dữ liệu giao dịch từ Aurora trong Amazon Redshift chỉ trong vài giây để chạy dịch vụ phân tích và ML gần theo thời gian thực trên hàng petabyte dữ liệu.

Nhanh chóng phân tích dữ liệu giao dịch của bạn gần theo thời gian thực mà không cần xây dựng và quản lý các quy trình ETL để di chuyển dữ liệu giao dịch sang các hệ thống phân tích.

Tổng hợp nhiều bảng từ các cụm cơ sở dữ liệu Aurora khác nhau và sao chép dữ liệu của bạn vào một kho dữ liệu Amazon Redshift để chạy phân tích thống nhất trên nhiều ứng dụng và nguồn dữ liệu.

Chạy phân tích gần theo thời gian thực trên dữ liệu giao dịch mà không cần phải quản lý bất kỳ cơ sở hạ tầng nào khi sử dụng cả Amazon Aurora phi máy chủ phiên bản 2 và Amazon Redshift phi máy chủ.

Trường hợp sử dụng

Sử dụng khả năng phân tích và ML của Amazon Redshift để thu thập thông tin chuyên sâu gần theo thời gian thực từ dữ liệu giao dịch và dữ liệu khác để phản hồi hiệu quả với các sự kiện quan trọng, gấp gáp về thời gian. Phân tích gần theo thời gian thực có thể giúp bạn nhận được thông tin chuyên sâu chính xác và kịp thời hơn cho các trường hợp sử dụng như nhắm mục tiêu nội dung, trải nghiệm chơi game được tối ưu hóa, giám sát chất lượng dữ liệu, phát hiện gian lận và phân tích hành vi của khách hàng.

Với tích hợp không ETL trên Aurora với Amazon Redshift, bạn có thể sử dụng khả năng của Amazon Redshift để phân tích hàng petabyte dữ liệu giao dịch được hợp nhất từ nhiều cụm cơ sở dữ liệu Aurora. Bạn có thể tận dụng các khả năng phân tích toàn diện của Amazon Redshift, chẳng hạn như ML tích hợp sẵn, chế độ xem cụ thể hóa, chia sẻ dữ liệu và truy cập liên kết, vào nhiều kho dữ liệu và hồ dữ liệu. Với ML của Amazon Redshift, bạn có thể chạy hàng tỷ dự đoán bằng các lệnh SQL đơn giản với tích hợp gốc vào Amazon SageMaker.

Việc di chuyển dữ liệu từ cơ sở dữ liệu giao dịch sang kho dữ liệu trung tâm thường đòi hỏi phải xây dựng, quản lý và vận hành một giải pháp ETL quy trình dữ liệu phức tạp. Với tích hợp không ETL, bạn có thể sao chép liền mạch lược đồ, dữ liệu hiện có và các thay đổi dữ liệu từ cơ sở dữ liệu Aurora sang cụm Amazon Redshift mới hoặc hiện có. Tích hợp không ETL loại bỏ nhu cầu quản lý quy trình dữ liệu phức tạp.

Cách bắt đầu sử dụng

Để tạo tích hợp không ETL giữa Aurora và Amazon Redshift, bạn chỉ định một cụm CSDL Aurora làm nguồn dữ liệu và một kho dữ liệu Amazon Redshift làm mục tiêu. Việc tích hợp sẽ sao chép dữ liệu từ cơ sở dữ liệu nguồn vào kho dữ liệu mục tiêu. Dữ liệu sẽ được cung cấp trong Amazon Redshift chỉ trong vài giây, cho phép các nhà phân tích dữ liệu bắt đầu sử dụng chức năng phân tích và ML của Amazon Redshift trên dữ liệu. Để tìm hiểu thêm, vui lòng truy cập hướng dẫn bắt đầu dành cho AuroraAmazon Redshift.

Giá

AWS không tính thêm phí cho tích hợp không ETL trên Aurora với Amazon Redshift. Bạn trả tiền cho các tài nguyên Aurora và Amazon Redshift hiện tại được sử dụng để tạo và xử lý dữ liệu thay đổi được tạo trong quá trình tích hợp không ETL. Những tài nguyên này có thể bao gồm:

  • I/O và dung lượng lưu trữ bổ sung được sử dụng khi kích hoạt tính năng ghi dữ liệu thay đổi
  • Chi phí xuất bản kết xuất nhanh cho lần xuất dữ liệu ban đầu để cung cấp cơ sở dữ liệu Amazon Redshift của bạn
  • Dung lượng Amazon Redshift bổ sung để lưu trữ dữ liệu được sao chép
  • Điện toán Amazon Redshift bổ sung để xử lý sao chép dữ liệu
  • Chi phí truyền dữ liệu giữa các vùng sẵn sàng để di chuyển dữ liệu từ nguồn sang mục tiêu.

Khả năng xử lý liên tục các thay đổi dữ liệu bằng cách tích hợp không ETL được cung cấp miễn phí. Để biết thêm thông tin, vui lòng truy cập vào trang định giá Aurora

Khách hàng

  • Infosys

     

    Quy trình xác minh vận chuyển hàng hóa có ý nghĩa quan trọng trong việc duy trì tính toàn vẹn của chuỗi cung ứng đối với khách hàng sản xuất, bán lẻ và kho vận của Infosys. Để đạt được điều này, dữ liệu theo dõi hàng hóa cần được tải nhập theo thời gian thực để theo dõi các lô hàng và phân tích quá trình vận chuyển.

    Infosys đã sử dụng các tính năng tích hợp không ETL để tải nhập dữ liệu trong thời gian thực, cho phép theo dõi lô hàng vận chuyển cũng như đảm bảo sự minh bạch về vị trí, trạng thái và thời gian đến dự kiến. Nhờ vậy, các hoạt động vận chuyển hàng hóa được tối ưu hóa, góp phần giảm chi phí đáng kể. Với tính năng báo cáo và phân tích toàn diện không ETL, cùng với các kế hoạch chi tiết theo ngành của Infosys Cobalt và Topaz, việc ra quyết định dựa trên dữ liệu giờ đây hoàn toàn có thể thực hiện được.

    Sunil Senan, Phó chủ tịch Cấp cao kiêm Giám đốc Toàn cầu về Dữ liệu, Phân tích và AI – Infosys
  • Intuit

    Intuit là nền tảng công nghệ tài chính toàn cầu, mang đến sự thịnh vượng cho 100 triệu khách hàng tiêu dùng và doanh nghiệp nhỏ nhờ các sản phẩm TurboTax, Credit Karma, QuickBooks và Mailchimp. Do tính chất phức tạp của quá trình di chuyển sắp tới, Intuit đã xem xét hơn 10 triệu lượt di chuyển hồ sơ mỗi ngày, một con số đáng kinh ngạc. Intuit đã chuyển sang tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp.

    Khối lượng dữ liệu khổng lồ và nhu cầu di chuyển liền mạch là thách thức lớn đối với chúng tôi. Hơn nữa, chúng tôi cần có một giải pháp cho phép phân tích quá trình di chuyển một cách nhanh chóng để có thể đưa ra quyết định kịp thời, dựa trên dữ liệu. Để giải quyết những thách thức này, chúng tôi đã chuyển sang tích hợp không ETL của Amazon Aurora với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp. Với khả năng tích hợp không ETL, chúng tôi có thể gửi một lượng lớn dữ liệu đến Amazon Redshift mà không cần thực hiện các công việc thu thập hoặc tải nhập dữ liệu riêng biệt. Nhờ vậy, chúng tôi sẽ thu được các thông tin chuyên sâu ngắn gọn để hỗ trợ việc đưa ra các quyết định kinh doanh và kỹ thuật quan trọng, giúp tiết kiệm rất nhiều công sức (có thể lên đến hàng tháng). Nhờ sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift, chúng tôi đã khám phá được các mẫu hình mới tại Intuit cho việc di chuyển dữ liệu quy mô lớn và phân tích gần theo thời gian thực.

    Aruna Ghiware, Giám đốc Phát triển Sản phẩm – Intuit
  • KINTO Technologies Corporation

    Tập đoàn KINTO Technologies là đơn vị đi đầu trong ngành công nghiệp nền tảng di động và cũng là công ty công nghệ chịu trách nhiệm phát triển dịch vụ KINTO với tư cách là công ty dịch vụ tài chính của Toyota. Tận dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, KINTO Technologies đã có thể đạt được quy trình dữ liệu linh hoạt hơn và hiện tại có thể áp dụng các tính năng phân tích nâng cao của Amazon Redshift cho dữ liệu hoạt động của mình gần như theo thời gian thực.

    Trước khi tính năng tích hợp không ETL ra đời, chúng tôi đã sử dụng một giải pháp được xây dựng tùy chỉnh để liên tục truyền các thay đổi từ cơ sở dữ liệu lõi sang các ứng dụng hạ nguồn, nhưng chúng tôi đã phải đối mặt với những thách thức về hiệu suất và tác động liên tục đến khối lượng công việc sản xuất. Để giải quyết tác động về hiệu suất đối với khối lượng công việc sản xuất, chúng tôi đã phải điều chỉnh quy trình dữ liệu theo cách thủ công để giảm tần suất gửi các bản cập nhật và giải quyết dữ liệu cũ trong Amazon Redshift. Nhờ sử dụng tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift, chúng tôi có thể luôn có sẵn dữ liệu gần như theo thời gian thực trong Amazon Redshift, giúp nhà phát triển không phải dành hàng giờ để quản lý thủ công các quy trình dữ liệu cho hoạt động ETL hay xử lý các tác động về hiệu suất đối với khối lượng công việc, từ đó giảm bớt gánh nặng vận hành.

    Hitoshi Kageyama, Phó Chủ tịch Điều hành – Tập đoàn KINTO Technologies
  • Money Forward i

    Money Forward i cố gắng nâng cao năng suất và tiềm năng sáng tạo của các nhóm CNTT trong tổ chức bằng cách hợp lý hóa các nhiệm vụ lặp đi lặp lại, cắt giảm chi phí và tăng cường bảo mật thông qua Admina, Nền tảng quản lý SaaS trực quan của họ.

    Trước khi triển khai tính năng tích hợp không ETL của Amazon Aurora với Amazon Redshift, chúng tôi gặp khó khăn trong việc triển khai và duy trì các hoạt động ETL để phân tích dữ liệu sản phẩm từ Amazon Aurora MySQL trong Amazon Redshift. Tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift cho phép đồng bộ hóa dữ liệu gần như theo thời gian thực giữa cơ sở dữ liệu Aurora MySQL của chúng tôi và Amazon Redshift, giúp giảm thời gian xây dựng môi trường phân tích từ một tháng xuống còn ba giờ. Ngoài việc giảm gánh nặng ban đầu tại thời điểm phát triển, tính năng tích hợp không ETL còn ít tác động đến môi trường sản xuất hơn, giúp xây dựng môi trường phân tích với chi phí tối thiểu và tốc độ tối đa.

    Katsutoshi Murakami, Giám đốc kiêm Giám đốc Sản xuất – Money Forward i
  • Woolworths

    Woolworths là nhà bán lẻ hàng đầu châu Phi cận Sahara với chủng loại sản phẩm đa dạng, từ quần áo chất lượng, hàng hóa tổng hợp đến các sản phẩm thực phẩm tập trung vào đổi mới, giá trị và tính bền vững.

    Việc thu thập thông tin chuyên sâu kịp thời từ dữ liệu có ý nghĩa rất quan trọng vì nhờ đó, chúng tôi có thể nhanh chóng thúc đẩy các quyết định dựa trên dữ liệu trên toàn bộ doanh nghiệp và phản ứng hiệu quả với các sự kiện quan trọng, cần xử lý gấp. Việc sử dụng tính năng thu thập dữ liệu thay đổi và kết hợp hồ sơ tốn thời gian và chi phí hơn nhiều so với dự kiến. Bằng cách sử dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, chúng tôi có thể tạo ra kết quả tương tự trong vòng một ngày, trong khi trước đây sẽ mất 2 tháng để phát triển do cần phải thực hiện những công việc kỹ thuật cho hoạt động ETL. Độ trễ dữ liệu của chúng tôi đã giảm đáng kể khi sử dụng tính năng tích hợp này vì dữ liệu đã ở trạng thái sẵn sàng truy vấn. Điều này giúp chúng tôi đưa ra quyết định nhanh hơn khi các sự kiện đang xảy ra. Chúng tôi đã giảm được lượng công việc kỹ thuật, số điểm lỗi trong quản lý quy trình và tiết kiệm chi phí bằng cách sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift.

    Raamy Schroeder, Trưởng bộ phận Nghiệp vụ Thông minh – Woolworths