Category: AWS Big Data

Amazon MSK 集群的数据导出、导入、备份、还原多采用 Kafka MirrorMaker，但是，在某些场景中，受环境限制，两个于 Kafka 集群之间的网络可能无法连通，或者两个 AWS 账号相互隔离，亦或是需要将 Kafka 的数据沉淀为文件存储以备他用。此时，基于 Kafka Connect S3 Source / Sink Connector 的方案会是一种较为合适的选择，本文就将介绍一下这一方案的具体实现。

很多客户有快速搭建简易实时数仓的需求，例如内控审计平台，希望从公司各业务线实时收集要监控的数据，并不需要复杂的 ETL 处理，而进到数仓后，希望既支持近实时的多维度查询，又支持后续的离线分析。那么，利用 Amazon MSK, Amazon Redshift 和 Amazon Quicksight 搭建简易实时数仓，是一个很好的选择，能实现项目的快速落地。

长久已来，SQL 以其简单易用、开发效率高等优势一直是 ETL 的首选编程语言，但遗憾的是，Amazon EMR Serverless 未能针对执行 SQL 文件提供原生支持，这对于倚重纯 SQL 开发数仓或数据湖的用户来说并不友好。为此，我们专门开发了一组工具类，借助这组工具类，用户可以在 Amazon EMR Serverless 上直接执行 SQL 文件。

随着数据分析业务的发展，用户对在数据分析时，ETL 流程中的数据质量越来越关注。数据质量保障数据分析时保证数据价值的重要前提。越来越多的用户希望能通过自动化的方式，以及适合的工具来解决。本文主要介绍如何在 AWS Glue 中实现数据质量评估。

自 Amazon EMR 推出 Serverless 形态以来，得益于开箱即用和零运维的优质特性，越来越多的 EMR 用户开始尝试 EMR Serverless。在使用过程中，一个常被提及的问题是：我们应该如何在 EMR Serverless 上提交 Spark/Hive 作业？本文我们将分享一些这方面的最佳实践，帮助大家以一种更优雅的方式使用这项服务。

Amazon EMR 是一种全托管的云端数据平台，用于处理和分析大数据集。它基于开源的 Apache Hadoop 和 Apache Spark 等大数据技术栈，提供了一系列易于使用的工具，可帮助用户在云端快速构建和管理大规模的数据处理和分析应用程序。本文通过介绍在 EMR 中安装、集成 Apache Kyuubi，帮助提升在 EMR 平台上使用 Hue 进行 Spark SQL 开发的效率。

本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍，利用 Notebook 提供的统一环境和上下文，我们可以非常生动地观察到 Hudi 的运行机制，并深刻体会到其背后的控制原理，这也正是本系列文章的写作灵感：我们希望借助 Notebook “探索，发现，思考，领悟”的思维模式，带领大家开启一段 Hudi 核心概念的探索之旅。

本文从实战的角度，解释一下亚马逊云科技客户在选择使用 HBase on S3 的时候比较关心的两个问题，一个是如何把已有的 HBase on HDFS 迁移到 HBase on S3，并包含二级索引的迁移；另一个是 HBase on S3 的性能问题。

这篇博客介绍了基于AWS的全面数据质量解决方案DQ Key，此方案基于数据治理自上而下质量治理模型以及数据质量治理流程，从业务以及技术层面为客户提供数据质量从发现到治理的一整套完整解决方案。
Key Messages as Tag

本文将展现一种以Amazon CloudWatch监控的指标为数据源，Amazon EventBridge和AWS Lambda作为运维事件监控和行动触发的组件，Amazon SNS和Amazon SQS作为摄取云上运维事件的消息队列，Grafana作为运维主看板的轻量级解决方案。