为您的智能体提供单一的开放事实来源
智能体需要以受控方式访问分布在数据湖、数据库和应用程序中的数据。如果没有统一的数据基础,数据团队将不得不管理数据副本、构建自定义管道,这会拖慢依赖可信数据的 AI 计划的进展。
正因如此,Comcast、Indeed 和 Vanguard 等组织转向 AWS,以确保其所有数据都具备可靠性和互操作性。AWS 可提供所有主流云提供商中最广泛的原生 Apache Iceberg 支持( 涵盖存储、流处理、ETL、目录和分析 ),使各种引擎和智能体都能访问同一份可信数据,从而帮助团队简化架构并加快 AI 交付。
为何选择 Apache Iceberg?
诸如 ACID 事务、架构演变、快照隔离和内置时间旅行等功能可确保每个查询都能看到完整、一致的数据视图。
Iceberg 允许您灵活地发展架构并根据需求变化来更改分区策略。而且,由于 Iceberg 是一种 100% 开源、社区驱动型表格格式,因此它与单一供应商的路线图无关。
将工作负载整合到受管数据的单个副本上,消除冗余的 ETL 管道,并通过移除孤立系统中的重复数据集来降低存储成本。
Iceberg 对 Apache Spark、Apache Flink 和 Presto 等流行框架提供原生支持,可以让您为每项任务选择性能最高的工具。
为何选择适用于 Apache Iceberg 的 AWS 服务?
Amazon S3 以开放格式将数据存储在您自己的账户中,任何兼容引擎均可访问。您确切知道数据的存放位置,可以通过详细的请求级别记录来审核访问模式,并保留全部所有权。Amazon S3 提供业界领先的持久性、可用性、安全性和性能,同时您可保持完全的控制力和可见性。
Apache Iceberg 为您的数据湖带来了可靠性和简便性,但管理 Iceberg 表往往需要耗费大量工程时间。Amazon S3 表类数据存储服务提供专门构建的 Iceberg 存储,可简化治理流程并自动执行压缩和快照管理等日常任务,从而为您的团队节省大量生产时间。
使用 AWS 引擎,您无需为了降低成本而牺牲性能。Amazon Glue 中的 Iceberg 物化视图可将 Apache Spark 的查询性能提升多达 8 倍,Amazon EMR 运行 Apache Iceberg 写入作业的速度比开源同类产品快 2 倍以上,Amazon Redshift RG 实例 运行 Apache Iceberg 工作负载的速度比前代产品快 2.4 倍,成本最多降低 30%。
开放不能以牺牲治理为代价。AWS 允许您为每个引擎和用户提供一致的视图,让他们了解存在哪些表、它们的存放位置以及它们的结构。使用 Amazon Lake Formation,只需定义一次细粒度访问策略,即可在各项 AWS 服务中实现一致的策略执行。
Amazon Glue Data Catalog 和 Amazon S3 表类数据存储服务公开了 Iceberg REST 目录端点,因此 S3 上的 Iceberg 表可与任何兼容目录一起使用。Amazon Glue 中的目录联合可让 Amazon Redshift、Amazon Athena 和 Amazon EMR 等 AWS 引擎查询在远程 Iceberg 目录中编目的表格,而无需复制数据,无论数据位于何处,都可以统一查看所有数据。
为您的开放数据之旅的各个阶段提供支持
无论是从 Apache Hive 进行现代化改造,还是大规模部署智能体,AWS 都能为各种使用场景提供支持
AI 的基础
为 AI 模型和智能体提供受治理、带版本控制的生产数据访问能力,并内置数据沿袭、精细的访问控制和时间旅行。团队无需构建自定义基础架构,即可重现训练运行、审计智能体行为并在需要时进行回滚。
湖仓现代化
从传统 Hive 表或专有格式迁移到 AI 就绪型 Iceberg 数据湖和湖仓架构,无需停机或重写数据。AWS 提供就地迁移路径,因此您的团队可以在工作负载保持运行的同时逐步实现现代化。
缩减成本
停止管理断开连接的目录中的元数据。集中关键元数据,以获得可信、全面的数据资产视图,并消除冗余数据副本和复杂的 ETL 系统。
利用 AWS Glue Data Catalog 中的目录联合功能访问 Databricks Unity Catalog 数据
利用 AWS Glue Data Catalog 中的目录联合功能访问 Snowflake Horizon Catalog 数据
PB 级分析
对数 PB 的 Iceberg 数据运行交互式查询,而无需将其移入仓库。由于多个引擎都可以安全地从同一个表格中进行读取,因此分析师和数据工程师无需复制数据即可为每个工作负载选择正确的引擎。
工作原理
适用于 Apache Iceberg 的 AWS 数据和分析服务
后续步骤
Iceberg 架构分步指南
开始使用 AWS 进行构建
通知
Apache 和 Apache 项目商标均为 The Apache Software Foundation 的商标。
找到今天要查找的内容了吗?
请提供您的意见,以便帮助我们提高网站内容的质量。