跳至主要内容

AWS 数据解决方案

传统数据格式并非为 AI 设计。

借助 AWS 在整个数据和 AI 堆栈中对 Apache Iceberg 的支持,让您的数据为智能体做好准备

color-palette-1_aws-library_graphics_gradient_P1-S1-F_L_1200

为您的智能体提供单一的开放事实来源

智能体需要以受控方式访问分布在数据湖、数据库和应用程序中的数据。如果没有统一的数据基础,数据团队将不得不管理数据副本、构建自定义管道,这会拖慢依赖可信数据的 AI 计划的进展。

正因如此,Comcast、Indeed 和 Vanguard 等组织转向 AWS,以确保其所有数据都具备可靠性和互操作性。AWS 可提供所有主流云提供商中最广泛的原生 Apache Iceberg 支持( 涵盖存储、流处理、ETL、目录和分析 ),使各种引擎和智能体都能访问同一份可信数据,从而帮助团队简化架构并加快 AI 交付。

为何选择 Apache Iceberg?

    诸如 ACID 事务、架构演变、快照隔离和内置时间旅行等功能可确保每个查询都能看到完整、一致的数据视图。

    Iceberg 允许您灵活地发展架构并根据需求变化来更改分区策略。而且,由于 Iceberg 是一种 100% 开源、社区驱动型表格格式,因此它与单一供应商的路线图无关。 

    将工作负载整合到受管数据的单个副本上,消除冗余的 ETL 管道,并通过移除孤立系统中的重复数据集来降低存储成本。 

    Iceberg 对 Apache Spark、Apache Flink 和 Presto 等流行框架提供原生支持,可以让您为每项任务选择性能最高的工具。 

为何选择适用于 Apache Iceberg 的 AWS 服务?

    Amazon S3 以开放格式将数据存储在您自己的账户中,任何兼容引擎均可访问。您确切知道数据的存放位置,可以通过详细的请求级别记录来审核访问模式,并保留全部所有权。Amazon S3 提供业界领先的持久性、可用性、安全性和性能,同时您可保持完全的控制力和可见性。

    了解有关在 Amazon S3 上构建数据湖的更多信息

    Amazon Glue Data Catalog 和 Amazon S3 表类数据存储服务公开了 Iceberg REST 目录端点,因此 S3 上的 Iceberg 表可与任何兼容目录一起使用。Amazon Glue 中的目录联合可让 Amazon Redshift、Amazon Athena 和 Amazon EMR 等 AWS 引擎查询在远程 Iceberg 目录中编目的表格,而无需复制数据,无论数据位于何处,都可以统一查看所有数据。

    进一步了解面向远程 Iceberg 目录的目录联合

为您的开放数据之旅的各个阶段提供支持

无论是从 Apache Hive 进行现代化改造,还是大规模部署智能体,AWS 都能为各种使用场景提供支持

AI 的基础

为 AI 模型和智能体提供受治理、带版本控制的生产数据访问能力,并内置数据沿袭、精细的访问控制和时间旅行。团队无需构建自定义基础架构,即可重现训练运行、审计智能体行为并在需要时进行回滚。

Colorful, stacked blocks

湖仓现代化

从传统 Hive 表或专有格式迁移到 AI 就绪型 Iceberg 数据湖和湖仓架构,无需停机或重写数据。AWS 提供就地迁移路径,因此您的团队可以在工作负载保持运行的同时逐步实现现代化。

Yelp 如何借助 AWS 上的流式湖仓实现数据基础设施的现代化

企业级规模就地迁移至 Apache Iceberg:实施指南

Abstract digital illustration of flowing vertical lines with network nodes in blue and cyan, fanning outward against a gradient background of pink, purple, and gold, representing data flow or neural network connectivity.

缩减成本

停止管理断开连接的目录中的元数据。集中关键元数据,以获得可信、全面的数据资产视图,并消除冗余数据副本和复杂的 ETL 系统。   

利用 AWS Glue Data Catalog 中的目录联合功能访问 Databricks Unity Catalog 数据

利用 AWS Glue Data Catalog 中的目录联合功能访问 Snowflake Horizon Catalog 数据

Abstract illustration of iridescent rainbow-gradient blocks arranged on concentric circular platforms.

PB 级分析

对数 PB 的 Iceberg 数据运行交互式查询,而无需将其移入仓库。由于多个引擎都可以安全地从同一个表格中进行读取,因此分析师和数据工程师无需复制数据即可为每个工作负载选择正确的引擎。 

Abstract illustration of colorful geometric shapes on thin stems rising above layered wavy gradient hills on a dark navy background.

工作原理

通知

Apache 和 Apache 项目商标均为 The Apache Software Foundation 的商标。

找到今天要查找的内容了吗?

请提供您的意见,以便帮助我们提高网站内容的质量。