Amazon EC2 G7 实例
用于运行 AI 推理、图形和数据分析工作负载的高性能 GPU 加速
为什么选择 Amazon EC2 G7
Amazon EC2 G7 实例由 NVIDIA RTX PRO 4500 Blackwell 服务器版 GPU 提供支持，与上一代 G6 实例相比，AI 推理性能提升高达 4.6 倍。无论是部署对话式人工智能助手、扩展视频流还是运行大规模数据处理管道，G7 都能为您提供所需的性能。G7 实例拥有多达 8 个 GPU、支持 EFA 的 700 Gbps 网络带宽，可帮助您更高效地运行 AI 推理、图形和数据分析工作负载。
功能
NVIDIA RTX PRO 4500 Blackwell 服务器版 GPU
每个实例最多搭载 8 个 NVIDIA RTX PRO 4500 Blackwell 服务器版 GPU，每个 GPU 配备 32 GB 内存，搭载第 5 代 Tensor 内核和第四代 RT 内核。
高性能联网和存储
G7 实例具有高达 700 Gbps 的 EFA 网络吞吐量（是 G6 的 7 倍），可为 AI 推理、图形密集型应用程序和 GPU 加速数据分析工作负载提供充分发挥性能所需的低延迟、高带宽连接。G7 实例支持高达 7.6 TB 的本地 NVMe SSD 存储，使您能够将大模型与数据集存放至靠近计算资源的位置，减少数据传输开销并提高吞吐量。
由定制的英特尔至强 6 处理器提供支持
G7 实例由定制 Intel Xeon 6 处理器提供支持，这款处理器的全核持续 Turbo 频率高达 3.9 GHz。 禁用同步多线程后，这款定制处理器可实现单核计算性能最大化，从而加快处理依赖 CPU 和 GPU 之间高带宽数据移动的工作负载，例如推荐系统、检索增强生成（RAG）推理和数据分析管道。
高级视频编码和解码引擎
第九代 NVENC 和第六代 NVDEC 引擎支持 4:2:2 编码和解码，适合高分辨率视频工作流程，并发视频流处理能力较上一代 G6 实例提升 1.6 倍。
基于 AWS Nitro System 构建
G7 实例搭载 AWS Nitro System，该系统可以处理联网、存储和其他 I/O 功能，并且可以在保持运行状态的同时部署固件更新、错误修复和优化技术。这样可以提高稳定性并减少停机时间，对于按时完成训练以及在生产环境中运行人工智能应用程序至关重要。
优势
相较于 G6 实例，G7 实例的 AI 推理性能最高可提升 4.6 倍。借助定制的英特尔至强 6 处理器、启用 EFA 后的 7 倍带宽以及相比 G6 提升 1.5 倍的 FP16 浮点运算能力，您能够以更低的延迟为对话助手、内容生成工具、推荐引擎等应用程序部署模型。
对于 ADAS 和机器人仿真、支持 AI 的 AR/VR、游戏、视频服务、3D 渲染和 CAD 工作流程等混合图形-人工智能工作负载，G7 实例的性能最高可提升 2.1 倍。高级视频转码功能使您可以运行比 G6 多 1.6 倍的并发视频流。
凭借更快的 GPU 内存和高达 700 Gbps 的 EFA 网络带宽，G7 实例还可提供向量数据库和数据帧等 GPU 加速分析应用程序所需的数据传输速度。
产品详细信息
实例类型
|
实例大小
|
GPU
|
GPU 内存（GB）
|
vCPU
|
系统内存（GiB）
|
实例存储（GB）
|
网络带宽（Gbps）
|
EBS 带宽（Gbps）
|
|---|---|---|---|---|---|---|---|
|
g7.2xlarge
|
1
|
32
|
8
|
32
|
1 x 600
|
高达 60 |
最多 8 个 |
|
g7.4xlarge
|
1
|
32 |
16 |
64 |
1 x 600 |
最高 100 |
8 |
|
g7.8xlarge
|
1
|
32 |
32 |
128
|
1 x 950 |
100 |
16 |
|
g7.12xlarge
|
2 |
64
|
48 |
192 |
1 x 1900 |
175 |
20 |
|
g7.24xlarge
|
4
|
128 |
96 |
384 |
1 x 3800 |
350 |
40 |
|
g7.48xlarge
|
8 |
256 |
192 |
768 |
2 x 3800 |
700 |
80 |
|
g7.metal*
|
8 |
256 |
192 |
768 |
2 x 3800 |
700 |
80 |
即将推出
客户评价
Volt AI
在 Volt AI，我们的使命是通过全天候不间断处理数万条实时监控视频流的实时 AI 视频智能技术，为学生、教职工及社区提供保护。这需要能够提供算力支持的 GPU 基础设施。由 NVIDIA RTX PRO 4500 GPU 提供支持的 Amazon EC2 G7 实例的吞吐量比上一代实例提高了 2 倍以上，适用于我们的 FP16 TensorRT 推理工作负载，使我们能够以更低的延迟和更精简的基础设施监控更多的并发视频流。G7 实例可直接帮助我们加快威胁识别速度，并提高面向学校、校园和城市的部署的可扩展性。
人工智能应用场景入门
Amazon SageMaker AI 是一项完全托管的服务，用于构建和部署机器学习模型。G7 实例与 Amazon SageMaker AI 集成，为人工智能推理提供托管的企业级体验。（即将推出）
AWS Deep Learning AMI（DLAMI）可为机器学习从业人员和研究人员提供基础设施和各种工具，从而加快在云中进行任意规模的深度学习的速度。AWS Deep Learning Containers 是预先安装了深度学习框架的 Docker 映像，可以让您跳过从头构建和优化环境的复杂流程，从而简化自定义机器学习环境的部署。
如果您更愿意通过容器编排服务管理自己的容器化工作负载，则可以使用 Amazon Elastic Kubernetes Service（Amazon EKS）或 Amazon Elastic Container Service（Amazon ECS）部署 G7 实例。
如果您希望运行和扩展高性能计算（HPC）工作负载，并使用 Slurm 在 AWS 上构建科学和工程模型，则可以通过 AWS 并行计算服务（AWS PCS）部署 G7 实例。
您可以使用 AWS 和 NVIDIA 提供的各种亚马逊机器映像（AMI），其中安装有 NVIDIA 驱动程序。
后续步骤
开始使用 Amazon EC2 G7 实例
找到今天要查找的内容了吗？
请提供您的意见，以便我们改进网页内容的质量