Amazon EC2 P5 インスタンス

深層学習と HPC アプリケーション用の高性能 GPU ベースインスタンス
P5 インスタンスの使用を開始する
将来の使用に備えて予約する

Amazon EC2 P5 インスタンスを使用すべき理由

NVIDIA H100 Tensor Core GPU を搭載した Amazon Elastic Compute Cloud (Amazon EC2) P5 インスタンス、および NVIDIA H200 Tensor Core GPU を搭載した P5e インスタンスと P5en インスタンスは、深層学習 (DL) およびハイパフォーマンスコンピューティング (HPC) アプリケーションのために Amazon EC2 で極めて高いパフォーマンスを発揮します。これらは、前世代の GPU ベースの EC2 インスタンスと比較してソリューション開発までの時間を最大で 4 分の 1 に短縮し、ML モデルのトレーニングコストを最大 40% 削減するのに役立ちます。これらのインスタンスは、より速いペースでソリューションをイテレーションし、より迅速に市場に投入するのに役立ちます。P5、P5e、および P5en インスタンスは、極めて要求の厳しい生成人工知能 (AI) アプリケーションを強化する、ますます複雑化する大規模言語モデル (LLM) や拡散モデルのトレーニングやデプロイに使用できます。これらのアプリケーションには、質問応答、コード生成、動画と画像の生成、および音声認識が含まれます。また、これらのインスタンスを使用して、医薬品開発、耐震解析、天気予報、財務モデリングなどの要求の厳しい HPC アプリケーションを大規模にデプロイすることもできます。

これらのパフォーマンス改善とコスト削減を実現するため、P5 および P5e インスタンスは、前世代の GPU ベースインスタンスと比較して、2 倍の CPU パフォーマンス、2 倍のシステムメモリ、および 4 倍のローカルストレージで NVIDIA H100 および H200 Tensor Core GPU を補完します。P5en インスタンスは NVIDIA H200 Tensor Core GPU と高性能 Intel Sapphire Rapids CPU を組み合わせて、CPU と GPU 間で Gen5 PCIe を利用した高速な通信を実現します。P5en インスタンスは、P5e および P5 インスタンスと比較して CPU と GPU 間の帯域幅が最大 2 倍になり、ネットワークレイテンシーが低くなるため、分散型トレーニングのパフォーマンスが向上します。P5 および P5e インスタンスのサポートにより、第 2 世代の Elastic Fabric Adapter (EFA) を使用して最大 3,200 Gbps のネットワーキングが可能になります。Nitro v5を使用した第 3 世代の EFA を搭載した P5en では、前世代の EFA と Nitro を使用する P5 と比較して、レイテンシーが最大 35％ 向上しています。これにより、深層学習、生成 AI、リアルタイムデータ処理、ハイパフォーマンスコンピューティング (HPC) アプリケーションなどの分散型トレーニングワークロードの集合的な通信パフォーマンスを向上します。大規模なコンピューティングを低レイテンシーで提供するために、これらのインスタンスは Amazon EC2 UltraClusters にデプロイされます。これにより、ペタビット級のノンブロッキングネットワークで相互接続された H100 または H200 GPU を 20,000 個まで拡張できます。EC2 UltraClusters の P5、P5e、および P5en インスタンスは、合計で最大 20 エクサフロップスのコンピューティング能力 (スーパーコンピュータと同等のパフォーマンス) を提供できます。

Amazon EC2 P5 インスタンス

利点

P5、P5e および P5en インスタンスは超大規模の生成 AI モデルを大規模にトレーニングでき、前世代の GPU ベースの EC2 インスタンスと比較して、最大 4 倍のパフォーマンスを提供します。

P5、P5e および P5en インスタンスは、トレーニング時間とソリューションを生み出すまでの時間を、数週間からわずか数日に短縮します。これは、より速いペースでイテレーションし、より迅速に市場に投入するのに役立ちます。

P5、P5e および P5en インスタンスは、前世代の GPU ベースの EC2 インスタンスと比較して、DL トレーニングと HPC インフラストラクチャのコストで最大 40% のコスト削減を提供します。

P5、P5e および P5en インスタンスは、最大 3,200 Gbps の EFA ネットワーキングを提供します。これらのインスタンスは EC2 UltraClusters にデプロイされ、合計 20 エクサフロップスのコンピューティング能力を提供します。

特徴

P5 インスタンスは、合計で最大 640 GB の HBM3 GPU メモリを備えた最大 8 個の NVIDIA H100 GPU (インスタンスあたり) を搭載しています。P5e および P5en インスタンスは、合計で最大 1,128 GB の HBM3e GPU メモリを備えた最大 8 個の NVIDIA H200 GPU (インスタンスあたり) を搭載しています。両方のインスタンスは、最大 900 GB/秒の NVSwitch GPU インターコネクト (各インスタンスで合計 3.6 TB/秒の二分バンド幅) をサポートしているため、各 GPU は同じインスタンス内の他のすべての GPU とシングルホップレイテンシーで通信できます。

NVIDIA H100 および H200 GPU には、FP8 と 16 ビット計算をインテリジェントに管理して動的に選択する新しいトランスフォーマーエンジンが搭載されています。前世代の A100 GPU と比較すると、この機能により、LLM での DL トレーニングがさらに高速化されます。HPC ワークロード向けに、NVIDIA H100 および H200 GPU には、A100 GPU と比較して動的プログラミングアルゴリズムをさらに加速させる新しい DPX 命令が備わっています。

P5、P5e および P5en インスタンスは、最大 3,200 Gbps の EFA ネットワーキングを提供します。また、EFA を NVIDIA GPUDirect RDMA と組み合わせると、オペレーティングシステムバイパスによりサーバー間の低レイテンシーの GPU 間通信も可能になります。

P5、P5e および P5en インスタンスは Amazon FSx for Lustre ファイルシステムをサポートしているため、大規模な DL および HPC ワークロードに必要な数百 GB/秒のスループットと数百万 IOPS でデータにアクセスできます。それぞれのインスタンスは、最大 30 TB のローカル NVMe SSD ストレージもサポートし、大規模なデータセットへの高速アクセスを実現します。また、Amazon Simple Storage Service (Amazon S3) では、費用対効果の高いストレージを事実上無制限に使用できます。

お客様の声

お客様とパートナーが Amazon EC2 P4 インスタンスを使用してビジネス目標を達成した例をいくつかご紹介します。

  • Anthropic

    Anthropic は信頼性が高く、解釈可能で、操作可能な AI システムを構築し、このシステムを通じて商業面だけでなく公共の利益のために価値を創造する多くの機会を提供します。

    Anthropic では、信頼性が高く、解釈可能で、操作可能な AI システムの構築に取り組んでいます。今日の大規模な汎用 AI システムには大きなメリットがある一方で、予測不可能で、信頼性が低く、不透明である可能性もあります。私たちの目標は、これらの問題を進展させ、人々が役立つと考えるシステムを導入することです。私たちの組織は、DL 研究の基盤となるモデルを構築している世界でも数少ない組織の 1 つです。これらのモデルは非常に複雑であるため、こうした最先端のモデルを開発してトレーニングするには、大規模な GPU クラスターに効率的に分散させる必要があります。現在、Amazon EC2 P4 インスタンスを幅広く使用しており、P5 インスタンスのリリースを心待ちにしています。P4d インスタンスに比べてコストパフォーマンス面での大きな利点をもたらし、次世代 LLM や関連製品の構築に必要となる大きな規模で利用できるようになることを期待しています。

    Anthropic、共同創設者、Tom Brown 氏

  • Cohere

    言語 AI のリーディングパイオニアである Cohere は、すべての開発者と企業が、データのプライバシーと安全性を維持しながら、世界をリードする自然言語処理 (NLP) テクノロジーを備えた素晴らしい製品を構築できるよう支援しています。

    Cohere は、すべての企業が言語 AI の力を利用して、自然で直感的な態様で情報を探索、生成、検索し、それに基づいて行動できるようサポートし、それぞれのお客様にとって最適なデータ環境で複数のクラウドプラットフォームにデプロイする点で業界をリードしています。NVIDIA H100 を搭載した Amazon EC2 P5 インスタンスは、そのコンピューティング能力を Cohere の最先端の LLM 機能や生成 AI 機能と組み合わせることで、企業がより迅速に創造、成長、スケールする能力を解き放ちます。

    Cohere、CEO、Aidan Gomez 氏

  • Hugging Face

    Hugging Face のミッションは、良質な ML を民主化することです。

    ML のオープンソースコミュニティとして急成長している当社は現在、NLP、コンピュータビジョン、生物学、強化学習などのプラットフォーム上で、150,000 超の事前トレーニング済みモデルと 25,000 超のデータセットを提供しています。LLM と生成系 AI が大幅に進歩した今、私たちは AWS と協働して明日のオープンソースモデルを構築し、提供しています。Amazon SageMaker を介して、EFA を備えた UltraClusters で Amazon EC2 P5 インスタンスを大規模に使用し、すべてのユーザーのために新しい基盤 AI モデルの配信を加速できることを楽しみにしています。

    Hugging Face、CTO 兼共同創設者、Julien Chaumond 氏

製品の詳細

インスタンスサイズ vCPU インスタンスメモリ (TiB) GPU   GPU メモリ ネットワーク帯域幅 (Gbps) GPUDirect RDMA GPU ピアツーピア インスタンスストレージ (TB) EBS 帯域幅 (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 3,200 Gbps EFA はい 900 GB/秒 NVSwitch 8 x 3.84 NVMe SSD 80
p5e.48xlarge 192 2 8 H200 1,128 GB
HBM3e		 3,200 Gbps EFA はい 900 GB/秒 NVSwitch 8 x 3.84 NVMe SSD 80
p5en.48xlarge 192 2 8 H200 1128 GB HBM3e 3,200 Gbps EFA はい 900 GB/秒 NVSwitch 8 x 3.84 NVMe SSD 100

ML の開始方法のユースケース

SageMaker は、ML モデルを構築、トレーニング、およびデプロイするためのフルマネージドサービスです。SageMaker HyperPod を使用すると、設定を気にすることなく、クラスターの回復力のあるトレーニングを管理することなく、数十、数百、数千の GPU に簡単にスケールし、あらゆる規模でモデルを迅速にトレーニングできます。

DLAMI は、その規模を問わず、クラウドで DL を加速するためのインフラストラクチャとツールを ML の実践者と研究者に提供します。 Deep Learning Containers は、深層学習フレームワークがプリインストールされた Docker イメージであり、環境の構築と最適化をゼロから行う複雑なプロセスをスキップして、カスタム ML 環境のデプロイを合理化します。

コンテナオーケストレーションサービスを通じて独自のコンテナ化されたワークロードを管理したい場合は、Amazon EKS または Amazon ECS を利用して P5、P5e および P5en インスタンスをデプロイできます。

HPC の開始方法のユースケース

P5、P5e、および P5en インスタンスは、エンジニアリングシミュレーション、金融工学、地震分析、分子モデリング、ゲノミクス、レンダリング、および他の GPU ベースの HPC ワークロードを実行するための理想的なプラットフォームです。HPC アプリケーションでは、通常、高いネットワークパフォーマンス、高速ストレージ、大容量メモリ、高いコンピューティング性能が必要になります。3 つのインスタンスタイプはすべて、Message Passing Interface (MPI) を使用する HPC アプリケーションを数千の GPU に拡張できるようにする EFA をサポートしています。AWS Batch と AWS ParallelCluster により、HPC デベロッパーは分散型 HPC アプリケーションを迅速に構築およびスケールできます。

詳細を確認する