Amazon FSx for Lustre は、コンピューティングワークロード用に、高コスト効率かつ高性能でスケーラブルなストレージを提供するフルマネージドサービスです。世界で最も人気のあるハイパフォーマンスファイルシステムである Lustre を搭載した FSx for Lustre は、レイテンシーがミリ秒未満の共有ストレージ、1 秒間に最大でテラバイトのスループット、百万単位の IOPS を提供します。FSx for Lustre ファイルシステムは、Amazon Simple Storage Service (S3) バケットとリンクさせることもできます。それにより、高性能ファイルシステムと S3 API 両方からのデータに同時にアクセスして処理することが可能です。
Amazon FSx for Lustre のファイルシステムは、毎秒テラバイト単位のスループットと、数百万単位の IOPS までスケールできます。FSx for Lustre は、数千のコンピューティングインスタンスからの同じファイルまたはディレクトリへの同時アクセスをサポートしています。FSx for Lustre では、一貫した低レイテンシーでファイル操作を行えます。
Luster オープンソースファイルシステムは、増え続ける世界のデータセットを迅速かつ安価に処理するという課題を解決するために構築されたもので、世界で最も高速な 500 台のコンピュータで最も広く使用されているファイルシステムです。エネルギーから生命科学、メディア制作、金融サービスまで、幅広い業界でテストされており、ゲノム配列決定からビデオのトランスコーディング、機械学習、詐欺行為の検出まで、さまざまなワークロードに対応しています。
ファイルデータにアクセスする際の平均ファーストバイトレイテンシーは、SSD ベースのファイルシステムではミリ秒未満、HDD ベースのファイルシステムでは 1 桁ミリ秒です。
すべての Amazon FSx for Lustre ファイルシステムは、デプロイタイプ、ストレージタイプ、スループット性能レベルを問わず、低レイテンシーの SSD ストレージを搭載したメタデータサーバーによってサポートされています。SSD ベースのメタデータサーバーにより、ファイルシステム操作の大部分を占めるすべてのメタデータ操作が、ミリ秒未満のレイテンシーで実行できます。
FSx for Lustre は、Amazon Linux、Red Hat Enterprise Linux (RHEL)、CentOS、Ubuntu、SUSE Linux など、ほとんどの一般的な Linux ベースの AMI に対応しています。
Amazon FSx for Lustre は Amazon S3 とネイティブに統合されているため、S3 データに簡単にアクセスしてデータ処理ワークロードを実行できます。
Amazon FSx コンソールを数回クリックするだけで、1 つ以上の S3 バケットにリンクされたファイルシステムを作成できます。S3 バケットをファイルシステムにリンクさせると、FSx for Lustre は S3 オブジェクトをファイルとして透過的に表示します。これにより結果を S3 に書き込むことができます。リンクされたファイルシステムは、オブジェクトが S3 バケットに追加、変更、または削除されると自動的に更新されます。FSx for Lustre はまた、ファイルシステムの変更を自動的に追跡し、ファイルが追加、変更、または削除されたときに S3 バケットを最新の状態に保ちます。FSx for Lustre は、並列データ転送技術を使用してデータを S3 にエクスポートし、高速データ転送を可能にします。
Amazon FSx for Lustre には、Amazon EC2 インスタンスまたはオンプレミスのコンピュータ/サーバーで実行されているワークロードからアクセスできます。マウントが完了すると、ローカルファイルシステム内と同じように、ファイルシステムでファイルやディレクトリを操作できるようになります。FSx for Lustre ファイルシステムには、Amazon Elastic Kubernetes Service (EKS) で稼働しているコンテナからもアクセスできます。
Amazon FSx for Lustre は、入力データソースとして Amazon Sagemaker と統合されています。Amazon SageMaker を Amazon FSx for Lustre と併用する場合、S3 からの最初のダウンロード手順が排除されるため機械学習トレーニングジョブがスピードアップします。同じデータセットの反復ジョブで共通のオブジェクトの繰り返しダウンロード (S3 リクエストコストの節約) を回避することで、TCO が削減されます。
Amazon FSx for Lustre は、EC2 Launch Templates を介して AWS Batch と統合します。AWS Batch は、HPC、機械学習、およびその他の非同期ワークロード向けのクラウドネイティブバッチスケジューラです。AWS Batch は、ジョブリソース要件に合わせて自動的かつ動的にインスタンスのサイズを調整し、インスタンスを起動してジョブを実行するときに既存の FSx for Lustre ファイルシステムに使用します。
FSx for Lustre も AWS ParallelCluster と統合されます。AWS ParallelCluster は、AWS がサポートするオープンソースのクラスター管理ツールで、ハイパフォーマンスコンピューティング (HPC) クラスターのデプロイと管理に使用されます。クラスター作成プロセス中、FSx for Lustre ファイルシステムを自動的に作成するか、既存のファイルシステムを使用できます。
Amazon FSx コンソールで数回クリックし、または CLI や API を使用し、高性能の Lustre ファイルシステムを作成してスケーリングできます。Amazon FSx ファイルシステムにより、ファイルサーバーとストレージボリュームの管理、ハードウェアの更新、ソフトウェアの設定、容量不足やパフォーマンスの調整について心配する必要はありません。Amazon FSx がこれらの時間の要する管理タスクを自動化します。
FSx for Lustre では、スクラッチファイルシステムと永続的なファイルシステムのいずれかを選択し、短期および長期のデータを処理できます。スクラッチファイルシステムは、データの一時的な保存と短期的な処理に最適です。データはレプリケートされず、ファイルサーバーに障害が発生すると保持されません。永続的なファイルシステムは、長期的なストレージとワークロードに最適です。永続的なファイルシステムでは、データがレプリケートされ、障害が発生するとファイルサーバーが置き換えられます。
永続的ファイルシステムのデータ保護を強化し、ビジネスや規制コンプライアンス要件を満たすために、Amazon FSx はファイルシステムの増分バックアップを自動的に取ることもできます。バックアップは、99.9999999999% (イレブンナイン) の耐久性で Amazon S3 に保存されます。
FSx for Lustre では、SSD (ソリッドステートディスク) と HDD (ハードディスクドライブ) のストレージオプションが用意されており、ワークロードのコストとパフォーマンスを最適化できます。一般的に小規模でランダムなファイル操作を特徴とする、低レイテンシーワークロードや、IOPS 負荷の高いワークロードでは、SSD ストレージオプションのいずれかを選択できます。通常、大規模で連続したファイル操作を特徴とする、高いスループットを必要とするワークロードでは、HDD ストレージオプションのいずれかを選択します。
HDD ベースのファイルシステムを選択する場合は、SSD キャッシュをプロビジョニングすることで、アクセス頻度の高いファイルに対してミリ秒未満のレイテンシーと高い IOPS を得ることができます。
ストレージクォータを使用すれば、ファイルシステムでのユーザーレベルおよびグループレベルのストレージ消費をモニタリングおよび制御して、ユーザーまたはグループが過剰な容量を消費できないようにすることができます。ストレージクォータは、複数のユーザー、チームまたはプロジェクトに対応している、ファイルシステムを管理するストレージ管理者を対象としています。
データ圧縮を使用して、ファイルシステムストレージとファイルシステムバックアップの両方のストレージ消費量を削減できます。データ圧縮機能は、ファイルシステムのパフォーマンスに悪影響を与えることなく高レベルの圧縮を提供するように最適化された LZ4 圧縮アルゴリズムを使用します。データ圧縮を有効にすると、新しく書き込まれたファイルはディスクに書き込まれる前に FSx for Lustre によって自動的に圧縮され、読み取り時に自動的に圧縮解除されます。
使用可能なストレージ容量を最適化するために、ファイルを Amazon S3 にエクスポートした後に、使用頻度の低いデータをファイルシステムから解放できます。ファイルがリリースされると、ファイルデータはファイルシステムから削除され (S3 に保持)、メタデータはファイルシステムに残ります。ユーザーまたはアプリケーションがリリースされたファイルにアクセスすると、データは S3 バケットからファイルシステムに自動的かつ透過的にロードされます。
すべての Amazon FSx for Lustre ファイルシステムは、保管時の暗号化を使用しています。また、一部のリージョンでは、転送中の暗号化をご利用いただけます。
AWS のコンプライアンスプログラムはクラウドで最も長く実行されており、AWS はコンプライアンス要件を満たせるようお客様を支援することを固く決意しております。Amazon FSx は、世界および業界のセキュリティ基準に適合していると評価されています。PCI DSS、ISO 9001、27001、27017、27018)、SOC 1、2、3 に適合しており、さらに HIPAA 対応です。詳細とリソースについては、コンプライアンスページを参照してください。また、コンプライアンスプログラムによる対象範囲内のサービスのページにアクセスして、サービスおよび認定の詳細な一覧をご覧いただけます。
Amazon VPC のエンドポイントから Amazon FSx ファイルシステムにアクセスすることにより、ファイルシステムを独自の仮想ネットワークに分離することができます。セキュリティグループルールを設定し、Amazon FSx ファイルシステムへのネットワークアクセスを制御できます。
Amazon FSx は AWS Identity and Access Management (IAM) に統合されています。この統合により、AWS IAM ユーザーおよびグループがファイルシステムを管理するために実行できるアクション (ファイルシステムの作成や削除など) を制御できるようになります。Amazon FSx リソースにタグを付け、それらのタグに基づいて IAM ユーザーとグループが実行できるアクションを制御することもできます。
Amazon FSx は AWS Backup と統合されており、Amazon FSx ファイルシステムのフルマネージド型ポリシーベースのバックアップおよび復元機能を有効にします。AWS Backup との統合により、顧客データを保護し、ビジネス継続性を目的として AWS のサービス全体のコンプライアンスを確保できます。
データ保護の追加レイヤーを提供し、ビジネス継続性、災害復旧、コンプライアンスの要件を満たすために、Amazon FSx ファイルシステムのバックアップを AWS リージョン、AWS アカウント、またはその両方にコピーできます。