Amazon Web Services ブログ
FSx for OpenZFS 向けの新しいストレージクラスである Amazon FSx Intelligent-Tiering の発表
大量のオンプレミスデータを AWS に移行することを計画しているお客様と話すと、ストレージ管理を簡素化し、コストを削減し、データにアクセスしやすすることで、分析、機械学習トレーニング、ゲノミクス、その他のユースケースに使用できるようにしたいという声を耳にします。お客様は既にオンプレミスで Network Attached Storage (NAS) を使用しており、ポイントインタイムスナップショット、データクローン、ユーザー管理などの同様の機能を提供するクラウドベースのアップグレードを探しています。
Amdocs、Vela Games、Astera Labs などの AWS のお客様は、データベース、ゲーム開発とストリーミング、半導体チップの設計など、ミッションクリティカルでパフォーマンス重視の NAS ワークロードを、Amazon FSx for OpenZFS で実行してきました。お客様はこのようなワークロードで必要となる予測可能で高いパフォーマンスを実現するために、FSx で既存の SSD ストレージクラスを使用しています。しかし、HDD ベースまたはハイブリッド SSD/HDD ベースの NAS ストレージに大量のデータセットをオンプレミスで保存しているお客様の多くは、データセットをすべて SSD のストレージに移行するにはコストがかかりすぎると感じています。さらに、これらのお客様は、予測できないデータセットのためにプロビジョニングされたストレージをオンプレミスで管理し、スベースが足りなくなるのを回避することがますます困難になり、コストも高くなっていることに気づいています。また、次のモデルを構築し、投資戦略を策定し、製品を生産する際に将来価値をもたらしてくれる可能性があるため、NAS データをより長期間保管しています。しかし、そのためには、コストを最適化するために、アクセスパターンの監視とホットストレージメディアとコールドストレージメディア間のデータ移動により多くの時間と労力を費やす必要があります。
FSx Intelligent-Tiering
これらすべてを考慮した上で、新しい Amazon FSx Intelligent-Tiering ストレージクラスをご紹介できることを嬉しく思います。同ストレージクラスは、Amazon FSx for OpenZFS ファイルシステムで本日よりご利用いただけます。新しいストレージクラスは、既存の SSD ストレージクラスよりも 85% 低料金で、従来の HDD ベースのオンプレミスでのデプロイよりも 20% 低料金で、NAS データセットに完全な伸縮性とインテリジェントな階層化をもたらします。
データを 3 つのストレージ階層 (頻繁なアクセス、低頻度アクセス、アーカイブ) 間で移動できるため、初期費用や契約なしで自動的にコストを削減できます。階層の仕組みは次のとおりです。
高頻度アクセス – 過去 30 日以内にアクセスがあったデータはこの階層に保存されます。
低頻度アクセス – 30～90 日間アクセスがなかったデータはこの階層に保存され、高頻度アクセスと比較して 44% のコスト削減になります。
アーカイブ – 90 日以上アクセスがなかったデータはこの階層に保存され、低頻度アクセスと比較して 65% のコスト削減になります。
ストレージ階層に関係なく、データは冗長性と可用性を考慮して複数の AWS アベイラビリティーゾーン (AZ) に保存され、ミリ秒単位ですぐに取得できます。
ストレージを管理したり事前にプロビジョニングしたりする必要がないため、このストレージクラスは、ストレージ要件が数日または数週間で大幅に変化する可能性のあるゲノミクス、金融データ分析、地震画像分析、機械学習などのユースケースに最適です。
コスト削減の可能性に加えて、ストレージクラスに関係なく各 OpenZFS ファイルシステムで最大 40 万 IOPS と 20 GB/秒のスループットという高いパフォーマンスを実現でき、すべてのデータで最初の1 バイトを受信するまでの時間が数十ミリ秒しかかかりません。SSD ベースの読み取りキャッシュ (64 GiB～512 TiB) を設定して、キャッシュされたデータについて最初の 1 バイトを受信するまでの時間を 10 分の 1 から 100 分の 1 に短縮することもできます。
ファイルシステムの作成
AWS マネジメントコンソール、CLI、API、または AWS CloudFormation を使用してファイルシステムを作成できます。コンソールから [Create file system] (ファイルシステムを作成) をクリックして開始します。
Amazon FSx for OpenZFS を選択し、[Next] (次へ) をクリックします。
次に、ファイルシステムの名前 (jeff_fsx_openzfs_1) を入力し、Intelligent-Tiering ストレージクラスを選択します。希望するスループットキャパシティを選択し、リードキャッシュの 3 つのサイズ設定オプションのうちの 1 つを選択し、[Next] (次へ) をクリックして選択内容を確定し、ファイルシステムを作成します。
数分で準備が整い、EC2 インスタンスに NFS をマウントできます。
代表的なワークロードをしばらく実行したら、メトリクスを確認してファイルシステムのパフォーマンスをレビューできます。
スループットは十分にあるようですが、読み取りキャッシュが必要以上に大きい可能性があります。自動プロビジョニングモードで作成し、3200 GiB のキャッシュを割り当てました。数回クリックするだけでそれを変更できます (そしていくらかお金を節約できます)。
必要に応じてスループットキャパシティを変更することもできます。
Amazon FSx NAS の機能と属性
FSx for OpenZFS と FSx Intelligent-Tiering ストレージクラスが NAS レベルのストレージニーズに最適な理由となる機能のいくつかを簡単に見てみましょう。
組み込みバックアップ – Amazon FSx は、指定されたバックアップウィンドウ中に各ファイルシステムのバックアップを毎日自動的に作成し、指定された保持期間中保持します。バックアップはファイルシステムの整合性が高く、耐久性が高く、差分で行われます。また、自分でバックアップを作成し、必要なだけ保持することもできます。
ポイントインタイムスナップショット – OpenZFS ボリュームの読み取り専用イメージをいつでも作成できます。スナップショットはファイルシステム内に保存され、ストレージを消費します。ボリュームの復元、個々のファイルおよびフォルダの復元、またはクローンまたはフルコピーとしての新しいボリュームの作成に使用できます。
レプリケーション – OpenZFS ボリュームのポイントインタイムビューを、ファイルシステム、AWS リージョン、AWS アカウントの別のボリュームにレプリケートできます。FSx はバックグラウンドで ZFS の送受信テクノロジーを使用してこのレプリケーションを実行し、ファイルシステム間のネットワーク接続を自動的に確立して維持し、中断を処理して必要に応じてデータ転送を再開します。
データ圧縮 – OpenZFS ボリュームで ZSTD または LZ4 圧縮を有効にして、ストレージコストを削減し、データ転送を高速化できます。
ユーザーとボリュームのクォータ – 個々のボリュームまたはユーザーが消費するストレージの量を制限できます。
知っておくべきこと
最後に、留意することがいくつかあります。
リージョン – この新しいストレージクラスは、米国東部 (オハイオ、バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ、シンガポール、シドニー、東京)、カナダ (中部)、および欧州 (フランクフルト、アイルランド) の各 AWS リージョンでご利用いただけます。
料金 – 料金は、消費されたプライマリストレージの量 (GB/月) とプロビジョニングされた読み取りキャッシュの量 (GB/月) に基づいて発生します。詳細については、Amazon FSx for OpenZFS の料金ページを参照してください。
– Jeff;
原文はこちらです。