Amazon S3 Instant Retrieval はどのようにコンテンツライブラリのサプライチェーンを単純化することができるか？

変動するニーズに応じてリソースを拡張し、ストレージコストを最適化することを可能にするため、世界中のメディア組織は幅広いコンテンツライブラリを保存するために Amazon Simple Storage Service (Amazon S3) を使います。AWS は re:Invent 2021 で、ミリ秒での取り出しが求められて、頻繁にはアクセスしないデータを最も低いコストで長期保存できる Amazon S3 Glacier Instant Retrieval アーカイブストレージクラスのサービスを開始しました。これ は、特にニュースやスポーツ、コンテンツ制作の分野で、コンテンツアーカイブの利用方法を単純化します。

拡大し続けるメディアアーカイブを最適化することでの挑戦

ニュースやスポーツを扱う組織では、過去のスポーツイベントからのハイライト、元政府高官のスピーチのクリップ、歴史的に重要な記念日のクリップなど、過去の偉業を称え、歴史と現在のイベントをつなぐストーリーを作成するために、日々何百ものコンテンツを復元しています。大統領の再選に向けた出馬意向、偉大な人物の訃報、スポーツ選手の引退の意向などのニュース速報があると、報道機関はイベントの数分以内もしくは放送中に、膨大なクリップから人を引きつけ、かつ意味のあるストーリーをキュレートするために限られた時間をやりくりします。

数百ペタバイトのデータに到達しているこれらのアーカイブデータには、数十年分のコンテンツが存在しています。Amazon S3 は使いやすい管理機能と、データを構造化してコストを最適化する費用対効果の高い複数のストレージクラスのために、ストレージとして選ばれるようになりました。例えば、S3 Glacier Deep Archive ストレージクラスは クラウドにおいて最も低いコストのストレージを提供し、オンプレミスの磁気テープライブラリやオフサイトでアーカイブデータを保存し管理するよりも価格面でコストを大幅に削減できます。さらに、さまざまな取り出しのニーズに適しながら、コストを抑えるために、S3 Glacier Flexible Retrieval ストレージクラス (以前の S3 Glacier) は数分から数時間の幅でデータにアクセスする 3 つの選択肢を提供します。ただ、コンテンツライブラリのサプライチェーンにおいてはコストが全てというわけではありません。ニュースやスポーツを扱うメディア組織にとっては、パフォーマンスや可用性、データの耐障害性もまた同等に重要な要素です。

今までは、メディア組織は、特定のコンテンツにミリ秒単位の取り出しが必要な場合には S3 Standard-Infrequent Access (S3 Standard-IA) ストレージクラスを選ぶか、もしくは数分から数時間の長い取り出し時間がかかるけれどもコストの低い S3 Glacier Flexible Retrieval ストレージクラスのいずれかを選択しなければなりませんでした。たとえば、プロデューサーや編集者は、特定の時間に配信される予定のアセットや特定の被許諾者向けに配信される予定のアセットなど、特定のコンテンツ (例えば、エピソードコンテンツや記念日の回想シーン) にアクセスするのを待つことができます。このような場合、顧客は迅速な取り出しが必要なく、さらにコストを最適化できるので S3 Glacier Flexible Retrieval ストレージクラスもしくは S3 Glacier Deep Archive ストレージクラスを選択します。しかし、ニュース記事を最初に報告することが最も重要である場合、コンテンツには、ストレージへのより高速なアクセスが求められることがあります。これらのシナリオでは、通常ストレージに迅速にアクセスしたり、プロキシを使用してサプライチェーンを最適化したりするために、よりコストの高い S3 Standard-IA ストレージクラスを選択します。S3 Standard-IA は、データへのアクセスを 1 ~ 2 ヶ月に 1 回程度計画している場合に理想的なストレージクラスです。

プロキシは品質を落としており、したがって、基本的な編集やスクリーニングのニーズをサポートすることができるオリジナルコンテンツ (元素材) のはるかに小さいレンディションです。顧客は S3 Glacier Flexible Retrieval へアーカイブされる、より品質が高いバージョンとともに、S3 Standard か S3 Standard-IA に保存されるオリジナルメザニンファイルのプロキシを生成するために、AWS Elemental MediaConvert を使用します。これは次のようになります：

図 １: メディア組織は、コンテンツ取り組みワークフローの一部としてプロキシを生成するサーバーレス ワークフローを開発することがよくあります

回避策は、プロデューサーや編集者に、1 ~ 5 分でコンテンツを復元できる S3 Glacier Flexible Retrieval の迅速取り出しを利用することで、特定のニュース記事に必要なフル解像度のメディアファイルのみを取得しながら、遅滞することなくビデオセグメントをキュレーションするための権限を与えることです。S3 Glacier Flexible Retrieval での迅速取り出しは、リクエストの回数と返されるデータの GB あたりの容量に応じて追加の費用で利用可能です。ワークロードが、データのサブセットへ数分以内に高い信頼性と予測可能なアクセスを必要とする場合、顧客はプロビジョニングされたキャパシティユニットを迅速取り出しとともに利用することもできます。しかしながら、ニュース速報をカバーするような状況では、報道デスクのプロデューサーや編集者は、クリップを集めストーリーを組み立てるために、より迅速にコンテンツライブラリにアクセスできることを求めます。これらのユースケースでは、顧客がオペレーションとコストを最適化する方法を見つけるために“隅々まで確認する”ように、スピードと俊敏性は本質的です。

Amazon S3 Glacier Instant Retrievalでのストレージコストの最適化

まとめると、メディア組織では、データはすぐにアクセスされなければならないですが、年に数回しかアクセスされない場所へ、ペタバイト級のアーカイブデータを長期にわたり保存しています。これらの組織の多くはデータプロファイルが非常に似ていて、コンテンツライブラリは数ペタバイトで構成されるほど容量が大きく、永続的に保存されますが、アクセスされる割合はごくわずかで、せいぜい年に数回しかアクセスされません。また、ニュース速報サイクルのイベントにおいて、メディア組織では編集者やニュース編集室が迅速に対応できるように、特定のコンテンツに素早くアクセスできることが求められます。

S3 Glacier Instant Retrieval のサービス開始によって、メディアの顧客は、簡潔にコンテンツへのアクセスするための機能を維持しながら、稀にアクセスがあるコンテンツを長期間保存するときに、ストレージコストを低く抑えることができます。現在 S3 Standard-IA を使っている顧客は S3 Glacier Instant Retrieval を使うことによって、取り出しコストの増加と引き換えにストレージコストを最大 68% 節約することができます。顧客は、さまざまなアクセスパターンと保存期間に合わせて 3 つの S3 Glacier アーカイブストレージクラスの中から最適なものを選択することができます。配信する際に、数分から数時間の取り出しを許容される、例えば公開用の長編映画の最終版やエピソードコンテンツなどのような特定のコンテンツでは、メディア組織は、クラウドで最もコストの低いストレージであるため S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスを利用し続けるべきです。S3 のアーカイブストレージクラスはすべて、物理的に離れた最低 3 つの AWS アベイラビリティゾーンにまたがってデータを冗長的に格納することで、99.999999999% (11 9s) の耐久性になるように設計されています。

おわりに

Amazon S3 Glacier Instant Retrieval を利用することで、継続的に増加するコンテンツライブラリに対して、ミリ秒単位での取り出しを最も低いストレージコストで実現することができます。S3 Glacier Instant Retrieval は S3 のコンソールからわずか数クリックでスタートさせることができます。 Amazon S3 API や AWS Command Line Interface (CLI) から直接 S3 Glacier Instant Retrieval にデータをアップロードすることもできますし、または、S3 ライフサイクルを使って S3 Standard や S3 Standard-IA ストレージクラスから S3 Glacier Instant Retrieval へデータを移すこともできます。

より詳しく S3 Glacier Instant Retrieval について知りたい方は、AWS ブログ記事、ストレージクラスの Web ページ、Amazon S3 開発者ガイドを参照してください。

ご意見やご質問等ありましたら、お気軽にコメント欄にご記入ください。

翻訳は SA 寺山、SA 斎藤が担当しました。原文はこちらをご覧ください。