AWS 認定インストラクターと学ぶストレージの基本

AWS を学習すると、様々なストレージサービスの機能や特徴について知ることになります。しかしストレージの前提知識が少ないと、これらの理解が難しいと感じる方も多いのではないでしょうか ?

ストレージは、私たちが普段情報処理を行う上であまり意識せずとも使えますが、仕組みについて理解しておくことは重要です。

この記事ではストレージとは何なのか、どのような仕組みでデータを保存するのかという前提知識となる内容について掘り下げていきます。

• ストレージの基本について知りたい人
  

• ストレージを身近なものとしてイメージできるようになること
• 3 つのストレージタイプについて知ること

各種ストレージサービスの詳細については言及しませんので、参考情報で紹介しているリンク先を用いて理解を深めてください！

実際にデータを保存するためには物理デバイスが必要となりますが、どのようなものがあるか列挙してみます。

• Hard Disk Drive (HDD)
• Solid State Drive (SSD)
• USB フラッシュドライブ
• CD/DVD/Blu-ray
• 磁気テープ
• SD カード

それぞれ画像検索してみていただくと、どのような物理デバイスか確認できます。これらの物理デバイスにデータを保存します。

次の処理が行われています。

1. 画像を右クリックして、「画像を保存」をクリック
2. アプリケーションが OS に対して、画像を保存するよう依頼
3. OS がファイルシステムに対して、保存するよう依頼
4. ファイルシステムが、メタデータとファイルデータを保存

1. 物理デバイス上の空き領域を検索
2. 画像データを決められたブロック (例：4 KB) に分割
3. ファイル位置情報とメタデータの記録 (I ノードや MFT など)
4. 非同期でのデータの書き込み

※ ファイルシステムによって分割するブロックの大きさが異なります。
※ メモリの動作や整合性確認・キャッシュへの書き込み・ジャーナリング処理などは割愛しています。

知らず知らずのうちに使っているコンピュータですが、画像一つの保存についても上記のような複雑な処理が行われています。

おまけ：データの最小単位と保存について

さらに細かい話をすると、データは最終的に「0」と「1」で表現されます。単位を ビット と言います。フラッシュメモリでは電子の有無でデータが記録されます。電子を持つ状態は「0」と、持たない状態は「1」となります。 

例えば 256KB の画像データは最終的には 2,048,000 ビット、つまり約 200 万もの「0」「1」で構成されていることになります。4 KB ずつのブロックに分割すると 64 ブロックに分かれて保存されることになり、1 ブロックにつき 32,768 ビットとして保存されます。

ここまでで用語がいくつか出てきたので補足しておきます。それぞれ意味を理解してからもう一度流れを読んでみてください。

データが保存されるまでの流れについてイメージをつかめましたでしょうか ?

ファイルシステムはコンピュータのデータ管理と保存を行うソフトウェアです。
Windows だと NT File System (NTFS) が、Ubuntu 22.04 だと Fourth Extended File System (Ext4) が標準のファイルシステムとして搭載されています。

主な機能としては次の通りです。

• ファイルの保存
• 階層構造でのデータ管理
• メタデータ管理
• アクセス制御
• フォーマット

一般的な OS にはファイルシステムが含まれており、データ保存の際には先ほど説明した処理が行われています。

ファイルシステムにもたくさんの種類があります。興味のある方は調べてみてください。

AWS を学習する際には、次の 3 つのストレージが紹介されます。

• ブロックストレージ
• ファイルストレージ
• オブジェクトストレージ

どのストレージを使用しても、最終的には物理デバイスに保存されます。ただし、私たち利用者から見た時のデータの持ち方が異なります。

重要なポイントなので、改めて記載しますと、「利用者から見た際のデータの保管技術が異なる」ということです。

クラウドでは、それぞれが「サービス」として提供されているので、それぞれのストレージモデルに親和性の高い接続方法を利用して、そのストレージサービスを使用することになります。

早見表をまずは掲載します。

各種ストレージについてはこの後、順を追って見ていきます

AWS による、比較のページは以下です。
https://aws.amazon.com/jp/compare/the-difference-between-block-file-object-storage/

AWS において、上述の 3 つのストレージモデルのうち、具体例として Amazon Elastic Block Store (Amazon EBS), Amazon Elastic File System (Amazon EFS), Amazon Simple Storage Service (Amazon S3) を使用した場合を並べた概念図は次のとおりです。

ブロックストレージは物理デバイス (HDD や SSD) をはじめ、仮想化環境やクラウドサービスで提供されます。他のストレージ方式と比較してデータアクセスの効率が良いため、高性能・低レイテンシーという特徴があり、データベースやトランザクション処理に適しています。

手元のパーソナルコンピュータ (PC) では、マザーボードなどと呼ばれる基盤に SSD などの物理デバイスを接続して利用できるようになっており、これもブロックストレージの一つです。業務用コンピュータなどにおいては、利用者が個人で利用するコンピュータに比べて相対的に役割が多くなりますので、ストレージ装置自体が大きくなることは自然です。そのため、次のようなブロックストレージ接続技術が用いられることがあります。

• Storage Area Network (SAN)
• 複数のサーバーとストレージ装置を高速なネットワークで接続するモデル
• Direct Attached Storage (DAS)
• サーバーに直接ストレージを接続するモデル

AWS では 2 つのサービスでブロックストレージを提供しています。

• Amazon EBS
• インスタンスストア

Amazon EBS は、1 つの Amazon EC2 インスタンスにアタッチ (接続する概念に相当)できる、耐久性に優れたブロックレベルのストレージボリュームです。EC2 インスタンスを起動する際に指定するブートデバイスのブロックデバイスも EBS ボリュームですし、データ格納用のデバイスとして追加の EBS ボリュームをアタッチすることもあります。

特徴は次の通りです。

• EC2 インスタンスにアタッチして利用できますので、さまざまなワークロードで使用可能です。
• 異なる EC2 インスタンスへの付け外しが可能です。

インスタンスストアとは、EC2 インスタンスのための一時的なブロックレベルのストレージです。このストレージは、EC2 インスタンスのホストコンピュータに物理的にアタッチされているディスクによって提供されています。

特徴は次の通りです。

•  揮発性のあるストレージなので、データの永続化には使用できません。
• バッファ、キャッシュ、その他の一時コンテンツなど一時的なデータを格納するストレージとして使用できます。
• レイテンシーは小さいので性能重視した一時領域として利用可能です。

すべてのインスタンスタイプでサポートされているわけではありません。

詳細は「Amazon EC2 インスタンスタイプ」に記述されています。以下赤枠で囲った箇所で対応の有無が確認できます。NVMe SSD がインスタンスストアとして使用可能です。

ファイルサーバーはファイルストレージの一種です。主な用途としては以下があります。

• 共有ファイルサーバー
• ドキュメント管理システム
• メディアファイル（写真、動画）の保存
• バックアップストレージ
• コンテナ用ストレージ

AWSにおけるマネージドサービスとしてのファイルストレージには、Amazon Elastic File System (Amazon EFS) と Amazon FSx の二種類があります。

Amazon EFS は、必要な容量について伸縮自在な NFS　のファイルストレージです。ストレージ容量とパフォーマンスをプロビジョニングまたは管理しなくても従量課金の考え方でファイルデータを共有して使うことができます。Amazon EFS 自体が、ファイルストレージインフラストラクチャを管理するため、複雑なデプロイ、パッチ適用、および複雑なファイルシステム設定の保守を利用者が行う必要がありません。

一方の、Amazon FSx は、機能豊富で高性能なファイルシステム技術について、クラウド上での起動、実行およびスケーリングを簡単かつコスト効率の高いものにするマネージドサービスです。NetApp ONTAP, OpenZFS, Windows File Server　および　Lustre　の　4　つから選んで利用します。ハードウェアのプロビジョニング、パッチ適用、バックアップがマネージドサービスとして提供されますので、利用者は、アプリケーション、エンドユーザー、ビジネスに専念することができます。Amazon EFS　との違いは、パフォーマンスのプロビジョニングを意識してコンフィグレーションするところ、および、データ保護やプロトコルなど選択したファイルシステム技術固有の機能を活用できることです。

以下は　Amazon EFS　の利用イメージです。共有ファイルシステムとして使用できます。

Amazon EFS　については、AWS Black Belt の動画 がわかりやすいので視聴してみてください。

ファイルストレージの選び方については AWS ファイルストレージサービスの選び方 をご参照ください。

ユースケースとしては以下です。

• 大容量の非構造化データ （画像、動画、ログファイルなど） の保存
• バックアップとアーカイブ
• クラウドネイティブアプリケーションのデータストア

AWS では Amazon S3 というサービスでオブジェクトストレージが提供されています。

Amazon S3 は、スケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するフルマネージドサービスです。

あらゆる規模や業界のお客様が、データレイク、ウェブサイト、モバイルアプリケーション、バックアップおよび復元、アーカイブ、エンタープライズアプリケーション、IoT デバイス、ビッグデータ分析など、広範なユースケースで利用し、データの容量にかかわらず、保存し、そして保護することができます。

サーバーレスのため、容量管理などは一切不要でストレージを使用可能です。

インターフェース上、階層構造を持っているように見えますが、Prefix というものです。実際のデータは階層構造で保存されません。

利用イメージは以下の通りです。

Amazon S3 の入門動画については、AWS Black Belt がわかりやすいので、是非視聴してみてください。

また AWS Summit 2024 にて Dive deep という、裏側の仕組みなど詳しく解説したセッションがあります。  記事公開時点では 動画 も 資料 も公開されているので興味のある方は見てみてください！

今回はあまり AWS の各ストレージサービスには取り扱いしていませんでした。まずはストレージについて理解を深めていただければ嬉しいです。

再度 AWS における 3 つのストレージサービスモデルのうち、Amazon EBS, Amazon EFS, Amazon S3 を使用した概念図を掲載しておきます。

この次のステップとしては、それぞれのストレージについて理解を深め、さらに状況に応じて、適切にストレージを使い分けできるようになっていくことを目標にしていただければと思います。