AWS DataSync の特徴

オンラインデータ転送のために、AWS DataSync は、オンプレミスストレージ、エッジロケーション、または他のクラウドプロバイダーと AWS ストレージサービスの間、および AWS ストレージサービス間で、大量のデータのコピーを簡素化、自動化、および高速化します。DataSync は次との間でデータをコピーできます: Network File System (NFS) 共有、Server Message Block (SMB) 共有、Hadoop 分散ファイルシステム (HDFS)、セルフマネージドオブジェクトストレージ、Google Cloud Storage や Wasabi Cloud Storage などの他のクラウドのオブジェクトストレージ (サポートクラウドの詳細なリストをご覧ください)、Azure Files、Azure Blob Storage (Azure Data Lake Storage Gen2 を含む)、Snowball Edge 上の Amazon S3 互換ストレージ、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS) ファイルシステム、Amazon FSx for Windows File Server ファイルシステム、Amazon FSx for Lustre ファイルシステム、Amazon FSx for OpenZFS ファイルシステム、Amazon FSx for NetApp ONTAP ファイルシステム。

AWS DataSync は、ストレージプロトコルと疎結合化された AWS 設計の転送プロトコルを使用して、データの移動を加速しています。このプロトコルは、どのようにして、いつ、どのようなデータをネットワークを介して送信するかを最適化します。DataSync によって実行されるネットワーク最適化には、インクリメンタル転送、インライン圧縮、スパースファイル検出、ならびにインラインデータ検証や暗号化などがあります。

ローカルの DataSync エージェントとクラウド内のサービスコンポーネント間の接続はマルチスレッド化されており、ワイドエリアネットワーク (WAN) 上のパフォーマンスを最大化します。1 つの DataSync タスクで、オンプレミス環境と AWS 間のネットワークリンクを介して 10 Gbps を完全に利用できます。

DataSync エージェントと DataSync サービス間の転送では、Transport Layer Security (TLS) を使用して、すべてのデータが暗号化されます。DataSync は、Amazon S3 バケットのデフォルトの静止中の暗号化の使用をサポートしています。また、DataSync は、Amazon EFS および Amazon FSx の保管中および転送中のデータの暗号化にも対応しています。

DataSync は、データがそのまま到着することを保証します。転送ごとに、サービスは転送中と休止中の両方で整合性チェックを実行します。こうしたチェックは、転送先に書き込まれたデータが転送元から読み取られたデータと一致することを保証し、一貫性を確認します。

AWS DataSync は、AWS、オンプレミスファイルシステム、その他のクラウドストレージサービス間でデータを移動するのに役立ちます。AWS は、お客様がハイブリッドおよびマルチクラウドのインフラストラクチャとアプリケーションを合理化、管理、制御できるように、クラウドサービスの拡張を続けてきました。マルチクラウド環境で運用しているお客様は、AWS DataSync を使ってさまざまなクラウド上のストレージとの間でデータを移動できるようになりました。Google Cloud Storage、Azure Files、Azure Blob Storage のサポートに加えて、DataSync を使用すると、他のクラウドの S3 互換ストレージと Amazon S3 などの AWS ストレージサービスとの間でオブジェクトデータを大規模に移動できます。これには、とりわけ、Wasabi Cloud、Oracle Cloud、Cloudflare、DigitalOcean Spaces、Backblaze のオブジェクトストレージのサポートが含まれます。

詳細はこちら:

• AWS DataSync を使用して、データが保存されている場所を問わず、マルチクラウドのデータ移動を簡素化する
• AWS DataSync を使用して Google Cloud Storage を Amazon S3 に移行する
• Google Cloud Storage で AWS DataSync 転送を設定する
• Microsoft Azure Blob Storage で AWS DataSync 転送を設定する
• AWS DataSync を使用して Azure Blob Storage を Amazon S3 に移行する
• AWS を使用して Azure Files SMB 共有から AWS にデータを移動する方法
• AWS DataSync を使用して DigitalOcean Spaces を Amazon S3 に移行する
• London Stock Exchange Group が AWS DataSync を使用して 30 PB の市場データを移行した方法
• AWS DataSync を使用した Oracle Cloud Infrastructure Object Storage の Amazon S3 への移行

ホットデータやコールドデータの転送がお客様のビジネスの妨げになることはありません。DataSync は、帯域幅の消費を最適化するための詳細な制御機能を備えています。業務のない時間帯に転送速度を最大 10 Gbps に調整し、他の場所でネットワークの可用性が必要な場合には制限を設定します。

DataSync エージェントは、業界標準の NFS および SMB プロトコルを使用して既存のストレージシステムに接続したり、HDFS クライアントとして Hadoop クラスターに接続したり、または Simple Storage Service (Amazon S3) アプリケーションプログラミングインターフェイス (API) を使用してお使いのセルフマネージドオブジェクトストレージや、Google クラウドストレージ、または Blob API (プレビュー) を使用して Azure Blob Storage に接続します。エージェントはデータをすばやく転送し、指定された Amazon S3 バケット、Amazon EFS ファイルシステム、Amazon FSx for Windows File Server ファイルシステム、または Amazon FSx ファイルシステムに書き込みます。

Simple Storage Service (Amazon S3)、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS、または Amazon FSx for NetApp ONTAP の間でオブジェクトやデータをコピーする際に、ファイルの許可やメタデータが保持されます。

データを Simple Storage Service (Amazon S3) にコピーする場合、DataSync は各ファイルを 1:1 の関係で単一の S3 オブジェクトに自動的に変換し、NFS 共有や HDFS から POSIX メタデータを Simple Storage Service (Amazon S3) オブジェクトメタデータとして保持します。ファイルシステムメタデータを含むオブジェクトをファイル形式にコピーして戻すと、(DataSync が S3 にコピーした) 元のファイルメタデータが復元されます。

DataSync には組み込みのスケジューリングメカニズムが付属しており、データ転送タスクを定期的に実行して、送信元ストレージシステムから送信先への変更を検出してコピーできます。AWS DataSync コンソールまたは AWS コマンドラインインターフェイス (CLI) を使用して、繰り返し転送を管理するスクリプトを作成しなくても、タスクをスケジュールできます。タスクスケジューリングは、設定したスケジュールでタスクを自動的に実行します。AWS コンソールには、毎時、毎日、または毎週のオプションが直接提供されます。

DataSync タスクレポートは、転送、スキップ、検証、削除されたすべてのファイルの概要レポートと詳細レポートを含む JSON 形式の出力ファイルを提供します。これにより、タスク実行ごとのデータ転送オペレーションを簡単に検証および監査できます。タスクレポートは転送タスクの完了後に生成され、Amazon S3 バケットに保存されます。これにより、AWS Glue、Amazon Athena、Amazon QuickSight などの AWS サービスを簡単に使用して、タスクレポート出力を自動的にカタログ化、分析、視覚化して、すべてのタスク実行におけるデータ転送の進行状況を確認できます。タスクレポートは追跡と監査を簡素化し、一般的なタスク実行の傾向や障害パターンのを簡単に理解し、データ転送プロセスに関する重要なインサイトを得ることができます。

Amazon CloudWatch を使用すると、現在進行中の DataSync 転送のステータスを監視し、以前のデータ転送履歴を確認することができます。CloudWatch メトリクスで、コピーされたファイル数とデータの量を確認できます。特定の時間に転送される個々のファイルに関する情報、および DataSync の整合性検証の結果については、CloudWatch Logs を参照してください。これにより、モニタリング、レポート、トラブルシューティングが簡略化され、関係者にタイムリーな更新を提供できます。さらに、転送タスクが完了すると CloudWatch Events がトリガーされ、従属しているワークフローを自動化できます。監査の目的で、DataSync によって実行されたすべてのアクションを記録する AWS CloudTrail を参照することができます。

AWS DataSync Discovery は、オンプレミスストレージのパフォーマンスと使用状況を可視性を高め、Amazon FSx for NetApp ONTAP、Amazon FSx for Windows File Server、Amazon Elastic File System (EFS) などの AWS ストレージサービスにデータを移行するためのレコメンデーションを提供することで、移行計画を簡素化し、AWS へのデータ移行を加速するのをサポートします。 DataSync Discovery を使用すると、自動化されたデータ収集と分析を通じてオンプレミスのストレージのパフォーマンスとキャパシティの使用状況をより良く把握できるため、移行するデータを迅速に特定し、生成されたレコメンデーションを使用して、パフォーマンスとキャパシティのニーズに合った AWS ストレージサービスを選択できます。

AWS DataSync では、サービスの利用料金のみをお支払いいただきます。ソフトウェアライセンス、契約、メンテナンス料金は必要ありません。これにより、高性能スクリプト転送を手動で構築、運用、最適化する場合と比較して、総保有コスト (TCO) を削減でき、商用転送ツールを購入して運用する場合と比較しても、総コストを削減できます。

AWS DataSync Discovery を使用すると、最大 31 日間検出ジョブを実行し、レコメンデーションを無料で受け取ることができます。DataSync Discovery は、ジョブの完了後 60 日間、収集されたデータと関連するレコメンデーションを保持します。

DataSync は、AWS のセキュリティ、モニタリング、監査サービスとネイティブに連携して、データの移動を簡単にし、IT、ストレージ、および DevOps チームに一貫した管理経験を提供します。Amazon S3、Amazon EFS、Amazon FSx との統合に加えて、DataSync は、ファイルを Amazon VPC に直接移動するために、AWS Virtual Private Cloud (VPC) エンドポイント (AWS PrivateLink による) をサポートしています。他の AWS のサービスと同様に、AWS Identity and Access Management (IAM) を使用して DataSync アクセスを安全に管理することができます。同様に、Amazon S3 バケットにアクセスするサービスを制御するために、IAM ロールを設定することができます。