Nasdaq、AWS を利用して証券取引所のデータストレージをクラウド上に開拓

2020 年

Nasdaq は多国籍金融サービスとテクノロジーを提供する企業で、Nasdaq 証券取引所を所有および運営しています。同社は北米とヨーロッパのさまざまなアセットクラスを対象に、合計 27 の市場、中央証券保管機関、および清算機関を運営しています。市場全体で世界中に 4,000 近くの上場企業があり、50 か国にある他の市場インフラストラクチャ事業者にミッションクリティカルなテクノロジーを提供しています。

Nasdaq 証券取引所は、取引量で世界最大の株式フランチャイズであり、電子的に入力された取引で株式の価格見積もりを提供するデータを提供しながら、大量かつ高速で買い手と売り手のマッチングを管理しています。Nasdaq では、保護されたすべての取引データをキャプチャおよび保存するのに内部アプリケーションを使用しています。「これらのデータには、注文、見積もり、取引、キャンセルが含まれています」と、Nasdaq のソフトウェアエンジニアリング部門バイスプレジデント、Robert Hunt 氏は語っています。Nasdaq は毎晩、市場が翌朝オープンする前に、請求およびレポートプロセスにロードする必要のある数十億のレコードを受け取っています。

自動取引プラットフォームが市場に参入するにつれて、取引のペースと量が増加しました。2014 年、規模とパフォーマンスを拡大して運用コストを削減するため、同社は従来のオンプレミスデータウェアハウスから、Amazon Redshift クラスターを使用したアマゾン ウェブ サービス (AWS) データウェアハウスに移行しました。2014 年から 2018 年の間に、北米全土の市場をサポートするためにソリューションを拡張するにつれて、この Amazon Redshift クラスターは 70 ノードにまで拡大していきました。2018 年までに、このソリューションは、毎晩 300 億から 550 億レコードの範囲で、4 テラバイトを超える数千のソースから金融市場データを取り込みました。

時間の経過とともにデータが増加したことで、分析のためにそのデータを管理するためのアプローチが変化しました。ウェアハウスに対して実行される夜間のバッチ処理では、厳しい期限に合わせて膨大な量を処理することが難しくなりました。ユーザーはこのデータを利用して、請求、レポート、調査を行います。「2018 年の初めに市場の変動性が高まったとき、ウェアハウスのデータ量は大幅に増加し、2018 年には 1 日あたり約 550 億レコードでピークに達しました」と Hunt 氏は言います。

より洗練された取引慣行はデータの大幅な増加につながり、Nasdaq がエコシステムが期待するパフォーマンス基準と運用上の卓越性を達成し続けるために新しいアーキテクチャを進化させる計画を開始することが重要でした。「市場が終了してから翌朝までの間に、300 億件のレコードをロードして処理する必要があります。データのロードにより、レポートの配信に遅れが出ました」と Hunt 氏は言います。「データの読み取りと照会を同時に妨げることなく、データストレージソリューションへのデータの書き込みまたはロードをきわめて高速に行う能力が必要でした」。

Nasdaq は、増大するデータウェアハウスをモダンデータレイクアーキテクチャに移行 (2:25)
kr_quotemark

Amazon S3 と Amazon Redshift の柔軟性とスケーラビリティのおかげで、1 日あたり 300 億レコードから 700 億レコードへの急増も簡単にサポートすることができました。

Robert Hunt 氏
Nasdaq のソフトウェアエンジニアリング部門バイスプレジデント

AWS のサービスを利用して柔軟性、スケーラビリティ、パフォーマンスを向上

2018 年、Nasdaq は、Amazon Simple Storage Service (Amazon S3) に新しいデータレイクの基盤を構築することを選択しました。これにより、コンピューティングとストレージを分離して、各機能のスケーリングを別々に行うことが可能になりました。従来のデータウェアハウスのデプロイでは、アプリケーションとストレージが緊密にリンクされており、両社の比率を変更するにはオンサイトのハードウェアを変更する必要がありました。このため、ストレージ容量をスケーリングするには、多くの場合、コンピューティング性能も同時にスケーリングする必要がありました。「コンピューティングとストレージの分離に必要な柔軟性に加えて、Amazon S3 は大きなデータセットの書き込みと読み取りを同時に実行できるという点で、より優れたスケーリング特性を備えています」と Hunt 氏は言います。「Amazon S3 は、データのロードとクエリのプロセス間の競合をゼロにするソリューションを提供してくれました」。

AWS Identity and Access Management (AWS IAM) ポリシーを統合することにより、Amazon S3 は複数の AWS アカウントにわたる包括的なアクセス制御も行えるようにしています。さらに Nasdaq では、Amazon S3 を利用して重要な金融データを保存し、低コストでのアーカイブ化が可能な Amazon S3 Glacier に移行しています。同社は、Amazon S3 Object Lock 機能を利用して、コンプライアンスをさらに強化しています。
 
2019 年 1 月、Nasdaq は AWS データラボに参加し、AWS ソリューションアーキテクトおよび分析サービスの専門家と連携し、Nasdaq がデータウェアハウジングを実装する方法を再考するための規範的なアーキテクチャガイダンスを受けました。4 日間のラボで Nasdaq は、Amazon Redshift をコンピューティングレイヤーとして使用することにより、分析を提供する方法を再編成しました。結果として、 Amazon Redshift Spectrum の使用を開始することになりました。これは、レイクハウスアーキテクチャを強化して、データウェアハウスと Amazon S3 データレイクの両方でデータを照会する機能です。「当社で運営している取引所からのデータをすべて、Amazon S3 と Amazon Redshift Spectrum に送っています」と Hunt 氏は語っています。「これらのデータには、注文、キャンセル、見積もり、取引が含まれます。これらはメッセージに変換され、Amazon S3 にアーカイブされます。これらのメッセージは、ダウンストリームの請求およびレポート監視プロセスを推進します」
 
新しいデータレイクには、Amazon S3 上の 15 テラバイトのデータが含まれています。Nasdaq はこれを、Amazon S3 にデータを書き込んだ直後に、データをロードせずにその場でクエリできます。これにより、インサイトを得るまでの時間が最小限に抑えられ、Nasdaq の経済調査チームがデータ分析を実行し、データに対して複雑なクエリを実行できます。さらに、同社のビジネス調査チームは、米国証券取引委員会 (SEC) から問い合わせを受けた後、データレイクに照会します。

このソリューションはパフォーマンス重視で始まったものでしたが、それが多目的データレイクとなってチーム間で共有され、ビジネスにさらなるメリットをもたらしています。

1 日に 700 億レコードをサポートするためのスケーリング

コンピューティングとストレージのスケーリングを別々に行うことで、Nasdaq はコンピューティングレイヤーを変更してトランザクションのボリュームをサポートできるようになりました。Amazon S3 ストレージ上に構築したデータレイクでは、データのボリュームと複雑さが増し続けても、簡単にサポートできます。例えば、2020 年 2 月下旬に新型コロナウイルス感染症 (COVID-19) によるパンデミックが始まった時に市場の変動性が急上昇し、ソリューションは 1 日あたり 700 億レコードの取り込みをサポートするようにスケールされ、ピークボリュームは 1,130 億になりました。
 
「Amazon S3 と Amazon Redshift の柔軟性と拡張性のおかげで、1 日あたり 300 億レコードから 700 億レコードへの急増も簡単にサポートすることができました」と Hunt 氏は言います。「私たちはデータ量の急増に対応して、市場への義務を果たすために必要な請求、報告、調査の処理を行いました」。 市場が再び落ち着いたときには、容量の無駄がないように、簡単かつ迅速に環境を縮小することもできます。

レポート用市場データのロードを 5 時間短縮

Amazon S3 と Amazon Redshift に基づく新しいレイクハウスアーキテクチャを使用すると、Nasdaq は以前より 5 時間早く、データロードの 90% を終えることができます。さらに、データウェアハウスを最適化することで、Amazon Redshift の照会を 32% 早く実行できました。「これらの改善により、請求とレポートの処理が加速しました」と Hunt 氏は言います。「例えば、市場の終了後 1〜2 時間以内にデータの取り込みが完了するため、請求とレポート作成をどこよりも早く開始できます。これは、最近見たボリュームの急増に対処する際に非常に役立ちます。また、社内顧客の期限を守り、それを超えるのにも役立っています」
 
時間の経過とともに、Amazon S3 と Amazon Redshift のデータレイクにより、Nasdaq で変革を起こすことができました。「クラウドの専門技術については AWS に任せて、私たちは安心してこの業界の専門性に集中し、Nasdaq の革新に努めることができます」と Hunt 氏は言います。「今後も、市場の要求に応じて、新しい AWS サービスとテクノロジーの活用を続けていきます」。

Nasdaq について

Nasdaq は 1971 年設立のニューヨーク市に本社を置く多国籍金融サービス企業で、Nasdaq 株式市場と 8 つのヨーロッパ証券取引所を所有および運営しています。同社の傘下では、50 か国にある 4,000 近くの企業が上場しています。

AWS の利点

  • 1 日あたり 700 億件のレコードを取り込みます
  • 金融市場データを 5 時間速くロードします
  • Amazon Redshift クエリを 32% 高速で実行します
  • 共有データによるビジネスの変革を可能にします
  • 追加のユースケースでイノベーションに拍車をかけます


使用されている AWS のサービス

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。

詳細 »

Amazon Redshift

Amazon Redshift ではハイパフォーマンスのデータウェアハウスの最高のものが得られ、これにデータレイクストレージの無制限の柔軟性とスケーラビリティーが備わっています。

詳細 »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) では、AWS のサービスやリソースへのアクセスを安全に管理できます。

詳細 »

Amazon S3 Glacier

Amazon S3 Glacier と S3 Glacier Deep Archive は、安全性と耐久性に優れ、極めて低コストの Amazon S3 クラウドストレージクラスで、データのアーカイブや長期バックアップに使用できます。

詳細はこちら »

その他のナスダックストーリー

項目が見つかりませんでした 

1

今すぐ始める

あらゆる業界のさまざまな規模の組織が AWS を活用してビジネスを変革し、日々ミッションを遂行しています。当社のエキスパートにお問い合わせいただき、今すぐ AWS ジャーニーを開始しましょう。