Amazon S3 Express One Zone ストレージクラス

Pinterest はビジュアルインスピレーションプラットフォームです。世界で最高のアイデアを検索したり保存したり購入したりするために毎月 4 億 8,000 万人を超える人々が訪れます。Pinterest は高度な機械学習モデルを活用して、数十億のオブジェクトを分析し、ユーザーごとにレコメンデーションをパーソナライズしています。

「機械学習は Pinterest の中心であり、大規模な ML トレーニングログの収集によって支えられています。Pinterest でのデータインジェストと配信を加速するために、当社は MemQ を開発しました。超効率的なオープンソースの PubSub システムは、高い費用効率を維持しながら、自社のすべての ML トレーニングデータと Amazon S3 を活用してデータパイプラインを秒あたり 10 GB で高速化します。当社では、MemQ での Amazon S3 Express One Zone ストレージクラスの評価中に、1 秒あたりのデータ処理トランザクションが増加し、レイテンシーが 10 倍超改善されたのを目にしました。この桁違いのパフォーマンスの改善に基づいて、S3 Express One Zone を利用することで、インフラストラクチャのコストを大幅に削減しながら、より高速なデータ利用とより頻繁な実験が可能になります。S3 Express One Zone は、クラウドアプリケーションのパフォーマンス、スケーラビリティ、柔軟性、効率性を高めるパラダイムシフトを引き起こしています」

Pinterest、Data Engineering Tech Lead、Ambud Sharma 氏 

Ansatz Capital はクオンツトレーディングチームです。世界クラスのテクノロジーを極めて優秀な技術分野の人材と組み合わせて活用し、さまざまなアセットクラスやグローバルマーケットにわたって戦略を開発、デプロイします。 

「当社は高頻度取引の領域において、金融市場の超高速の世界に後れを取ることのないように、大量の時系列データを利用してモデルを継続的にトレーニングしています。当社は自社の研究エコシステムにおける柔軟なデータレイクとして S3 を利用しており、これにより可能な限り迅速な取引が可能になっています。Amazon S3 Express One Zone ストレージクラスの低リクエストレイテンシーと高いパフォーマンスにより、アセット全体で、かつ、あらゆる時点において、より高い精度でモデルをスケールすることが可能になり、ワークロード速度が全体で 78% 改善されました」

Ansatz Capital、CTO、Shiyang Cao 氏

ClickHouse は、リアルタイムアプリケーションと分析向けの最速かつリソース効率の高いオープンソースデータベースです。ClickHouse Cloud のクラウドネイティブの Database as a Service は AWS 上で実行されています。

「ClickHouse Cloud は、オブザーバビリティから市場取引データに至るまで、リアルタイム分析に利用されています。これを実現するには、極めて高いストレージパフォーマンスが大規模に必要となります。そのため、当社は、極めて要求の厳しいリアルタイム分析アプリケーションを強化するサービスでデータのホットキャッシュに Amazon S3 Express One Zone ストレージクラスを利用しています。S3 Express One Zone は、1 秒あたり数十万のトランザクションに一貫した 1 桁ミリ秒のリクエストレイテンシーを提供してくれます。これにより、ClickHouse Cloud は以前よりもさらに高速にデータを処理できます。S3 Express One Zone を利用することで、あらゆるデータソースからのクエリを高速化し、SQL クエリを使用してリアルタイムで分析レポートを生成することで、ユーザーに優れたパフォーマンスを提供できます。S3 Express One Zone を当社のアーキテクチャに追加することで、クエリのパフォーマンスを最大 283% 改善し、全体的な TCO を 65% 削減できました」

ClickHouse、VP Product、Tanya Bragin 氏

ブログを読む »