Category: Kinesis Data Streams

Amazon Kinesis Data Streams は、リアルタイムのデータストリームをキャプチャおよび保存を簡単化するサーバーレスのデータストリーミングサービスです。Kinesis Client Library (KCL) 3.0 の新しいロードバランシングアルゴリズムにより、ワーカーの CPU 使用率を継続的に監視し、ワーカー間でロードを均等に再分散することで、従来の KCL バージョンと比べてストリーム処理コストを最大 33% 削減できるようになりました。KCL 3.0 への移行方法と使用する際のチェックリストも合わせてご紹介します。

このブログでは、Amazon Kinesis Firehose、Amazon Athena、Amazon QuickSight などの AWS サービスを使用して、お客様のメール閲覧状況などの詳細を把握するために必要な粒度の Amazon SES のメール送信イベントを監視する方法を説明します。

この記事では、Apache Flink の高度なストリーミング機能を活用するために、Kinesis Data Analytics for SQL アプリケーションから Amazon Managed Service for Apache Flink への移行を AWS が推奨する理由について説明します。また、Amazon Managed Service for Apache Flink Studio を使用して、移行したアプリケーションをデプロイする前に分析アプリケーションをテスト・チューニングする方法も紹介します。Kinesis Data Analytics for SQL アプリケーションを利用されていないお客様に対しても、この記事はデータ分析の過程で遭遇する多くのユースケースと、Amazon Managed Service for Apache Flink がどのように目標達成を支援できるかについて、背景となる情報を提供します。

モータースポーツの世界では、トラック上での車のスピードに合わせてデータも追従する必要があります。IMSA (国際モータースポーツ協会) は、AWS と協力してファンにリアルタイムで車両テレメトリを提供しました。北米で最高の権威をもつスポーツカーレース団体である IMSA のレースは、4 つの車両クラスが同時にコース走行するという独自の特徴があります。フェラーリ、ランボルギーニ、ポルシェなど多くのメーカーが並走し、最長で 24 時間に及ぶレースで競います。Grand Touring Daytona (GTD) および GTD PRO クラスは一般道を走る車両が選ばれますが、Le Mans Prototype 2 (LMP2) と Grand Touring Prototype (GTP) クラスは最高速度を実現するためのハイパーカーデザインが採用されています。本記事では新たに設けられた GTP クラスの車両、テレメトリ、そして IMSA や AWS がリアルタイムデータを配信する仕組みについて説明します。

クリックストリームデータとは、ユーザーと Web サイトまたはモバイルアプリケーションとの間で発生するデジタルインタラクションを収集したものです。リアルタイムにユーザーデータを収集し有用なインサイトを作成することは困難な場合があります。アマゾン ウェブ サービス（AWS）のサーバーレスサービスは、クリックストリームデータをシームレスにキャプチャ、処理、視覚化し、分析基盤に取り込むためのスケーラブルなアーキテクチャを提供するために役立ちます。本ブログでは、AWS のサービスによって、サーバーのプロビジョニングや管理を必要とせずにクリックストリームデータを簡単に収集して処理する方法について詳しく見ていきます。

今日のビジネス環境は変化が速いため、タイムリーなビジネス意思決定では、新しいデータに何時間も何日もアクセスするのではなく、リアルタイムでアクセスする必要があります。競争力を維持し、現在の市場の状況に合わせて十分な情報に基づいた意思決定を行うためには、組織はリアルタイムの情報を自由に利用できなければなりません。市場が急速に変動し、顧客の好みが変化すると、古くなったデータによって機会を逃したり、インサイトが古くなったりして、顧客体験が最適ではなくなる可能性があります。企業は、自社のデータ（ファーストパーティデータ）の所有権を取り戻し、顧客や見込み客の情報の力を活用して競争力を高め、より顧客体験をもたらすべく取り組む必要があることを認識しています。ファーストパーティデータの例としては、企業が顧客の行動や好みについての理解を深めるための大きな可能性を秘めたクリックストリームデータがあります。

本稿では カヤバ株式会社 （以下、カヤバ）のデジタル変革推進本部が中心となり、オンプレミスに存在したシステム群 […]

最近、AWS Glueバージョン4.0でストリーミングの抽出、変換、およびロード（ETL）ジョブのサポートが発表されました。これは、AWSにおけるデータ統合ワークロードを加速する新しい AWS Glue のバージョンです。AWS Glue のストリーミングETLジョブは、ストリーミングソースから連続的にデータを取り込み、データを逐次的にクリーンアップおよび変換し、数秒で分析可能なデータにします。AWSはさまざまなサービスを提供しており、AWS Database Migration Service（AWS DMS）などのデータベースレプリケーションサービスを使用して、ソースシステムからデータを Amazon Simple Storage Service（Amazon S3）に複製することができます。これは通常、データレイクのストレージレイヤーとして使用されます。この投稿では、Amazon Relational Database Service（Amazon RDS）や他のリレーショナルデータベースからの CDC（Change Data Capture）変更を S3 データレイクに適用する方法を示し、データの非正規化、変換、およびリッチ化をほぼリアルタイムで柔軟に行う構築手順を説明しています。

モノのインターネット ( IoT ) ワークロードを導入しようとする場合、企業はプラットフォームを複数の選択肢から選択することになります。この選択肢はさまざまで、独自デバイスのハードウェアを含めて完全にゼロから構築する方法や、事前に設定されたハードウェアを購入して、完全な SaaS (Software as a Service) IoT プラットフォームに接続するような方法があります。
このブログの目的は、IoT ソリューションの設計に必要なスキルや知識を理解し、どのコンポーネントを自前で開発して、どのコンポーネントを外部の技術ソリューションとして買ってくるのかを判断できるようにすることです。IoT ワークロードを AWS に移行しようと考えている場合は、 「 AWS IoT Core へのシームレスな移行を計画する 」 をご参照ください。 AWS を利用することによる、移行プロセスの簡略化、提供可能なサポート、得られるメリットなどを理解するための最初のステップとして役立ちます。

この記事では、Amazon Managed Service for Apache Flink を用いてリアルタイム異常検知を行う方法について説明します。検知に用いる Random Cut Forest アルゴリズムのパラメータの説明と、用意された CloudFormation テンプレートを用いて簡単にリアルタイム異常検知を試すことができます。