Amazon Web Services ブログ

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。

このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

AWS データレイクでデータを作成・管理・分析するステップ

データレイクアーキテクチャ:

  • 複数のソースからデータを取り込みます。企業システムからの履歴データ、サイロ化されたデータベースからの情報、リアルタイムストリーミングデータ、モバイルアプリデータ、その他のデータソースからデータを取り込み、セキュアなデータレイクを簡単にセットアップできるサービスである AWS Lake Formation を使用して、生データを自動的に抽出、変換、ロードします。
  • データをクリーンアップして整理します。有用な洞察を抽出するためには、収集されたデータをクリーンアップして整理する必要があります。これには、レコードの重複排除、結合のためのさまざまなソースからのデータ属性の照合、およびコストとパフォーマンスの最適化のためのパーティショニングが含まれます。
    • AWS Lake Formation は、これらの手作業を自動化するのに役立ちます。機械学習変換を使用して、分析用に一致するレコードを重複排除して見つけるのに役立ちます。
  • AWS Lake Formation は、変換テンプレートを介してデータの変換を自動化するのにも役立ちます。AWS Glue を介して分析用にデータを準備するジョブをスケジュールできます。パフォーマンスを向上させるために、データを Parquet や ORC 等の列指向フォーマットに変換できます。データが行ではなく列指向で整理されていると、分析時の読み取りデータ量を低減できます。
  • データレイクにデータをカタログ化して保存します。取り込んだデータをカタログ化して、クエリ可能にする必要があります。 AWS Glue データカタログは、データのロケーション、スキーマ、およびランタイムメトリックのインデックスです。 AWS Glue Crawler は、1回の実行で複数のデータストアをクロールし、クエリ用のテーブルをカタログに登録できます。
  • データを分析し、知見を引き出せるようデータを変換します。Amazon QuickSight、Amazon Redshift、Amazon Athena 等の分析サービスを通して、データへの安全なセルフサービスアクセスをユーザーに提供できます。Amazon QuickSight を使用すると、Amazon Simple Storage Service (Amazon S3)、Amazon Relational Database Service (Amazon RDS)、オンプレミスのデータソース、AWS IoT Analytics 等の複数のデータソースを統合してダッシュボードを作成できます。これによって、ユーザーは交通機関や車両をより適切に管理するための洞察を簡単に得ることができます。Amazon Redshift を使用すると、標準 SQL を使用してエクサバイト級の構造化・半構造化データをクエリできます。このスケーラビリティは、さまざまな車両やサードパーティのソースからの大量のストリーミングデータを処理する場合に非常に役立ちます。

次の画像は、データレイクへの車両管理情報の流れを示しています:

Fleet-Management-Data-Lake

このワークフローは、車両管理システムでサポートされる最も一般的なユースケースと、データレイクを使用してデータを取り込み、保存、カタログ化し、分析およびビジネスインテリジェンスのためにデータを準備する方法を示しています。

この 詳細なリファレンスアーキテクチャ（訳注: リンク先資料が英語のため文末に日本語版を掲載しています）は、商品を輸送する商用車向けに設計されています。次のユースケースでこのアーキテクチャを分析し、データレイクを使用して輸送と車両管理の洞察を得る方法を説明します。

リアルタイムの天気と交通データ

Amazon Kinesis Data Streams (Amazon KDS) は、非常にスケーラブルで耐久性のあるリアルタイムデータストリーミングサービスです。 都市、地域、国、または世界中の交通パターンや気象条件など、数十万のソースから 1 秒あたり数ギガバイトのデータを継続的に取り込みます。

Amazon Kinesis Data Analytics を使用すると、SQL を使用してストリーミングデータをリアルタイムでクエリできます。サーバーを管理する必要はありません。受信データ量とスループットに応じて自動的にスケーリングされます。気象条件が変化した場合 (たとえば大雨が近づいている場合)、Amazon Simple Notification Service (Amazon SNS) を使用して SMS アラートを送信し、 悪天候を避けるためにドライバーにルートの変更を警告できます。

車両テレメトリデータ

車両テレメトリは、全地球測位システム (GPS)、先進運転支援システム (ADAS)、速度、ブレーキング、車線変更、および道路状況等の車両内のセンサーからデータを収集することにより、車両またはドライバーのパフォーマンスに関する情報を提供します。 AWS IoT Greengrass は、オープンソースのエッジランタイムソリューションであり、生成されたデータに基づいてローカルで動作し、予測を実行し、デバイスデータをフィルタリングおよび集約するように車両デバイスをプログラムするのに役立ちます。フィルタリングされた情報を車両管理データレイクに送信します。この情報により、車両のメンテナンスをプロアクティブに管理できます。

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクに確実にロードする最も簡単な方法です。この場合、データソースとして AWS IoT Core を使用します。AWS IoT Core は、IoT デバイスを AWS クラウドに接続し、デバイスを相互に接続することもできます。デバイスが相互接続できることで、ある車両が故障した場合に、他の車両で商品を配達する必要があることを他のドライバーに警告するといったことができます。車両管理データレイクアーキテクチャでは、AWS IoT Core は Amazon Kinesis Data Firehose を介して Amazon S3 に接続します。

ドライバーの安全データ

車両テレメトリの集計に加えて、安全性に基づいてドライバーのパフォーマンスを測定するために、運転パターンをキャプチャすることが重要です。

Amazon DynamoDB は、あらゆる規模の低レイテンシーデータアクセスのための高速で柔軟な NoSQL キーバリューおよびドキュメントデータベースサービスです。 次の図では、AWS IoT Core ルールが AWS Lambda アクションをトリガーし、Amazon DynamoDB テーブルにレコードを登録します。

Data-from-IOT-device-to-DynamoDB

このアーキテクチャでは、AWS IoTルールエンジンと AWS Lambda のシームレスな統合を活用し、Amazon DynamoDB でスケーラブルな IoT バックエンドを構築します。

たとえば、ルールは、スピード違反のドライバーが AWS Lambda への IoT アクションをトリガーするように指示できます。これにより、ドライバーの名前、場所、車両などのサポートデータとともにレコードが Amazon DynamoDB テーブルに挿入されます。Amazon SNS を使用して、ドライバーのマネージャーにアラートを送信できます。

このアーキテクチャは、AWS IoT ルールエンジンと AWS Lambda とのシームレスな統合を使用して、Amazon DynamoDB でスケーラブルな IoT バックエンドを構築します。

人員と車両のデータ

個人情報やライセンス情報などの従業員ドライバーのデータと、メーカー、モデル、保証、メンテナンススケジュールなどの車両固有のデータは、リレーショナル形式に適したデータとして保持されます。

Amazon Athena の Athena Federated Query は、リレーショナル、非リレーショナル、および複数データストアにわたるオブジェクト (Amazon S3) データを扱うのに便利です。Amazon Athena は、標準 SQL を使用して Amazon S3 のデータを簡単に分析できるサーバーレスのインタラクティブクエリサービスです。

このアーキテクチャでは、ドライバーデータは3つの異なるデータストアに分割されます。

  • 個人データ (Amazon RDS)
  • 運転異常 (Amazon Dynamo DB)
  • 気象データ (Amazon S3)

たとえば、先月の予定配達時間帯に間に合わなかったドライバーのリストが必要だとします。ここでは、Amazon Athena で利用できる Amazon DynamoDB テーブルと Amazon RDS テーブルへのコネクタを使用して3つのデータソースを結合しています。

次の画像は、Athena Federated Queryがデータストアを横断してクエリする方法を示しています:

Athena-Federated-Query

Amazon Athena で3つのデータソースを結合した Federated Query の例

Resulting-output-table-from-Athena-Federated-Query

Athena Federated Query の結果の出力テーブル

結果から、Bern、Devid、Marshall は気象条件 (S3.weather_condition) が Snow (雪) と Sleet (みぞれ) のために予定配達時刻に間に合わなかったことがわかりますが、Sarah のデータは調査が必要です。Win は明らかに安全なドライバーではありません。彼は、単に速度を超過 (Dynamodb.speed が Above) しただけでなく、悪天候 (Rain) で、道路状況がよくない (S3.traffic_condition が Heavy、つまり渋滞) にも関わらず速度超過をしているからです。

 

今後のブログでは、堅牢でスケーラブルな車両管理データレイクを構築するためのその他の考慮事項について説明します。

AWS 機械学習モデルの使用例について知りたい場合は、「クラウドベースの機械学習モデルを使用して出荷の配信時間を予測する方法」を確認してください。車両管理データレイクを構築する準備ができている場合は、AWS アカウントチームに今すぐ連絡してください。

 

参考:

リファレンスアーキテクチャ日本語版

T+L+DataLake+RA

著者について

Michele Sancricca

Michele Sancricca は、AWS の輸送・物流テクノロジーのワールドワイドヘッドです。以前は Amazon Global Mile のサプライチェーン製品の責任者を務め、世界で2番目に大きな海運会社である Mediterranean Shipping Company のデジタルトランスフォーメーション部門を率いていました。引退した少佐である Michele は、イタリア海軍で電気通信士官および指揮官として 12 年間過ごしました。

Shailaja Suresh

Shailaja Suresh は、ソフトウェア製品のアーキテクチャ、戦略、デリバリにおいて 16 年の専門的な経験があります。彼女は AWS のシニアソリューションアーキテクトであり、お客様に AWS クラウドへのジャーニーのために、規範的な技術ガイダンスを提供しています。 Shailaja はエンジニアリングスキルを持ち、ソフトウェアエンジニア、アーキテクト、リード、およびプロジェクトマネージャーとしての役割を果たしてきました。Shailaja は、メンタリングとコーチングを通じてチームに力を与えることができると強く信じています。

 

翻訳は Solutions Architect 国政が担当しました。原文はこちらです。