Amazon OpenSearch Ingestion を使用したデータインジェスト

Amazon OpenSearch Ingestion とは、Amazon OpenSearch Service のデータを収集、変換、および Amazon OpenSearch Service ドメインにルーティングするための Amazon OpenSearch サービスの機能です。OpenSearch Ingestion はコスト効率を高め、データ品質を確保するのに役立ちます。OpenSearch Ingestion Service は OpenSearch Data Prepper パイプラインをサーバーレスプロセスとして実行し、インジェストワークロードの処理ニーズに合わせて自動的にスケーリングします。 詳細 »

Amazon S3 と Amazon OpenSearch Service のゼロ ETL 統合

Amazon OpenSearch Service のゼロ ETL とAmazon S3との統合は、データに接続する新しい方法です。これにより、お客様は OpenSearch Service の豊富なインタラクティブ機能を、ETL なしで Amazon S3 データレイクに保存されているクエリ頻度の低いデータに直接使用できます。S3 とのゼロ ETL 接続により、お客様は複雑な ETL パイプラインを構築または管理する必要がなくなり、洞察を引き出し、セキュリティとオブザーバビリティデータを視覚化するために不可欠なクエリを実行できるようになると同時に、データの複製や複数の分析ツールの管理に伴うコストと運用の複雑さを軽減できます。詳細 >>

ゼロ ETL 統合と DynamoDB

Amazon OpenSearch Service ゼロ ETL と Amazon DynamoDB の統合により、Amazon DynamoDB の運用データに対して全文検索やベクトル検索などの高度な検索機能を使用できます。このゼロ ETL 統合では、Amazon OpenSearch Ingeston を使用して、カスタムコードを記述することなく、Amazon DynamoDB から Amazon OpenSearch Service にデータをシームレスに同期します。このゼロ ETL 統合により、これら 2 つのストア間でデータを同期させることに伴う運用上の負担とコストが軽減され、アプリケーションに集中できるようになります。詳細 >>

Amazon Kinesis Data Firehose を使用したデータインジェスト

Amazon Kinesis Firehose を使用することで、データソースからの生のストリーミングデータを Elasticsearch または OpenSearch インデックスと Amazon OpenSearch Service に必要なフォーマットに簡単に変換し Amazon Elasticsearch Service にロードできます。独自のデータ処理パイプラインを構築する必要はありません。

AWS マネジメントコンソールにある Amazon Kinesis Firehose 配信ストリームの設定タブで AWS Lambda 関数を選択するだけでこの機能を使用できます。Amazon Kinesis Firehose では、すべての入力データレコードに AWS Lambda 関数を自動で適用し、変換されたデータを Amazon OpenSearch Service インデックスにロードします。

Amazon Kinesis Firehose では、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換するための変更やカスタマイズをせずに使用できる、組み込みの Lambda 設計図を提供します。また、失敗したジョブを自動的に再試行し、raw ストリーミングデータをバックアップするように Amazon Kinesis Firehose を設定できます。詳細はこちら »

 

Logstash を使用したデータ取り込み

Amazon OpenSearch Service は Logstash との連携をサポートしています。Logstash はオープンソースのデータ処理ツールで、ソースからデータを収集して変換し、Elasticsearch または OpenSearch にロードします。Logstash を Amazon EC2 に簡単にデプロイし、Logstash の実装を通じて発生するすべてのログのバックエンドストアとして Amazon OpenSearch Service ドメインを設定できます。Logstash は組み込みのフィルターのライブラリをサポートしているため、一般的な変形処理を簡単に実行できます。処理の例として、パターンマッチングによる非構造化ログデータの解析と構造化データへの変換、データレコードのフィールドの名前変更、削除、置き換え、変更、およびメトリクスの収集があります。 詳細はこちら »

Amazon CloudWatch Logs を使用したデータ取り込み

Amazon CloudWatch Logs では、既存のシステムやアプリケーションのログファイル、またはカスタムログファイルを使用して、システムやアプリケーションのモニタリングやトラブルシューティングを行うことができます。CloudWatch Logs のサブスクリプションを使用すると、CloudWatch Logs のロググループが Amazon OpenSearch Service ドメインにほぼリアルタイムでデータをストリーミングするように設定できます。この連携機能は、既に CloudWatch Logs をログデータの収集に使用していて、収集したデータを Amazon OpenSearch Service ユーザーと共有する場合に便利です。 詳細はこちら »

AWS IoT を使用したデータ取り込み

AWS IoT は、インターネットに接続されたデバイスから、クラウドアプリケーションやその他のデバイスに簡単かつ安全に通信するためのマネージドクラウドプラットフォームです。AWS IoT では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといったコネクテッドデバイスから継続的にデータをキャプチャできます。AWS マネジメントコンソールでは、Amazon OpenSearch Service から直接データをロードするよう AWS IoT を構成することができます。これによって、IoT データとメトリクスへのリアルタイムに近いアクセスを顧客に提供することができるようになります。 詳細はこちら »

適切な取り込みメカニズムを選択する方法

データレイテンシーやデータの種類など、個別のユースケースの要件によって適切な取り込みメカニズムは変わります。大量のデータを扱う場合は、フルマネージド型で、データのスループットに応じて自動的にスケールされ、継続的な管理が不要な Amazon Kinesis Data Firehose をお勧めします。Amazon OpenSearch Service ドメインにデータをロードする前に、データの変換、圧縮、バッチ処理を行うこともできます。多くの場合、既に使用しているサービスもサービスの選択に影響します。例えば、Amazon CloudWatch Logs を使用して既にアプリケーションログを収集している場合は、Amazon OpenSearch Service ドメインにそのデータをロードするだけです。追加の作業が少なくて済みます。

次のステップ

OpenSearch には、Elasticsearch B.V. の Apache ライセンスによる Elasticsearch コードの一部と、その他のソースコードが含まれています。Elasticsearch B.V. はその他のソースコードのソースではありません。ELASTICSEARCH は、Elasticsearch B.V. の登録商標です。

Amazon OpenSearch Service の料金の詳細

料金ページを見る
構築を始めましょう。
Amazon OpenSearch Service の開始方法
ご不明な点がおありですか?
お問い合わせ