Amazon Bedrock では、バッチ推論用の厳選された FM をオンデマンド推論価格の 50% で提供しています。
昨年、プレビュー版でバッチ推論のサポートを導入しました。これにより、プロンプトをバッチ処理して、モデル評価、実験、オフライン処理のための応答を取得できます。本日より、Amazon Bedrock は、サポートされているモデルについて、サポート対象の AWS リージョンでバッチ推論を一般提供するようになりました。バッチ推論を使用して複数の推論リクエストを非同期で実行し、大規模なデータセットでのモデル推論のパフォーマンスを向上させます。Amazon Bedrock では、Anthropic、Meta、Mistral AI、Amazon などの大手 AI プロバイダーの厳選されたバッチ推論用の基盤モデル (FM) を、オンデマンド推論価格の 50% で提供しています。バッチ推論の完了時間は、ジョブのサイズなどのさまざまな要因によって異なりますが、一般的なジョブの完了時間枠は 24 時間以内と想定できます。詳細については、バッチ推論ドキュメントをご覧ください。また、API リファレンスドキュメントも参照できます。
Amazon Bedrock は、AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI、Amazon などの大手 AI 企業が提供する高性能な基盤モデル (FM) から選択して、単一の API を介して利用できるようにするフルマネージド型サービスです。Amazon Bedrock には、セキュリティ、プライバシー、責任ある AI が組み込まれた生成 AI アプリケーションの構築に必要な幅広い機能も用意されています。これらの機能は、さまざまな業界の複数のユースケースに合わせてカスタマイズされたアプリケーションを構築するのに役立ち、組織が顧客の信頼とデータガバナンスを維持しながら生成 AI により持続的な成長を促進できるようにします。
Amazon Bedrock の詳細については、Amazon Bedrock のページにアクセスし、Amazon Bedrock のドキュメントで詳細を確認してください。