Amazon Bedrock 智能提示路由

对于开发人员来说，要了解哪些查询需要更高级的模型，或者哪些查询可以使用更小、更快、更便宜的模型，这可能是一项挑战。智能提示路由功能使用了先进的提示匹配和模型理解技术，可针对每个请求预测每个模型的性能，并将每个请求以动态方式路由到它预测最有可能以最低成本给出所需响应的模型。您可以从预览版的两个提示路由器中进行选择，路由器在 Claude Sonnet 3.5 和 Claude Haiku 之间或在 Llama 3.1 7B 和 Llama 3.1 80B 之间路由请求。

为了达到应用程序的预期性能和成本，您经常必须开发复杂的编排工作流程，根据您的经验将每个请求路由到最适合该请求的模型，以实现预期的准确性。借助智能提示路由功能，您可以省去花费数月测试不同模型和创建复杂编排工作流程的工作量。

每个请求都是完全可追溯的，因此您可以确定哪个模型处理了哪个请求，并且能够轻松理解和调试任何问题。

在预览版中，客户需要根据请求被路由到的模型按常规的按需定价付费。请参阅我们的定价页面，了解不同模型提供商的详细定价。