Observe.AI 利用 AWS 上的机器学习将成本降低 50% 以上

Observe.AI 通过人工智能（AI）驱动的员工平台优化客户体验。Observe.AI 采用专为联络中心设计的大型语言模型 (LLM)，提高了联络中心座席的绩效，并利用对话智能技术从客户互动中发现见解。该平台每月处理数百万次对话，并为每个对话生成数百个推理。

随着机器学习在各行各业的应用不断增加，测试客户的机器学习服务在不同数据负载下的性能对 Observe.AI 来说变得越来越重要。Observe.AI 机器学习工程师 Aashraya Sachdeva 表示：“在新客户加入时，我们会评估我们的机器学习系统是否具备处理数据负载增加十倍的能力，这与每天处理的对话量增加十倍是相匹配的。在模型从研究阶段过渡到生产阶段时，我们的机器学习工程师和科研人员在准确预测这一能力上遇到了挑战。”

该公司寻求在生产环境中部署更大规模的机器学习模型，目的是为了提升模型的准确性。与此同时，该公司也在努力管理延迟，并控制与部署实施相关的成本。实现最佳投资回报的关键在于对基础设施进行微调，该公司需要与其现有 Amazon Web Services (AWS) 环境兼容的解决方案。

“我们正在寻找一种更直接的方法来确定最合适的基础设施，评估我们应对增加负载的准备情况，并核算向客户提供代码的相关成本。我们还想准确了解开发人员实施所需的时间。” Aashraya 解释道。

为了应对预测机器学习负载大小的挑战，Observe.AI 创建并开源了 One Load Audit Framework (OLAF)。OLAF 与 Amazon SageMaker（一项为用例构建、训练和部署机器学习模型的服务）集成，能够识别机器学习服务中的瓶颈和性能问题，并提供在静态和动态数据加载情况下的延迟和吞吐量测量。该框架还将机器学习性能测试无缝地整合进了软件开发生命周期之中，有助于进行精确的配置并实现成本节约。

Aashraya 解释说：“OLAF 为我们的机器学习工程师和科研人员提供了即插即用模型。他们只需输入自己的 AWS 凭证和 Amazon SageMaker 端点，该工具就会进行负载测试，提供特定模型或实例的延迟数据和预期误差。”

在初始构建之后，Observe.AI 将 Amazon SageMaker 的功能集成到 OLAF 中，包括多容器部署和批量推理的能力。Aashraya 补充道：“我们想了解这些新增功对成本可扩展性的影响。”接下来，该公司纳入 Amazon Simple Queue Service (Amazon SQS)，这是一种用于微服务、分布式系统和无服务器应用程序的完全托管的消息队列服务。通过下载 Amazon SQS 负载跟踪数据，OLAF 用户能够观察机器学习消息进入系统的速度，据此预测数据负载的规模。Aashraya 指出：“此功能帮助我们轻松测试基于队列的阵列处理系统，这种系统目前正变得越来越流行。”

最后，Observe.AI 集成了 Amazon Simple Notification Service (Amazon SNS)，这是一种适用于应用程序到应用程序以及应用程序到个人消息收发的完全托管式服务，可帮助 OLAF 用户在 Amazon SNS 中复制特定模式。