什么是边缘推理？

边缘推理是指已训练的机器学习（ML）模型在非常靠近最终用户或数据来源的位置接收输入并生成输出（即进行推理）的过程。边缘推理利用部署在边缘位置的 AI 模型，帮助缩短用户获取结果所需的时间。边缘推理对于医疗保健、工业运营和自动驾驶等对时间敏感的应用至关重要。

边缘 AI 推理有多种不同的架构模式，每种模式都为组织提供不同的能力和性能约束。以下是主要的边缘 AI 系统。

设备端推理

设备端推理是指在边缘设备（即数据来源所在地，例如在自动驾驶汽车上）上进行处理的过程。这种方法不依赖云服务器，其超低延迟特性使其区别于其他形式。对于需要即时数据处理的使用案例，可以选择在本地设备上运行人工智能。

网关推理

网关推理是指边缘设备将必要数据转发给边缘计算节点的过程。该节点托管机器学习模型并执行 AI 推理，随后再将数据传输至下一环节。将处理任务转移至这一边缘站点，虽然会增加延迟，但也支持更强大的 AI 处理能力。此外，组织还可以整合来自多个不同本地设备的输入数据并进行协同处理，从而实现节能。

雾计算推理

雾计算推理采用网关模式，利用多个边缘节点和网关连接至区域云数据中心。雾计算既能为边缘 AI 模型提供更强大的处理能力，又能保留本地化数据处理的优势。对于既要求低延迟、又需处理海量聚合传感器数据的应用而言，这是一种行之有效的选择。

通过将数据预处理和机器学习模型运行环节移至更靠近终端用户的位置，可以降低 AI 系统的延迟，从而实现快速输出。边缘站点是指靠近终端用户、关键基础设施站点或业务运营中心的数据中心。

多种不同的底层技术相互融合，共同支持边缘侧的 AI 推理。

模型准备

为了尽可能优化边缘推理，组织首先需要做好模型准备工作。这包括采用压缩、量化和剪枝等技术来减小模型大小。推理运行时优化技术（如连续批处理、KV 缓存和内存管理）使机器学习模型能够在最大限度提高吞吐量的同时，将计算开销降至最低。

通过针对优化推理做好模型准备，您能够更好地在边缘侧保持性能的可预测性并实现低延迟。

边缘部署

在边缘侧部署机器学习模型时，通常可以利用容器编排技术获益。通过在容器中运行模型，编排器能够根据需求自动扩展或缩减资源消耗。容器部署可提供更高的灵活性和敏捷性，这使其成为一种可扩展且可移植的解决方案，能够轻松部署到不同站点。

本地处理

除了考虑机器学习模型的架构及其部署方式外，组织还需要决定哪些功能在本地执行，以及哪些数据需要发送至其他位置进行处理。

边缘推理架构会因应用场景而异。模型通常能够在本地执行推理，也能将低优先级请求发送至其他处理中心，从而形成混合配置。低延迟的边缘推理可以减少数据传输开销，从而支持实时处理与决策。一些边缘推理管道仅传输汇总后的特征或元数据，而非应用程序或传感器的全部原始数据。极少的数据移动可以显著降低带宽消耗。

云端 AI 工作负载集成

尽管推理在边缘侧进行，但与云端集成仍能带来诸多益处。例如，模型构件仍然可以托管在云端，从而为模型的训练、评估及后续版本管理提供集中式架构。对于新版本的模型，这种可见性还有助于实现跨设备集群向边缘节点的无缝部署。

如果模型需要进行多模型推理或其他连接，组织也可以选择混合模型方案。尽管数据在本地进行处理，但与中央系统的连接可提供所需的额外处理资源。

边缘 AI 推理可将 AI 处理过程移至更靠近数据源的位置，从而在边缘实现快速且稳定的推理。以下是将边缘计算基础设施与 AI 模型结合使用的主要优势。

延迟减少

边缘 AI 的核心优势在于低延迟的处理和输出。在边缘位置进行本地数据处理，无需将海量数据传输至远程数据中心或云计算设施。消除或大幅缩短这一耗时过程可降低延迟，从而支持依赖实时决策的应用程序。

许多应用场景（例如自动驾驶汽车和工业自动化）都依赖于边缘 AI 执行本地推理的能力。

增强的隐私性和安全性

在边缘设备上处理数据可限制其与外部源的接触，从而帮助保护敏感数据的隐私。通过最大限度减少数据暴露于外部网络的机会，组织能够缩小信息的攻击面，同时更直接地满足有关数据传输和数据驻留的合规要求。

由于 AI 本地处理减少了恶意主体接触数据的机会，因此数据泄露的风险也随之降低。医疗或金融等受严格监管的行业可以将此视为边缘计算的又一优势。

降低带宽成本

边缘计算可减少对海量数据传输的需求，因为边缘端的推理过程仅需将输出摘要发送至集中式数据中心。本地数据处理方式既能减少带宽消耗，又能实现高性能的运行结果。

提高可靠性

即使网络连接不稳定，边缘 AI 推理仍能在本地持续处理数据并运行 AI 模型，而不会出现重大中断。边缘设备无需依赖持续的云端连接，有助于提供较高的稳定性。对于那些在关键场景下依赖边缘AI模型进行实时数据处理的机构而言，这种可靠性至关重要。

尽管边缘 AI 推理为组织带来了诸多益处，但也存在一些需要仔细考量的挑战。

硬件限制

边缘设备和边缘站点可能不具备与云计算服务同等级别的硬件配置。如果需要运行大型机器学习模型，其所需的处理能力可能会超出设备或边缘站点的能力极限。组织可以通过专注于模型优化技术来克服硬件限制。采用上述策略可以减小模型总体积并降低推理需求，从而使复杂模型能够在本地运行。

模型部署的复杂性

边缘计算部署十分复杂，通常涉及众多平台、互联系统和运行时环境。采用容器化技术可以解决这些问题，有助于降低配置难度，并构建一个易于管理且可根据需求进行扩展的系统。

安全与更新

云服务器拥有多层安全防护，以确保其安全性。边缘设备通常位于较易接触的场所，往往缺乏同等全面的网络安全防护体系。若要在设备上执行边缘推理，组织需要采取诸如本地存储加密、设备认证和定期打补丁等边缘安全策略，以保障设备安全。

AWS 提供一系列服务来满足您的边缘计算需求，其中包括边缘 AI 推理。探索我们的边缘服务：

• Amazon SageMaker AI 借助完全托管的基础设施、工具和工作流程，帮助您针对任何使用场景构建、训练和部署机器学习（ML）模型（包括边缘场景）。

• AWS IoT Greengrass 是一种开源边缘运行时系统和云服务，用于构建、部署和管理设备软件。本地收集、聚合、筛选和发送数据。

• AWS Wavelength 使您能够利用 AWS 电信合作伙伴数据中心内的 AWS 基础设施和服务来运行应用程序，从而满足低延迟、数据驻留和弹性需求（包括边缘推理）。

立即创建免费账户，开始在 AWS 上使用边缘推理。