什么是可解释人工智能？

可解释人工智能（XAI）是一系列方法与技术的集合，旨在让用户能够理解并影响 AI 模型的行为及决策过程。在采用 AI 技术的过程中，主要挑战之一在于如何建立对 AI 生成结果的信任，尤其是在关键业务场景中。可解释人工智能方法能够阐明 AI 模型的内部运作机制、潜在偏差以及得出特定输出结果的推理逻辑。它们能解答关于 AI 系统得出结论所依据的数据及处理步骤等关键问题。可解释人工智能有助于提高透明度、建立信任，并支持 AI 模型的调试与性能优化。

先进的 AI 模型属于包含多个隐藏层的深度神经网络。即使对于机器学习工程师来说，理解这些模型的行为也极具挑战性。出于各种原因，组织希望能够解读并解释深度学习模型的工作原理。

建立信任

机器学习模型类似于黑箱，其内部运作机制往往不透明。采用可解释性技术，机器学习工程师便能自信地解释特定 AI 系统的运作方式。有了可解释性，目标用户就更有可能理解并信任 AI 预测的结果。

提高生产效率

即使在 AI 服务部署之后，机器学习工程师仍会不断尝试提升模型性能。可解释人工智能提供了相应的框架和工具，可直观地分析模型行为并优化性能。这样，组织就能更轻松地解决偏差、不准确或其他异常问题。

加快业务创新

AI 技术有望推动业务变革，但前提是这些技术精准、一致且值得信赖。组织可以设立 AI 治理委员会，以确保所实施的深度学习技术符合上述要求。借助可解释人工智能模型，他们可以研究并分析 AI 如何针对特定业务流程发挥作用并产生重大影响。

遵守法规要求

在关键任务应用中使用 AI 时，某些组织受法律强制要求必须保护用户利益并降低风险。例如，医疗保健和金融解决方案提供商必须证明其部署的 AI 系统具备可解释性，以符合监管法规的要求。

某些关键原则有助于组织提高其所实施 AI 技术的“可解释性”。

公平性与去偏见

AI 算法可能会针对特定群体或人口统计特征产生有偏见或不公平的结果。为了减轻此类后果，工程师会应用去偏见技术来检测导致此类模式的因素，并优化 AI 模型。

以人为本

可解释人工智能原则并非旨在创建取代人类的 AI 系统，而是寻求利用人工智能来增强人类的能力。这能提高员工的生产力和价值，从而促进组织的发展。

隐私与安全性

工程师必须确保充分的数据安全和隐私保护，以提高 AI 模型的可解释性。在解释机器学习模型如何得出预测结果时，必须保护敏感的训练数据，防止未经授权的访问。

透明度和可审计性

可解释人工智能是“负责任的人工智能”的组成部分之一，这种方法有助于组织安全地采用 AI 并实现模型治理。内部和外部审计人员应能够评估 AI 模型，以确保其符合法律和合规要求。

AI 领域的“解释”可以被视为对“为什么”这类问题的回答，旨在帮助人类理解深度学习模型做出特定预测的原因。它可以回答诸如以下的问题：

• 为什么模型预测结果为负面（例如拒绝了某位申请人的贷款）？

• 模型是如何进行预测的？

• 为什么模型做出了错误的预测？

• 哪些特征对模型的行为影响最大？

科学家将解释分为不同类别，以便更好地阐释 AI 模型。

全局可解释性

全局可解释性提供对 AI 模型工作原理的宏观理解。具体而言，它揭示了对模型输出有重大影响的关键特征。例如，一个基于 AI 的信用评分系统在审批贷款时，会将年龄视为一个重要因素。

群组可解释性

群组可解释性允许工程师探究为何 AI 模型针对某一组训练数据表现出特定行为。例如，某 AI 信用评分系统拒绝了大多数 20 多岁人群的申请。这种方法有助于确保模型在测试期间的准确性，并解决相关的伦理问题。

局部可解释性

局部可解释性有助于监控模型的性能准确度是否随时间推移而逐渐下降。它会调查模型在实际使用过程中做出的单个决策。例如，AI 系统拒绝了一项本应获批的贷款申请。这会促使工程师调查可能影响模型决策的因素。

可解释人工智能技术大致可分为两大类。

可解释机器学习（ML）

这些方法旨在解释模型已做出的决策。您可以将其视为针对“黑箱”模型的事后解释。这些方法可能存在一些问题，例如缺乏稳健性（容易受到对抗性攻击的干扰）以及存在歧义性（即可能存在多种“解释”）。机器学习工程师采用各种技术来评估模型的可解释性。下文将介绍几种常用的技术。

LIME

局部可解释的模型无关解释（LIME）旨在解释模型的部分行为。LIME 将不同的数据点输入到一个更具可解释性的代理模型中。随后，代理模型生成输出，并由原始模型进行评测。其目标是微调代理模型，使其行为尽可能贴近原始模型。由于代理模型具有可解释性，因此科学家能够理解影响模型结果的关键特征。

SHAP

Shapley 加性解释（SHAP）有助于工程师理解各个特征对模型输出的贡献。SHAP 基于博弈论原理，其中不同的特征既可以单独发挥作用，也可以共同产生影响。在用于解释模型时，SHAP 会将模型输出与由各种输入特征确定的基准进行比较。

PDP

部分依赖图（PDP）用于可视化输入特征与模型结果之间的关系。通过 PDP，可以考察模型输出相对于输入特征的变化呈现线性还是非线性关系。工程师还利用 PDP 来观察复杂模型中两个特征之间的交互作用。

DeepLIFT

深度学习重要特征（DeepLIFT）是一种通过从输出端进行反向传播来确定不同输入特征重要性的方法。它将针对真实世界数据的神经元预测结果与参考基线进行比较，并据此进行评分。DeepLIFT 运行速度快，且能揭示其他方法容易忽略的特征关系。

可解释机器学习（ML）

这些方法利用了某些 AI 模型在运作方式上具有一定可解释性的特点。它们能够检查并理解模型的内部运作机制。

表达力强的布尔公式

表达力强的布尔公式是一系列对一组变量执行逻辑运算的分类器。根据输入变量的不同，每个分类器的输出结果可以是正向的，也可以是负向的。它们共同构成了一个可解释模型，帮助工程师理解黑箱 AI 系统中所采用的复杂决策算法。

集成梯度

集成梯度法用于识别那些影响模型对象分类结果的重要特征。您可以将梯度理解为模型基于输出反馈所经历的学习过程。该技术通过比较模型输入与基线（涉及对基线进行插值处理，使其形态接近目标图像）来进行分析。随后，它通过计算整个转换过程中的梯度变化，识别出对模型预测结果有显著影响的特征。

可解释提升机

可解释提升机（EBM）的设计灵感源自线性回归等加性模型。它通过利用多个较小的决策树来表征输入特征，从而解释复杂的模型响应。每棵决策树专注于预测与单一特征相关的结果。最后，EBM 汇总所有决策树的响应，以此来解释模型的行为。

衡量机器学习模型中的偏差是评估可解释人工智能模型的主要方法。

预训练偏差

当人工智能模型学习所用的训练数据无法公平地反映现实世界的数据分布时，就会产生预训练偏差。这种情况通常源于训练数据集未经过妥善筛选，或者可用的现实世界数据有限。例如，医疗保健数据可能因特定年龄段数据不足而存在偏差。机器学习工程师通过根据偏差指标评估训练数据来检测预训练偏差。

训练后偏差

训练后偏差是指由有偏差的训练数据或机器学习过程导致的不准确或不公平的预测结果。在评估训练后偏差时，工程师会将模型预测结果与人工标注的数据进行比较。他们还会使用机器学习偏差分析工具来衡量模型的公平性。

Amazon SageMaker 是一项完全托管的服务，它结合了广泛的工具集，可为任何使用案例实现高性能、低成本的深度学习。Amazon SageMaker Clarify 提供的工具可以帮助解释深度学习模型如何进行预测。这些工具可帮助利益相关者在部署前全面了解模型特性，并在部署后调试模型生成的预测结​​果。例如，Amazon SageMaker Clarify 支持

• 基础模型（FM）评估功能可帮助您在几分钟内，根据不同任务的各项标准快速评估、比较并选出最适合您使用场景的基础模型。

• 在模型开发期间或模型部署后，为表格数据、计算机视觉和时间序列模型提供模型可解释性。

您可以使用偏差和可解释性报告来识别潜在问题。有针对性地提升准确度、消除偏差并优化性能。建立对 AI 模型的信任并确保合规性。

立即创建免费账户，开始在 AWS 上使用可解释人工智能。