什么是 AI 幻觉？

AI 幻觉是基础模型（FM）在响应用户查询时生成的错误或误导性输出。FM 的工作原理是预测针对用户查询的响应。这些预测基于其训练数据集，并涉及复杂的数学运算，这些运算与训练数据集中各数据元素共同出现的频率有关。FM 算法的局限性可能导致 AI 幻觉的产生，即输出不完整、不相关或完全错误的信息。AI 幻觉会降低用户对 AI 系统的信任，并限制 AI 技术的应用。组织必须密切监控大语言模型（LLM）的输出和性能，以减少幻觉。

并非所有 AI 幻觉的表现形式都相同。识别所发生的幻觉类型，是制定缓解策略的第一步。

事实错误

AI 幻觉最常见的形式是简单的事实错误。在训练基础模型时，企业会使用数百万个数据来源，其中一些数据来源可能相互矛盾。当您向模型提出一个只有唯一正确答案的问题，模型却给出了其他答案时，这就属于事实错误。

这些错误包括错误的科学事实、人物生平细节或略有偏差的历史细节。例如，模型可能会声称本杰明·富兰克林（Benjamin Franklin）是美国第一任总统。实际上，他是美国的开国元勋，但从未担任过总统。

错误分类

AI 幻觉的另一种形式是错误分类，即在“是/否”或“正面/负面”等选项之间做出错误判断。例如，AI 模型可能会将街上的一个纸箱误认为是人，从而导致自动驾驶汽车停下。这种生成错误或误导性信息的现象，往往源于缺乏广泛的训练数据，因为模型可能从未遇到过类似的参考案例。

无意义内容与自相矛盾

某些 AI 工具可能会生成自相矛盾的文本。模型可能在某句话中陈述了某种观点，却在下一句中给出了与之相悖的事实。有些语言模型生成的内容可能根本不合逻辑或难以理解。如果缺乏对主题背景的深入理解，AI 模型可能无法生成连贯的回答。

另一种无意义回答的情况是，生成式人工智能工具给出的回答与输入内容不符。例如，如果您要求工具为兄弟制作一张生日贺卡，但它却以“亲爱的爸爸”开头，这就是一种与提示指令相矛盾的情况。

多种因素都可能导致 AI 幻觉。以下是导致 AI 幻觉的一些最常见原因。

训练数据质量差

当模型的训练数据有限或不足时，它可能无法有效地理解请求并做出响应。例如，如果您向 AI 工具提交一个它从未遇到过的请求，它可能会因缺乏相应的训练而无法准确、有效地做出回应。

低质量的训练数据意味着 FM 在生成响应时，其信息可能存在缺失。这些信息缺失可能导致模型做出错误的假设，从而产生 AI 幻觉。

训练数据可能存在的另一个问题是其包含内在偏差。如果训练数据存在偏差，AI 生成的内容也会包含这些偏差。

过拟合

当 AI 系统擅长从初始数据中识别模式，却无法将这种理解推广应用到新数据时，就会发生过拟合。这些模式可能只是巧合，并不具备逻辑关联。由于无法理解正确答案背后的逻辑，模型将无法处理那些并非训练数据简单复制品的新数据。同样，如果新数据集与初始数据不完全相似，生成式人工智能模型可能无法生成准确的响应。

上下文窗口有限

当生成式人工智能模型未能完全处理提示中的每一个字词时，可能会出现 AI 幻觉。对于较长的提示，某些系统可能只会关注其中的部分字词。由于未能完全理解提示词的意图，AI 模型可能会生成看似幻觉的不相关信息。

语言歧义

当 AI 语言模型处理人类语言时，输入提示的人所特有的语言习惯可能会让 AI 工具产生困惑。讽刺、双关语、成语或俚语等语言特征可能会干扰 AI，导致其无法正确解读请求。

当 AI 技术产生“幻觉”（即生成错误信息），而使用者未察觉到这些信息有误时，可能会引发一系列后果。以下是 AI 幻觉可能引发的一些潜在问题：

误导性的人际互动

如果专业人员使用 AI 工具搜集信息，AI 幻觉可能会导致他们采取错误的行动。例如，假设一名客服人员使用内部聊天机器人查找客户咨询的答案，但该聊天机器人推荐了错误的解决方案。在这种情况下，客服人员就会将这些错误信息传递出去。

虚假信息的传播

当记者使用生成式人工智能工具撰写新闻报道却未进行事实核查时，他们便会将虚假信息发布给公众。阅读这些报道的人可能会接触到不准确的信息，并进一步传播这些内容。

此外，某些 AI 工具可能会利用这些公开来源的数据进行训练，导致基础模型（FM）所使用的基准数据中包含错误信息。

安全风险

当企业使用 AI 模型生成代码时，可能会因 AI 幻觉而产生错误或引入安全漏洞。例如，AI 工具生成的代码中可能包含安装特定软件包的指令。如果开发人员未核实该软件包的有效性便运行代码，可能会导致恶意软件或勒索软件被下载到系统中。

另一种潜在的安全风险是 AI 模型“幻觉”出不存在的威胁，导致网络安全人员采取不必要的行动，从而浪费时间。这可能导致安全团队在真正面临安全风险时，缺乏足够的时间或可用资源来应对。

如果您能识别 AI 的“幻觉”现象并查明其成因，便可实施相应策略来减少未来出现此类幻觉的情况。以下是几种可用于防止 AI 幻觉的策略。

专注于高质量的训练数据

很大一部分 AI 幻觉是由低质量、有限或带有偏见的训练数据引起的。通过构建广泛、多样、无偏见且高质量的数据库供 AI 模型训练，您更有可能获得准确的响应。

检索增强生成（RAG）

检索增强生成是一种优化大语言模型（LLM）输出的方法。RAG 不会在 AI 工具不知道答案时提供错误信息，而是会利用新的相关信息来弥补知识空白。

RAG 接收用户的输入，并从新来源检索数据以完善其响应。通过结合用户提示中指向的新数据与 LLM 原始的训练数据，RAG 能够生成更准确的响应。

提示工程策略

提示越具体、直接和详尽，生成的响应就越准确。在可能的情况下，尽量编写清晰的提示，避免留下任何假设的空间。您可以提供额外的上下文、示例或背景信息，为 AI 工具提供尽可能多的辅助。

例如，与其写“写一首诗”，不如写“写一首采用传统押韵格式的十四行诗，主题是关于午夜时分的一棵树”。

有了这些额外信息，生成式人工智能模型就能给出更精确的响应。

Amazon Bedrock 是一项完全托管的服务，提供多种高性能基础模型以及构建生成式人工智能应用程序所需的广泛功能，同时简化开发流程并确保隐私性和安全性。

Amazon Bedrock 防护机制根据针对特定用例制定的策略来评估用户输入和 FM 响应，无论底层使用何种基础模型，都能提供额外的安全保障。您可以检测并拦截属于受限类别的内容。例如，电子商务网站可以设计其在线助手，使其避免使用仇恨言论或侮辱性语言等不当内容。

Amazon Kendra 是另一项由机器学习驱动的高精度企业级搜索服务。它提供经过优化的 Kendra Retrieve API，您可以将其与 Amazon Kendra 的高精度语义排序器结合使用，作为 RAG 应用中的企业级检索组件，从而减少 AI 幻觉。

亚马逊还为希望构建更多自定义生成式人工智能解决方案的组织提供了相应选项。Amazon SageMaker JumpStart 是一个机器学习中心，提供 FM、内置算法和预构建的机器学习解决方案，让您可以更好地控制完全定制化 FM 的质量。

立即创建免费账户，开始在 Amazon Web Services 上进行 AI 开发。