# Ai Hallucination Risk
**Source:** https://zh-hans.airisks.net/ai-hallucination-risk
**Language:** Simplified Chinese

---

AI 幻觉是指 AI 系统呈现出貌似合理或真实但实际上虚假、不受支持或与源材料不一致的输出。在生成式语言模型中，流畅的措辞会使虚构的细节看起来很可靠，即使模型本身没有可靠的依据。

语言模型通过根据训练和上下文中的模式来估计可能的后续内容从而生成文本。它们不会自动根据经过验证的来源检查每个声明。因此，对精确引用的请求、提示中缺少的客观事实或不寻常的问题可能会产生自信但错误的内容。检索工具、基准 grounding 和验证可以减少某些错误，但每种方法都有局限性，并且可能以各自的方式失效。

## 架构与治理

幻觉是该架构的一个属性，而不是它的故障。这并不意味着每个不准确的输出都是无害的，也不意味着组织应该在没有控制的情况下接受它。这意味着治理应该将合理的错误视为预期的系统行为，而不是将模型视为只需要偶尔纠正的数据库。

检查的级别应该与使用后果相匹配。头脑风暴助手可能需要明确提醒，建议需要审查。用于医疗、法律、财务或就业决策的系统需要更强的验证、权威来源、记录在案的审查以及对其可以决定内容的明确限制。人工审查员必须有足够的信息和时间来检查答案，而不是简单地批准满屏幕流畅的文本。

## 减少暴露并使错误显现出来

组织可以在部署前测试潜在的失败模式，包括信息缺失、模糊的提示词和对抗性输入。他们应在具有代表性的任务上衡量事实准确性，检查引用和来源链接，并测试系统是否能适当地发出不确定性信号。由于提示词、模型、检索源和用户行为的变化会改变结果，评估工作必须在发布后继续进行。

设计可以使验证变得更容易：展示源材料，区分检索到的事实与生成的措辞，并为用户提供一种直接的方法来标记错误。政策应明确哪些输出需要独立确认，并禁止将未经支持的回答作为高影响决策的唯一依据。事件报告可以揭示重复出现的模式，并为培训、提示词、控制措施或预期用途的更新提供参考。

用户同样需要明白，流利度并不等于证据。如果输出结果对他人、资金、安全或正式记录产生影响，责任依然在于使用该系统的个人与组织。相关的问题不在于模型是否会偶尔出错，而在于该系统在设计上是否能够确保在错误引发可避免的危害之前被发现、控制并纠正。

## 相关术语

- 人工智能的人类监督
- 人工智能风险管理
- 人工智能风险分类法

深入探讨：幻觉不是一个漏洞，而是一个特性