人工智能黑天鹅事件是指涉及人工智能的、具有高影响力的合理事件，它超出了组织当前的操作风险分类法。它不是一种预测；它描述了一类常规风险清单可能无法捕捉的不确定性，因此对未知之未知的应对策略是韧性而非预测。

该术语借鉴了更广泛的罕见事件概念，这类事件的后果很难从过去的经验中预测。在人工智能中，当规模、速度或交互改变其影响，或者当新功能产生现有控制无法应对的故障模式时，熟悉的风险可能会变成“黑天鹅”问题。这一界限并不是固定不变的：随着证据的积累，以前不熟悉的情景可能会变成一种可以更直接地评估和管理的运营风险。

韧性规划的八个类别

这些类别是情景规划的提示，它们并非预测、详尽的目录，也不是任何特定事件一定会发生的证明。

涌现能力： 系统开发或展现出测试中未曾预料到的能力，从而改变了其使用带来的后果。
系统性集中： 对少数模型、提供商或基础设施层的依赖造成了共同的故障点。
对齐失败： 系统以与人类意图或组织约束相冲突的方式持续追求某个目标。
多模态集成： 结合文本、图像、音频、视频或传感器输入会产生单独测试时未发现的交互和漏洞。
对抗性突破： 新的攻击或操纵方法绕过了原本看似稳健的控制。
供应链漏洞： 模型、数据集、组件或供应商中的故障或受损会影响下游人工智能服务。
多智能体涌现： 相互作用的智能体产生的结果无法轻易用任何单个智能体的行为来解释。
量子密码过渡： 量子计算的进步在替代方案完全部署之前，破坏了保护人工智能数据、模型或基础设施的密码学。

做好准备，而非假装预测

韧性规划探讨的是，如果某个情景开始发生，组织需要注意到什么、决定什么以及做什么。它包括监测微弱信号、清晰的升级路径、经过测试的暂停系统权限、后备流程和恢复计划。演练可以测试员工是否知道谁可以做出紧急决策，以及关键服务是否能够在没有受影响的人工智能能力的情况下继续运行。

这些准备工作并不能消除不确定性。它们减少了对单一预测准确性的依赖，并提高了组织在证据改变时进行适应的能力。黑天鹅思维在拓宽准备状态的同时，使日常控制能够继续专注于已经可以观察和评估的风险，此时最为有用。