# Agentic Ai Risk
**Source:** https://zh-hans.airisks.net/agentic-ai-risk
**Language:** Simplified Chinese

---

智能体AI风险是指当AI系统在缺乏逐步的人工干预下朝特定目标采取行动时，可能产生的危害或损失。当系统能够使用工具、修改数据、与其他系统通信或将工作委派给其他智能体时，这种风险会进一步增加。

智能体可以规划一系列步骤、调用软件工具、检索信息或代表用户采取行动。这可以提高任务效率，但同时也扩大了系统的权限。在一个纯文本回答中无害的错误理解，如果该智能体能够发送消息、修改记录、进行购买或启动另一个进程，则可能会产生更严重的后果。

## 委派改变了风险边界

智能体之间的委托可能会让人们更难看出是哪个系统做出了决定以及是什么指令塑造了它。每次交接都可能会改变上下文、权限或检查级别。组织应绘制智能体和工具链地图，将每个参与者的访问权限限制在所需范围内，并保存使操作可归属的记录。它还应测试当智能体收到不良数据、模棱两可的目标或敌对指令时，链条的行为如何。

当多个智能体交互时，它们组合起来的行为可能无法通过单独测试每个智能体来预测。智能体会重复操作、放大错误、争夺共享资源或传递有缺陷的假设。这种多智能体涌现是一个系统级的问题：仅监控一个模型或一个用户界面可能会错过跨连接工作流发生的活动。

## 监督工作必须在系统级别发挥作用

只有在人类能够理解何时需要干预并能在损害变得难以逆转之前采取行动时，人工监督才有意义。审查点应反映行动的影响和可逆性。低影响的步骤可以在明确的限制内实现自动化；重大或外部行动可能需要确认、双重批准或受限制的操作模式。

紧急停止开关（Kill switch）应作为系统的一部分进行设计和测试，而不能流于非正式的承诺。团队需要知道开关能停止什么、它是否会撤销工具权限和排队中的任务，以及如何安全地恢复服务。应指定专人暂停代理，同时事件响应人员可以保留记录并调查发生了什么。

在部署之前，组织可以从收紧权限、沙盒测试和明确的操作限制开始。在使用过程中，他们不仅应监控输出质量，还应监控工具调用、委派模式、任务范围的变化以及超越权限的企图。当模型、工具、权限或运行环境发生变化时，应重复进行风险审查。

## 相关术语

- 人工智能的人类监督
- 人工智能治理
- 人工智能黑天鹅

深入探讨：治理智能体企业