参考条目
人工智能的人类监督
对AI的人工监督是指具备适当权限和知识的人员理解、监视和干预AI系统使用的能力。有效的监督赋予人类一个有意义的机会去质疑或改变结果,而不是要求他们去批准一个无法评估的决定。
两种常见的描述是人在回路(human-in-the-loop)和人在环外(human-on-the-loop)。在人在回路的安排中,系统在采取明确行动之前会暂停以等待人工输入或批准。在人在环外的安排中,系统在设定的限制内运行,而人员则监视其运行并可以进行干预。这两个标签都不能保证良好的监督:权限、时机、信息和工作量的细节决定了人员是否能够发挥作用。
使干预具有实际操作性
人们需要了解系统的用途、它无法可靠完成的任务、哪些情况需要关注以及支持输出的证据。他们需要充足的时间来审查这些信息,并拥有质疑或覆盖系统的方法。如果界面隐藏了不确定性、队列过大,或者管理层仅奖励速度,那么名义上的批准步骤就会变成形式主义的盖章。
监督设计应与行动的影响和可逆性相匹配。低影响的建议可以通过抽样和升级规则进行检查。可能剥夺个人机会或影响安全的决定可能需要单独审查、可经检查的理由以及重新考虑结果的途径。组织应测试这些控制措施在现实的时间压力下以及系统出错时是否有效。
具名的责任人
每一个已部署的人工智能系统都应该有一位具名的负责人。该负责人对系统的批准用途和运行负有责任,了解哪些团队负责测试和监控,并有权要求进行审查或暂停其使用。这一职责不能模糊地委派给委员会。委员会可以制定政策并对证据提出质疑,但必须由特定人员对每个系统负责,并在越过阈值时采取行动。
该负责人应得到技术专家、法律与风险团队、一线用户以及相关受影响人员(在适用的情况下)的支持。各项职责应在整个生命周期中予以记录:谁批准部署、谁监控性能、谁处理事件以及谁决定系统在暂停后是否可以恢复。负责人还需要有一位具名的代理人或针对缺勤的业务连续性计划。
人工监督并不能替代可靠的设计或适当的限制。人类可能会犯错、过度依赖自动化,或者缺乏识别错误的背景信息。良好的治理将人类的判断与系统测试、明确的界限、记录、上报路径以及干预权力结合起来。其目的是在后果重大的情况下,落实责任并确保决策能够受到质疑。