代理式 AI 已走出实验阶段。如今,具备自主能力的 AI 智能体可在极少人工干预下采购商品、协商合同、与客户沟通、审批访问请求,并触发业务流程。
这些系统之所以与众不同,不在于智能水平,而在于自主能力。传统 AI 辅助人类决策,而代理式 AI 则能独立决策并采取行动。
这些系统能够获取数据、进行多步骤推理、使用工具、适应环境变化,并以日益独立的方式追求目标。与人类员工不同,它们能以持续高速运行,远超传统监督机制的应对能力。
数十年来,组织管理的都是处理信息的系统。而代理式 AI 带来了一个截然不同的挑战:如何治理那些能行使判断、做出决策并代表企业采取行动的系统。大多数治理、风险与合规管理框架都是围绕人类决策者在相对可预测的系统中运作而设计的。而代理式 AI 同时挑战了这两个假设,从而对“三道防线”模型造成全方位压力。第一道防线的控制措施被嵌入透明度有限的系统中;第二道防线的监督难以看清自主决策的链条;第三道防线的审计则无法依赖传统的审批轨迹和文档记录。
在大规模部署代理式 AI 之前,领导者必须认清一个简单原则:权力可以被委派,但责任不能转移。
由此产生的治理问题并非技术问题,而是企业领导力问题——这一责任明确落在首席财务官、首席合规官、首席风险官及首席审计执行官身上。
对于董事会和高管层而言:谁来监管这些智能体?
在考虑控制、合规、风险或鉴证之前,组织必须首先回答一个更根本的问题:由谁对这些智能体承担最终责任?
大多数治理结构在设计时并未考虑到监督那些获得委派权限的自主系统。技术委员会关注实施,风险委员会关注风险敞口,合规委员会关注监管义务。而代理式 AI 则同时跨越这三个领域。
董事会和高管团队应建立明确的治理架构,明确 AI 相关成果由谁负责、企业整体的 AI 风险承受度、问题上报与事件管理流程,以及部署、暂停和补救决策的权限归属。当系统按预期运行时,治理问题往往难以察觉;只有在出现问题时才会暴露出来。那些在事件发生前就已建立治理机制的组织,将比事后才仓促建立的组织反应更快,且更具公信力。
对于首席财务官而言:当一个 AI 智能体执行一笔交易时,究竟由谁批准?
内部控制框架建立在这样一个基本前提之上:由可识别的个人做出决策、批准行动,并留下相应的证据。而代理式 AI 直接挑战了这一前提。
不妨考虑职责分离的问题。如果一个 AI 智能体能够在单一工作流中发起、审批、执行并记录交易,那么金融领域最重要的控制原则之一实际上就被绕过了。问题不在于是否存在控制机制,而在于这些控制机制是否是为一个由数字化执行者而非人类员工做出决策的世界而设计的。
此处一个关键的设计决策,是在“人在环中”与“人在环上”的控制架构之间做出选择。“人在环中”意味着智能体在行动前必须获得明确的人工批准;“人在环上”则指智能体自主运行,由人类进行监控并保留干预权限。这两种模式具有截然不同的风险特征。而决定在何种阈值下、对哪些类型的财务决策采用哪种模式,是 CFO 所能做出的最具深远影响的治理决策之一。
财务报告同样面临重大挑战。AI 智能体越来越多地参与预测、对账、应计计算、披露和管理报告等工作。监管机构和审计人员会提出一个简单的问题:你能证明与 AI 相关的控制措施正在有效运行吗?对许多组织而言,这个问题的答案仍处于不断完善的过程中。
受托责任不会因授权的转移而改变。技术可以执行操作,但问责最终还是由人来承担。
对于首席合规官而言:你的政策能否应对未曾预见的智能体行为?
合规计划是为人类设计的。人类能够参加政策培训、做出判断,并为其行为承担责任。而 AI 智能体无法做到这些。
智能体根据目标、约束条件、权限和技术防护机制来运作。这可能是未来十年最具标志性的合规挑战之一:如何将组织政策转化为可实际操作的行为规范。如果合规要求仅存在于书面文件中,而未嵌入到规范智能体行为的系统之中,那么一旦决策被委托出去,这些要求实际上就形同虚设了。挑战已不再是制定政策,而是让政策真正落地执行。
监管期望正在快速演变。例如,欧盟《人工智能法案》为高风险 AI 系统设定了基于风险的要求,包括强制性的人类监督、透明度和审计追踪义务。DORA 则针对依赖 AI 的金融流程提出了直接适用的操作韧性要求。ISO 42001 作为新兴的 AI 管理体系国际标准,提供了一个框架,监管机构和审计人员正开始将其作为 AI 治理成熟度的基准进行参照。各行业监管部门也发布了指导原则,明确指出影响客户或财务稳健性的 AI 决策必须具备可解释性,并能证明有人类监督。
其中一项原则尤其值得强调:自主系统不会自动带来自主问责。如果 AI 智能体批准了一笔交易、拒绝了客户请求,或做出了涉及合规的关键决策,责任仍归属于组织本身。监管机构不会接受“AI 做出了决策”作为辩护理由,而是会要求组织证明已建立适当的治理、监督和监控机制。
第三方部署的 AI 系统则增加了另一层复杂性。组织可能依赖软件供应商、基础模型提供方或外部 AI 平台,但责任并不会转移给这些提供方。组织可以购买技术,但仍需对其行为负责。
对于首席风险官而言:如何管理一个你无法完全观测的风险?
设想一个被要求降低采购成本的 AI 智能体。它会积极优化供应商选择,压缩审批工作流,并最大限度地压减服务支出。从智能体的角度看,它已实现目标;但从组织的角度看,它可能无意中造成了运营、合同或合规方面的风险敞口。系统并未发生故障,而是成功实现了目标——只是这个目标本身定义得不够完整。
这正是代理式 AI 风险的典型特征:最严重的失败并非源于系统崩溃,而是源于其“成功”执行了一个定义不完整的目标。
传统的风险管理假设流程相对稳定、控制措施可预测且决策过程可观测。而代理式系统恰恰对这三个方面都构成了挑战。模型漂移意味着,一个系统今天表现正常,但可能随数据和业务环境的变化而改变行为。幻觉则指 AI 系统可能生成看似自信却错误的输出,并据此采取行动。多智能体环境会带来级联风险——当一个智能体的输出成为另一个智能体的输入时,微小的错误可能在相互关联的工作流中迅速扩散,直到人为干预介入。
因此,风险偏好框架应明确界定哪些决策可委托给系统、哪些需要人工监督、可接受的自主程度、升级阈值,以及恢复与停机程序。集中度风险尤其值得关注:许多组织正日益依赖少数几家 AI 平台和基础模型提供商,由此产生的系统性风险已远超单一部署的影响范围。网络安全方面则出现了新的攻击路径,例如提示注入、对抗性操控、凭证滥用、目标劫持等,而这些都是许多组织才刚刚开始理解的问题。一个被篡改且拥有授权的 AI 智能体,可能成为现代企业最具破坏性的威胁场景之一。
对于首席审计执行官而言:如何审计在毫秒内做出的决策?
长期以来,内部审计依赖一个基本原则:决策应可追溯。审计人员通过审批流程、文件记录、证据以及可问责的决策者来重建事件过程。而代理式 AI 再次对这些基础提出了挑战。
一个值得强调的关键区别:可解释性不等于可审计性。解释可以说明决策为何做出,但审计证据必须证明控制措施按设计有效运行。许多 AI 系统即便具备解释能力,也难以满足这一标准。
随着组织部署的自主系统日益增多,首席审计执行官需要重新定义在基于 AI 的环境下“鉴证”的含义。一项关键能力在于建立 AI 决策溯源机制——即能够还原智能体访问了哪些信息、调用了哪些工具、执行了哪些操作、触发了哪些控制措施,以及是否发生了人工干预(如有)。缺乏这种可视性,有效的鉴证将变得愈发困难。
审计职能部门还需应对一个方法论问题:AI 应作为技术系统来审计,还是作为业务流程中的参与者来审计?答案是两者皆需。这要求审计能力超越传统审计领域,延伸至 AI 治理、模型行为、自动化决策和数据管理等方面。
周期性的审计循环也可能不再足够。智能体系统的发展速度远超其设计所对应的年度审查节奏。未来的鉴证将依赖于持续监控、自动化测试和实时异常检测。对于大规模部署代理式 AI 的组织而言,持续鉴证已不再是未来目标,而是当下的必然需求,正迅速成为一项基本预期。
GRC 不是刹车,而是方向盘。
长期以来,一直存在一种普遍误解,认为治理、风险与合规职能会成为创新的阻碍。但在代理式 AI 时代,事实恰恰相反。能够有效治理 AI 的组织,将更加信赖 AI,更广泛地部署 AI,并随着时间推移从中获取更大价值。而未能建立适当治理机制的组织,则将面临运营、监管、财务或声誉方面的后果——其代价远远超过事前主动监督的成本。
没有哪位高管能独自承担代理式 AI 的治理责任。CFO、CCO、CRO 和 CAE 必须共同采用共享的治理模式、统一的风险语言以及清晰的责任边界。以下四个问题应成为这种协同合作的基础:
- AI 智能体可以自主做出哪些决策?
- 哪些决策需要人工审批?
- 如何持续监控智能体的行为?
- 当智能体造成损害时,由谁来承担责任?
这些问题并非技术问题,而是治理问题。那些在事故尚未发生时就已作答的组织,最有可能在基于 AI 的经济中脱颖而出。部署代理式 AI 的竞赛已经展开,而治理它的竞赛才刚刚开始。
因为技术可以被委托,但责任永远无法转移。
常见问题