media-blend
text-black

三位商务人士在车间内边走边讨论相关决策

谁来掌控控制者?——代理式 AI 时代治理、风险与合规的新要求

谁来监管 AI 智能体?探索 GRC 策略,确保自主 AI 时代的问责、监督与信任。

default

#

default

#

primary

default

#

secondary

代理式 AI 已走出实验阶段。如今,具备自主能力的 AI 智能体可在极少人工干预下采购商品、协商合同、与客户沟通、审批访问请求,并触发业务流程。

这些系统之所以与众不同,不在于智能水平,而在于自主能力。传统 AI 辅助人类决策,而代理式 AI 则能独立决策并采取行动。

这些系统能够获取数据、进行多步骤推理、使用工具、适应环境变化,并以日益独立的方式追求目标。与人类员工不同,它们能以持续高速运行,远超传统监督机制的应对能力。

数十年来,组织管理的都是处理信息的系统。而代理式 AI 带来了一个截然不同的挑战:如何治理那些能行使判断、做出决策并代表企业采取行动的系统。大多数治理、风险与合规管理框架都是围绕人类决策者在相对可预测的系统中运作而设计的。而代理式 AI 同时挑战了这两个假设,从而对“三道防线”模型造成全方位压力。第一道防线的控制措施被嵌入透明度有限的系统中;第二道防线的监督难以看清自主决策的链条;第三道防线的审计则无法依赖传统的审批轨迹和文档记录。

在大规模部署代理式 AI 之前,领导者必须认清一个简单原则:权力可以被委派,但责任不能转移。

由此产生的治理问题并非技术问题,而是企业领导力问题——这一责任明确落在首席财务官、首席合规官、首席风险官及首席审计执行官身上。

对于董事会和高管层而言:谁来监管这些智能体?

在考虑控制、合规、风险或鉴证之前,组织必须首先回答一个更根本的问题:由谁对这些智能体承担最终责任?

大多数治理结构在设计时并未考虑到监督那些获得委派权限的自主系统。技术委员会关注实施,风险委员会关注风险敞口,合规委员会关注监管义务。而代理式 AI 则同时跨越这三个领域。

董事会和高管团队应建立明确的治理架构,明确 AI 相关成果由谁负责、企业整体的 AI 风险承受度、问题上报与事件管理流程,以及部署、暂停和补救决策的权限归属。当系统按预期运行时,治理问题往往难以察觉;只有在出现问题时才会暴露出来。那些在事件发生前就已建立治理机制的组织,将比事后才仓促建立的组织反应更快,且更具公信力。

对于首席财务官而言:当一个 AI 智能体执行一笔交易时,究竟由谁批准?

内部控制框架建立在这样一个基本前提之上:由可识别的个人做出决策、批准行动,并留下相应的证据。而代理式 AI 直接挑战了这一前提。

不妨考虑职责分离的问题。如果一个 AI 智能体能够在单一工作流中发起、审批、执行并记录交易,那么金融领域最重要的控制原则之一实际上就被绕过了。问题不在于是否存在控制机制,而在于这些控制机制是否是为一个由数字化执行者而非人类员工做出决策的世界而设计的。

此处一个关键的设计决策,是在“人在环中”与“人在环上”的控制架构之间做出选择。“人在环中”意味着智能体在行动前必须获得明确的人工批准;“人在环上”则指智能体自主运行,由人类进行监控并保留干预权限。这两种模式具有截然不同的风险特征。而决定在何种阈值下、对哪些类型的财务决策采用哪种模式,是 CFO 所能做出的最具深远影响的治理决策之一。

财务报告同样面临重大挑战。AI 智能体越来越多地参与预测、对账、应计计算、披露和管理报告等工作。监管机构和审计人员会提出一个简单的问题:你能证明与 AI 相关的控制措施正在有效运行吗?对许多组织而言,这个问题的答案仍处于不断完善的过程中。

受托责任不会因授权的转移而改变。技术可以执行操作,但问责最终还是由人来承担。

对于首席合规官而言:你的政策能否应对未曾预见的智能体行为?

合规计划是为人类设计的。人类能够参加政策培训、做出判断,并为其行为承担责任。而 AI 智能体无法做到这些。

智能体根据目标、约束条件、权限和技术防护机制来运作。这可能是未来十年最具标志性的合规挑战之一:如何将组织政策转化为可实际操作的行为规范。如果合规要求仅存在于书面文件中,而未嵌入到规范智能体行为的系统之中,那么一旦决策被委托出去,这些要求实际上就形同虚设了。挑战已不再是制定政策,而是让政策真正落地执行。

监管期望正在快速演变。例如,欧盟《人工智能法案》为高风险 AI 系统设定了基于风险的要求,包括强制性的人类监督、透明度和审计追踪义务。DORA 则针对依赖 AI 的金融流程提出了直接适用的操作韧性要求。ISO 42001 作为新兴的 AI 管理体系国际标准,提供了一个框架,监管机构和审计人员正开始将其作为 AI 治理成熟度的基准进行参照。各行业监管部门也发布了指导原则,明确指出影响客户或财务稳健性的 AI 决策必须具备可解释性,并能证明有人类监督。

其中一项原则尤其值得强调:自主系统不会自动带来自主问责。如果 AI 智能体批准了一笔交易、拒绝了客户请求,或做出了涉及合规的关键决策,责任仍归属于组织本身。监管机构不会接受“AI 做出了决策”作为辩护理由,而是会要求组织证明已建立适当的治理、监督和监控机制。

第三方部署的 AI 系统则增加了另一层复杂性。组织可能依赖软件供应商、基础模型提供方或外部 AI 平台,但责任并不会转移给这些提供方。组织可以购买技术,但仍需对其行为负责。

对于首席风险官而言:如何管理一个你无法完全观测的风险?

设想一个被要求降低采购成本的 AI 智能体。它会积极优化供应商选择,压缩审批工作流,并最大限度地压减服务支出。从智能体的角度看,它已实现目标;但从组织的角度看,它可能无意中造成了运营、合同或合规方面的风险敞口。系统并未发生故障,而是成功实现了目标——只是这个目标本身定义得不够完整。

这正是代理式 AI 风险的典型特征:最严重的失败并非源于系统崩溃,而是源于其“成功”执行了一个定义不完整的目标。

传统的风险管理假设流程相对稳定、控制措施可预测且决策过程可观测。而代理式系统恰恰对这三个方面都构成了挑战。模型漂移意味着,一个系统今天表现正常,但可能随数据和业务环境的变化而改变行为。幻觉则指 AI 系统可能生成看似自信却错误的输出,并据此采取行动。多智能体环境会带来级联风险——当一个智能体的输出成为另一个智能体的输入时,微小的错误可能在相互关联的工作流中迅速扩散,直到人为干预介入。

因此,风险偏好框架应明确界定哪些决策可委托给系统、哪些需要人工监督、可接受的自主程度、升级阈值,以及恢复与停机程序。集中度风险尤其值得关注:许多组织正日益依赖少数几家 AI 平台和基础模型提供商,由此产生的系统性风险已远超单一部署的影响范围。网络安全方面则出现了新的攻击路径,例如提示注入、对抗性操控、凭证滥用、目标劫持等,而这些都是许多组织才刚刚开始理解的问题。一个被篡改且拥有授权的 AI 智能体,可能成为现代企业最具破坏性的威胁场景之一。

对于首席审计执行官而言:如何审计在毫秒内做出的决策?

长期以来,内部审计依赖一个基本原则:决策应可追溯。审计人员通过审批流程、文件记录、证据以及可问责的决策者来重建事件过程。而代理式 AI 再次对这些基础提出了挑战。

一个值得强调的关键区别:可解释性不等于可审计性。解释可以说明决策为何做出,但审计证据必须证明控制措施按设计有效运行。许多 AI 系统即便具备解释能力,也难以满足这一标准。

随着组织部署的自主系统日益增多,首席审计执行官需要重新定义在基于 AI 的环境下“鉴证”的含义。一项关键能力在于建立 AI 决策溯源机制——即能够还原智能体访问了哪些信息、调用了哪些工具、执行了哪些操作、触发了哪些控制措施,以及是否发生了人工干预(如有)。缺乏这种可视性,有效的鉴证将变得愈发困难。

审计职能部门还需应对一个方法论问题:AI 应作为技术系统来审计,还是作为业务流程中的参与者来审计?答案是两者皆需。这要求审计能力超越传统审计领域,延伸至 AI 治理、模型行为、自动化决策和数据管理等方面。

周期性的审计循环也可能不再足够。智能体系统的发展速度远超其设计所对应的年度审查节奏。未来的鉴证将依赖于持续监控、自动化测试和实时异常检测。对于大规模部署代理式 AI 的组织而言,持续鉴证已不再是未来目标,而是当下的必然需求,正迅速成为一项基本预期。

GRC 不是刹车,而是方向盘。

长期以来,一直存在一种普遍误解,认为治理、风险与合规职能会成为创新的阻碍。但在代理式 AI 时代,事实恰恰相反。能够有效治理 AI 的组织,将更加信赖 AI,更广泛地部署 AI,并随着时间推移从中获取更大价值。而未能建立适当治理机制的组织,则将面临运营、监管、财务或声誉方面的后果——其代价远远超过事前主动监督的成本。

没有哪位高管能独自承担代理式 AI 的治理责任。CFO、CCO、CRO 和 CAE 必须共同采用共享的治理模式、统一的风险语言以及清晰的责任边界。以下四个问题应成为这种协同合作的基础:

这些问题并非技术问题,而是治理问题。那些在事故尚未发生时就已作答的组织,最有可能在基于 AI 的经济中脱颖而出。部署代理式 AI 的竞赛已经展开,而治理它的竞赛才刚刚开始。

因为技术可以被委托,但责任永远无法转移。

常见问题

如果 AI 智能体做出决策或执行交易,该由谁承担责任?
责任始终归属于组织及其管理层。虽然可以将权限委托给 AI 智能体,但责任无法转移。监管机构、审计人员、董事会和利益相关方都会要求人类所有者证明已建立适当的治理机制、控制措施、监督和监控体系。“AI 做出了决策”不能成为有效的辩护理由。
何种类型的决策可交由 AI 智能体自主执行?
组织应根据自身的风险承受能力和监管要求,明确界定授权的边界。低风险、重复性强的常规活动可能适合由 AI 自主执行,而高风险决策通常需要人工审批或干预。关键的治理问题不在于 AI 是否能够做出决策,而在于组织是否愿意并能够承担其决策所带来的风险。
组织如何在 AI 智能体独立行动时保持有效管控?
传统控制机制是围绕人类决策者设计的。组织必须重新设计控制措施,以应对数字化行为体带来的挑战,包括职责分离保障、人在环中或人工监督模型、决策阈值、监控机制及审计追踪手段。这些控制措施应直接嵌入代理的行为之中,而不能仅依赖政策或流程。
代理式 AI 面临的最大风险是什么?
最大的风险往往出现在智能体成功执行了任务目标定义不清的任务时,而不是系统完全失效时。主要风险包括意外的业务成果、模型漂移、幻觉效应、多代理级联故障、对少数 AI 供应商的集中性依赖风险,以及提示注入和目标劫持等新型网络安全威胁。风险管理框架应明确应对这些新兴风险。
审计人员、监管机构和高管如何信任 AI 智能体的决策?
信任建立在可视性和证据之上。企业需要具备 AI 决策的可追溯能力,即能够还原智能体访问了哪些信息、采取了哪些行动、触发了哪些控制措施,以及是否进行了人工干预。仅靠可解释性是不够的。领导者必须能够通过持续监控、测试和保障,证明其治理与控制机制在有效运行。
代理式 AI 与传统 GRC 自动化有何不同?
传统自动化遵循预设的规则和工作流程,而代理式 AI 更进一步,能够分析信息、在复杂场景中推理、适应变化的环境并采取行动。它不仅是自动化任务,更通过 AI 智能体实现大规模的持续监控、测试和监督,这是人工流程无法单独完成的。更多详情:GRC 周二——超越自动化:面向风险、合规与审计的代理式 AI
AI 会取代风险、合规与审计专业人员吗?
目标并非取代人类专业知识,而是提升专业人员的价值。AI 智能体负责处理重复性高、数据量大且时间敏感的任务,而专业人员则专注于判断、上报、决策及战略性风险管理。治理助手特别采用人在环中的设计理念,旨在确保关键决策始终由人负责。更多详情:GRC 周二——超越自动化:面向风险、合规与审计的代理式 AI
在将代理式 AI 应用于 GRC 流程前,应建立哪些治理机制?
组织必须明确清晰的治理边界,界定 AI 智能体可自主执行的范围、哪些操作需经人工审批、如何保留可追溯的决策证据、如何监控决策过程,以及如何确保结果具备可解释性和可审计性。虽然 AI 智能体能够实现执行层面的自动化,但治理、合规和风险决策的责任仍由组织承担。
solid-light
grey-1
blue-7
horizontal
light
blue
资源

超越自动化

代理式 AI 如何通过持续的风险、合规和审计监督,推动治理、风险与合规(GRC)的变革。

manual

了解更多

link-target-same

secondary