什么是 AI 智能体治理？

AI 智能体治理是一套政策、控制措施、监督机制和运营实践的框架，确保 AI 智能体能够安全、可靠、透明地运行，并与业务目标及监管要求保持一致。

传统 AI 系统主要生成洞察、建议或预测，而 AI 智能体则有所不同。它们能够独立执行操作，与企业应用交互，触发工作流程，访问敏感数据，并在既定范围内做出决策。

由于 AI 智能体已从回答问题转变为执行任务，企业需要的治理模式不仅要关注 AI 系统“知道什么”，还要关注它“能做什么”。

有效的 AI 智能体治理有助于企业回答诸如以下关键问题：

• 智能体可以访问哪些系统？
• 它能自主做出哪些决策？
• 谁对其行为负责？
• 如何监控智能体的活动？
• 如果智能体出现异常行为会怎样？
• 组织如何确保合规性和可审计性？

如果对这些问题缺乏明确答案，扩展 AI 智能体应用范围可能会带来重大的运营和合规风险。对许多组织而言，AI 智能体治理正逐渐成为更广泛的企业 AI 治理战略的核心组成部分。

将成熟的治理实践应用于 AI 智能体

好消息是，企业无需从零开始。

大多数企业已经对关键业务系统、人类用户、API、应用程序、集成及自动化工作流实施了管理，并建立了身份管理、安全控制、合规监控、风险评估和运营监督等方面的成熟实践。

AI 智能体治理正是在这些相同的基础学科之上构建的。

具体示例如下：

• 身份与访问管理原则同样适用于 AI 智能体，就像适用于人类用户一样。
• 用于应用程序和 API 的安全控制措施，有助于保护智能体的交互行为。
• 审计追踪和可观测性实践可扩展用于追踪智能体的操作。
• 风险与合规框架可用于评估智能体如何与敏感业务流程进行交互。

其中许多实践已在企业的 AI 治理框架中存在，因此更容易将现有控制机制延伸至自主系统。

不同之处在于，AI 智能体引入了一种新的运营模式。企业不再只是管理执行确定性逻辑的应用程序，而是开始治理能够在不断变化的业务环境中做出决策并采取行动的 AI 智能体。

这种额外的自主性需要更多的监督，但企业所依赖的许多治理原则仍然高度适用。

AI 智能体治理的四大支柱

成功的 AI 智能体治理战略通常建立在四大基础支柱之上，具体如下：

生命周期管理

AI 智能体并非静态资产。随着提示词的变更、模型的更新、工作流程的扩展以及业务需求的变化，它们会不断演进。

企业需要建立涵盖完整智能体生命周期的治理流程，包括：

• 设计与审批
• 部署
• 版本控制
• 持续监控
• 更新与维护
• 退役与停用

如果缺乏生命周期治理，组织将很快失去对现有智能体的可见性，无法清楚了解其功能以及它们是否仍在授权范围内运行。

风险管理与访问控制

AI 智能体的风险特征主要取决于其可执行的操作及其可访问的系统。

组织应建立：

• 基于角色的权限
• 最小权限访问模型
• 策略驱动的授权机制
• 职责分离
• 风险分类框架

例如，一个被授权总结文档的智能体，其风险特征与能够审批采购、更新财务记录或修改客户数据的智能体截然不同。

治理确保智能体权限既符合业务需求，也符合组织的风险承受能力。

安全与非人类身份

每个 AI 智能体都应拥有可验证的身份。

如同员工在访问系统前需进行身份认证，智能体也应使用安全的非人类身份运行，以明确其身份、可访问的资源以及被授权执行的操作。

该方法可提供：

• 强身份验证
• 证书管理
• 凭证管理
• 安全的系统交互
• 智能体行为的责任归属

随着 AI 智能体与企业系统的日益互联，非人类身份管理已成为安全与治理的关键基础。

可观测性与审计日志记录

看不见的事物无法被治理。

组织需要全面掌握智能体行为的可视性，包括：

• 执行的操作
• 访问的系统
• 使用的数据
• 做出的决策
• 触发的升级事件
• 检测到的策略违规

全面的日志记录和可观测性有助于组织回应审计人员、安全团队、监管机构以及业务利益相关者的各类问题。

当 AI 智能体采取行动时，组织应能够了解发生了什么、为何发生，以及是否符合既定政策。

为何缺乏治理的 AI 智能体会失败

许多组织在尚未建立管理 AI 智能体所需控制措施的情况下，便急于构建 AI 智能体。

这往往会导致三大常见挑战。

智能体泛滥

由于各部门独立创建智能体，组织很快就会失去对已部署智能体的掌控。多个智能体可能执行相似功能、使用相互冲突的数据源，或在缺乏集中监管的情况下运行。

随着时间推移，这种无序增长会带来复杂性、风险以及不断上升的运营成本。

影子 AI

正如员工绕过审批流程擅自采用技术而催生了“影子 IT”，当团队在缺乏治理和安全审查的情况下部署智能体时，就会出现“影子 AI”。

这些未经批准的智能体可能访问敏感数据、连接企业系统，或做出超出其预期范围的决策，从而导致组织风险增加，透明度降低。

合规与监管风险

许多组织需遵守涉及隐私保护、信息安全、财务管控或行业特定要求的严格法规。

若缺乏有效治理，组织将难以证明以下方面：

• 智能体行为的责任归属
• 合理的访问控制
• 数据保护措施
• 审计准备情况
• 监管合规性

随着全球 AI 法规的持续发展，治理对于维护信任和降低合规风险至关重要。

治理层如何实现集成

AI 智能体很少孤立运行。

为了创造业务价值，智能体必须与应用程序、工作流、数据源、API 以及企业流程进行交互。每一次连接都既带来机遇，也带来治理挑战。

因此，集成在 AI 智能体治理中发挥着至关重要的作用。

集成提供了连接基础，使组织能够：

• 控制智能体对系统和数据的访问
• 统一应用策略
• 跨环境监控交互行为
• 强制执行安全标准
• 保持对智能体理操作的可视性
• 支持审计与合规要求

对于致力于推进 AI 代理式集成以及更广泛代理式 AI 集成计划的组织而言，治理工作无法脱离智能体、应用程序、数据与业务流程之间的底层关联。

组织不应允许智能体直接且独立地连接到每一个系统，而应将集成作为集中化的治理层，从而对整个 AI 生态系统实现监督、控制和一致性管理。

通过将治理策略与集成及自动化能力相结合，组织可以在确保信任和运营控制的前提下，实现 AI 智能体的规模化扩展。

AI 智能体治理实践：分步方法

希望实现 AI 智能体治理落地的企业，可从结构化的方法入手。

明确智能体的范围与权限

首先应清晰界定：

• 智能体的目的
• 批准的任务
• 允许的操作
• 数据源
• 企业负责人

每个智能体都应有明确的运行边界。

分配非人类身份

为每个智能体提供唯一身份，以支持身份验证、授权和可追溯性。

这有助于明确责任，并使组织能够跨系统和环境一致地管理智能体的访问权限。

设置运行时防护机制

制定政策，规范智能体在运行期间的行为。

例如：

• 支出限额
• 审批要求
• 数据访问限制
• 交易阈值
• 上报规则

防护机制有助于确保智能体始终与业务目标和风险政策保持一致。

确保人类的参与

并非所有决策都应完全自主。

高风险操作应纳入人工审核和审批工作流。

人工监督有助于组织在自动化与问责制之间取得平衡，同时为敏感的业务流程提供保障。

建立紧急停用机制

组织应始终保留立即暂停或停用 AI 智能体的能力。

治理框架应明确：

• 停机触发条件
• 事件响应程序
• 升级工作流
• 恢复流程

当出现异常行为、安全问题或违反政策的情况时，紧急停用机制可作为关键的安全保障。

在扩大规模之前建立信任

企业 AI 的未来正日益朝着代理式 AI 的方向发展。企业正在从仅能生成洞察的 AI，转向能够执行任务、自动决策并协调业务流程的 AI。

然而，更高的自主性也意味着更高的责任要求。

成功实现 AI 智能体规模化的组织，不会是那些率先部署最多智能体的组织，而是从一开始就建立起治理、监督和信任机制的组织。

通过将治理原则与集成、自动化以及基于策略的控制相结合，企业可以构建起安全、负责任且有信心地扩展 AI 智能体所需的基础。

常见问题