人工智能治理

人工智能治理:到2026年真正做好人工智能治理需要做些什么

大多数组织并非难以采用人工智能,而是难以有效管理人工智能。88% 的组织已在各个业务职能中积极应用人工智能,但仅有 8% 的组织建立了完善的人工智能治理框架。弥合这一差距,而非增加模型功能,才是当务之急。 成为决定性挑战 enterprise 2026年的AI.

本文详细分析了人工智能治理的真正含义以及具体的失败案例。 今天发生的大多数事故都是由驾驶员造成的。为什么人工智能治理监控必须是持续的而不是周期性的,以及情境治理如何提供政策文件本身永远无法提供的战略可视性。

什么是人工智能治理?

人工智能治理是指政策、控制措施和技术基础设施的结合,它决定了人工智能系统可以访问哪些资源、可以执行哪些操作,以及这些操作是否被记录和审计。它并非一份单一的文件或一次性的审查;而是一种持续运行的能力,必须与人工智能本身快速普及的发展步伐保持同步。

这种速度正是问题的核心所在。85% 的组织已将人工智能集成到核心运营中或将其部署到多个职能部门,但只有 25% 的组织表示能够全面了解人工智能的实际使用情况。声称进行治理和实际执行治理是两码事,而两者之间的差距正是大多数人工智能治理失败的根源所在。

2026年最常见的治理失败案例

人工智能治理失败很少始于模型本身,而是始于可见性、所有权和访问权限——这些治理要素在演示中是看不到的。

  • 治理框架虽存在于纸面上,但并未得到落实。 如上所述,大规模运行人工智能的组织(85%)与真正了解人工智能使用情况的组织(25%)之间的差距,是迄今为止最严重的人工智能治理失败之一,这意味着大多数“受治理的”人工智能的运行监管远不如领导层所预期的那样严格。 
  • 影子人工智能 它的扩散速度比任何人追踪的速度都快。 85% 的组织已将人工智能集成到核心运营中或部署到多个职能部门,但只有 25% 的组织表示能够全面了解员工对人工智能的使用情况。定制的 GPT、无代码代理和供应商提供的 LLM 在未经任何正式审查的情况下就被各个团队广泛使用,等到管理团队发现时,这些工具早已融入日常工作流程。
  • 代理人工智能 已经超越了为其建立的治理体系。 74% 的组织计划在两年内采用智能体人工智能,但只有 21% 的组织拥有成熟的治理模型。云安全联盟和 Token Security 的一项研究发现,63% 的组织无法对其人工智能代理强制执行用途限制,60% 的组织无法在代理运行后终止其行为异常。这并非假设性的差距:到 2026 年 4 月,65% 的组织将面临这一问题。 enterprise部署了人工智能代理的系统曾发生过一起已确认的安全事件。
  • 统一治理失败,是因为并非所有人工智能都具有相同的风险。 Gartner警告称, enterprise对所有人工智能代理应用统一的治理方式,无论其自主程度或范围如何,都将导致广泛的部署失败,预计到 2027 年,40% 的人工智能代理将面临同样的问题。 enterprise只有在生产事故发生后,才会发现治理漏洞,并因此对自主代理进行降级或停用。将文档摘要代理与修改生产记录的代理同等对待并非谨慎之举,而是治理设计上的缺陷,其结果恰恰与预期相反。 
  • 人工智能治理失败时,通常是可见性问题,而不是模型本身的问题。 在遭遇人工智能相关安全漏洞的组织中,63%要么没有人工智能治理政策,要么仍在制定相关政策。几乎所有已记录的事件都呈现出相同的模式:人工智能系统获得了无人监管的访问权限,执行了无人审查的操作,而故障却在事后才被发现。

为什么人工智能治理监控必须是持续性的

每季度审核一次的治理政策,实际上在其他十一周里形同虚设。人工智能治理监控是指持续追踪人工智能系统的实际运行情况,而不仅仅是它们获准执行的操作,而数据也清晰地表明了这种区别的重要性。

Gartner预测平均大型 enterprise 到2028年,将运行超过150,000万个AI代理。这些代理中的每一个都可能成为潜在的访问入口、潜在的数据泄露路径,以及在生产系统中执行无日志记录且无审计追踪的操作。一份策略文档无法监控150,000万个代理,只有持续监控才能做到。 

人工智能治理监控的转变需要结构性变革:治理需要从静态政策转向持续监督,监控智能体的行为,检测偏差,并随着系统的演进调整控制措施。这与每年制定一次可接受使用政策有着本质的区别。这意味着:

  • 追踪行为,而不仅仅是授予访问权限。 认识一位经纪人 具有 获得修改数据库的权限并不等同于了解数据库的实际内容。 做了 获得许可后,以哪张唱片为准,以及为什么。
  • 检测与预期模式的偏差将传统威胁检测中使用的相同行为逻辑,专门应用于给定 AI 代理或模型的“正常”外观。
  • 默认保留审计跟踪而不是在事件发生后进行重建。

忽略这一点的代价是可以衡量的。缺乏专门人工智能治理监控的组织,发现问题的方式与大多数运营故障的发现方式相同:都是在事情出错之后。2026年3月,Meta公司内部的一个智能体未经人工审核就公开发布了错误的技术信息,导致数据未经授权泄露长达两小时,未经授权的员工也能访问这些数据。这是该公司几周内发生的第二起智能体控制故障。

人工智能情境治理和战略可见性

一刀切的规则行不通,因为人工智能的风险并不统一,而这正是人工智能情境治理发挥作用的地方:应用与特定模型、代理或集成实际能够执行的操作相匹配的监管级别,而不是将单一策略延伸到每个用例。

仅读取内部知识库文章的文档摘要工具与能够审批发票、发送面向客户的电子邮件或修改实时CRM系统中记录的代理程序,其风险本质上截然不同。如果对它们一视同仁,就会导致Gartner警告的那种高故障率。情境化治理意味着根据代理程序的能力调整控制措施:对于仅负责观察的代理程序,监管力度应较轻;对于能够执行操作的代理程序,则应采用与风险成比例的明确审批流程和审计日志记录。 

只有真正具备战略可视性,才能实现这种校准。这种可视性需要准确且持续更新地了解组织中每一项人工智能资产的状况,包括其访问权限以及实际的访问权限使用情况。否则,情境治理就只是一纸空文;有了它,治理团队才能做出与风险相匹配的决策。cis与其过度限制有用的工具或放任高风险代理人不受监管,不如采取其他措施。

攻击面正从基础设施转向基于身份的访问路径。人工智能治理失败越来越多地源于集成和权限问题,而非直接的系统入侵。对这些访问关系(而不仅仅是模型本身)的战略性可视性,才能使人工智能情境治理从愿景变为安全或合规团队能够日常实际操作的要素。

为何风险正在快速上升

32025年共记录了62起与人工智能相关的事件。预计到2024年,全球人工智能企业数量将从233家增至2026年,同比增长55%。监管压力加剧了这一趋势,而非缓解:欧盟《人工智能法案》针对高风险人工智能系统的全面执法条款将于2026年8月2日生效,涵盖信用评分、就业、保险承保和其他受监管领域,违规罚款最高可达1500万欧元或全球年营业额的3%。78% enterprise他们仍然没有做好履行这些义务的准备。

领先的组织将人工智能治理视为基础设施建设,而非简单的文书工作。部署专用人工智能治理平台的组织,其治理项目取得高效成果的可能性是未部署此类平台组织的3.4倍;而全面整合人工智能(而非仅进行试点)的组织,其营收增长的可能性几乎是后者的四倍,分别为58%和15%。同样的成熟度差距几乎肯定也体现在人工智能治理的有效性上。

对于软件和安全团队而言,这种治理差距远不止于聊天机器人策略:人工智能编码助手、自主代理和 MCP 连接已经在运行。 SDLC然而,上述的可见性或上下文监督往往完全不适用于它们。Xygeni 将此视为同一问题的延伸,它映射开发生命周期中的每个 AI 模型、代理和 MCP 服务器,并将每个组件的访问权限与其实际代表的风险关联起来,从而使上下文治理和持续监控能够像对待任何其他 AI 资产一样,严格地应用于 AI 生成的代码和 AI 引入的依赖项。

免费开始。 西吉尼的开发者计划是 0 欧元:10 个存储库,每月 200 次扫描,最多 5 个贡献者,无需信用卡。 Sign up with GitHub使用 GitLab 或 Google,即可在 10 分钟内查看您自己的 AI 足迹地图。

常见问题解答

人工智能治理和人工智能治理监控之间有什么区别?

人工智能治理是指一系列政策、控制措施和基础设施,它们界定了人工智能可以做什么以及谁应该为此负责。人工智能治理监控则是一种持续的、运行性的实践,它实时跟踪人工智能系统是否在这些界限内运行,而不是依赖于定期审查。

大多数人工智能治理失败的原因是什么?

大多数人工智能治理失败的根源在于可见性和访问权限,而非模型行为:例如,无人审查的影子人工智能工具、权限远超任何受监控人员的代理,以及对风险级别差异巨大的系统应用统一策略。由于监控并非持续进行,事故通常是在事后才被发现的。

AI情境治理在实践中意味着什么?

这意味着要根据特定人工智能系统的实际能力来调整监管力度,而不是对所有模型或代理都采用同一套策略。例如,一个只能读取内部文档的代理,所需的监管力度要比能够修改生产数据或代表公司发送通信的代理要轻得多。

为什么人工智能治理需要战略性的视野,而不仅仅是一份政策文件?

因为人工智能治理失败越来越多地源于政策文件未能监控的集成、权限和访问路径。战略可视性,即对现有人工智能及其访问权限进行真实且持续更新的清点,才是实现情境化、风险匹配的治理而非纸上谈兵的关键。

sca-tools-软件-成分分析工具
确定软件风险的优先级、进行补救并加以保护
注册免费账号。
不需要信用卡。

保护您的软件开发和交付

使用 Xygeni 产品套件