TL博士
现在每个董事会都在询问人工智能风险,而大多数安全团队的回答都是用形容词而不是数字。 治理框架告诉你应该治理什么,但不会告诉你应该衡量什么。所有这些人工智能风险指标都来自同一个地方:你组织已经发布的代码。
- 智能体人工智能策略包含三个层次,其中只有一层是模型。 智能体编写的内容、智能体连接的接口以及智能体接收的信息。大多数程序只关注第一种,而忽略后两种。
- 模型中没有爆炸半径。 它存在于技能文件、MCP 配置、工具范围以及代理运行所用的凭据中。干净的模型评估和权限过高的代理可以和谐共存。
- 九项人工智能风险指标,每一项都是一个数字,而不是一个形容词。 未经批准的人工智能资产,提示注入路径到达工具接收器,秘密
.mcp/servers.json代理添加的依赖项在签名存在之前就被标记出来。 - 如果你本季度无法达到目标数字,那么问题不在于指标本身。 库存盘点完毕。先从三次清点开始,而不是按部就班地进行。
当你自己负责软件的交付时,人工智能风险究竟意味着什么?
问十个人人工智能风险意味着什么,你会得到十个不同的答案。模型偏差。幻觉。数据泄露。监管风险。工作岗位流失。所有这些都是真实存在的,都值得关注,但任何一个安全团队都无法在周二下午就解答这些问题。
还有一个更具体的问题,这个问题实际上可以由安全团队来回答: 我们开发的软件内部运行的是什么人工智能,它能做到什么程度,以及当有人操纵它时会发生什么。 那个版本有答案,答案就在你的代码库里。 pipeline而不是在政策文件中。
本文讨论的正是这种人工智能风险。并非治理问题不重要,而是因为只有解决了这个问题,才能回答治理问题。框架要求你清点你的人工智能系统,但它不会告诉你,这些清点结果就存放在一个…… .mcp/servers.json 一个自发布以来无人打开过的文件 commit特德。
为什么大多数人工智能风险评估程序衡量的都是错误的东西?
三种失败模式,大多数组织至少会遇到其中两种。
- 衡量的是采纳率而不是曝光率。 “72% 的开发人员使用 AI 工具”只是一个披着安全外衣的生产力指标,它根本无法告诉你这些工具究竟能做到什么程度。
- 测量的是模型而不是系统。 红队演练可以回答模型是否会被诱导说出不该说的话,但它无法回答接下来会发生什么,因为影响范围取决于工具的作用域、代理运行所用的凭证以及定义这两者之间的配置文件。干净的模型评估和权限过高的代理可以很好地共存。
- 测量容易计数的事物。 已发布的AI政策数量。完成AI培训的员工人数。这些数字持续增长,但与任何因素都没有相关性。
此 NIST 人工智能风险管理框架 该框架明确指出,衡量是其四大核心功能之一,其他三个核心功能分别是治理、规划和管理。该框架刻意以结果为导向,而非规定性,这对于一个……来说是正确的。 standard 周二这么做毫无帮助。你还得决定要统计哪些内容。
哪些人工智能风险指标真正能说明问题?
九项指标。每一项都是一个数字,每一项都会随着你的接触情况而变化,而且每一项都可以通过代码生成,而不是通过调查问卷生成。
| 米制 | 为何重要 | 这个数字的来源 |
|---|---|---|
| 01已发现的AI资产总数,以及与上个月相比的变化 | 你无法报告从未统计过的AI风险。趋势比绝对数量更重要。 | 持续探索 模型、框架、数据集、推理端点、代理、MCP 服务器、技能和 AI 编码工具 |
| 02未经批准的人工智能资产占总资产的百分比 | 这是您的影子人工智能风险率。它是董事会最常引用的人工智能风险指标。 | 根据您的保单,跟踪每项资产的审批状态。 |
| 03没有指定所有者的人工智能资产 | 无人拥有的资产无人会去修复。通常是集合中最难看的数字。 | 资产所有权追踪 |
| 04到达工具接收器的快速注入路径 | 只有当系统另一端存在危险事物时,未经信任的输入到达系统提示符才会产生影响。 | AI风险检测映射到 OWASP 十大法学硕士申请问题 |
| 05正在使用的MCP服务器以及携带检测结果的服务器数量 | MCP 配置是代理接收指令的地方,也是凭据堆积的地方。 | 将 MCP 服务器配置分析为安全隐患 |
| 06AI配置文件中发现的秘密 | 2026 年的一项研究发现,公开的 GitHub 上的 MCP 配置文件中存有超过 24,000 个密钥,其中超过 2,000 个仍然有效。 | 秘密检测 跨代码、配置、容器和 pipelines |
| 07在公共签名存在之前,代理添加的依赖项已被标记。 | 特工快速提取包裹,而你模型中创造的名称是一个可利用的攻击面。 | 恶意软件预警证据检测之后,进行人工智能验证 |
| 08人工智能研究成果中可实现且正在积极开发的代码所占的份额 | 将你永远无法清理的积压工作与改变你工作面的工作区分开来。 | 人工智能优先级排序漏斗 |
| 09代理人撰写作品的百分比 pull requests 与人工审批合并 | 监管机构会要求提供的治理指标,也是无人关注的指标 | Pull request 分析 以及审批门 |
如果只能选择一项指标,请选择指标 02。未经批准的 AI 资产占总 AI 资产的比例,是指安全团队审核后,最终进入审计流程的那个数字。 commit这件T恤,当你真正做动作时,它会动。
智能体人工智能策略需要涵盖哪些内容?
三层。几乎每个人都会犯的错误是只做第一层就停下来。
- 第一层:代理写入的内容。 生成的代码与人类编写的代码一样,都存在相同的漏洞类别。自 2022 年以来的研究一直表明,相当一部分人工智能生成的程序都包含安全漏洞。这一层最为人熟知,也正因如此,它吸引了所有人的关注。
- 第二层:代理所连接的设备。 技能文件、规则文件、MCP 服务器配置、工具作用域、代理运行所用的凭证。这一层决定了攻击成功后的传播范围,并且对于任何通过其端点测试模型的程序来说都是不可见的。 米特阿特拉斯 直接记录了这一情况:规则文件后门案例研究 AML.CS0041 描述了规则文件中的零宽度字符如何将文档转化为代理默默执行的指令。一位审阅者阅读了…… pull request 什么也看不见。
- 第三层:代理程序接收到的信息。 依赖项、模型、数据集、外部工具。2025 年 USENIX 安全大会上发表的一项研究在 16 个模型中生成了 2.23 万个代码样本,发现 19.7% 的推荐软件包并不存在,由此产生了超过 205,000 万个独特的虚构名称。攻击者不再需要攻破维护者。他们只需注册你的代理程序虚构的名称,然后静待时机。
仅覆盖第一层的智能体人工智能策略可以生成一份简洁的报告,并且人工智能风险概况保持不变。 OWASP 十大法学硕士申请问题 这一点在其自身结构中也有所体现:过度自主性位列首要考虑因素。cis原因很简单,这是线路问题,而不是型号问题。
如何在不降低代理速度的情况下实现这一点?
人们的第一反应是对所有流量都设置控制。但这样做行不通,因为代理的全部意义就在于提高吞吐量,而任何会使吞吐量减半的控制措施都会在三个月内被移除。
三个行之有效的实施原则:
- 连续测量,选择性门控。 每次扫描都可以收集所有九项人工智能风险指标,且不会造成任何阻塞。仅在少数情况下,例如恶意依赖、实时密钥或未经批准的模型处理受监管数据时,才需要设置严格的限制。
- 将安全措施部署在代理人所在的位置。 通过 MCP 连接的代理会在生成代码的同时调用安全平台,扫描刚刚编写的代码,并迭代修复,直到代码满足您的阈值。此阶段无需人工干预,也无需在代理运行的环境中安装任何软件。这是唯一一个能够随代理吞吐量扩展而非与之对抗的干预点。
- 把人放在首位 pull request. 任何最终进入生产环境的代码都需要人工审核。这并非出于谨慎,而是欧盟人工智能法案本身就要求的设计方向,而且现在就加入这些功能远比在审计压力下进行后期改造要划算得多。此外,这也是指标09的一部分,因此从一开始就应该追踪这个指标。
| 层 | 所有者 | 向...报告 |
|---|---|---|
| 经纪人写的内容 | 应用安全负责人 | CISO,每月 |
| 代理人被连接到什么 | 平台或DevOps负责人 | CISO,连续 |
| 经纪人赚了多少钱 | 应用安全负责人 | CISO,连续 |
| 报告的人工智能风险状况 | CIS办公室 | 董事会或审计 committ恤,季度 |
大多数组织中未被分配的行是第二行。配置文件介于应用安全(将其视为基础设施)和平台工程(将其视为文档)之间。而这正是攻击容易发生的切入点。
本季度您将如何开始衡量人工智能风险?
不要构建完整的程序。只需列出三个数字。统计你的人工智能资产。统计其中有多少未经批准。统计人工智能配置文件中隐藏着多少秘密。这三个数字一张幻灯片就能说完;它们都站得住脚,而且实际情况会比索要这些信息的人预想的还要糟糕。
然后找出最糟糕的那一个,并在下次董事会会议之前修复它。这才是一个有效的AI风险管理程序。其他的一切都只是补充说明。
到2027年,那些将面临人工智能风险挑战的组织并非行动迅速者,而是那些在2026年花费大量时间制定人工智能政策却从未进行任何评估的组织。一份无法衡量的政策仅仅是一纸空文,而人工智能风险指标才能将其转化为有效的控制手段。
查看您自己的数据。 连接存储库后,Xygeni 将返回您的 AI 清单、未批准的资产、映射到审计人员使用的框架的风险,以及您可以导出的 AI-BOM。 免费开始 or 预订演示.
常见问题解答
人工智能风险和人工智能安全有什么区别?
人工智能安全主要关注模型的行为:它是否按预期运行,其输出是否有害,以及它是否会被操纵去做它本不应该做的事情。在安全领域,人工智能风险指的是一个被入侵或行为异常的人工智能系统可能在你的环境中造成的影响范围。两者有所重叠,但它们由不同的团队负责,并使用不同的工具进行评估。安全团队现在就可以针对后者采取行动。
我们应该向董事会报告多少项人工智能风险指标?
三到五个数字即可。董事会无法根据九个数字做出决策,而且包含九个数字的演示文稿往往会掩盖真正重要的那个。请报告您的人工智能资产总数、未获批准的百分比,以及一项风险指标,例如正在积极开发中的可实现人工智能成果。其余数据留待运营审查。
如果目前还没有相关法规要求,我们是否需要人工智能物料清单(AI-BOM)?
目前尚无法规强制要求提供人工智能物料清单 (AI-BOM),这正是为什么现在生成成本低廉而日后成本高昂的原因。目前有两种机器可读格式,审计人员可以接受其中任何一种。其价值不在于合规性,而在于生成该文件会迫使您掌握库存信息,而库存信息是所有人工智能风险指标的基础。
我们的开发人员使用了我们从未批准过的AI工具。我们该从何入手?
先统计再执法。宣布一项针对你无法监控的工具的政策,只会让这些工具的使用转入地下,并破坏你所需的可见性。首先进行调查,在内部公布调查结果(无需注明出处),并以此为基础制定一份反映用户实际需求的批准清单。执法行动在证据出现后进行,远比在证据出现前进行执法更有效。







