Xygeni 安全术语表
软件开发和交付安全术语表

什么是智能体人工智能安全?

TL博士 #

智能体 AI 安全是指保护那些执行操作而不是回答问题的 AI 系统:智能体可以跨多个步骤进行规划、保存内存、通过 MCP 等协议调用工具,并在您的软件和开发生命周期中使用委托凭证进行操作。 它比提示级安全机制更强大,因为故障模式不再是错误的答案,而是以您组织身份执行的非预期操作。

所有者是谁: 应用安全,涉及身份验证。这不是独立的AI功能。

是什么让它与众不同: 聊天机器人缺乏四项基本属性:自主性、工具访问权限、持久记忆和委托身份。

参考分类法: OWASP 2026 年代理应用程序十大安全漏洞(ASI01 至 ASI10),发布于 2025 年 10 月。

风险实际存在于何处: 主要涉及身份、供应链和执行,而不是模型本身。

什么是智能体人工智能安全? #

模型如果写错代码,那就很尴尬。代理如果向 shell 命令中输入错误代码,那就更尴尬了。 pull request 或者生产数据库故障就是一起事件。

从生成文本到采取行动的这一转变,正是这门学科存在的全部意义所在。任何询问什么是智能体人工智能安全的人,通常都是在应对某个特定时刻:有人注意到,工程团队中的某个助手现在拥有了凭证、工具访问权限、持久记忆,并且能够自主地将这些功能串联起来,而无需人工干预。

智能体人工智能安全是一系列实践方法,旨在将智能体的能力限制在您设定的边界之内。它涵盖了智能体可以使用的工具、它使用的身份、它在会话之间记住的信息、它信任的其他智能体,以及当它试图执行不可逆操作时会发生什么。 → 什么是代理性 SDLC?

智能体人工智能安全含义:构成风险的四个特性 #

一旦了解智能体拥有而聊天机器人不具备的特性,智能体人工智能的安全意义就变得具体起来。这四个特性,每一个都破坏了应用程序安全多年来赖以生存的控制措施。

特性它赋予代理人什么为什么现有控制措施未能奏效
自治无需每一步审批即可计划并执行多步骤任务审查门假定由人为因素决定cis不再存在的离子点
工具访问直接调用 API、shell、存储库和 MCP 服务器权限边界是一个配置文件,而不是扫描器读取的代码。
持久的记忆在会话和任务之间传递上下文一条带有毒性的指令在提出它的那次会议上仍然有效。
委托身份使用真实凭证进行操作,其范围通常比任务所需范围更广。日志显示的是服务帐户,而不是选择该操作的代理。

十大风险:OWASP 针对代理应用程序的十大风险 #

参考分类法是 OWASP 2026 年代理应用程序十大安全漏洞由……于2025年12月9日发布 OWASP 代理安全倡议 拥有超过100位贡献者。它扩展而非取代LLM Top 10榜单,因为大多数代理人也是LLM申请人,因此也面临同样的风险。

ID风险实际效果如何
ASI01特工目标劫持输入会将代理从你的目标重定向到攻击者的目标。
ASI02工具滥用和剥削以不安全的方式或使用攻击者预设的参数调用合法工具
ASI03身份和特权滥用代理继承或升级了超出其任务范围的凭据。
ASI04代理供应链漏洞第三方工具、框架、注册表和代理组件会带来风险。
ASI05意外代码执行沙箱或执行边界失效,任意代码运行
ASI06记忆和情境中毒持久记忆或检索到的上下文经过精心设计,旨在误导后续步骤
ASI07不安全的代理间通信代理人之间的消息被伪造、重放或未经认证
ASI08级联故障一名受感染的特工将火力扩散到整个系统中。
ASI09人机信任剥削人们过分信任代理的输出结果并据此采取行动。
ASI10流氓特工代理人因偏离政策、设计缺陷或妥协而违反政策行事。

注意列表的结构。只有两三项是关于模型的。其余的都是身份、供应链、执行和信任问题,这就是为什么智能体人工智能安全应该由已经拥有相关职责的团队负责。 应用安全 而不是在单独的人工智能功能中。

什么是智能体人工智能安全实践?六项控制措施 #

框架描述风险。这些控制措施可以降低风险,并且按照大多数团队实际能够采用的顺序排列。

  • 清点正在运行的代理和 MCP 服务器。 不是已批准的列表,而是真正的列表。未经批准的代理工具才是常态而非例外,你无法确定你尚未发现的内容。
  • 每个代理的工具表面范围。 最小权限原则不仅适用于用户,也适用于工具。大多数过度授权并非出于恶意,而是出于便利。
  • 像代码一样审查配置。 技能文件、规则文件和 MCP 服务器定义是具有权威性的指令。MITRE ATLAS 文档记录了…… 规则文件后门 这是一个真实的案例研究,而不是一个思想实验。
  • 每个代理人拥有独立的身份。 如果审计日志无法告诉你哪个代理执行了操作,那么你的事件响应就需要从考古学入手。
  • 在安装和执行时强制执行。 恶意软件包或未经批准的 MCP 服务器一旦在开发者机器上运行,阻止成本就会大大降低。 → 端点处的依赖防火墙
  • 保留一份能经受住事件考验的痕迹。 船舶溯源,跨领域异常检测 pipelines 和端点,与生成它的身份相关联。

这些智能体生成的代码需要像智能体本身一样接受严格审查。2025 年人工智能世代展望 Code Security 这份涵盖 80 项任务、100 多个模型的报告发现,45% 的 AI 生成的样本本身就存​​在 OWASP Top 10 漏洞。生成速度快并不意味着安全性高。 → DevAI 如何在 IDE 中验证生成的代码

智能体人工智能安全不是什么?它的边界在哪里? #

这些术语相互重叠,导致采购谈判受到影响。

  • GenAI 安全 是其母学科:涵盖软件内外的所有生成式人工智能。智能体人工智能安全是其最重要的子集,涵盖了实际执行操作的系统。
  • LLM 安全 涵盖模型及其提示。当模型获得工具时,这些内容就显得不足了。
  • MCP 安全性 更窄一些:它指的是连接代理和外部系统的协议层。 OWASP MCP Top 10 涵盖了该内容,但仍处于测试阶段,因此请将其视为正在形成而非最终定稿。
  • 人工智能SPM 是针对人工智能资产的姿态管理,是……的对应物。 ASPM它回答的是存在什么,而不是代理人被允许做什么。
  • 身份和访问管理 它确实拥有其中的一部分,但传统的身份与访问管理 (IAM) 假定的是人或服务,而不是决定自己下一步的非确定性行动者。

值得借鉴的框架 #

评判一个框架的标准是它的发表状态,而不是它听起来是否新潮。

骨架状态如何使用它
OWASP 2026 年代理应用程序十大安全漏洞发布日期:2025年12月(ASI01至ASI10)主要代理分类法。可用于威胁建模和红队演练范围界定。
2026 年 OWASP 十大 LLM 应用问题2026年8月出版,当前版本模型层代理继承
OWASP MCP Top 10Beta版,试点测试阶段应描述为正在出现,而非趋同
NIST SP 800-218A最终版,2024年7月确保 GenAI 开发实践的一致性
米特阿特拉斯持续更新的鲜活知识库利用案例研究进行威胁建模

关于监管,请预先做好准备cise. 该 欧盟人工智能法案 该法规对某些系统施加了文档记录和监督义务,而代理清单则提供了相关证据。目前尚无任何法规将代理人工智能安全列为强制性控制措施,声称存在此类措施将导致采购流程中出现您不希望看到的纠正措施。

从定义到方案 #

只有当智能体、工具和身份列表变成你可以实际看到的列表时,智能体 AI 的安全意义才重要。

工作流程如下:首先,发现已存在的代理、MCP 服务器、技能文件和 AI 资产,包括未申报的资产。然后,根据实际攻击路径而非原始严重程度对它们进行评分。最后,在不安全的软件包、模型或工具即将执行的位置强制执行策略。

Xygeni 涵盖了代码中的这三种运动, pipeline 以及端点,在一个风险模型中,与你已经管理的应用程序发现一起。 线上一对一演示 查看您自己的代理和 AI 库存。

常见问题解答 #

简单来说,什么是智能体人工智能安全?

将代表你行事的 AI 限制在你所选择的范围内:它可以调用的工具、它使用的身份、它记住的内容以及它被允许执行的内容。

对于开发团队而言,智能体人工智能安全意味着什么?

代理配置会像代码一样进行审查,每个代理都以自己的作用域身份运行,不安全的安装或未经批准的 MCP 服务器会在机器上被阻止,而不是在事后分析中发现。

智能体人工智能安全与快速注入防御有何不同?

提示注入是其中一个入口点,ASI01。智能体 AI 安全涵盖了之后发生的事情:被劫持的智能体访问了哪个工具,使用谁的凭据,以及该操作是否可以撤销。

如果我们不构建智能体,还需要智能体人工智能安全吗?

几乎可以肯定。拥有工具访问权限和 MCP 连接的代码助理就是代理人。大多数组织在正式决定之前就已经启用他们了。

谁拥有智能体人工智能安全?

应用安全,涉及身份管理。资产存储在存储库中。 pipelines 和开发人员机器,以及所有权的拆分往往会产生第二个积压,而不是减少风险。

开始免费

免费开始使用。
不需要信用卡。

一键开始:

这些信息将按照 服务条款隐私政策

应用截图