人工智能代理安全性

AI代理安全:了解每个代理,发现风险,保护其安装的内容。

人工智能代理的安全不再仅仅取决于模型说了什么,而是取决于代理做了什么:它调用的工具、读取的数据、持有的凭证以及它自行安装的软件包。

大多数团队都无法回答第一个问题:我们实际运行的是哪些代理?它们以 LangChain 图、MCP 服务器等形式存在于代码库中。 SKILL.md 文件,以及一些开发者在周五下午配置的AI编码工具。没有人审核过这些文件,恶意技能只是纯文本。

TL博士

AI代理安全防护四步走:发现问题、评估问题、保护流程、保护安装环境。

你无法保护你看不到的代理。AI代理安全始于对代码中的每个代理、MCP服务器、技能、模型和AI编码工具进行清点。

  • 代理构建方式的风险: 将用户输入连接起来的提示,没有工具调用代理 guardrails拥有过高的权限和技能,并隐藏着大量指令。其中大部分在部署前都可见于代码中,并映射到…… OWASP十大代理应用程序问题.
  • 循环内部安全: 编码代理需要确保其内部流程的安全,因此它们会在编写代码之前对其进行扫描和修复。 commit泰德,不是几周后才收到罚单。
  • 保护安装: 代理程序也会安装依赖项。在恶意软件特征码出现之前就能工作的恶意软件检测技术,可以覆盖所有安装恶意软件的程序包,无论是开发者还是代理程序。
  • 一种工作流程: AI 检测结果与其他应用安全检测结果一样,需要经过同样的分类、工单和报告流程。

第一步: 建立存储库中 AI 的清单,将其导出为 AI-BOM,然后在 CI 中控制新的代理代码。

为什么人工智能代理的安全问题有所不同

LLM(逻辑逻辑模型)功能返回文本,由人来决定如何处理。而智能体则能独立完成这个循环:它进行规划、调用工具、读取网页、电子邮件和文档、写入文件以及执行命令。你赋予智能体的每一项能力,攻击者都可以借用。

OWASP也做了同样的区分。 OWASP 2026 年代理应用程序十大安全漏洞 (ASI01 至 ASI10)建立在……之上 OWASP 十大法学硕士申请问题:LLM 列表涵盖模型所说的话;代理列表涵盖代理所做的事情。

现在大多数机构都运营两种类型的代理人:

  • 您集成到应用程序中的代理: 使用 LangChain、LangGraph、CrewAI、AutoGen、Semantic Kernel 或 LlamaIndex 等框架构建的支持助手、内部副驾驶和工作流程,通常通过以下方式连接到工具: MCP 服务器.
  • 开发人员使用的AI编码代理: Claude Code、Cursor、GitHub Copilot、Windsurf 等工具可以编写代码、编辑配置和添加依赖项。

AI代理的安全措施必须涵盖这两方面,因为它们都需要获得您的许可才能运行。

第一步:清点所有代理、MCP 服务器和技能

AI 代理安全始于一个问题板,审计人员现在会问:我们正在运行什么 AI? Xygeni AI 安全 从源头上回答这个问题:代码、配置、清单和依赖项。

它发现模型、代理和代理服务器、AI框架、MCP服务器及其工具、技能(SKILL.md, AGENTS.md),提示, guardrails它还会映射存储库中配置的向量存储、数据集、推理端点和 AI 编码工具。此外,它还会映射它们之间的连接方式:哪个代理使用哪个模型、执行哪些工具以及调用哪些 MCP 服务器。

最终形成一个动态 AI 清单,可以以 CycloneDX 格式导出为 AI-BOM,每个资产都有一个治理记录,其中包括欧盟 AI 法案风险类别字段。

想看看你的代码中已经包含了哪些人工智能技术吗? 预约与工程师的会面, 我们将构建您其中一个存储库的 AI 清单。

步骤二:找出构建代理过程中存在的风险

大多数代理漏洞并不罕见。它们通常是字符串拼接生成的提示信息、没有输入保护机制的工具调用代理,或是权限远超代理所需的凭据。所有这些漏洞都会在代码中留下痕迹,因此可以在部署前通过持续集成 (CI) 流程捕获它们。

代码中可能存在的AI代理风险

每项风险都对应着 OWASP 十大法学硕士申请问题 或其代理伙伴,以便调查结果能够与审计人员使用相同的语言。

风险代码示例OWASP 地图
及时注射系统提示将用户内容连接起来,而没有进行角色区分、分隔符或其他区分。 guardrails法学硕士01
间接喷射无需输入即可调用工具的代理 guardrails或者,那些接收未经清理的网页、电子邮件或检索到的文档的代理程序法学硕士01
不安全的输出处理模型输出达到 eval 或其他危险的调用栈,可追溯到各个函数和文件法学硕士05
特权过高的代理人身份非人类身份滥用静态长期凭据、未缩小范围的共享凭据、以提升权限运行的 MCP 或工具服务器ASI03
恶意或拼写错误抢注技能代理技能供应链隐藏的恶意指令 SKILL.md or AGENTS.md模仿已知技能或集成功能的技能名称十大关键技能:代理人技能
提示中的秘密凭据存储在提示符文件中法学硕士07

每一项发现都包含其 OWASP LLM Top 10 类别,以及适用的 OWASP Agentic Applications 和 Agentic Skills 标签,以及涉及的红队攻击向量。

技能文件需要特别关注,因为技能文件中的恶意指令是文字而非代码,任何签名都无法识别。可选的 AI 审查会使用版本化的确定性设置来判断标记的技能文件和代理指令文件的意图,因此同一个文件始终会得到相同的判定结果。它可以运行在您自托管的模型上,因此代码和提示信息无需离开您的环境。技能等级评分会将这些信号融合为一个答案:安全、谨慎或禁止安装。

更深入: 观看我们的会议 爆炸半径:当特工触碰到你没要求触碰的东西时探讨当代理的权限超出其任务范围时会发生什么。

步骤 3:将安全机制置于编码代理的循环中

人工智能编码代理编写和 commit 代码编写速度快到任何人都来不及审核。两周后才提交的工单中发现的问题很少能得到解决。修复工作必须在客服人员仍在工作期间完成。

Xygeni MCP 服务器在本地运行,可与任何支持 MCP 的 AI 编码代理配合使用,无论其运行在何种模型上。该代理可以扫描刚刚编写的代码,列出新问题,获取 AI 分类结果并请求修复。 SAST 和 SCA 它会不断迭代,直到更改完全正确为止,然后再进行任何其他操作。 commit泰德,需经你们团队批准。

它使用与您的相同的引擎、策略和静音规则 pipeline这样,代理和你的持续集成(CI)就不会产生分歧。对于与代理协同工作的开发人员来说, IDE插件 将相同的发现和修复方法应用到编辑器中。

第四步:保护代理安装的内容

AI编码代理可以自行添加依赖项,而不会停下来检查一个名称熟悉的全新软件包是否合法。攻击者深谙此道,开源注册表正是他们伺机而动的地方。

恶意软件防御 无论安装者是开发者还是代理商,该功能都能在恶意软件签名出现之前就将其标记出来。在开发者的机器上, Shield 在任何程序运行之前强制执行策略:新软件包的最低年龄限制、IDE 扩展和插件的覆盖范围、阻止恶意指标和风险地区,以及在需要隔离机器时进行端点隔离。

想更深入吗?

处理程序及其暴露的端点存在缺陷,这是同一个问题,责任方也只有一个。如果您已经运行了其他 DAST 工具,Xygeni 会将其结果导入到同一个风险视图中,而无需您进行替换。

想看看这两层是如何协同工作的吗? 观看我们的会议 从代码到运行时:为什么 SAST DAST 和 DAST 对于现代应用安全都至关重要我们将逐步讲解代码发现和运行时测试如何相互印证。

一个工作流程,而不是另一个控制台

当人工智能代理成为一个拥有独立队列的独立工具时,其安全性就会下降。在 Xygeni 中,人工智能的发现会经过同一个流程。 人工智能分类以及其他发现,例如工单和报告。AI 修复功能可为所有十个 OWASP LLM 类别提供上下文感知修复指导,并且 ASPM 将人工智能风险与代码、依赖关系等因素并列考虑。 pipeline 从某种角度来看,风险。

AI代理安全性和合规性

监管机构、审计机构和客户越来越要求您提供所运行的人工智能系统的清单及其风险分类。 欧盟人工智能法案 和 ISO / IEC 42001 两者都在朝着这个方向努力,人工智能物料清单(AI-BOM)正在成为一种 standard 采购问卷中的项目。

一份包含每项资产风险类别字段的人工智能资产清单,能够为您的管理团队提供开展相关工作的证据基础。它有助于您做好欧盟人工智能法案的准备;但它并非合规性评估,也不能取代您的法律审查。

或者对于中型团队来说就很简单了:

  1. 在每个 pull request: 在 CI 中对已更改的代码进行 API 安全检查,并进行增量 DAST 扫描。
  2. 之前 commit: 作为一个 pre-commit 对已暂存文件进行控制。
  3. 夜间或合并时: 完整的DAST扫描。
  4. 每次重大版本发布之前: 对测试环境进行 AI 渗透测试,以验证待办事项并确认每个修复都已堵住漏洞。

API 安全扫描器可在任何位置运行,包括物理隔离环境,并向 Xygeni SaaS 或您的系统报告。 on-premises平台。结果以JSON格式输出。 SARIF 2.1.0、CSV 和 Markdown 格式 pull request 意见。

API 安全测试和合规性

对于银行、保险或公共部门的团队而言,API 安全测试也是一项证据。每一项发现都带有合规性标签。 GDPR 第 32 条, 数据安全标准 4.0 (要求 3.4、6.4.3、7.1、7.2 和 8) NIST SP 800-53 (AC-3、AC-6、IA-2、IA-5),在平台和 JSON 及 SARIF 输出中可见。

如果您的组织属于以下情况 多拉 or NIS2运行时测试可以在监管机构仍然要求的手动渗透测试之间提供持续的证据。 

如何分 7 个步骤实现 AI 代理安全

以下是一份实用的检查清单,按照以下顺序,可以让 AI 代理安全在实际开发团队中以最快的速度投入使用。

  1. 探索

    清点存储库中的所有人工智能资产

    扫描所有存储库,查找代理、MCP 服务器、技能、模型、提示和 AI 编码工具,并将结果导出为 AI-BOM。这是您的基准列表,后续所有步骤均以此为基础。

  2. 分类

    给每个代理人指定所有者和风险等级

    对于每个代理,都要记录其所有者、可访问的数据和工具,以及其欧盟人工智能法案风险类别。无人拥有的代理,也就无人会去修复。

  3. 检测

    扫描 CI 中的代理代码 pull request

    在其他扫描程序运行的同时运行 AI 风险检测。首先以非阻塞模式启动,查看基线数据,然后在团队完成清理工作后,阻止对关键发现结果的合并。

  4. 评价

    在任何人安装它们之前,请先审查相关技能。

    扫描技能和代理人指令文件,例如 SKILL.md 和 AGENTS.md启用 AI 意图审查,并将“禁止安装”的判定视为硬性终止。

  5. 限制

    收缩代理权限

    将静态的长期凭据替换为作用域凭据,停止在代理之间共享凭据,并且永远不要以不需要的提升权限运行 MCP 或工具服务器。

  6. 修复循环

    将安全性置于编码代理的循环中

    将您的AI编码代理连接到安全MCP服务器,以便它们在代码泄露前扫描并修复自己的代码。 commit泰德,和你一样的政策 pipeline.

  7. 保护

    保护开发者机器上的内容

    对新软件包强制规定最低使用年限,在出现签名之前检测恶意软件包,并涵盖 IDE 扩展和插件,无论安装者是开发人员还是代理。

然后: 将每一项发现都纳入与 AppSec 其他事项相同的分类、工单和报告工作流程,这样 AI 风险就不会单独进入一个队列。

你不可能找到一个你从未见过的经纪人。

AI代理安全并非仅仅是增加一个扫描器。它关乎了解你运行哪些代理,识别其构建方式中的风险,将安全机制融入代理的编码循环,以及保护代理的安装内容。一切都从清单开始:其他一切都取决于此。

想查看代码中的每个代理、MCP 服务器和技能吗? 预约与工程师的会面 构建存储库的 AI 清单并审查其结果。或者 免费开始 与AI SAST, SCA对开源软件包进行密钥检测、IDE插件检测和恶意软件检测。无需信用卡。

人工智能代理安全常见问题解答

AI代理安全性与LLM安全性有何不同?

LLM 安全关注的是模型输出的内容:数据泄露、答案被篡改、输出不安全。AI 代理安全关注的是代理如何使用工具、内存、凭证以及其他代理。因此,OWASP 在 LLM 十大安全风险之外,还单独发布了针对代理应用的十大安全风险(ASI01 至 ASI10)。

如何找到我所在组织中的 AI 代理和 MCP 服务器?

从代码入手。Xygeni AI Security 会发现您代码库中的代理、MCP 服务器、技能、模型、提示和 AI 编码工具,绘制它们之间的连接图,并将结果导出为 CycloneDX 格式的 AI-BOM。它会在持续集成 (CI) 环境中与您的其他扫描程序并行运行。

恶意技能或 MCP 服务器会危及我的开发人员吗?

是的:技能指令以纯文本形式呈现,代理程序会在获得开发者许可后执行这些指令。Xygeni 会标记隐藏的恶意指令和冒充技能名称的行为,可以通过可选的 AI 审核来判断技能的意图,并将每个技能评为安全、谨慎或不建议安装。恶意软件防御和 Shield 涵盖代理商带来的包裹和扩展程序。

sca-tools-软件-成分分析工具
确定软件风险的优先级、进行补救并加以保护
注册免费账号。
不需要信用卡。

确保您的软件开发和交付安全无虞

使用 Xygeni 产品套件