TL博士
什么是模型提取攻击?为什么库存管理至关重要?
模型提取攻击通过AI自身的API复制你的AI。没有数据泄露,没有权重被盗,也没有恶意软件。
- 运作方式: 模型提取攻击(也称为模型窃取或模型盗用)会大规模查询推理端点,并基于查询结果训练一个克隆模型。从日志来看,攻击者看起来像是一个流量很大的用户。
- 它位于: OWASP 将模型提取分类为 LLM10:2025 无限制消费 并将其中列出的缓解措施之一列为集中式模型清单。
- 为什么防守会失准: 速率限制、身份验证和监控只能保护您已知的端点。影子 AI 端点则不受任何保护。
第一道防线: 在代码发布之前,需要从源代码中梳理出所有暴露的模型、代理和推理端点,并建立一份完整的 AI 清单。没有建立清单的推理端点是无法保护的。
即使无人触碰您的服务器,您的模型也可能被窃取。
你的团队花了几个月的时间,基于专有数据对模型进行精细调整。该模型运行在一个每天处理数千次请求的 API 接口之后。现在想象一下,你的竞争对手仅用这些 API 调用的费用,就重建了其大部分价值。
这是一种模型提取攻击。攻击者无需入侵你的基础设施或下载你的权重。他们只需向你的模型提出足够多的精心挑选的问题,记录答案,然后训练一个副本即可。
大多数团队通过速率限制、身份验证和输出监控来应对这种风险。这些控制措施确实有效,但它们存在一个共同的盲点:它们只能保护已知存在的推理端点。在本指南中,我们将解释什么是模型提取攻击、模型窃取在实践中是如何运作的,以及为什么所有防御措施都始于资产清点。
什么是模型提取攻击?
模型提取攻击是指攻击者通过向机器学习模型发送查询并从其输出中学习,从而重建一个功能完整的模型副本。它也被称为模型窃取或模型盗用。攻击者无需原始权重、训练数据或源代码:公开接口就足够了。
这个想法并不新鲜。研究人员在2016年就用商业预测API验证了这一点(Tramèr 等人,USENIX 安全2024年,谷歌DeepMind的一个团队通过其公共API恢复了部分生产语言模型(Carlini等人). 米特阿特拉斯 追踪与针对人工智能系统的对抗技术相同的行为。
对于LLM应用,OWASP将模型盗窃问题纳入考虑范围。 LLM10:2025 无限制消费它描述了两种变体:通过精心设计的 API 查询进行提取,以及功能复制,其中目标模型生成合成数据来微调竞争模型。
模型提取攻击:关键术语
同一种威胁有好几个不同的名称。以下是每个名称的含义以及它们之间的重叠之处。
| 术语 | 这是什么意思 |
|---|---|
| 模型提取攻击 | 根据查询响应重建模型的行为 |
| 模型盗窃/模型偷窃 | 常用同义词;模型盗窃也包括直接盗窃重量文件。 |
| 功能模型复制 | 使用目标模型的输出作为替代模型的训练数据 |
| 阴影模型 | 攻击者的克隆体,经过训练可以模仿目标 |
模型提取攻击的工作原理
每一次模型提取攻击都遵循相同的循环:找到一个端点,大规模查询它,训练一个副本。
- 找到终点。 攻击者找到了一个推理 API:聊天后端、分类服务、嵌入端点、合作伙伴可以访问的内部模型。
- 设计查询语句。 输入参数的选择旨在涵盖模型的描述性特征。cis离子空间有效利用,有时结合快速注入,以获得更丰富的答案。
- 收获产出物。 标签、置信度评分、logits 值或全文补全都会泄露信息。回复内容越丰富,信息被窃取的速度就越快。
- 培训代课老师。 收集到的输入和输出对成为模仿原始模型的影子模型的训练集。
- 利用克隆体。 该副本用于规避许可费用、直接竞争,或在对真实模型发起攻击之前离线演练对抗性攻击。
模型窃取难以检测的原因在于,每个请求看起来都是合法的。关键在于请求的数量、模式,以及最重要的——请求的最终目的地。
为什么常见的防御措施会失效:库存缺口
此 standard 针对模型提取攻击的建议是合理的:对调用者进行身份验证、限制速率和流量、减少响应中的置信度分数、对输出进行水印标记,并监控异常查询模式。每项控制措施都针对每个端点应用。而这正是漏洞所在。
如今,人工智能进入代码库的速度远超安全团队的追踪能力。开发人员将LLM SDK集成到微服务中;数据团队将经过微调的模型公开给内部工具;代理框架启动了自己的服务层。这些操作均无需经过审核,许多甚至从未出现在API网关或规范文件中。
其结果就是影子人工智能:模型、代理和推理端点存在于生产环境中,但却不在任何人的监控列表中。这种无人知晓的端点不受速率限制、身份验证和监控。对于模型提取攻击而言,它是理想的目标。
OWASP也持相同观点。在其针对LLM10的缓解措施中,OWASP建议维护一个集中式的机器学习模型清单。其逻辑很简单: 您无法保护尚未清点的推理端点。
首先进行清点:发现每个端点,然后保护它。
一个有用的 AI 资产清单可以回答每个资产的四个问题:它是什么,它在哪里申报,它与什么通信,以及什么保护它。
| 库存问题 | 为什么它对模型提取很重要 |
|---|---|
| 存在哪些模型和推理端点? | 每个未列出的端点都是一个未受保护的提取目标。 |
| 它们在代码中的哪个位置声明? | 所有权:必须有人来修复缺失的控制权 |
| 哪些数据和工具相互连接? | 使用敏感数据训练的模型更有窃取价值。 |
| 哪 guardrails 是否适用相关管制措施? | 在攻击者发现漏洞之前就显示出这些漏洞。 |
构建此清单的最佳位置是源代码。代码是终端的诞生地,因此在代码库中发现 AI 资产可以在它们投入生产环境之前就找到它们。它还将每个资产链接到一个项目。 commit以及一个团队,正是团队将清单转化为行动。
还有两个习惯可以完善整个流程。首先,将库存导出为 AI 物料清单 (AI-BOM),以便管理和审计团队能够看到一致的信息。其次,每次变更后都要重新扫描,因为库存信息的准确性取决于其最后一次更新。
Xygeni 如何在模型提取攻击开始前弥补漏洞
Xygeni AI 安全 直接从源代码构建 AI 清单。它可以发现 AI 模型、代理、AI 框架、MCP 服务器和工具,并提示: guardrails在您的存储库中,存储向量存储、数据集、推理端点和 AI 编码工具,包括模型文件等。 .onnx, .pt 和 .pkl关系也已映射:哪个代理使用哪个模型,它执行哪些工具,它在哪些数据集上进行训练。
AI 资产清单中的每个资产都显示其模型和提供商、带有 PII 标记的已连接数据源、防护措施覆盖范围以及治理字段(例如欧盟 AI 法案风险类别)。AI 图视图显示了代理、模型、工具和数据集之间的连接方式。只需单击一下即可导出 CycloneDX 1.6 ML-BOM,就在您旁边。 SBOM 以及 CBOM。
从库存到保护:
- 风险检测已映射到 OWASP。 检测器包涵盖了 OWASP LLM 十大类别中的所有十个类别,包括 LLM10 无限制消费,因此每个发现都以您的审核员使用的语言表达。
- 代码中已检查端点控件。 Xygeni API 安全性 从代码和规范中发现 API 端点,并标记未经身份验证的端点、缺少速率限制以及偏离规范的影子 API。
- 运行应用程序上的证据。 Xygeni AI 渗透测试会对已部署的应用程序进行测试,并证明哪些弱点是可以被利用的。
- 快速修复。 AI 分类优先处理 AI 发现的问题,AI 修复针对所有十个 OWASP LLM 类别生成修复指南。
所有这些都以静态扫描的方式运行。 CI/CD 或者在本地,通过SaaS方式 on-premise 以及物理隔离选项。需要将语义评审阶段保留在内部的团队可以采用自托管模式运行。
模型提取攻击防范清单
共有八个控制点,按顺序排列。前两个控制点使得后六个控制点成为可能。
- 1库存从源代码中清点每个模型、代理和推理端点,并保持其在每个版本上都是最新的。 commit.
- 2所有权为清单中的每个 AI 资产指定所有者。
- 3认证要求对所有推理端点(包括内部端点)进行身份验证。
- 4速率限制对每个呼叫者设置速率限制、配额和超时时间。
- 5输出最小化返回所需的最小输出:删除用户不需要的置信度分数和逻辑值。
- 6监控监控查询量和模式,以便进行系统性探测。
- 7水印考虑对高价值专有模型的输出结果进行水印处理。
- 8治理导出用于治理和审计的 AI-BOM,并将调查结果映射到 OWASP LLM10。
在攻击者之前找到你的推理端点
模型提取攻击只需要你忽略的一个端点。找出你的代码实际运行的 AI: 了解 Xygeni AI Security 如何构建您的 AI 资产清单, or 预订演示.
常见问题解答
模型提取攻击和模型逆向攻击有什么区别?
模型提取攻击会复制模型本身:包括其行为和细节。cis离子逻辑。模型反演的目标是训练数据,试图重建模型学习所用的敏感记录。两者都滥用了查询访问权限,但提取窃取的是知识产权,而反演泄露的是私人数据。
模型提取攻击能否针对LLM模型,还是只能针对经典的ML模型?
两者兼有。早期研究针对的是预测 API 背后的分类器。如今,OWASP 将模型提取和功能模型复制列为 LLM 风险,具体属于 LLM10:2025 无限制消费范畴,攻击者利用 LLM 自身的输出来微调替代模型。
如何知道我的哪些推理端点容易受到模型窃取攻击?
首先,从源代码构建一个清单:列出应用程序声明的每个模型、代理和推理端点。然后,检查每个端点的身份验证、速率限制和输出暴露情况。Xygeni AI Security 会发现存储库中的 AI 资产,并将其导出为 AI-BOM;Xygeni API Security 则会标记缺少身份验证或速率限制的端点。







