什么是MLSecOps？

TL博士 #

MLSecOps（机器学习安全运营）是指将安全性融入机器学习生命周期的每个阶段：数据收集、训练、验证、打包、部署和监控。 它的存在是因为模型的逻辑是学习而来的，而不是编写出来的，因此训练数据、模型工件和推理端点都成为了安全资产，而代码扫描器原本并非设计用于检查这些资产。MLSecOps 则负责机器学习的安全。 pipeline DevSecOps 为软件带来了什么 pipeline它将控制权转移到上游，为每个工件附加来源信息，并将模型视为在投入生产之前可以被篡改、窃取或悄悄重新编程的东西。

什么是 MLSecOps？一个工作定义 #

如果你问十个工程团队什么是 MLSecOps，你会得到两种不同的答案。其中一组团队将其描述为在现有 MLOps 上额外添加的扫描。 pipeline另一种说法更接近事实：当软件逻辑的一部分是统计性的而不是编写出来的，就需要重新思考什么才算安全资产。

第二组观点是正确的，原因如下。传统的应用程序安全基于一个看似合理的假设：系统的行为编码在源代码中，而源代码可以被读取、审查、扫描和修补。机器学习系统从根本上打破了这一假设。它的行为来源于训练过程中消耗的数据、序列化为二进制文件的权重，以及一个可以回答任何能够访问它的人的问题的接口。这三者都不是代码，而且都容易受到攻击。

所以，工作定义如下： MLSecOps 是保护数据、模型、 pipeline以及构成机器学习系统的服务基础设施，在整个生命周期内持续进行，而不是作为发布前的审查。 它将三个以前各自独立的实践领域结合起来：机器学习工程、安全运营和 DevOps 的自动化文化。

实践中真正重要的区别在于：漏洞扫描器会询问某个函数是否可被利用。而 MLSecOps 则会询问用于构建信用评分模型的数据集是否在六个月前被篡改过，从公共库中提取的预训练权重是否是发布者签名的权重，以及预测端点是否会通过每次查询泄露自身的训练数据。

MLSecOps 的含义，分解为三个部分 #

要理解 MLSecOps 的含义，最清晰的方法是将其拆解开来，因为它的每个部分都蕴含着真正的意义。 commitMENT。

• ML。 受保护的资产不是应用程序，而是一个 pipeline 它生成一个模型，加上模型本身，再加上塑造该模型的数据。数据集、特征存储，而不是ebooks训练作业、检查点、注册表和推理端点都在范围内。
• 秒。 安全是……的属性 pipeline威胁建模并非在最后设置一道关卡。威胁建模发生在第一次训练运行之前，而不是在编写模型卡之后。
• 行动。 控制措施是自动化的、持续的且可观察的。发布时安全的模型可能会因为漂移、重新训练或其摄取的数据发生变化而变得不安全，因此一次性评估即为过期评估。

总的来说，大多数团队对 MLSecOps 的理解是这样的： 将数据和模型视为一流的安全资产，并采用与代码和依赖项相同的严格标准进行处理。 并非更加严格，而是同样的严格程度，而大多数组织从未将这种严格程度扩展到代码库之外。

大多数团队从打包和部署阶段入手，因为这些阶段看起来最像软件开发。而更早的阶段才是持久攻击的温床，也是无人能够掌控的阶段。

MLSecOps 如何保障人工智能安全 #

这就是问题背后的问题。抽象地理解 MLSecOps 很容易。要了解 MLSecOps 如何在实际组织中保护 AI，关键在于四个相互强化的控制回路。单独运行其中一个回路，就相当于一个复选框。而运行所有四个回路，就构成了一个完整的程序。

1. 库存和来源：了解现有物品及其来源 #

你不可能买到一款你不知道正在生产的型号，而且 影子人工智能 这才是大多数工程组织的默认状态，而非例外。第一个循环是发现：每个模型、数据集、框架，而非ebook推理端点，以及 pipeline以及它们之间的关系。溯源信息与库存清单同等重要。对于每一件物品，都要记录其生产者、原材料、代码，并附上可验证的签名。 ML-BOM 这是机器可读的表达方式，也是审计人员最终会要求提供的资料。

2. 完整性：使篡改行为可检测，而不仅仅是可能性很小。 #

第二个循环保护从数据到已部署工件的整个流程。数据集和权重都经过校验和及签名处理。标签和预处理过程都具有不可变的审计跟踪。采用安全的序列化格式，因为经典的 Python pickle 格式在加载时执行任意代码这使得“下载预训练模型”变成了“运行陌生人的程序”。建立训练的诚信度。 pipeline 本身，因此可以证明而不是假设生成该工件的工作。这就是 MLSecOps 和 software supply chain security 别再做邻居，要走同一条路。

3. 对抗性验证：测试失效模式，而不仅仅是准确率。 #

即使在预留的测试集上得分达到 97%，模型仍然可能被人类无法察觉的修改后的输入可靠地欺骗。第三循环在发布过程中加入了对抗性评估：规避测试、中毒恢复能力、成员推断和提取探测以及结构化 AI 红队演练。输出结果并非通过或失败的分数，而是一个 doA 模型。即使在预留的测试集上得分达到 97%，模型仍然可能被人类无法察觉的修改后的输入可靠地欺骗。第三循环在发布过程中加入了对抗性评估：规避测试、中毒恢复能力、成员推断和提取探测以及结构化 AI 红队演练。运行此测试所依据的分类是： NIST AI 100-2e2025它会记录攻击类型及其缓解措施。输出结果并非通过或失败的评分，而是一份模型行为异常情况的文档，团队随后会决定接受、缓解或阻止这些异常情况。

4. 运行时监控和响应：假设评估过期 #

第四个循环监控已部署的系统。查询速率异常表明数据提取出现问题。输入分布不再类似于训练数据。输出发生漂移。 针对模型注册表的访问模式至关重要的是，它与实际的事件响应路径相连，因为“模型行为异常”需要负责人、运行手册和回滚目标，就像受损的服务一样。

MLSecOps 如何保障 AI 安全的简要说明： 它使 ML 成为可能 pipeline 可审计性、可检测篡改、将对抗性故障作为发布标准，以及将模型行为作为受监控信号而非假设。这些都不是奇特的。它们都是…… standard 纯粹的软件工程实践，从未涉足数据科学领域。

MLSecOps 之于 MLOps，正如 DevSecOps 之于 DevOps：相同的生命周期，将安全性作为其属性之一。 pipeline 而不是最后进行审计。以及与生成式的边界 人工智能安全 这一点值得明确指出，因为大多数困惑都源于此。MLSecOps 专注于…… 建设和训练 侧面：模型是如何生成、打包和交付的。生成式人工智能安全侧重于…… 使用 侧面：提示、代理、工具访问和推理时的模型行为。一个自行微调和部署模型的组织需要两者，并且需要一个涵盖两者的单一风险模型，否则最终会得到两个队列，却没有优先级。

在监管方面，客观的框架非常狭窄。欧盟《人工智能法案》的技术文档义务和《网络弹性法案》的物料清单义务都提出了实际的证据要求，而维护良好的机器学习清单有助于满足这些要求。但两者都没有明确规定需要机器学习物料清单（ML-BOM）。任何声称某项法规要求提供ML-BOM的人都是在夸大其词。

从定义到程序 #

框架可以规范词汇。但它无法解决的是，认识到模型来源的重要性与今天下午就能证明这一点之间的差距。 pipeline 生成了目前在生产环境中用于预测的工件。这种差距正以可预测的方式缩小。探索您存储库中的所有 AI 和 ML 资产。 pipeline包括那些未声明的开发环境在内的所有环境。为重要的工件附加来源和完整性信息。将对抗性失败作为发布标准，而不是研究课题。然后进行监控，因为每次评估都会在系统重新训练时失效。

西吉尼 它负责该流程的软件部分，而这部分通常是大多数机器学习安全运营 (MLSecOps) 项目会推迟处理，也是大多数审计人员首先会询问的内容。持续发现跨存储库的 AI 资产， pipelines 和开发人员环境，每次扫描都会自动生成 AI-BOM。 对您的软件包及其依赖项进行恶意软件检测 pipeline拉入在他们拥有签名之前。建立诚信 pipeline生成您的工件。并且，针对您已管理的 AI 发现和应用程序发现，提供一个统一的优先级风险视图，这样所有工作都会进入一个队列，而不是四个队列。 线上一对一演示 查看您自己的人工智能资产清单。

常见问题解答 – 什么是 MLSecOps（简答） #