Xygeni 安全术语表
软件开发和交付安全术语表

什么是MLOps?

TL博士 #

MLOps(机器学习运维)是一系列实践方法,它将机器学习模型从实验阶段推进到可靠的生产系统,并确保其后续的可靠性。它结合了 DevOps 自动化以及 DevOps 从未涉及的部分:数据版本控制、模型训练、模型注册和漂移监控。MLOps 使模型能够重复部署。MLOps 安全性确保部署的内容及其所有依赖项都值得信赖。

什么是MLOps? #

一个在非ebook 它本身并不是产品。只有当它能够根据新数据重新训练、无需人工交接即可部署、出现故障时可以回滚,并且在审计人员询问其来源时能够做出解释时,它才成为产品。

这正是大多数机器学习项目停滞不前的原因所在。谷歌那篇被广泛引用的论文…… 机器学习系统中的隐藏技术债务 结果表明,模型代码仅占实际机器学习系统的一小部分。其余部分包括数据收集、特征提取、配置、服务基础设施和监控,而这些才是成本累积的主要原因。

MLOps 是管理其余部分的学科。它将 DevOps 的原则(自动化、版本控制、持续交付、共享所有权)应用于一个行为既依赖于代码又依赖于数据的系统。因此,一个团队如果问“什么是 MLOps”,实际上是在问如何让组织能够运维模型,而不仅仅是构建模型。 什么是人工智能安全?

关键的区别在于:在软件领域,相同的代码会产生相同的行为。而在机器学习领域,相同的代码在不同的数据上训练会生成不同的模型。MLOps 的存在正是因为数据是变化的第二个来源。

MLOps 的含义:该术语实际涵盖的内容。 #

MLOps 的含义因供应商而异,因此有必要明确其界限。该术语涵盖五个方面:

  • 数据管理。 对数据集进行版本控制,验证其质量,并跟踪哪些数据训练了哪些模型。
  • 实验与训练。 跟踪实验、参数和结果,以便能够重现模型,而不仅仅是记住模型。
  • 模型注册。 每个车型版本、其沿革、评估和批准状态的单一记录。
  • 配送和送餐。 自动化 pipelines负责打包、测试和部署模型到推理端点,包括在新数据到达时进行持续训练。
  • 监测。 观察生产模型的数据漂移、概念漂移和性能衰减情况,并在性能下降时触发重新训练。

它本身并未涵盖的内容:模型组件的安全性 pipeline 拉动。这就是 MLOps 安全性及其下方相邻术语发挥作用的地方。

为什么 MLOps 会成为一门独立的学科 #

因为模型会像代码一样衰减。一个编写正确的函数会一直保持正确。而一个基于去年交易数据训练的欺诈模型,即使代码没有做任何改动,也会逐渐无法匹配今年的交易行为。如果不进行监控和重新训练,模型的准确性就会悄无声息地下降。

规模效应使得这种情况不可避免。一个模型可以手动管理,但几十个模型,每个模型都按照自己的时间表重新训练,依赖于自己的数据集、框架和预训练权重,则无法手动管理。MLOps 将这项工作转化为 pipelines.

然后供应链出现了。现代机器学习很少从零开始。团队从公共平台下载预训练模型,依赖大型开源框架,并使用第三方数据进行微调。每个模型都是其他人开发的组件。某些模型序列化格式在文件加载时可以执行代码,这意味着下载模型可能与安装不受信任的软件包一样存在风险。 什么是数据中毒?

MLOps 的工作原理:生命周期 #

理解 MLOps 的实际意义在于了解每个阶段的产出,因为一个阶段生成的每个产物都是后续阶段所依赖的。

阶段它解答的问题典型文物
时间模型使用哪些数据进行训练?这些数据可靠吗?数据集版本、验证报告、特征存储
培训我们能否复现这个模型?实验日志、参数、预训练权重、框架
立即注册哪个型号版本获得批准?该型号版本来自哪里?模型注册条目、模型卡、谱系
部署该模型如何安全投入生产?CI/CD pipeline容器、推理端点
显示器该模型是否仍然按预期运行?漂移指标、性能 dashboards,重新训练触发器

Google Cloud 的参考架构 MLOps:持续交付和自动化 pipeline机器学习,将成熟度描述为三个级别:手动流程(0 级)、自动化培训 pipelines(1级)和自动化 CI/CD 的 pipeline组织本身(第二层级)。大多数组织都处于前两层级之间。

成熟的 MLOps 实践能够自动回答表格中的所有问题。而具备安全意识的实践则会在每个阶段增加第六个问题:这一步依赖于什么?如果依赖关系发生变化,我们能否及时知晓?回答这个问题需要一个独立于任何单一 MLOps 的 AI 清单。 pipeline.

MLOps 不是什么?邻近术语 #

OWASP GenAI 安全项目于 2026 年 10 月发布了 2026 年 LLM 应用的十大风险,这些风险经常被互换使用,这混淆了工具和所有权方面的讨论。

  • 人工智能治理 制定 MLOps 的政策、问责制和合规规则。 pipeline然后强制执行。→ 什么是人工智能治理?
  • DevOps的 MLOps 实现了软件交付的自动化。它通过数据、训练和模型监控对其进行了扩展,而不是取代它。
  • 数据操作 重点关注数据 pipeline本身:数据的质量、新鲜度和向分析和机器学习用户交付数据。
  • 模型操作 是对所有生产环境中的分析和人工智能模型进行更广泛的治理,包括基于规则和优化的模型,而不仅仅是机器学习。
  • LLMOps 将 MLOps 应用于大型语言模型:提示管理、检索 pipeline对产出进行评估和成本控制。
  • 机器学习安全操作 将安全性引入机器学习生命周期:模型溯源, pipeline 完整性、依赖性风险和对抗性威胁。它是 MLOps 的安全层,而不是一个与之竞争的进程。

它们是层级关系,而非竞争对手。一个运行 MLOps 却不采取 MLOps 安全措施的组织,实际上已经实现了交付自动化。 pipeline 而不去检查流经其中的液体是什么。

塑造 MLOps 风险含义的框架 #

评判一个框架的标准是它的发表状态,而不是它听起来是否新潮。

骨架状态如何使用它
NIST 人工智能风险管理框架AI RMF 1.0,发布于 2023 年 1 月组织级人工智能风险结构:治理、映射、衡量、管理
ISO / IEC 42001已发布2023人工智能管理系统 standard可认证的
NIST SP 800-218A最终版,2024年7月生成式人工智能和双用途模型的安全开发实践
米特阿特拉斯持续更新的鲜活知识库利用案例研究对机器学习系统进行威胁建模
CycloneDX ML-BOMCycloneDX 的一部分,由 ECMA 出版,编号为 ECMA-424模型、数据集及其谱系的机器可读记录

关于文档记录,诚实的框架是狭窄的。欧盟人工智能法案对高风险系统的技术文档记录义务以及网络弹性法案的 SBOM 义务会产生实际证据要求。人工智能清单和人工智能物料清单有助于满足这些要求。两项法规均未指定人工智能物料清单,也未要求使用特定的机器学习运维工具。

从定义到方案 #

了解 MLOps 中模型血统的含义与了解哪些模型、数据集和框架实际集成到您自己的存储库中是两回事。

这一差距会按可预测的顺序缩小。发现您的每一项人工智能资产 pipeline依赖于所有模型,包括那些无人注册的模型。绘制它们之间的连接图,以便了解哪个数据集为哪个模型提供数据,以及哪个端点提供服务。然后将该记录导出为 AI-BOM,供审计人员、客户和您自己的事件响应团队使用。

Xygeni AI 安全 它根据您的代码构建记录。它维护着一个持续更新的 AI 资产清单,涵盖模型、AI 框架、数据集、推理端点、代理以及其他 AI 资产,并为每个资产提供风险评分、提供商、类型和代码中的确切位置。AI 图谱显示了哪些数据集为哪些模型提供数据,以及风险集中在哪里,并且从同一发现结果导出机器可读的 AI-BOM。您的 MLOps pipeline Xygeni 不断提供模型;它会告诉你这些模型的构成。有关基本概念,请参阅 什么是AI物料清单? 和 什么是人工智能库存?

线上一对一演示 查看您自己的 AI 库存和 AI-BOM。

常见问题解答 #

简单来说,MLOps是什么?

使团队能够可靠地训练、交付、监控和重新训练机器学习模型的实践和自动化,就像 DevOps 对软件所做的那样。

MLOps 和 DevOps 有什么区别?

DevOps 管理代码变更。MLOps 管理代码变更和数据变更,因为模型的行为取决于训练数据。这增加了数据版本控制和训练的环节。 pipelines,模型注册和漂移监测。

什么是MLOps安全?

将安全性应用于机器学习生命周期:验证模型和数据集的来源,保护训练和部署过程。 pipeline以及跟踪模型所依赖的组件。它通常被称为 MLSecOps。

MLOps 是否包含 AI-BOM?

一个系统,它能够执行比任务所需更多操作、拥有更多权限、更加自主。默认情况下并非如此。模型注册表记录机器学习团队使用的模型版本和沿袭关系。人工智能清单及其导出的人工智能物料清单 (AI-BOM) 是…… standard已使用的、机器可读的 AI 组件记录,供审计人员、客户和安全团队使用。它们彼此互补。

组织中 MLOps 的所有权归谁?

通常是机器学习工程团队或平台团队。安全性 pipeline 这是共享的:机器学习团队负责交付,而应用程序安全团队负责交付所依赖的依赖项和组件。

开始免费

免费开始使用。
不需要信用卡。

一键开始:

这些信息将按照 服务条款 和 隐私政策

应用截图