大多数安全团队都能一口气说出他们的应用安全技术栈: SAST, SCADAST、密钥扫描。问同一个团队他们的AI技术栈叫什么名字,他们通常会耸耸肩,说是匆忙购买的几个工具,而且对于“覆盖”的含义也没有统一的术语。AI TRiSM的出现正是为了弥合这一差距,它为安全和风险负责人提供了一个统一的框架,让他们能够像管理应用程序一样管理AI。
本词汇表条目详细解释了什么是 AI TRiSM,其缩写背后的含义,其核心支柱,以及它在真正的、正在运行的 AI 安全计划中的位置,而不是仅仅在一张幻灯片中。
AI TRiSM 的含义:一个简单的定义 #
AI TRiSM 代表 人工智能信任、风险和安全管理这是一个框架,最初由 Gartner 提出。,用于管理人工智能系统在其整个生命周期中的可信度、公平性、可靠性和安全性,从构建人工智能系统所依赖的数据和模型,到在生产中使用人工智能系统的应用程序和代理。
AI TRiSM 的含义最好理解为安全团队已有模式的延伸。云计算带来了 CSPM,数据带来了 DSPM,而 AI 带来了 AI TRiSM,这是一个基于相同逻辑的统称:你无法保护或治理那些你没有首先发现、评分和持续监控的事物,而 AI 系统会带来传统应用安全和 IT 治理从未预料到的风险。
它试图解决什么问题? #
要真正回答什么是 AI TRiSM,首先需要了解它所应对的问题。人工智能系统的失败方式往往难以简单地归入某个范畴。 CVE数据库:
- 一个模型在技术上可能是“安全的”,但仍然会产生有偏见、不可靠或虚假的输出。
- 模型在测试中可能表现正常,但仍可能因训练或检索数据被污染而悄然失效。
- 人工智能代理即使拥有有效凭证,仍然可以采取未经人类批准的行为。
- 即使应用程序已经完美地打上了补丁,仍然可能通过提示、系统消息或人工智能本不应该看到的过度共享文件泄露敏感数据。
这些都不符合“找到漏洞代码行,修补它,完成”的旧模式。AI TRiSM 的定义早于cis原因在于,人工智能系统中的信任、风险和安全性需要一个属于自己的框架,该框架将模型、数据和代理视为需要管理的一等对象,而不是它们周围应用程序的副作用。
AI TRiSM 的核心支柱 #
大多数关于人工智能 TRiSM 的论述,包括 Gartner 自身的论述,都将这门学科围绕四个相互关联的支柱展开:
- 可解释性和模型监测:追踪模型如何进行决策cis观察离子漂移、偏差和精度随时间推移而下降的情况,并且能够在有人询问模型为什么会给出这样的结果时解释输出结果。
- 模型操作管理生产环境中模型的生命周期,包括版本控制、访问控制以及了解哪个模型在何处运行以及为什么运行的操作规范。
- 人工智能应用安全:保护 AI 特有的攻击面,包括提示注入、数据和模型投毒、不安全的插件和工具集成以及未经授权的代理行为。
- 隐私性确保用于训练、微调和提示 AI 系统的数据不会泄露敏感或受监管的信息,无论是泄露到模型本身还是通过其响应泄露出去。
要真正理解 AI TRiSM 的内涵,就必须认识到这四大支柱只有协同运作才能发挥作用。一个完全可解释但缺乏安全性的模型仍然是一个隐患。一个安全但无法察觉偏差或偏见的模型仍然是一个失控的。AI TRiSM 的贡献在于将这四大支柱视为一个相互关联的整体,而不是由四个独立团队分别负责的四个独立待办事项。
为什么人工智能 TRiSM 的含义超越了合规性 #
人们很容易将AI TRiSM归类为“又一个治理选项”,但AI TRiSM的意义在于运营层面,而不仅仅是监管层面。采用AI TRiSM原则的组织通常试图回答三个他们目前无法回答的具体问题:
- 我们究竟拥有什么样的AI? 模型、数据集、代理、MCP 服务器和 AI 编码工具在各个团队中积累的速度比任何人跟踪的速度都要快,从而产生了影子 AI,就像曾经的影子 IT 一样。
- 它在做什么?这样做是否获得授权? 拥有过多权限或未经批准的插件的代理可以执行实际操作,而不仅仅是生成文本,这使得“未经授权的行为”的后果远比聊天机器人给出错误答案要严重得多。
- 当监管机构要求时,我们能证明这一点吗? 欧盟人工智能法案的技术文档要求和一般软件物料清单义务等框架越来越要求组织展示他们的工作成果,而不仅仅是声称人工智能已经“得到处理”。
这就是AI TRiSM的意义如何转化为AI TRiSM实践的地方:首先是发现,其次是风险评分,最后是执行,所有这些都是持续进行的,而不是作为年度审计工作。cise.
Xygeni 在 AI TRiSM 系统中扮演什么角色? #
AI TRiSM 是一个涵盖面很广的领域,没有任何单一工具能够单独覆盖其全部四大支柱。 西吉尼 fits 是大多数组织首先缺失的发现和安全环节:了解人工智能的实际存在情况,并在其存在后对其进行保护。
Xygeni 的 AI 资产清单持续发现整个系统中的 AI 资产。 SDLC模型、框架、数据集、代理、MCP 服务器和 AI 编码工具,并将它们映射到由……支持的实时关系图中。 AI-BOM 这为合规和安全团队提供了 AI TRiSM 假定存在的证据链。除此之外, Xygeni 的人工智能安全 根据以下标准对每项资产的风险进行评分(快速注入、不安全的 MCP 配置、敏感数据泄露、向量和嵌入弱点): OWASP 十大法学硕士申请问题和 开发人工智能 它直接在开发者的终端上强制执行策略,在不安全的代理行为执行之前就将其阻止。如果您的组织正在尝试部署 AI TRiSM,但对于“我们拥有什么样的 AI”这个问题,诚实的答案仍然是“我们并不完全确定”,那么首先应该弥合的就是这个认知差距。
常见问题解答 #
AI TRiSM 代表 AI 信任、风险和安全管理,是一个用于管理 AI 系统在其整个生命周期中的可信度、风险和安全性的框架。
它用于为组织提供结构化的方式来发现其人工智能资产,监控模型行为是否存在漂移和偏差,保护人工智能特有的攻击面(如提示注入和数据投毒),并保护流经人工智能系统的数据的隐私。
不,尽管它们密切相关。AI-SPM(AI 安全态势管理)通常被视为 AI TRiSM 框架下专注于安全的子框架,类似于 CSPM 在更广泛的云治理讨论中的地位。
在大多数组织中,这涵盖了安全、数据科学和合规团队,因为没有哪个团队能够同时拥有模型、模型背后的数据以及相关的监管义务。
因为人工智能的应用速度超过了人工智能治理速度。模型、代理和人工智能编码工具现在已嵌入到各个方面。 SDLC欧盟人工智能法案等法规开始要求提供 AI TRiSM 所旨在提供的文档和风险可见性。