TL博士 #
GenAI 安全是指保护组织构建的生成式人工智能 (AI) 以及集成到其软件中的生成式 AI 的实践，这些 AI 包括模型、提示、代理、技能文件、MCP 服务器和 AI 编码助手等，它们如今已融入开发生命周期。GenAI 安全分为三个步骤：发现现有的 AI 资产、检测其特有的风险，并在这些风险影响生产环境之前实施相应的策略。
什么是 GenAI 安全？ #
过去，软件是由人编写的，也是通过代码进行攻击的。这句话的前后两部分在不到三年的时间里都发生了变化。
开发人员现在发布的代码是由助手编写的，依赖项是由代理建议的，工具之间通过配置文件连接起来，而这些配置文件却无人审查，也与安全问题无关。与此同时，应用程序本身也嵌入了模型和检索功能。 pipeline以及那些从不受信任的文本中接收指令的代理。因此，一个询问“什么是 GenAI 安全性”的团队实际上是在同时提出两个问题：我们如何保护开发人员使用的 AI，以及我们如何保护产品中包含的 AI？
GenAI 安全可以同时解答这两个问题。它是一门学科，旨在发现、评估和控制软件开发生命周期中生成式和智能体 AI 组件的风险，涵盖从模型和 MCP 服务器到开发人员机器的各个层面。
关键区别在于：传统扫描器寻找的是存在漏洞的功能，而 GenAI 安全机制则寻找的是规则文件中是否存在悄悄指示助手访问不应访问的位置、赋予代理超出其任务所需权限的权限，或是利用攻击者控制的内容构建的提示信息。生命周期相同，但故障模式不同。 什么是应用安全？
GenAI 安全含义：该术语的实际涵盖范围 #
GenAI 安全概念在供应商资料中经常被过度解读，因此有必要明确其边界。该术语涵盖四种类型的风险敞口：
- 您的开发人员使用的人工智能。 编码助手、代理、MCP 服务器以及控制它们的配置文件。大多数组织最初接触的就是这些，通常无需采购协议。cis离子。
- 您产品中的人工智能。 模型、提示、检索 pipelines、代理布线和 guardrails 意在约束他们。
- 人工智能生成的代码。 生成的代码会携带其训练数据的漏洞模式。 2025 年人工智能世代 Code Security 报告测试了 80 项任务中的 100 多个模型，发现 45% 的 AI 生成的样本开箱即用就引入了 OWASP Top 10 漏洞。
- 供应链人工智能正在发挥作用。 模型建议的依赖项，包括攻击者注册之前并不存在软件包名称。
它不涵盖的内容：你未训练的基础模型的内部安全性，以及经典的机器学习。 pipeline它属于下面描述的相邻学科。
为什么基因人工智能安全发展成为一门独立的学科 #
因为攻击面不再是代码。技能文件、规则文件、MCP 服务器配置：都是纯文本。 commit它们像文档一样，也像文档一样被审查。每一份文件都默默地决定着人工智能助手应该执行什么指令以及它被允许访问哪些内容。由于直到最近，还没有类似的文件拥有如此高的权限，因此没有专门的静态分析器来读取它们。
这种普及程度也接近普遍。GitHub 2024 年的开发者调查发现，超过 97% 的开发者都使用过 GitHub。 enterprise 受访者在工作中已使用过人工智能编码工具，但正式的治理措施却远远落后。大多数工程组织在其开发生命周期中已经应用了生成式人工智能，但拥有相关资产清单的组织相对较少。 人工智能安全：无人审核的文件。
GenAI 安全工作原理：发现、检测、强制执行 #
大多数安全程序都从中间层入手，因为安全工具一直以来都在推销检测功能。但这种方法很少奏效。你无法评估未经清点资产的风险，而且未经批准的人工智能工具才是常态而非例外。发现并非初步步骤，而是其他两个步骤的前提。
GenAI 安全不是什么？ 邻近术语 #
这两个词经常被混用，这会使采购方面的讨论变得混乱。
- 应用程序安全（AppSec） 保护应用程序：代码、依赖项、配置 pipeline运行时。GenAI 安全功能是对其的扩展，而不是替代。
- 人工智能安全 是一个更广泛的范畴，涵盖了非生成式的经典机器学习系统。
- 人工智能SPM 姿态管理是人工智能资产的对应物，是人工智能的对应物。 ASPM它是 GenAI 安全性的一个组成部分，而不是 GenAI 安全性的同义词。
- 机器学习安全操作 重点关注模型 pipeline数据沿袭、模型溯源、部署完整性。
- LLM 安全 通常意味着仅指模型及其提示，范围较窄，不包括代理、工具和开发环境。
它们是层级结构，而非竞争对手。如果一个组织通过购买独立控制台来回答“什么是 GenAI 安全”的问题，通常只会增加一个无人问津的待办事项队列。而真正有效的方案是将 AI 风险与其他所有待办事项关联到同一个模型，从而由一个优先级明确的队列来主导工作。
塑造 GenAI 安全风险含义的框架 #
评判一个框架的标准是它的发表状态，而不是它听起来是否新潮。
在监管方面，诚实的框架是狭窄的。欧盟人工智能法案的技术文档义务和网络弹性法案的 SBOM 义务会产生实际证据要求，而人工智能清单有助于满足这些要求。但两者都没有明确指出人工智能物料清单（AI-BOM）。任何声称法规要求使用人工智能物料清单的人都是在断章取义。
从定义到方案 #
了解 GenAI 安全中提示注入的含义，并不等同于知道自己的存储库中是否包含指向提示注入的路径。
这一差距会按照可预测的顺序逐渐缩小。探索所有存储库中的人工智能资产， pipeline包括那些未声明的环境和开发者环境。根据实际攻击路径而非原始严重程度对它们进行评分，以确保队列足够短，以便及时采取行动。然后在不安全的软件包、模型或工具即将执行时强制执行策略。
Xygeni 将该序列整合到一个平台和一个风险模型中，并结合您已管理的应用发现。 线上一对一演示 查看您自己的 AI 库存
常见问题解答 #
保护您的组织使用和构建的生成式 AI：了解存在哪些 AI 资产，发现它们特有的风险，并在不安全的 AI 运行之前将其阻止。
提示信息、技能文件、规则文件和 MCP 配置会作为安全工件而非文档进行审查，并且 AI 生成的代码在交付给系统之前会进行验证。 pipeline 而不是之后。
不。大多数组织在推出人工智能功能之前，就已经通过其开发人员接触到生成式人工智能了。
控制人工智能行为的配置层。 SAST 引擎读取代码，但它不会读取规则文件（规则文件告诉助手要写入什么内容），也不会读取 MCP 服务器定义（MCP 服务器定义告诉代理可以访问哪些内容）。
实际上，应用程序安全由谁负责？资产存在于代码库和开发环境中，因此将其拆分为单独的职能部门往往会产生第二个积压工作，而不是降低风险。
