什么是人工智能安全？人工智能安全是指保护人工智能模型、代理、数据集以及软件所依赖的基础设施，使其免受人工智能系统构建、训练和运行方式所特有的风险的实践。 它涵盖了对所有正在使用的AI资产的发现，对AI特有漏洞（例如快速注入和不安全的代理行为）的检测，以及在不安全的AI行为造成损害之前阻止它们的策略的执行。这是AI安全的核心概念，本术语表的其余部分将对此进行详细阐述。
与保护代码、依赖项和基础设施的传统应用安全不同，人工智能安全保护的是一类新型资产：模型、提示、代理以及连接它们的机器间协议。随着人工智能从一项功能融入软件供应链本身，它已成为一道独特且必不可少的防御屏障。
人工智能安全含义：简要定义 #
简单来说，人工智能安全的含义是这样的： 以保护代码的方式保护 AI，但要针对传统工具从未设计用于识别的一系列组件和行为。
区分概念与常见混淆点的一种有效方法： AI 安全与“安全领域的 AI”并不相同。 安全领域的人工智能是指利用人工智能来改进现有的安全工作，例如使用人工智能模型对漏洞进行优先级排序。与之相对的是，人工智能安全指的是保护人工智能本身：模型文件、训练数据、代理、提示信息以及使人工智能工具能够执行操作的服务器。两者都是人工智能的有效应用，但它们回答的问题却不尽相同。
为什么重要 #
软件团队已经采用了人工智能编码助手、自主代理等技术。 模型上下文协议 (MCP) 这种变化的速度已经超过了保护它们的工具所能提供的安全保障。造成这种转变的原因有以下几点：
人工智能依赖项可能是人为制造的，也可能是人为添加的。 AI 编码助手有时会推荐不存在的软件包，这种模式被称为“抢注软件包”，攻击者可以预先注册并将其用于攻击。
人工智能生成的代码具有其自身特有的风险。 对 AI 代码生成的独立基准测试发现，即使底层模型功能强大且训练有素，相当一部分 AI 编写的代码也会引入常见的漏洞模式。
代理和 MCP 服务器是新的、很大程度上不受监控的基础设施。 代理程序可以读取文件、调用工具并代表开发人员执行操作。如果代理程序的指令、规则文件或连接的 MCP 服务器被篡改，则代理程序可能会反过来攻击它原本应该保护的系统。
AI配置现在也成为了攻击面。 技能文件、规则文件和提示模板通常被视为文档，而非安全相关的组件。攻击者已经证明，嵌入这些文件中的隐藏指令可以使人工智能助手生成后门代码，而其响应中却不会留下任何可见的痕迹。
它涵盖哪些内容？ #
一个完整的AI安全方案通常包含三个功能：
1. 发现（AI 清单） #
在确保安全之前，必须先找到它。人工智能安全始于对组织存储库中所有人工智能资产的持续发现。 pipelines：模型、AI框架、数据集、推理端点、代理、AI编码工具以及它们连接的MCP服务器。此清单通常以机器可读的AI物料清单（AI-BOM）的形式表示，相当于软件物料清单（SBOM).
2. 检测（人工智能风险） #
一旦人工智能资产被识别，人工智能安全系统就会检测出与其相关的特定风险，包括：
- 及时注射和系统及时泄漏其中，不受信任的内容会操纵人工智能模型的行为。
- 不安全的 MCP 配置其中，连接的工具或服务器可能被篡改或冒充。
- 过度代理即，允许代理人在未经人为干预的情况下，超越其预设的权限范围行事。
- 人工智能文件中的秘密曝光其中，API密钥或凭据会通过AI工具使用的配置泄露。
- 脆弱或幻觉般的AI依赖包括蹲着
这些风险类别与已发布的、经过社区审查的框架相对应，最值得注意的是 OWASP 法学硕士申请十大风险。
3. 执行（Guardrails) #
最后一层会在不安全的AI行为执行之前将其阻止： 阻止恶意软件安装例如，在信任技能或规则文件之前对其进行验证，或者拦截违反策略的代理行为。这标志着人工智能安全从可见性转向主动防御。
人工智能安全关键风险概述 #
| 术语 | 这是什么意思 |
|---|---|
| 及时注射 | 人工智能模型处理的内容中隐藏着恶意指令，导致其行为违背预期目的。 |
| 懒散蹲坐 | 攻击者注册与人工智能模型可能产生的幻觉相匹配的虚假包裹，并据此推荐目标产品。 |
| MCP风险 | 模型上下文协议服务器存在漏洞，允许人工智能代理调用外部工具，包括工具投毒和未经身份验证的访问。 |
| 过度代理 | 人工智能代理被赋予超出其任务所需自主权或访问权限的权限 |
| 规则/技能文件后门 | 隐藏在配置文件中的字符或指令可以控制人工智能编码助手，而不会出现在其可见的输出中。 |
| AI-BOM | 用于审计和风险管理的组织人工智能资产的机器可读清单 |
人工智能安全框架和 Standards #
它与一小部分已出版的书籍密切相关。 standard而不是任何单一供应商的分类法：
- OWASP 十大法学硕士申请问题 (2025)：人工智能应用风险中最受广泛引用的列表，涵盖快速注入、敏感信息泄露、供应链风险等。
- NIST SP 800-218A: 针对生成式人工智能和双用途基础模型的安全软件开发实践指南。
- Gartner 的 AI-SPM 和 AI TRiSM：分析师定义的 AI 安全态势管理类别以及更广泛的 AI 信任、风险和安全管理学科。
这些措施共同为各组织提供了一个关于“安全人工智能”实际含义的共同词汇，而不是仅仅依赖于市场营销的定义。
人工智能安全及相关术语 #
- 人工智能安全与应用安全应用安全 (AppSec) 负责保护应用程序代码及其依赖项。它还能保护 AI 模型、代理和 AI 特有的配置，而这些内容并非应用安全工具所设计用于检查的。
- 人工智能安全与人工智能治理治理定义了组织对人工智能使用所需的政策和审批流程。它在代码和代理层面强制执行并验证这些政策是否在实践中得到落实。
- 人工智能安全与机器学习安全运营MLSecOps 专注于保障机器学习生命周期（训练、数据、模型部署）的安全。它的范围更广，涵盖了智能体、编码助手以及将它们连接到实时系统的协议。
Xygeni 如何应对人工智能安全问题
#
Xygeni 的 AI 安全产品将同样的发现、检测和执行模型直接应用于软件开发生命周期。它持续构建跨代码库的 AI 清单，检测 AI 特有的风险，例如提示注入和不安全的 MCP 配置，并将每个发现映射到 OWASP Top 10 for LLM Applications，从而使安全和工程团队能够基于一个 AI 清单和一个风险视图开展工作，而无需猜测代码中已运行的 AI 是什么。
常见问题解答 #
AI 安全是指保护 AI 模型、代理、数据以及连接它们的基础设施，使其免受 AI 系统构建和运行方式所特有的风险。
不。网络安全是一个涵盖所有数字风险的总称。人工智能安全是网络安全的一个专门子集，专注于人工智能特有的资产和故障模式，例如快速注入或不安全的代理行为。
任何开发人员使用人工智能编码助手、产品嵌入人工智能模型或工作流程包含自主代理和 MCP 服务器的组织都属于此类。现在，这几乎涵盖了所有软件团队，无论其规模大小。
