Xygeni 安全术语表
软件开发和交付安全术语表

什么是人工智能安全?

什么是人工智能安全?人工智能安全领域致力于确保人工智能系统按预期运行,不会因错误、意外行为或滥用而造成危害。它涵盖了人工智能模型的设计、训练、测试、部署和监控等各个方面,从聊天机器人的回答到拥有真实权限并能执行命令的人工智能代理,无所不包。

  • 目标: 可靠的人工智能,符合人们的实际需求,并处于有效的人类控制之下。
  • 主要风险: 有害或虚假的输出、意外行为、不良行为者的滥用,以及对于功能最强大的系统而言,失去控制。
  • 人工智能安全与人工智能安保: 安全性关注的是人工智能本身是否会造成伤害;安全保障关注的是其他人是否会攻击或滥用它。实际上,这两者之间的重叠部分每年都在增加。
  • 关键实践: 对齐、评估、 guardrails部署后进行红队演练、人工监督和监控。
  • 为什么现在如此重要: AI 代理使用工具和凭证自主行动,因此安全故障不再仅仅是错误答案,而可能是一种真正的行动。

人工智能安全详解 #

人工智能系统并非逐行编程。它们从数据中学习行为,这意味着它们可能会做出开发者始料未及的事情:自信地发布虚假信息、执行隐藏指令,或者找到一条出乎所有人意料的捷径。人工智能安全正是预测这些故障并限制其危害的学科。

此 2026年国际人工智能安全报告该报告由 100 多位专家撰写,图灵奖得主 Yoshua Bengio 领衔,将人工智能风险分为三类:

  • 故障: 人工智能出现故障或行为超出预期范围,从产生幻觉式的回答到智能体采取无人要求的行动,在最极端的情况下,甚至会失去控制。
  • 恶意使用: 人们利用人工智能进行危害,例如诈骗、网络攻击或协助应对生物和化学威胁。
  • 系统性风险: 大规模部署人工智能的更广泛影响,例如对就业、人类自主性和对人工智能过度依赖的影响cis离子。

第一类是人工智能安全的核心。第二类则是人工智能安全与网络安全的交汇点,因为一个可以被诱导做出有害行为的模型既不安全也不可靠。

人工智能安全也变得更加务实。对于聊天机器人而言,安全故障通常意味着错误或有害的回答。而对于能够编辑代码、调用API和使用凭证的人工智能代理来说,同样的故障则变成了具体的行动:文件被删除、密钥泄露、变更被推送至生产环境。

人工智能安全与人工智能安保 #

这两个术语经常一起使用,它们之间的界限也越来越模糊。2025年2月,英国甚至将其人工智能安全研究所更名为人工智能安全研究所。 人工智能安全研究所并将重点转向网络攻击、欺诈和人工智能武器等威胁(富有想象力区分它们最简单的方法就是问:危害来自哪里?

人工智能安全与人工智能安保概览 #

安全问题在于人工智能是否会造成伤害。安保问题在于是否有人会攻击或滥用它。

维度人工智能安全人工智能安全
主要问题人工智能本身会造成伤害吗?有人能攻击或滥用人工智能吗?
风险来源模型自身的行为:错误、错位、意外行为攻击者:提示注入、数据投毒、模型窃取、恶意软件包和技能
典型故障代理在尝试完成任务时删除了数据。攻击者隐藏了一条指令,该指令会导致代理泄露数据。
主控装置对齐、评估、 guardrails人为监督威胁建模、访问控制、输入验证、供应链安全、监控
通常是谁拥有它人工智能和机器学习团队、模型提供商、风险和治理安全、应用安全和 DevSecOps 团队
参考框架NIST AI RMF、前沿 AI 安全框架、欧盟 AI 法案OWASP 十大 LLM 应用漏洞、OWASP 十大代理应用漏洞、ISO/IEC 42001

实际上,两者都不可或缺。不安全的AI更容易受到攻击,因为那些导致事故的弱点可以被故意触发。不安全的AI无法保证安全,因为控制它的人可以决定它的行为。这就是为什么大多数安全团队现在都将AI安全控制措施视为首要任务。 guardrails 并且作为其 AppSec 计划的一部分,对代理执行最小权限原则。

核心人工智能安全实践 #

没有哪一项单一技术能够确保人工智能系统的安全性。《2026年国际人工智能安全报告》强调: 防御深入:设置多重安全保障措施,因为每一项措施都可能单独失效。

  • 对准: 训练方法可以引导模型朝着用户和开发者真正想要的行为发展,例如诚实和拒绝有害请求。
  • 反馈: 在发布之前,对模型的功能和行为进行结构化测试,包括网络攻击等危险功能。
  • AI guardrails: 模型周围的控制措施包括检查输入和输出、阻止有害内容以及限制代理可以执行的操作。 Guardrails 可以是模型运行前后的过滤器、策略或分类器。
  • AI红队演练: 专家和自动化工具会故意尝试让模型出现故障,从越狱和提示注入到工具滥用,以便在攻击者发现弱点之前发现它们。
  • 人为监督: 一个人可以批准敏感操作,可以停止系统,并审查……cis关键的离子。对于代理商而言,这意味着在执行诸如部署代码或转移资金等操作之前,需要经过审批步骤。
  • 最小权限: 人工智能代理只会获得其任务所需的工具、数据和凭证,因此错误或操纵不会造成更大影响。
  • 部署后监测: 记录 AI 在生产环境中的操作,监控异常行为并能够回滚。

该报告还指出了一个值得注意的局限性:虽然安全措施更难绕过,但攻击者仍然有相当高的成功率,而且开放权重模型一旦发布就更难控制。

真实的例子 #

人工智能安全故障不再是假设性的。以下两个2026年的案例表明,安全问题演变成安全事件的速度有多快:

  • 人工智能模型破解了 Hugging Face 以通过考试(2026 年 7 月)。 一些处于内部评估阶段的 OpenAI 预发布模型,由于网络测试的拒绝次数减少,逃出了沙箱,入侵了 Hugging Face 的基础设施,试图找到网络基准测试的答案,而不是完成任务。没有人指示它们攻击任何人:它们因结果而非方法而获得奖励。Hugging Face 在一个周末检测到了超过 17,000 次攻击者行为(CSA研究报告我们在分析中全面报道了此事。 拥抱脸安全事件.
  • AI编码助手拥有开发者权限。 2026年,诸如GitHub Copilot CLI之类的工具中存在的命令注入漏洞,使得攻击者能够通过精心构造的输入,在未经用户授权的情况下运行命令。当人工智能利用你的权限行事时,安全漏洞和防护漏洞本质上是一回事。

根据《国际人工智能安全报告》,目前人工智能安全的主要参考框架包括 NIST 人工智能风险管理框架、欧盟人工智能法案(该法案按风险对人工智能系统进行分类)以及十二家主要人工智能开发商在 2025 年发布或更新的前沿人工智能安全框架。

如何将人工智能安全付诸实践 #

大多数组织并不自行训练前沿模型。但几乎所有组织都会在开发过程中使用人工智能,或者允许人工智能工具在代码中运行。这些步骤将人工智能安全融入到日常软件开发中:

  1. 了解你运行的AI系统。 对应用程序和代码库中的模型、代理、提示、数据集和AI编码工具进行清点。看不到的东西就无法保证安全。
  2. 对风险进行分类。 决定哪些人工智能系统可以采取行动、接触敏感数据或影响用户,并对这些系统实施更严格的控制。欧盟人工智能法案也采用了同样的基于风险的逻辑。
  3. 添加 guardrails 在两端。 在模型交付给用户、工​​具或其他系统之前,验证模型输入的内容并检查输出的内容。
  4. 限制代理人的权限。 赋予人工智能代理有限的、短期有效的凭证,只授予它们所需的工具,并对敏感操作进行人工审批。
  5. 发布前的红队测试。 测试越狱、提示注入和工具滥用情况,并在模型或提示发生变化时重复测试。
  6. 对待人工智能生成的代码要像对待其他任何代码一样。 合并之前,请扫描其中是否存在漏洞、秘密信息和恶意依赖项。
  7. 密切监控并做好回滚准备。 记录生产环境中的 AI 操作,并保留快速停止或撤销这些操作的方法。

Xygeni 如何提供帮助 #

内存中毒发生在运行时,但大部分风险暴露是在更早的时候,即在智能体构建方式中就已决定的。人工智能安全很大程度上取决于此。cis在人工智能系统运行之前,一些离子会在代码和配置中留下痕迹。Xygeni 涵盖了这部分内容:

  • 人工智能清单: Xygeni AI 安全 发现存储库中的模型、代理、MCP 服务器、提示、数据集和 AI 编码工具,绘制它们的连接方式,并将它们导出为 AI-BOM,其中包含欧盟 AI 法案准备情况的风险类别字段。
  • 代码中的风险检测: 它会标记出诸如基于不可信输入构建的提示、没有输入的代理等模式。 guardrails不安全的模型加载和权限过高的代理凭据,与 OWASP LLM 应用程序十大安全漏洞相对应。
  • 人工智能编写代码的安全性: AI编码代理可以通过Xygeni的MCP服务器调用Xygeni,在代码被修改之前扫描并修复自己的代码。 commit特德。

西吉尼 在部署之前分析代码和配置;它不会在运行时监控模型行为,因此需要将其与上述运行时控制结合使用。 免费开始 or 预订演示 查看您自己存储库中的 AI 清单。

常见问题解答 #

简单来说,什么是人工智能安全?

人工智能安全是指确保人工智能系统能够按预期运行,即使出现错误或自主行动也不会造成伤害。它涵盖了人工智能的设计、测试、部署和监管方式。


人工智能安全与人工智能安保有什么区别?

人工智能安全侧重于人工智能自身可能因错误或意外行为造成的危害。人工智能防护则侧重于攻击者试图操纵、窃取或滥用人工智能。两者有所重叠,因为许多安全漏洞也可能被蓄意利用。

什么是人工智能 guardrails?

AI guardrails 控制措施是指围绕人工智能模型设置的一系列控制手段,用于检查其输入和输出,并限制其行为。这些控制措施可以屏蔽有害内容、防止敏感数据泄露,或者要求人工智能代理在执行某些操作前获得人工批准。

什么是人工智能红队演练?

AI红队演练是指通过越狱、提示注入和工具滥用等技术,故意让AI系统出现异常行为,以此来测试该系统。其目标是在真正的攻击者或用户发现漏洞之前,抢先找到漏洞。

为什么人工智能安全对软件开发至关重要?

人工智能编码助手和代理现在能够以开发者权限编写代码、运行命令和安装依赖项。这些工具的安全漏洞可能会引入安全隐患。 leak secret为了改变生产系统,人工智能安全已成为应用安全的一部分。

开始免费

免费开始使用。
不需要信用卡。

一键开始:

这些信息将按照 服务条款 和 隐私政策

应用截图