DevSecOps 中的 AI 安全风险：代码， Pipelines 和代理人

人工智能安全风险：DevSecOps 团队必须了解哪些内容才能确保人工智能系统的安全

人工智能安全风险不再局限于模型行为或数据隐私。如今，它们还影响着软件的编写、审查、构建和发布方式。随着人工智能编码工具、智能体人工智能系统和人工智能驱动的工作流程的普及，人工智能安全风险日益凸显。 SDLCDevSecOps 团队面临着一种新的风险：更快的代码、更快的自动化和更快的错误。

然而，这并不意味着团队应该放慢人工智能的采用速度。相反，他们需要与人工智能辅助开发速度相匹配的安全控制措施。在本指南中，我们将解释最重要的人工智能安全风险，它们如何在实际工程工作流程中体现，以及团队如何降低代码、依赖项和密钥等方面的风险敞口。 pipeline以及代理人。

如需更全面地了解人工智能如何改变威胁形势，请参阅我们的指南。 人工智能网络安全.

人工智能安全风险有哪些？

人工智能安全风险是指在实际系统中设计、训练、集成或使用人工智能时出现的弱点、威胁或故障模式。这些风险可能影响模型、数据、提示、应用程序接口 (API)、代码等。 pipeline以及连接它们的工具。

此 NCSC关于人工智能和网络安全的指导 解释说，网络安全是安全可靠的人工智能系统的核心要求。同样地， NIST 人工智能风险管理框架 为组织提供通过治理、衡量和实际控制来管理人工智能风险的架构。

对于DevSecOps团队而言，问题更为具体。人工智能如今已成为软件交付链的一部分。它编写代码、建议依赖项、生成配置、调用API，有时甚至会自主运行。因此，人工智能安全风险必须在DevSecOps团队内部进行处理。 SDLC不仅限于模型层。

为什么人工智能安全风险与以往不同

传统的网络安全风险通常来自人为编写的代码、存在漏洞的软件包、薄弱的凭证或配置错误的基础设施。这些风险依然存在。然而，人工智能改变了这些风险出现的速度和检测的难度。

人工智能生成的代码可能看起来正确，但仍然会遗漏授权检查。人工智能编码助手可能会推荐存在漏洞的软件包。智能体工作流可能会调用错误的工具、访问错误的文件，或者在日志中泄露机密信息。此外，人工智能系统通常依赖于上下文、提示、连接器和外部工具，这会增加安全漏洞的出现几率。

此 OWASP 十大法学硕士申请问题 它重点关注诸如快速注入、敏感信息泄露、供应链问题和过度代理等风险。这些类别很有用，因为它们将人工智能行为与实际应用安全问题联系起来。

换句话说，人工智能安全风险不仅仅关乎模型本身，而是关乎围绕模型的整个系统。

DevSecOps 团队面临的核心 AI 安全风险

以下是人工智能在开发、应用安全和软件安全领域中使用时最重要的风险。 CI/CD 工作流程。

1. 人工智能生成代码的漏洞

AI编码工具可以生成能够运行但并不安全的代码。例如，它们可能会创建参数化不规范的SQL查询，跳过输入验证，或者采用弱身份验证逻辑。

这是因为许多人工智能系统会根据训练数据生成看似合理的代码模式。然而，看似合理的代码并不总是安全的代码。实际上，模型可能会重现不安全的示例，因为它们在公共代码库中很常见。

常见的例子包括：

• SQL注入
• 跨站脚本
• 缺少授权检查
• 会话处理能力较弱
• 不安全的反序列化
• 缺少 CSRF 保护

因此，在通过安全测试之前，人工智能生成的代码应被视为不可信。 SAST政策检查和审查。

内部链接建议：将此部分链接到您在[此处插入文章链接]上的帖子。 AI SAST.

2. 供应链和依赖性风险

人工智能工具不仅能生成代码，还能推荐软件包、版本、脚本和安装命令。这使得人工智能推荐与软件供应链风险之间形成直接联系。

例如，人工智能工具可能会建议：

• 过时的软件包
• 拼写错误占位依赖
• 幻觉中的包装名称
• 包含可疑安装脚本的软件包
• 一个存在漏洞但仍被广泛使用的库

此外，攻击者可以利用这种行为，注册人工智能工具可能创建的软件包名称。这种风险通常被称为“域名抢注”（slopsquatting）。它将模型幻觉转化为软件包供应链攻击。

为了降低这种风险，团队需要 SCA恶意软件检测、依赖策略执行和可达性分析。他们还应该使用可利用性信号，例如 每股收益 以及来自以下方面的积极利用情报 CIS已知已利用漏洞目录.

3. 人工智能工作流程中的秘密泄露

密钥泄露是人工智能安全领域最实际的风险之一。开发人员经常将上下文信息粘贴到人工智能工具中。这些上下文信息可能包括 API 密钥、令牌、凭证、URL 或内部配置。

此外，人工智能生成的代码可能包含看起来很真实的占位符，更糟糕的是，还会将秘密信息复制回源文件。 pipeline 脚本或日志。一旦密钥进入 Git 历史记录或 CI/CD 即使原始日志被删除很久之后，它们仍然可以被利用。 commit.

常见暴露途径包括：

• 提示历史
• 生成的代码
• 混帐 commits
• CI/CD 日志
• IaC 档
• 容器图像
• 共享工作空间

因此，团队应该将IDE级别的扫描与以下方法结合起来： pre-commit 检查、存储库历史扫描、 CI/CD 日志扫描和自动撤销。

内部链接建议：将此部分链接到您的安全产品或相关内容。

4. 人工智能代理和工具的滥用

代理人工智能 这就引入了一层新的风险，因为代理人不仅会提出行动建议，他们还可以采取行动。

人工智能代理可以运行 shell 命令、编辑文件、调用 API、打开 pull requests修改持续集成 (CI) 工作流程或与云服务交互。虽然这能大幅提高生产力，但也扩大了出错的影响范围。

主要风险包括：

• 不安全的 shell 执行
• 权限过高的 API 密钥
• 未经授权的代码更改
• MCP 或 API 连接器配置错误
• 超出批准范围的工具调用
• 超出任务所需的环境访问权限

OWASP LLM Top 10 中的“过度授权”类别在此尤为重要。如果代理拥有过多的权限，错误的指令、快速注入或被入侵的工具都可能演变成真正的安全事件。

5. CI/CD 以及 Pipeline 风险

人工智能生成的代码最终会到达 pipeline此时，风险从源代码转移到构建、工件、密钥、依赖项和部署工作流程。

例如，人工智能辅助的改变可能包括：

• 添加一个不安全的构建步骤
• 修改 GitHub Actions 工作流
• 安装过程中拉取恶意软件包
• 将密钥打印到构建日志中
• 禁用安全控制
• 更改部署逻辑

所以， CI/CD 安全对于人工智能的应用至关重要。 Pipeline guardrails 应该在不安全模式进入生产环境之前就加以阻止。更多详情，请参阅我们的相关内容。 CI/CD 安全性 以及 software supply chain security.

6. 数据泄露和提示注入

提示注入是人工智能安全领域最广为人知的风险之一，但人们常常误解它。它并非仅限于聊天机器人，任何接受外部输入并利用这些输入来指导操作的人工智能工作流程都可能受到其影响。

例如，恶意的问题描述、README 文件、支持工单或依赖项文档页面可能包含隐藏指令。如果人工智能代理读取并执行这些内容，攻击者就可能影响工具调用、代码更改或数据访问。

数据泄露可能以类似的方式发生。模型可能会泄露敏感信息、汇总私人文件或将机密数据发送给外部服务。因此，人工智能系统需要及时过滤、输出控制、工具限制以及明确的数据访问权限边界。