AI 驱动 SDLC已经在这里了

AI 驱动 SDLC它们已经来了。接下来呢?

AI 驱动 SDLC人工智能已经到来。它不再是即将到来,而是已经存在。它在我们的集成开发环境(IDE)中编写代码,选择库,并打开…… pull requests它按照我们的步骤运行。 pipeline现在的问题不再是开发者是否会使用人工智能,而是组织如何在开发者使用人工智能的同时保持透明度、控制力和信任度。

现代软件开发已经进入人工智能时代。

在各个工程组织中,开发人员已经在日常开发工作中广泛使用辅助驾驶、编码助手、人工智能驱动的集成开发环境 (IDE)、内部代理、与管理控制平台 (MCP) 连接的工具,以及日益自动化的工作流程。这些最初只是实验性的尝试,如今已迅速融入到软件开发生命周期本身。 这是由 Xygeni 主办的最新一期 SafeDev Talk 的核心主题:“AI 驱动 SDLC它们已经来了。接下来呢?=

会议汇聚了 萨姆·斯捷潘尼扬OWASP全球理事会成员兼OWASP伦敦分会负责人; 阿什维尼·西迪OWASP全球理事会成员,专注于人工智能驱动环境的网络安全领导者; 耶稣夸德拉多Xygeni 首席执行官,由……主持 路易斯·罗德里格斯Xygeni公司的研究员。

整个讨论过程中涌现出一个明确的信息:应用安全领域的对话已经发生了根本性的变化。安全团队不再是为软件开发中人工智能的应用做准备,而是已经开始应对人工智能带来的挑战。

人工智能驱动的关键要点 SDLCs

  • 人工智能已经融入到现代科技的各个领域。 SDLC通过副驾驶、编码助手、自主代理和人工智能驱动的开发工具。
  • 传统应用安全模型并非为 AI 生成的代码、虚构的依赖关系、自主工作流程或机器速度的开发而设计。
  • 影子人工智能正成为人工智能领域一个重大的可见性和治理挑战。 CIS操作系统和应用安全团队。
  • AI 辅助开发引入了新的攻击面,包括提示注入、恶意依赖、MCP 滥用和代理工作流。
  • 组织需要构建以可见性、归因、最小权限和持续验证为核心的人工智能感知治理模型。
  • 该行业正迅速向代理型发展。 SDLC人工智能系统积极执行开发操作的地方。

观看完整的 SafeDev Talk 会议:人工智能驱动 SDLC已经在这里了

以下是本次会议讨论的一些关键见解,包括人工智能如何重塑应用安全威胁模型,以及为什么 CIS操作系统正在失去对开发环境的可见性,以及组织应该首先优先考虑哪些实际控制措施。 

为什么需要人工智能驱动 SDLC 安全问题刻不容缓

人工智能在软件开发领域的应用速度比大多数治理项目能够适应的速度还要快。 随着组织从副驾驶转向越来越自主的代理, SDLC 正变得越来越机器驱动、动态化,并且难以使用传统的应用安全方法进行监控。

对于许多人来说 CIS操作系统和应用安全负责人,如今的挑战不再是人工智能是否会进入开发环境,而是一旦人工智能进入开发环境,如何保持可见性、归因和运维控制。

这种转变已经迫使各组织重新思考。 software supply chain security治理模型、开发者可见性以及信任在现代软件开发环境中的作用。

人工智能应用速度快于安全治理速度

贯穿整个对话的一个最突出的主题是速度。正如路易斯·罗德里格斯在开场白中所解释的那样,人工智能不再局限于实验或孤立的生产力工具。它已经直接参与到开发工作流程中:编写代码、选择库、与……交互 pipeline并且越来越多地在软件基础设施本身中进行操作。

令小组成员最惊讶的不是人工智能的应用,而是它的普及程度,而且往往缺乏正式的可见性和管理。 Sam Stepanyan指出,官方安全策略与工程团队内部的实际操作之间日益脱节,尤其是在受监管的行业。一些组织仍然声称他们“未使用人工智能”,而开发人员实际上已经在日常工作流程中集成了副驾驶、助手和人工智能工具。

与此同时,他指出许多组织仍在努力接受的一个现实:即使是试图避免采用人工智能的公司,仍然面临着已经积极使用人工智能的对手。 这种紧张局势正在软件开发环境中造成许多安全领导者现在所说的“影子人工智能”,即在既定治理模式之外运行的人工智能系统。

Ashwini Siddhi补充了另一个重要的视角。她关注的不仅仅是人工智能技术的应用速度,而是围绕人工智能生成代码缺乏有效的运维规范。在讨论中,她强调,企业往往无法可靠地追溯人工智能的贡献来源、特定代码的生成原因,以及这些代码是如何被滥用的。cis离子随后应进行审查和验证。 这意味着:开发团队正在将非人类贡献者引入到…… SDLC但大多数治理和审查模型仍然假定完全由人类撰写。

人工智能不仅加速发展,它还改变了风险进入市场的方式。 SDLC

随着人工智能融入软件开发工作流程,攻击面远远超出了传统应用安全(AppSec)的假设。专家组反复强调一个核心观点:大多数安全方案都是围绕已知风险和人类的反应速度构建的。而人工智能同时改变了这两个条件。

安全团队不再仅仅审查人工编写的代码。他们越来越多地需要处理人工智能生成的依赖项、提示注入风险、自主工作流、与 MCP 连接的工具、人工智能插件以及机器速度等问题。 CI/CD 执行。

阿什维尼·西迪解释说,最先开始瓦解的概念之一就是传统的信任边界本身。人工智能系统使用海量的公共代码进行训练,其中很多代码不安全、过时或无法完全验证。因此,组织失去了清晰界定信任边界内外内容的能力。

她还强调,人工智能从根本上改变了威胁建模的性质,因为这些系统并非一成不变。在人工智能系统不断演进、适应并动态优化行为的环境中,传统的时点安全审查已不再适用。

Jesus Cuadrado 从软件供应链的角度探讨了这个问题。会议期间讨论的最清晰的例子之一涉及人工智能建议的依赖项。开发人员越来越倾向于自动接受人工智能生成的软件包推荐,通常很少或根本没有验证过程。这开辟了一种全新的攻击途径。

正如小组讨论中所述,攻击者可以识别大型语言模型生成的虚假软件包名称,将这些软件包注册到公共存储库中,然后等待开发人员或人工智能代理自动安装它们。

这极大地改变了传统观念背后的假设。 SCA 程序。安全团队不再仅仅关注已知的易受攻击的依赖项。他们越来越多地需要应对那些可能在几分钟前才出现,并且包含专门针对人工智能辅助工作流程设计的恶意行为的依赖项。

讨论还探讨了攻击如何开始瞄准开发环境中的全新目标。在注释中注入提示符、篡改代理的指令文件、恶意 MCP 交互以及操纵 AI 工作流程,这些都正在成为切实可行的攻击手段。 由此产生的威胁模型比传统的应用安全程序最初设计的目标更广泛、更快速、更具动态性。

CIS操作系统正在失去可见性 SDLC

可见性成为整个讨论中的一个主要主题。正如路易斯·罗德里格斯在会议上总结的那样,许多安全负责人根本不知道他们的开发人员正在使用哪些人工智能工具,哪些人工智能生成的代码正在进入代码库,或者哪些代理正在与系统交互。 pipeline和基础设施。

专家组将此描述为影子IT向影子AI的演变。 但与以往未经授权的工具不同,这些系统积极参与开发过程。cis离子。它们生成代码、选择依赖项、与基础设施交互,并且越来越多地代表开发人员做出操作选择。

Sam Stepanyan 强调了另一个关键挑战:归因。随着人工智能生成的代码越来越普遍,组织越来越难以清晰地确定特定行为是由谁(或什么)执行的。

这种可追溯性的丧失会造成治理和运营方面的问题。如果团队无法可靠地区分人为行为和人工智能生成的行为,事件响应、审计和安全审查都会变得更加复杂。

讨论还涉及人们日益增长的过度信任人工智能生成输出的倾向。开发者常常认为,既然人工智能生成的代码看起来可靠且功能完善,那么它就一定是安全的。但正如萨姆指出的那样,这些系统通常使用不安全的公开示例进行训练,因此可能会生成漏洞百出甚至完全虚构的结果,而且置信度很高。 这会造成一种危险的组合:可见性有限、归因减少,以及对组织并不完全了解的系统越来越信任。

行业正悄然向代理模式转变。 SDLCs

讨论中最重要的部分之一集中于从副驾驶到自主代理的过渡。与会专家一致认为,航空业正迅速朝着一种日益被描述为“智能体”的方向发展。 SDLC在这样的环境中,人工智能系统不再只是提出代码建议,而是在整个软件生命周期中积极采取行动。

人工智能系统开始开放 pull requests执行测试、调用外部工具、修改基础设施、与 API 交互,并在各种开发环境中自主运行。换句话说,人工智能正在从助手转变为操作员。

这种转变从根本上改变了安全模型。正如讨论中所探讨的,组织可能需要全新的治理方法,这些方法的核心是人工智能代理的身份识别、最小权限访问、可审计性、人工监督、签名操作以及对人工智能行为的持续可见性。

会议期间讨论的一个特别引人注目的例子是,人工智能系统为了实现其既定目标,试图禁用开发人员工作站上的终端安全保护。

这个例子说明了人工智能驱动环境的一个重要现实:这些系统优化的是目标,而不是安全边界。 传统应用安全主要围绕监控人为错误而构建。下一代应用安全将越来越需要管控自主行为。

为什么面向人工智能的应用安全需要零信任方法

SafeDev Talk 中讨论的许多主题都与更广泛的转变密切相关,即: 西吉尼 将其定义为人工智能时代的零信任。 SDLC:不要相信任何事,要核实一切,包括人工智能本身。 正如 Xygeni 的平台方法中所述,人工智能会同时在多个层面上扩大攻击面:

  • 第一方代码,
  • 依赖,
  • CI/CD pipelines,
  • 人工智能模型和智能体
  • 以及开发者环境。

对于传统的应用安全工具而言,这些领域中的许多方面仍然基本不可见。 如今的挑战不再仅仅是扫描代码以查找漏洞。企业越来越需要了解人工智能生成的依赖关系、开发人员环境中的人工智能活动、代理行为、人工智能连接的基础设施以及以机器速度进行的软件供应链交互。

这也是为什么像人工智能库存、人工智能感知等概念如此重要的原因。 ASPMAI-SPM 和开发者环境治理正迅速成为现代应用安全讨论的核心。

此 SDLC 已经改变

SafeDev Talk 非常明确地阐明了一点: 人工智能已经嵌入到……之中 SDLC. 业界已不再讨论人工智能辅助开发是否会成为现实。事实上,各种规模的工程组织都在进行着这样的转型。

现在真正的挑战在于如何在日益自主的开发环境中保持可见性、治理、归因和运营控制。

随着人工智能的普及,传统的应用安全假设,例如信任边界、人类作者身份、软件来源和静态治理模型,将继续瓦解。

那些能够最快适应人工智能发展趋势的组织,未必会减缓人工智能普及的速度。相反,它们将能够理解、管理和保障人工智能驱动的软件开发,并跟上其目前的发展速度。

在 OWASP 全球应用安全欧盟维也纳大会上继续对话

围绕人工智能驱动的讨论 SDLC 安全才刚刚开始。Xygeni 将在维也纳举行的 OWASP 全球应用安全欧洲大会上继续探讨这些主题,届时团队将讨论人工智能感知型应用安全。 software supply chain security人工智能治理以及智能体开发环境的新兴风险。

如果你参加 OWASP 全球应用安全欧盟欢迎莅临维也纳 G-08 展位,与 Xygeni 团队见面!

sca-tools-软件-成分分析工具
确定软件风险的优先级、进行补救并加以保护
注册免费账号。
不需要信用卡。

保护您的软件开发和交付

使用 Xygeni 产品套件