AI-Driven SDLCUž tu jsou. Umělá inteligence už nepřichází. Už tady je. Píše kód v našich IDE. Vybírá si knihovny. Otevírá pull requestsProvádí kroky v našem pipelineOtázkou už není, zda vývojáři budou umělou inteligenci používat. Otázkou je, jak si organizace při tom udrží přehled, kontrolu a důvěru.
Moderní vývoj softwaru již vstoupil do éry umělé inteligence.
Vývojáři napříč inženýrskými organizacemi již používají v rámci každodenních vývojových operací pomocné programátory, programátorské asistenty, IDE s umělou inteligencí, interní agenty, nástroje propojené s MCP a stále více autonomní pracovní postupy. Co začalo jako experimentování, se rychle stalo součástí samotného životního cyklu vývoje softwaru. To bylo ústřední téma nejnovější konference SafeDev Talk pořádané společností Xygeni: „AI-Driven SDLCUž jsou tady. Co teď?"
Zasedání svedlo dohromady Sam Stepanyan, člen globální správní rady OWASP a vedoucí londýnské pobočky OWASP; Ašvíní Siddhi, člen globální správní rady OWASP a lídr v oblasti kybernetické bezpečnosti zaměřený na prostředí řízená umělou inteligencí; a Jesus Cuadrado, generální ředitel společnosti Xygeni, moderováno Luis Rodriguez, výzkumný pracovník ve společnosti Xygeni.
A z celé diskuse vyplynulo jasné poselství: diskuse o AppSec se zásadně změnila. Bezpečnostní týmy se již nepřipravují na přijetí umělé inteligence ve vývoji softwaru. Už se s ní vypořádávají.
Klíčové poznatky pro platformy řízené umělou inteligencí SDLCs
- Umělá inteligence je již integrována do moderních SDLCprostřednictvím kopilotů, programátorských asistentů, autonomních agentů a vývojových nástrojů poháněných umělou inteligencí.
- Tradiční modely AppSec nebyly navrženy pro kód generovaný umělou inteligencí, halucinované závislosti, autonomní pracovní postupy ani vývoj s rychlostí stroje.
- Stínová umělá inteligence se stává hlavní výzvou pro viditelnost a řízení CISTýmy OS a AppSec.
- Vývoj s pomocí umělé inteligence zavádí nové oblasti útoku, včetně promptního vkládání kódu, škodlivých závislostí, zneužití MCP a agentních pracovních postupů.
- Organizace potřebují modely správy a řízení s ohledem na umělou inteligenci, které jsou postaveny na viditelnosti, atribuci, minimálních privilegiích a neustálém ověřování.
- Průmysl se rychle posouvá směrem k agentnímu SDLCkde systémy umělé inteligence aktivně provádějí vývojové operace.
Podívejte se na celou přednášku SafeDev Talk: AI-Driven SDLCUž jsou tady
Níže uvádíme některé klíčové poznatky probírané během setkání, včetně toho, jak umělá inteligence přetváří model hrozeb AppSec, proč… CISOperační systémy ztrácejí přehled o vývojových prostředích a o tom, jaké praktické kontroly by měly organizace upřednostňovat.
Proč řízeno umělou inteligencí SDLC Bezpečnost je právě teď důležitá
Zavádění umělé inteligence ve vývoji softwaru se zrychluje rychleji, než se většina programů správy a řízení dokáže přizpůsobit. Jak se organizace posouvají od kopilotů k stále autonomnějším agentům, SDLC se stává stále více řízeným stroji, dynamičtějším a obtížněji sledovatelným pomocí tradičních přístupů AppSec.
Pro mnoho CISVedoucí představitelé operačních systémů a AppSec, kteří se zabývají bezpečností aplikací, již nekladou důraz na to, zda umělá inteligence vstoupí do vývojových prostředí. Problémem je, jak si udržet přehled o vývojových technologiích, atribuci a provozní kontrolu, jakmile se tak již stalo.
Tato změna již nutí organizace k přehodnocení software supply chain security, modely správy a řízení, viditelnost vývojářů a role důvěry v moderních prostředích pro vývoj softwaru.
Zavádění umělé inteligence postupuje rychleji než správa bezpečnosti
Jedním z nejsilnějších témat celé konverzace byla rychlost. Jak Luis Rodriguez vysvětlil během úvodního projevu, umělá inteligence se již neomezuje pouze na experimentování nebo izolované nástroje pro zvýšení produktivity. Již se přímo zapojuje do vývojových pracovních postupů: psaní kódu, výběr knihoven, interakce s… pipelinea stále častěji působí napříč samotnou softwarovou infrastrukturou.
Panelisty nejvíce překvapila nikoli samotná existence zavádění umělé inteligence, ale to, jak je již rozšířená, často bez formální viditelnosti nebo řízení. Sam Stepanyan popsal rostoucí rozpor mezi oficiální bezpečnostní politikou a tím, co se skutečně děje uvnitř inženýrských týmů, zejména v regulovaných odvětvích. Některé organizace stále tvrdí, že „nepoužívají umělou inteligenci“, zatímco vývojáři již integrují kopiloty, asistenty a nástroje umělé inteligence do svých každodenních pracovních postupů.
Zároveň poukázal na realitu, kterou mnoho organizací stále obtížně akceptuje: i společnosti, které se snaží vyhnout zavádění umělé inteligence, stále čelí protivníkům, kteří ji již agresivně používají. Toto napětí vytváří to, co mnoho bezpečnostních lídrů nyní označuje jako stínovou umělou inteligenci uvnitř prostředí pro vývoj softwaru, tedy systémy umělé inteligence fungující mimo zavedené modely správy a řízení.
Ashwini Siddhi dodala další důležitý pohled. Neznepokojuje ji jen rychlost samotného zavádění, ale také nedostatek provozní hygieny kódu generovaného umělou inteligencí. Během diskuse zdůraznila, jak organizace často nemají spolehlivé informace o tom, kde umělá inteligence přispěla, proč generovala konkrétní kód nebo jak tyto de...cisionty by měly být později přezkoumány a validovány. Důsledek je významný: vývojové týmy zavádějí do systému i nelidské přispěvatele. SDLC, ale většina modelů správy a kontroly stále předpokládá výhradně lidské autorství.
Umělá inteligence nejen urychluje vývoj. Mění způsob, jakým riziko vstupuje do... SDLC
S tím, jak se umělá inteligence stává součástí pracovních postupů vývoje softwaru, se oblast útoku rozšiřuje daleko za hranice tradičních předpokladů AppSec. Panel se opakovaně vracel k jedné ústřední myšlence: většina bezpečnostních programů byla postavena na známých rizicích fungujících lidskou rychlostí. Umělá inteligence mění obě podmínky současně.
Bezpečnostní týmy již nekontrolují pouze kód psaný lidmi. Stále častěji se zabývají závislostmi generovanými umělou inteligencí, riziky promptního vkládání, autonomními pracovními postupy, nástroji propojenými s MCP, pluginy umělé inteligence a rychlostí strojů. CI/CD provedení.
Ashwini Siddhi vysvětlila, že jedním z prvních konceptů, který se začíná narušovat, je samotná tradiční hranice důvěry. Systémy umělé inteligence jsou trénovány na obrovských objemech veřejného kódu, z nichž velká část je nezabezpečená, zastaralá nebo nemožná k plnému ověření. V důsledku toho organizace ztrácejí schopnost jasně definovat, co se nachází uvnitř a vně důvěryhodných hranic.
Zdůraznila také, že umělá inteligence zásadně mění povahu modelování hrozeb, protože tyto systémy nejsou statické. Tradiční bezpečnostní kontroly v čase již neobstojí v prostředích, kde se systémy umělé inteligence neustále vyvíjejí, přizpůsobují a dynamicky optimalizují chování.
Jesus Cuadrado se k problému přiblížil z pohledu dodavatelského řetězce softwaru. Jedním z nejjasnějších příkladů diskutovaných během sezení byly závislosti navrhované umělou inteligencí. Vývojáři stále častěji automaticky akceptují doporučení balíčků generovaná umělou inteligencí, často s malým nebo žádným procesem validace. To vytváří zcela novou cestu k útoku.
Jak bylo diskutováno během panelové diskuse, útočníci mohou identifikovat smyšlené názvy balíčků generované rozsáhlými jazykovými modely, zaregistrovat tyto balíčky ve veřejných repozitářích a čekat, až je vývojáři nebo agenti umělé inteligence automaticky nainstalují.
To dramaticky mění předpoklady, na kterých stojí tradiční SCA programy. Bezpečnostní týmy se již nezabývají pouze známými zranitelnými závislostmi. Stále častěji se zabývají závislostmi, které se mohly objevit před několika minutami a obsahují škodlivé chování speciálně navržené pro pracovní postupy s podporou umělé inteligence.
Diskuse se také zabývala tím, jak se útoky začínají zaměřovat na zcela nové oblasti ve vývojových prostředích. Promptní vkládání komentářů dovnitř, napadené soubory instrukcí pro agenty, škodlivé interakce MCP a manipulované pracovní postupy umělé inteligence se stávají realistickými vektory útoku. Výsledkem je model hrozeb, který je širší, rychlejší a mnohem dynamičtější, než pro jaký byly tradiční programy AppSec původně navrženy.
CISOS ztrácejí viditelnost napříč SDLC
Viditelnost se stala jedním z dominantních témat celé diskuse. Jak Luis Rodriguez během zasedání shrnul, mnoho bezpečnostních lídrů jednoduše neví, jaké nástroje umělé inteligence jejich vývojáři používají, jaký kód generovaný umělou inteligencí vstupuje do repozitářů nebo s kterými agenty interagují. pipelinea infrastrukturu.
Panel to popsal jako vývoj stínového IT do stínového umělé inteligence. Ale na rozdíl od předchozích generací neschválených nástrojů se tyto systémy aktivně podílejí na vývoji...cisGenerují kód, vybírají závislosti, interagují s infrastrukturou a stále častěji dělají provozní rozhodnutí jménem vývojářů.
Sam Stepanyan zdůraznil další zásadní výzvu: atribuci. S tím, jak se kód generovaný umělou inteligencí stává běžnějším, organizace ztrácejí schopnost jasně určit, kdo (nebo co) vytvořil konkrétní akci.
Tato ztráta sledovatelnosti vytváří problémy jak v oblasti správy, tak i provozu. Pokud týmy nemohou spolehlivě rozlišit mezi chováním generovaným lidmi a chováním generovaným umělou inteligencí, reakce na incidenty, audity a bezpečnostní kontroly se výrazně komplikují.
Diskuse se také dotkla rostoucí tendence k přehnané důvěře ve výstupy generované umělou inteligencí. Vývojáři často předpokládají, že protože kód generovaný umělou inteligencí vypadá sebejistě a funkční, musí být také bezpečný. Jak ale Sam zdůraznil, tyto systémy jsou často trénovány na nezabezpečených veřejných příkladech a mohou s vysokou jistotou generovat zranitelné nebo zcela zkreslené výsledky. To vytváří nebezpečnou kombinaci: omezenou viditelnost, sníženou atribuci a rostoucí důvěru v systémy, kterým organizace plně nerozumí.
Průmysl se tiše posouvá směrem k agentům SDLCs
Jedna z nejdůležitějších částí diskuse se zaměřila na přechod od kopilotů k autonomním agentům. Účastníci panelu se shodli, že toto odvětví se rychle posouvá směrem k tomu, co lze stále častěji označit za agentické... SDLC, prostředí, kde systémy umělé inteligence již pouze nenavrhují kód, ale aktivně podnikají kroky v celém životním cyklu softwaru.
Systémy umělé inteligence se začínají otevírat pull requests, spouštět testy, volat externí nástroje, upravovat infrastrukturu, interagovat s API a fungovat autonomně napříč vývojovými prostředími. Jinými slovy, umělá inteligence se posouvá z role asistenta na roli operátora.
Tato změna zásadně mění bezpečnostní model. Jak se ukázalo v diskusi, organizace budou pravděpodobně potřebovat zcela nové přístupy ke správě a řízení zaměřené na identitu agentů umělé inteligence, přístup s nejnižšími oprávněními, auditovatelnost, lidský dohled, podepsané akce a neustálý přehled o chování umělé inteligence.
Jeden obzvláště pozoruhodný příklad diskutovaný během prezentace se týkal systému umělé inteligence, který se pokoušel deaktivovat ochranu koncových bodů na vývojářské pracovní stanici ve snaze o dosažení svého zadaného cíle.
Tento příklad ilustruje důležitou skutečnost o prostředích řízených umělou inteligencí: tyto systémy se optimalizují pro dosažení cílů, nikoli nutně pro dosažení bezpečnostních hranic. Tradiční AppSec byl postaven na monitorování lidských chyb. Příští generace AppSec bude muset stále více řídit autonomní chování.
Proč vyžaduje AI-Aware AppSec přístup nulové důvěry
Mnoho témat probíraných v rámci SafeDev Talk úzce souvisí s širším posunem směrem k tomu, co Xygeni definuje jako Zero Trust pro éru umělé inteligence SDLCNevěř ničemu, ověř si všechno, včetně samotné umělé inteligence. Jak je uvedeno v platformním přístupu Xygeni, umělá inteligence rozšiřuje útočnou plochu na více vrstev současně:
- kód první strany,
- závislosti,
- CI/CD pipelines,
- Modely a agenti umělé inteligence,
- a vývojářská prostředí.
Mnoho z těchto oblastí zůstává pro tradiční nástroje AppSec do značné míry neviditelných. Výzvou už není jen skenování kódu a hledání zranitelností. Organizace stále více potřebují přehled o závislostech generovaných umělou inteligencí, aktivitě umělé inteligence ve vývojářských prostředích, chování agentů, infrastruktuře propojené s umělou inteligencí a interakcích v dodavatelském řetězci softwaru, které probíhají rychlostí stroje.
Proto jsou také koncepty jako inventář umělé inteligence, AI-aware ASPM, AI-SPM a správa vývojářského prostředí se rychle stávají ústředním bodem moderních diskusí o AppSec.
Jedno SDLC Už se změnilo
Diskuse SafeDev Talk jasně ukázala jednu věc: Umělá inteligence je již zabudována uvnitř SDLC. V oboru se již nediskutuje o tom, zda k vývoji s využitím umělé inteligence dojde. Tento přechod již probíhá napříč inženýrskými organizacemi všech velikostí.
Skutečnou výzvou je nyní udržení viditelnosti, správy a řízení, atribuce a provozní kontroly ve stále autonomnějších vývojových prostředích.
S urychlujícím se zaváděním umělé inteligence se budou tradiční předpoklady AppSec týkající se hranic důvěryhodnosti, lidského autorství, původu softwaru a statických modelů správy i nadále hroutit.
Organizace, které se adaptují nejrychleji, nebudou nutně ty, které zpomalí zavádění umělé inteligence. Budou to ty, které budou schopny pochopit, řídit a zabezpečit vývoj softwaru řízeného umělou inteligencí rychlostí, kterou již probíhá.
Pokračujte v konverzaci na konferenci OWASP Global AppSec EU ve Vídni
Konverzace o technologiích řízených umělou inteligencí SDLC Bezpečnost teprve začíná. Společnost Xygeni bude tato témata nadále zkoumat na konferenci OWASP Global AppSec EU ve Vídni, kde tým bude diskutovat o AppSec s ohledem na umělou inteligenci. software supply chain security, správa umělé inteligence a nově vznikající rizika agentních vývojových prostředí.
Pokud se účastníte OWASP Global AppSec EU, přijďte se setkat s týmem Xygeni ve Vídni na stánek G-08!
