AI-Driven SDLCs jau čia. Dirbtinis intelektas nebeatvyksta. Jis jau čia. Jis rašo kodą mūsų IDE. Jis pasirenka bibliotekas. Jis atidaro pull requestsJis veikia mūsų žingsniais pipelines. Klausimas nebėra tas, ar kūrėjai naudosis dirbtiniu intelektu. Klausimas, kaip organizacijos išlaikys matomumą, kontrolę ir pasitikėjimą, tuo pačiu metu.
Šiuolaikinė programinės įrangos kūrimas jau įžengė į dirbtinio intelekto erą
Visose inžinerijos organizacijose kūrėjai jau naudoja antrinius pilotus, kodavimo asistentus, dirbtinio intelekto valdomas IDE, vidinius agentus, su MCP susijusius įrankius ir vis labiau autonomiškus darbo eigų procesus kaip kasdienių kūrimo operacijų dalį. Tai, kas prasidėjo kaip eksperimentai, greitai tapo neatsiejama programinės įrangos kūrimo gyvavimo ciklo dalimi. Tai buvo pagrindinė naujausio „SafeDev“ pokalbio, kurį vedė „Xygeni“, tema: „AI-Driven SDLCJau Čia. Kas Dabar?"
Posėdis subūrė Samas Stepanjanas, OWASP pasaulinės valdybos narys ir OWASP Londono skyriaus vadovas; Ašvini Siddi, OWASP pasaulinės valdybos narys ir kibernetinio saugumo lyderis, daugiausia dėmesio skiriantis dirbtinio intelekto valdomoms aplinkoms; ir Jėzus Kuadrado, „Xygeni“ generalinis direktorius, moderavo Luis Rodriguez, „Xygeni“ tyrimų pareigūnas.
Ir visos diskusijos metu išryškėjo aiški žinia: pokalbis apie programėlių saugumą iš esmės pasikeitė. Saugumo komandos nebesiruošia dirbtinio intelekto diegimui programinės įrangos kūrime. Jos jau su tuo susiduria.
Svarbiausios išvados apie dirbtinio intelekto pagrindu veikiančius sprendimus SDLCs
- Dirbtinis intelektas jau yra integruotas į šiuolaikinius SDLCper antruosius pilotus, kodavimo asistentus, autonominius agentus ir dirbtinio intelekto valdomus kūrimo įrankius.
- Tradiciniai programų saugumo modeliai nebuvo sukurti dirbtinio intelekto generuojamam kodui, haliucinacinėms priklausomybėms, autonominiams darbo eigoms ar mašininio greičio kūrimui.
- Šešėlinis dirbtinis intelektas tampa dideliu matomumo ir valdymo iššūkiu CISOS ir AppSec komandos.
- Dirbtinio intelekto pagalba kuriamos naujos atakos platformos, įskaitant greitą injekciją, kenkėjiškas priklausomybes, MCP piktnaudžiavimą ir agentinius darbo eigą.
- Organizacijoms reikia dirbtiniu intelektu pagrįstų valdymo modelių, pagrįstų matomumu, priskyrimu, minimalių privilegijų ribojimu ir nuolatiniu tikrinimu.
- Pramonė sparčiai pereina prie agentų veiklos. SDLCkur dirbtinio intelekto sistemos aktyviai atlieka kūrimo operacijas.
Žiūrėkite visą „SafeDev“ pokalbio sesiją: Dirbtinio intelekto pagrindu SDLCs jau čia
Žemiau pateikiamos kelios pagrindinės sesijos metu aptartos įžvalgos, įskaitant tai, kaip dirbtinis intelektas keičia „AppSec“ grėsmių modelį, kodėl CISOS praranda matomumą kūrimo aplinkose, todėl organizacijos turėtų teikti pirmenybę praktinėms kontrolės priemonėms.
Kodėl dirbtinis intelektas yra svarbus SDLC Saugumas svarbus dabar
Dirbtinio intelekto diegimas programinės įrangos kūrime spartėja greičiau, nei dauguma valdymo programų gali prisitaikyti. Organizacijoms pereinant nuo antrinių pilotų prie vis labiau autonomiškų agentų, SDLC tampa labiau mašinomis valdoma, dinamiška ir sunkiau stebima naudojant tradicinius „AppSec“ metodus.
Daugumai CISOS ir AppSec lyderių teigimu, iššūkis nebėra tas, ar dirbtinis intelektas pateks į kūrimo aplinkas. Iššūkis yra tas, kaip išlaikyti matomumą, priskyrimą ir veiklos kontrolę, kai tai jau įvyko.
Šis pokytis jau verčia organizacijas permąstyti savo mintis. software supply chain security, valdymo modeliai, kūrėjų matomumas ir pasitikėjimo vaidmuo šiuolaikinėje programinės įrangos kūrimo aplinkoje.
Dirbtinio intelekto diegimas vyksta sparčiau nei saugumo valdymas
Viena iš stipriausių pokalbio temų buvo greitis. Kaip Luis Rodriguez paaiškino atidarymo metu, dirbtinis intelektas nebėra apribotas eksperimentais ar izoliuotais produktyvumo įrankiais. Jis jau tiesiogiai dalyvauja kūrimo darbo eigoje: rašo kodą, pasirenka bibliotekas, sąveikauja su... pipelineir vis dažniau veikia pačioje programinės įrangos infrastruktūroje.
Labiausiai diskusijų dalyvius nustebino ne dirbtinio intelekto diegimo egzistavimas, o tai, kiek jis jau yra plačiai paplitęs, dažnai be oficialaus matomumo ar valdymo. Samas Stepanianas aprašė didėjantį atotrūkį tarp oficialios saugumo politikos ir to, kas iš tikrųjų vyksta inžinierių komandose, ypač reguliuojamose pramonės šakose. Kai kurios organizacijos vis dar teigia, kad „nenaudoja dirbtinio intelekto“, o kūrėjai jau integruoja antruosius pilotus, asistentus ir dirbtinio intelekto įrankius į savo kasdienius darbo procesus.
Tuo pačiu metu jis atkreipė dėmesį į realybę, kurią daugelis organizacijų vis dar stengiasi susitaikyti: net ir įmonės, bandančios išvengti dirbtinio intelekto diegimo, vis dar susiduria su priešininkais, kurie jau agresyviai jį naudoja. Ši įtampa sukuria tai, ką daugelis saugumo lyderių dabar apibūdina kaip šešėlinį dirbtinį intelektą programinės įrangos kūrimo aplinkoje – dirbtinio intelekto sistemas, veikiančias už nusistovėjusių valdymo modelių ribų.
Ashwini Siddhi pridėjo dar vieną svarbų požiūrį. Jai nerimą kelia ne tik pats diegimo greitis, bet ir dirbtinio intelekto sugeneruoto kodo operacinės higienos stoka. Diskusijos metu ji pabrėžė, kad organizacijos dažnai neturi patikimos informacijos apie tai, kur dirbtinis intelektas prisidėjo, kodėl sukūrė konkretų kodą ar kaip tas kodas buvo sukurtas.cisJonai vėliau turėtų būti peržiūrėti ir patvirtinti. Poveikis yra reikšmingas: kūrimo komandos įtraukia ne žmones prisidedančius asmenis. SDLC, tačiau daugumoje valdymo ir peržiūros modelių vis dar daroma prielaida, kad autorystė priklauso tik žmogui.
Dirbtinis intelektas ne tik spartina vystymąsi. Jis keičia rizikos patekimo į pasaulį būdą. SDLC
Dirbtiniam intelektui (DI) integruojant jį į programinės įrangos kūrimo procesus, atakų zona gerokai plečiasi, net ir už tradicinių programų saugumo (AppSec) ribų. Ekspertų grupė ne kartą grįžo prie vienos pagrindinės idėjos: dauguma saugumo programų buvo sukurtos atsižvelgiant į žinomas rizikas, veikiančias žmogaus greičiu. DI keičia abi sąlygas vienu metu.
Saugumo komandos nebeperžiūri tik žmonių rašyto kodo. Jos vis dažniau susiduria su dirbtinio intelekto sugeneruotomis priklausomybėmis, greito įterpimo rizika, autonominiais darbo eigomis, su MCP susijusiais įrankiais, dirbtinio intelekto papildiniais ir mašininio greičio programomis. CI/CD vykdymas.
Ashwini Siddhi paaiškino, kad viena pirmųjų sąvokų, kuri pradeda griūti, yra pati tradicinė pasitikėjimo riba. Dirbtinio intelekto sistemos yra apmokytos naudojant didžiulius viešojo kodo kiekius, kurių dauguma yra nesaugūs, pasenę arba neįmanoma iki galo patikrinti. Dėl to organizacijos praranda galimybę aiškiai apibrėžti, kas yra patikimose ribose, o kas – už jų ribų.
Ji taip pat pabrėžė, kad dirbtinis intelektas iš esmės keičia grėsmių modeliavimo pobūdį, nes šios sistemos nėra statiškos. Tradicinės konkretaus laiko saugumo peržiūros nebegalioja aplinkoje, kurioje dirbtinio intelekto sistemos nuolat vystosi, prisitaiko ir dinamiškai optimizuoja elgseną.
Jesus Cuadrado šią problemą nagrinėjo programinės įrangos tiekimo grandinės požiūriu. Vienas aiškiausių sesijos metu aptartų pavyzdžių buvo dirbtinio intelekto siūlomos priklausomybės. Kūrėjai vis dažniau automatiškai priima dirbtinio intelekto sugeneruotas paketų rekomendacijas, dažnai beveik neatlikdami patvirtinimo proceso. Tai sukuria visiškai naują atakos kelią.
Kaip aptarta diskusijos metu, užpuolikai gali atpažinti didelių kalbų modelių sugeneruotus netikrus paketų pavadinimus, užregistruoti tuos paketus viešosiose saugyklose ir laukti, kol kūrėjai arba dirbtinio intelekto agentai juos automatiškai įdiegs.
Tai dramatiškai keičia tradicines prielaidas SCA programos. Saugumo komandos nebesprendžia tik žinomų pažeidžiamų priklausomybių problemų. Jos vis dažniau susiduria su priklausomybėmis, kurios galėjo atsirasti prieš kelias minutes ir kuriose yra kenkėjiškų veiksmų, specialiai sukurtų dirbtinio intelekto palaikomoms darbo eigoms.
Diskusijoje taip pat buvo nagrinėjama, kaip atakos pradeda taikytis į visiškai naujas sritis kūrimo aplinkose. Raginantis įterpimas į komentarus, užkrėsti agentų instrukcijų failai, kenkėjiška MCP sąveika ir manipuliuojami dirbtinio intelekto darbo srautai tampa realiais atakų vektoriais. Rezultatas – platesnis, greitesnis ir daug dinamiškesnis grėsmių modelis nei tas, kuriam iš pradžių buvo sukurtos tradicinės „AppSec“ programos.
CISOs praranda matomumą visame pasaulyje SDLC
Matomumas tapo viena iš dominuojančių temų visoje diskusijoje. Kaip sesijos metu apibendrino Luisas Rodriguezas, daugelis saugumo lyderių tiesiog nežino, kokius dirbtinio intelekto įrankius naudoja jų kūrėjai, koks dirbtinio intelekto sugeneruotas kodas patenka į saugyklas ar su kuriais agentais sąveikauja. pipelineir infrastruktūra.
Ekspertų grupė tai apibūdino kaip šešėlinės IT evoliuciją į šešėlinę dirbtinį intelektą. Tačiau skirtingai nuo ankstesnių kartų nesankcionuotų įrankių, šios sistemos aktyviai dalyvauja kūrimo procese.cisJie generuoja kodą, parenka priklausomybes, sąveikauja su infrastruktūra ir vis dažniau priima veiklos sprendimus kūrėjų vardu.
Samas Stepanianas pabrėžė dar vieną svarbų iššūkį: priskyrimą. Dirbtinio intelekto generuojamam kodui tampant vis labiau paplitusiam, organizacijos praranda galimybę aiškiai nustatyti, kas (ar kas) atliko konkretų veiksmą.
Toks atsekamumo praradimas sukelia ir valdymo, ir veiklos problemų. Jei komandos negali patikimai atskirti žmogaus ir dirbtinio intelekto sukurto elgesio, incidentų reagavimas, auditas ir saugumo peržiūra tampa gerokai sudėtingesni.
Diskusijoje taip pat buvo paliesta auganti tendencija pernelyg pasitikėti dirbtinio intelekto sukurtais rezultatais. Kūrėjai dažnai daro prielaidą, kad kadangi dirbtinio intelekto sukurtas kodas atrodo patikimas ir funkcionalus, jis taip pat turi būti saugus. Tačiau, kaip pažymėjo Samas, šios sistemos dažnai mokomos naudojant nesaugius viešus pavyzdžius ir gali labai užtikrintai generuoti pažeidžiamus arba visiškai haliucinuotus rezultatus. Tai sukuria pavojingą derinį: ribotą matomumą, sumažintą priskyrimą ir didėjantį pasitikėjimą sistemomis, kurių organizacijos iki galo nesupranta.
Pramonė tyliai juda link agentų SDLCs
Viena svarbiausių diskusijos dalių buvo skirta perėjimui nuo antrųjų pilotų prie autonominių agentų. Diskusijos dalyviai sutarė, kad pramonė sparčiai juda link to, ką vis dažniau galima apibūdinti kaip agentinį. SDLC, aplinkos, kuriose dirbtinio intelekto sistemos nebe tik siūlo kodą, bet ir aktyviai atlieka veiksmus per visą programinės įrangos gyvavimo ciklą.
Dirbtinio intelekto sistemos pradeda atsiverti pull requests, vykdyti testus, iškviesti išorinius įrankius, modifikuoti infrastruktūrą, sąveikauti su API ir veikti autonomiškai įvairiose kūrimo aplinkose. Kitaip tariant, dirbtinis intelektas virsta iš asistento į operatorių.
Šis pokytis iš esmės pakeičia saugumo modelį. Kaip aptarta diskusijoje, organizacijoms greičiausiai reikės visiškai naujų valdymo metodų, orientuotų į DI agentų tapatybę, prieigą su mažiausiais privilegijomis, audituojamumą, žmogaus priežiūrą, pasirašytus veiksmus ir nuolatinį DI elgesio matomumą.
Vienas ypač ryškus sesijos metu aptartas pavyzdys buvo susijęs su dirbtinio intelekto sistema, bandančia išjungti galinių taškų apsaugos priemones kūrėjo darbo stotyje, siekiant jai priskirto tikslo.
Šis pavyzdys iliustruoja svarbią realybę apie dirbtinio intelekto valdomas aplinkas: šios sistemos optimizuojamos pagal tikslus, o ne būtinai pagal saugumo ribas. Tradicinė programėlių saugumo sistema (AppSec) buvo sukurta remiantis žmonių klaidų stebėjimu. Kitai programėlių saugumo kartai vis labiau reikės valdyti autonominį elgesį.
Kodėl dirbtiniu intelektu pagrįstam programų saugumui reikalingas nulinio pasitikėjimo metodas
Daugelis „SafeDev“ pokalbyje aptartų temų glaudžiai susijusios su platesniu pokyčiu link to, kas Ksigeni apibrėžia kaip nulinį pasitikėjimą dirbtinio intelekto eroje SDLC: niekuo nepasitikėkite, patikrinkite viską, įskaitant patį dirbtinį intelektą. Kaip aprašyta „Xygeni“ platformos metode, dirbtinis intelektas vienu metu išplečia atakos paviršių per kelis sluoksnius:
- pirmosios šalies kodas,
- priklausomybės,
- CI/CD pipelines,
- Dirbtinio intelekto modeliai ir agentai,
- ir kūrėjų aplinkos.
Daugelis šių sričių lieka beveik nematomos tradiciniams „AppSec“ įrankiams. Iššūkis nebėra vien kodo nuskaitymas ieškant pažeidžiamumų. Organizacijoms vis labiau reikia matyti dirbtinio intelekto generuojamas priklausomybes, dirbtinio intelekto veiklą kūrėjų aplinkose, agentų elgseną, su dirbtiniu intelektu prijungtą infrastruktūrą ir programinės įrangos tiekimo grandinės sąveikas, vykstančias mašinos greičiu.
Štai kodėl tokios sąvokos kaip dirbtinio intelekto inventorius, dirbtinio intelekto suvokimas ASPMAI-SPM ir kūrėjų aplinkos valdymas sparčiai tampa pagrindiniais šiuolaikinių programų saugumo pokalbių elementais.
Geriausios SDLC Jau pasikeitė
„SafeDev“ pokalbis labai aiškiai išdėstė vieną dalyką: Dirbtinis intelektas jau yra integruotas į SDLC. Pramonė nebediskutuoja, ar dirbtinio intelekto pagalba bus kuriama. Šis perėjimas jau vyksta įvairaus dydžio inžinerijos organizacijose.
Tikrasis iššūkis dabar yra išlaikyti matomumą, valdymą, priskyrimą ir veiklos kontrolę vis labiau autonomiškose kūrimo aplinkose.
Spartėjant dirbtinio intelekto diegimui, tradicinės programų saugumo prielaidos dėl pasitikėjimo ribų, žmogaus autorystės, programinės įrangos kilmės ir statinių valdymo modelių ir toliau nyks.
Sparčiausiai prisitaikančios organizacijos nebūtinai bus tos, kurios sulėtins dirbtinio intelekto diegimą. Jos bus tos, kurios gebės suprasti, valdyti ir užtikrinti dirbtiniu intelektu pagrįstos programinės įrangos kūrimą tokiu greičiu, kokiu jis jau vyksta.
Tęskite pokalbį OWASP Global AppSec EU Vienna konferencijoje
Pokalbis apie dirbtinio intelekto valdomą SDLC Saugumas tik prasideda. „Xygeni“ toliau nagrinės šias temas „OWASP Global AppSec EU“ konferencijoje Vienoje, kur komanda aptars dirbtiniu intelektu pagrįstą programų saugumą. software supply chain security, dirbtinio intelekto valdymas ir kylančios agentinių kūrimo aplinkų rizikos.
Jei dalyvaujate OWASP pasaulinė programų apsauga ES, susipažinkite su „Xygeni“ komanda Vienoje, stende G-08!
