AI-vezérelt SDLCMár Itt Van. A MI már nem érkezik. Már itt van. Kódot ír az IDE-inkben. Kiválasztja a könyvtárakat. Megnyitja pull requestsLépéseket fut a miénkben pipelines. A kérdés már nem az, hogy a fejlesztők használni fogják-e a mesterséges intelligenciát. A kérdés az, hogy a szervezetek hogyan tartják fenn a láthatóságot, az irányítást és a bizalmat, miközben ezt teszik.
A modern szoftverfejlesztés már belépett a mesterséges intelligencia korszakába
A mérnöki szervezetekben a fejlesztők már most is használnak másodpilótákat, kódolási asszisztenseket, mesterséges intelligenciával működő IDE-ket, belső ügynököket, MCP-hez csatlakoztatott eszközöket és egyre inkább autonóm munkafolyamatokat a napi fejlesztési műveletek részeként. Ami kísérletezésként indult, az gyorsan beágyazódott magába a szoftverfejlesztési életciklusba. Ez volt a központi témája a Xygeni által szervezett legutóbbi SafeDev Talk-nak: „AI-vezérelt SDLCMár itt vannak. Most mi van?"
Az ülés összehozta Sam Stepanyan, az OWASP globális igazgatósági tagja és az OWASP londoni részlegének vezetője; Ashwini Siddhi, az OWASP globális igazgatósági tagja és a mesterséges intelligencia által vezérelt környezetekre szakosodott kiberbiztonsági vezető; és Jézus Cuadrado, a Xygeni vezérigazgatója, moderátor: Luis Rodriguez, kutatási tisztviselő a Xygeninél.
A beszélgetés során egyértelmű üzenet bontakozott ki: az alkalmazásbiztonsággal kapcsolatos párbeszéd alapvetően megváltozott. A biztonsági csapatok már nem a mesterséges intelligencia szoftverfejlesztésen belüli bevezetésére készülnek. Már most is foglalkoznak vele.
A mesterséges intelligencia által vezérelt rendszerek legfontosabb tanulságai SDLCs
- A mesterséges intelligencia már beágyazódott a modern világba SDLCmásodpilótákon, kódolóasszisztenseken, autonóm ügynökökön és mesterséges intelligenciával működő fejlesztőeszközökön keresztül.
- A hagyományos AppSec modelleket nem mesterséges intelligencia által generált kódhoz, hallucinált függőségekhez, autonóm munkafolyamatokhoz vagy gépi sebességű fejlesztéshez tervezték.
- Az árnyék-mesterséges intelligencia egyre nagyobb láthatósági és irányítási kihívássá válik a CISOS és AppSec csapatok.
- A mesterséges intelligenciával támogatott fejlesztés új támadási felületeket vezet be, beleértve az azonnali injektálást, a rosszindulatú függőségeket, az MCP-vel való visszaélést és az ügynöki munkafolyamatokat.
- A szervezeteknek olyan mesterséges intelligenciát használó irányítási modellekre van szükségük, amelyek a láthatóság, az attribúció, a minimális jogosultságok és a folyamatos ellenőrzés köré épülnek.
- Az iparág gyorsan az ügynöki piac felé halad. SDLCahol a mesterséges intelligencia rendszerek aktívan fejlesztési műveleteket végeznek.
Nézd meg a teljes SafeDev Talk előadást: AI-vezérelt SDLCMár itt vannak
Az alábbiakban a szekció során megvitatott néhány főbb megállapítást ismertetjük, beleértve azt is, hogy a mesterséges intelligencia hogyan alakítja át az alkalmazásbiztonsági fenyegetésmodellt, és miért... CISAz operációs rendszerek elveszítik a láthatóságukat a fejlesztői környezetekben, és hogy mely gyakorlati ellenőrzéseket kellene a szervezeteknek elsődlegesen kezelniük.
Miért mesterséges intelligencia vezérelt? SDLC A biztonság most fontos
A mesterséges intelligencia bevezetése a szoftverfejlesztésben gyorsabban gyorsul, mint ahogy azt a legtöbb irányítási program képes alkalmazkodni. Ahogy a szervezetek a másodpilótáktól az egyre inkább autonóm ügynökök felé haladnak, a SDLC egyre inkább gépvezéreltté, dinamikusabbá és a hagyományos AppSec-megközelítésekkel nehezebben monitorozhatóvá válik.
Sokaknak CISAz operációs rendszerek és az alkalmazásbiztonság vezetői számára a kihívás már nem az, hogy a mesterséges intelligencia belép-e a fejlesztői környezetekbe. A kihívás az, hogyan lehet fenntartani a láthatóságot, az attribúciót és az operatív kontrollt, ha már megtörtént.
Ez a változás már most arra kényszeríti a szervezeteket, hogy újragondolják software supply chain security, irányítási modellek, fejlesztői láthatóság és a bizalom szerepe a modern szoftverfejlesztési környezetekben.
A mesterséges intelligencia bevezetése gyorsabban halad, mint a biztonsági irányítás
A beszélgetés egyik legerősebb témája a sebesség volt. Ahogy Luis Rodriguez a megnyitón kifejtette, a mesterséges intelligencia már nem korlátozódik a kísérletezésre vagy az elszigetelt termelékenységi eszközökre. Már közvetlenül részt vesz a fejlesztési munkafolyamatokban: kódot ír, könyvtárakat választ ki, interakcióba lép a… pipelines, és egyre inkább magán a szoftverinfrastruktúrán keresztül működik.
A panel résztvevőit leginkább nem a mesterséges intelligencia elterjedése lepte meg, hanem az, hogy mennyire elterjedt már most is, gyakran hivatalos láthatóság vagy irányítás nélkül. Sam Stepanyan a hivatalos biztonsági irányelvek és a mérnöki csapatokon belüli tényleges történések közötti növekvő eltérésről számolt be, különösen a szabályozott iparágakban. Egyes szervezetek továbbra is azt állítják, hogy „nem használnak mesterséges intelligenciát”, míg a fejlesztők már integrálják a másodpilótákat, az asszisztenseket és a mesterséges intelligencia eszközeit a mindennapi munkafolyamataikba.
Ugyanakkor rámutatott egy olyan valóságra, amelyet sok szervezet még mindig nehezen tud elfogadni: még azok a vállalatok is, amelyek megpróbálják elkerülni a mesterséges intelligencia bevezetését, olyan ellenfelekkel szembesülnek, akik már most is agresszíven használják azt. Ez a feszültség olyan jelenséget teremt, amit sok biztonsági vezető ma már árnyék mesterséges intelligenciának nevez a szoftverfejlesztési környezetekben, olyan MI-rendszereknek, amelyek a bevett irányítási modelleken kívül működnek.
Ashwini Siddhi egy másik fontos szempontot is hozzátett. Nem csupán maga az adaptáció sebessége aggasztja, hanem a mesterséges intelligencia által generált kódot övező működési higiénia hiánya is. A vita során kiemelte, hogy a szervezetek gyakran nem rendelkeznek megbízható adatokkal arról, hogy a mesterséges intelligencia hol járult hozzá a kódhoz, miért generálta az adott kódot, vagy hogyan generálták ezeket a kódokat.cisAz ionokat később felül kell vizsgálni és validálni kell. A következménye jelentős: a fejlesztőcsapatok nem emberi közreműködőket is bevezetnek a rendszerbe. SDLC, de a legtöbb irányítási és felülvizsgálati modell továbbra is kizárólag emberi szerzőséget feltételez.
A mesterséges intelligencia nem csak felgyorsítja a fejlesztést. Megváltoztatja azt is, hogyan kerül be a kockázat a világba. SDLC
Ahogy a mesterséges intelligencia beágyazódik a szoftverfejlesztési munkafolyamatokba, a támadási felület messze túlmutat a hagyományos alkalmazásbiztonsági feltételezéseken. A testület ismételten visszatért egy központi gondolathoz: a legtöbb biztonsági program ismert kockázatok köré épül, emberi sebességgel működve. A mesterséges intelligencia mindkét feltételt egyszerre változtatja meg.
A biztonsági csapatok már nem csak ember által írt kódot vizsgálnak felül. Egyre inkább foglalkoznak mesterséges intelligencia által generált függőségekkel, azonnali injektálási kockázatokkal, autonóm munkafolyamatokkal, MCP-hez csatlakoztatott eszközökkel, mesterséges intelligencia bővítményekkel és gépi sebességű fejlesztésekkel. CI/CD végrehajtás.
Ashwini Siddhi elmagyarázta, hogy az egyik első fogalom, ami elkezd felbomlani, maga a hagyományos bizalmi határ. A mesterséges intelligencia rendszereket hatalmas mennyiségű nyilvános kódon tanítják, amelynek nagy része nem biztonságos, elavult vagy lehetetlen teljes mértékben ellenőrizni. Ennek eredményeként a szervezetek elveszítik a képességüket arra, hogy egyértelműen meghatározzák, mi van a megbízható határokon belül és kívül.
Azt is hangsúlyozta, hogy a mesterséges intelligencia alapvetően megváltoztatja a fenyegetésmodellezés jellegét, mivel ezek a rendszerek nem statikusak. A hagyományos, időponthoz kötött biztonsági felülvizsgálatok már nem állnak fenn olyan környezetekben, ahol a mesterséges intelligencia által működtetett rendszerek folyamatosan fejlődnek, alkalmazkodnak és dinamikusan optimalizálják a viselkedésüket.
Jesus Cuadrado a szoftverellátási lánc szemszögéből közelítette meg a problémát. Az ülés során megvitatott egyik legvilágosabb példa a mesterséges intelligencia által javasolt függőségek voltak. A fejlesztők egyre inkább automatikusan fogadják el a mesterséges intelligencia által generált csomagajánlásokat, gyakran kevés vagy semmilyen validációs folyamattal. Ez egy teljesen új támadási útvonalat hoz létre.
Ahogy a panelbeszélgetésen is szó esett róla, a támadók képesek azonosítani a nagy nyelvi modellek által generált hallucinált csomagneveket, regisztrálni ezeket a csomagokat nyilvános adattárakban, és várni, amíg a fejlesztők vagy a mesterséges intelligencia ügynökei automatikusan telepítik azokat.
Ez drámaian megváltoztatja a hagyományos feltételezéseket SCA programok. A biztonsági csapatok már nem csak az ismert sebezhető függőségekkel foglalkoznak. Egyre inkább olyan függőségekkel is foglalkoznak, amelyek percekkel korábban jelentek meg, és kifejezetten a mesterséges intelligencia által támogatott munkafolyamatokhoz tervezett rosszindulatú viselkedést tartalmaznak.
A beszélgetés azt is megvizsgálta, hogy a támadások hogyan kezdenek teljesen új felületeket célozni a fejlesztői környezetekben. A megjegyzésekbe történő prompt injektálás, az ügynökök számára mérgezett utasításfájlok, a rosszindulatú MCP-interakciók és a manipulált AI-munkafolyamatok mind reális támadási vektorokká válnak. Az eredmény egy olyan fenyegetésmodell, amely szélesebb körű, gyorsabb és sokkal dinamikusabb, mint amire a hagyományos AppSec programokat eredetileg tervezték.
CISAz operációs rendszerek elveszítik láthatóságukat szerte a világon SDLC
A láthatóság a vita egyik domináns témájává vált. Ahogy Luis Rodriguez az ülés során összefoglalta, sok biztonsági vezető egyszerűen nem tudja, hogy a fejlesztőik milyen MI-eszközöket használnak, milyen MI által generált kód kerül be a tárolókba, vagy melyik ügynökökkel lépnek interakcióba. pipelineés az infrastruktúra.
A testület ezt az árnyék-informatika árnyék-mesterséges intelligencia felé való fejlődésének nevezte. De a korábbi generációs, nem engedélyezett eszközökkel ellentétben ezek a rendszerek aktívan részt vesznek a fejlesztésbencisionok. Kódot generálnak, függőségeket választanak ki, interakcióba lépnek az infrastruktúrával, és egyre inkább operatív döntéseket hoznak a fejlesztők nevében.
Sam Stepanyan egy másik kritikus kihívásra is rávilágított: az attribúcióra. Ahogy a mesterséges intelligencia által generált kód egyre gyakoribbá válik, a szervezetek elveszítik annak a képességét, hogy egyértelműen meghatározzák, ki (vagy mi) hajtott végre egy adott műveletet.
A nyomonkövethetőség elvesztése irányítási és működési problémákat is okoz. Ha a csapatok nem tudják megbízhatóan megkülönböztetni az emberi és a mesterséges intelligencia által generált viselkedést, az incidensekre való reagálás, az auditálás és a biztonsági felülvizsgálat jelentősen bonyolultabbá válik.
A beszélgetés során szó esett arról a növekvő tendenciáról is, hogy a mesterséges intelligencia által generált kimenetbe túlzottan megbíznak. A fejlesztők gyakran feltételezik, hogy mivel a mesterséges intelligencia által generált kód magabiztosnak és funkcionálisnak tűnik, biztonságosnak is kell lennie. De ahogy Sam rámutatott, ezeket a rendszereket gyakran nem biztonságos nyilvános példákon képezik, és nagy megbízhatósággal sebezhető vagy teljesen hallucinált eredményeket generálhatnak. Ez egy veszélyes kombinációt hoz létre: korlátozott láthatóságot, csökkent attribúciót és növekvő bizalmat a szervezetek által nem teljesen értett rendszerek iránt.
Az iparág csendben az ügynöki kereskedelem felé halad SDLCs
A vita egyik legfontosabb része a másodpilótákról az autonóm ügynökökre való áttérésről szólt. A panel résztvevői egyetértettek abban, hogy az iparág gyorsan halad afelé, amit egyre inkább ügynöki jellegűnek nevezhetünk. SDLC, olyan környezetek, ahol a mesterséges intelligencia rendszerek már nem csupán kódot javasolnak, hanem aktívan végrehajtanak műveleteket a szoftver életciklusa során.
A mesterséges intelligencia rendszerek kezdenek megnyílni pull requests, teszteket futtathatnak, külső eszközöket hívhatnak meg, módosíthatják az infrastruktúrát, API-kkal kommunikálhatnak, és önállóan működhetnek a fejlesztői környezetekben. Más szóval, a mesterséges intelligencia az asszisztensből az operátorrá válik.
Ez a váltás alapvetően megváltoztatja a biztonsági modellt. Ahogy a vita is feltárta, a szervezeteknek valószínűleg teljesen új irányítási megközelítésekre lesz szükségük, amelyek a mesterséges intelligencia által kezelt ügynökök identitására, a legalacsonyabb jogosultságú hozzáférésre, az auditálhatóságra, az emberi felügyeletre, az aláírt műveletekre és a mesterséges intelligencia viselkedésének folyamatos láthatóságára összpontosítanak.
Az ülés során megvitatott egyik különösen szembetűnő példa egy olyan mesterséges intelligenciarendszerre vonatkozott, amely a kitűzött cél elérése érdekében megpróbálta letiltani a végpontbiztonsági védelmet egy fejlesztői munkaállomáson.
Ez a példa egy fontos valóságot illusztrál a mesterséges intelligencia által vezérelt környezetekkel kapcsolatban: ezek a rendszerek a célok szerint optimalizálnak, nem feltétlenül a biztonsági határok szerint. A hagyományos alkalmazásbiztonság (AppSec) az emberi hibák monitorozására épült. Az alkalmazásbiztonság következő generációjának egyre inkább az autonóm viselkedést kell majd irányítania.
Miért igényel a mesterséges intelligenciával tudatos alkalmazásbiztonság zéró bizalomra épülő megközelítést?
A SafeDev előadás során megvitatott témák közül sok szorosan illeszkedik a szélesebb körű elmozduláshoz a ... felé. Xygeni a mesterséges intelligencia korszakában a zéró bizalomként definiálja SDLC: ne bízz semmiben, ellenőrizz mindent, beleértve magát a mesterséges intelligenciát is. A Xygeni platformmegközelítésében leírtak szerint a mesterséges intelligencia a támadási felületet több rétegre kiterjeszti egyszerre:
- saját kód,
- függőségek,
- CI/CD pipelines,
- MI modellek és ágensek,
- és fejlesztői környezetek.
Ezen területek közül sok nagyrészt láthatatlan marad a hagyományos AppSec eszközök számára. A kihívás már nem pusztán a kód sebezhetőségeinek keresése. A szervezeteknek egyre inkább betekintést kell nyerniük a mesterséges intelligencia által generált függőségekbe, a fejlesztői környezetekben zajló mesterséges intelligencia aktivitásába, az ügynökök viselkedésébe, a mesterséges intelligenciához csatlakoztatott infrastruktúrába és a szoftverellátási lánc gépi sebességgel zajló interakcióiba.
Ezért olyan fogalmak, mint a mesterséges intelligencia általi leltár, a mesterséges intelligencia általi tudatosság ASPMAz AI-SPM és a fejlesztői környezet irányítása gyorsan központi szerepet kap a modern alkalmazásbiztonsággal kapcsolatos párbeszédekben.
Az SDLC Már megváltozott
A SafeDev Talk egy dolgot nagyon világossá tett: A mesterséges intelligencia már be van ágyazva a SDLC. Az iparág már nem vitatja meg, hogy lesz-e mesterséges intelligencia által támogatott fejlesztés. Ez az átmenet már folyamatban van minden méretű mérnöki szervezetben.
Az igazi kihívás most a láthatóság, az irányítás, az attribúció és az operatív ellenőrzés fenntartása az egyre autonómabb fejlesztési környezetekben.
Ahogy a mesterséges intelligencia elterjedése felgyorsul, a bizalmi határokkal, az emberi szerzőséggel, a szoftver eredetével és a statikus irányítási modellekkel kapcsolatos hagyományos alkalmazásbiztonsági feltételezések továbbra is felborulnak.
Nem feltétlenül azok a szervezetek alkalmazkodnak a leggyorsabban, amelyek lassítják a mesterséges intelligencia bevezetését. Ők lesznek azok, amelyek képesek megérteni, irányítani és biztosítani a mesterséges intelligencia által vezérelt szoftverfejlesztést a jelenlegi sebességgel.
Folytassa a beszélgetést az OWASP Global AppSec EU Bécs konferenciáján
A mesterséges intelligencia által vezérelt rendszerekről folytatott párbeszéd SDLC A biztonság csak a kezdet. A Xygeni folytatja majd ezen témák feltárását a bécsi OWASP Global AppSec EU konferencián, ahol a csapat a mesterséges intelligenciával támogatott alkalmazásbiztonságot (AI) fogja megvitatni. software supply chain security, a mesterséges intelligencia irányítása és az ágensalapú fejlesztési környezetek újonnan felmerülő kockázatai.
Ha részt veszel OWASP globális alkalmazásbiztonság EU, találkozz az Xygeni csapatával Bécsben a G-08-as standon!







