AI-vezérelt SDLCMár itt vannak

AI-vezérelt SDLCMár itt vannak. Most mi van?

AI-vezérelt SDLCMár Itt Van. A MI már nem érkezik. Már itt van. Kódot ír az IDE-inkben. Kiválasztja a könyvtárakat. Megnyitja pull requestsLépéseket fut a miénkben pipelines. A kérdés már nem az, hogy a fejlesztők használni fogják-e a mesterséges intelligenciát. A kérdés az, hogy a szervezetek hogyan tartják fenn a láthatóságot, az irányítást és a bizalmat, miközben ezt teszik.

A modern szoftverfejlesztés már belépett a mesterséges intelligencia korszakába

A mérnöki szervezetekben a fejlesztők már most is használnak másodpilótákat, kódolási asszisztenseket, mesterséges intelligenciával működő IDE-ket, belső ügynököket, MCP-hez csatlakoztatott eszközöket és egyre inkább autonóm munkafolyamatokat a napi fejlesztési műveletek részeként. Ami kísérletezésként indult, az gyorsan beágyazódott magába a szoftverfejlesztési életciklusba. Ez volt a központi témája a Xygeni által szervezett legutóbbi SafeDev Talk-nak: „AI-vezérelt SDLCMár itt vannak. Most mi van?"

Az ülés összehozta Sam Stepanyan, az OWASP globális igazgatósági tagja és az OWASP londoni részlegének vezetője; Ashwini Siddhi, az OWASP globális igazgatósági tagja és a mesterséges intelligencia által vezérelt környezetekre szakosodott kiberbiztonsági vezető; és Jézus Cuadrado, a Xygeni vezérigazgatója, moderátor: Luis Rodriguez, kutatási tisztviselő a Xygeninél.

A beszélgetés során egyértelmű üzenet bontakozott ki: az alkalmazásbiztonsággal kapcsolatos párbeszéd alapvetően megváltozott. A biztonsági csapatok már nem a mesterséges intelligencia szoftverfejlesztésen belüli bevezetésére készülnek. Már most is foglalkoznak vele.

A mesterséges intelligencia által vezérelt rendszerek legfontosabb tanulságai SDLCs

  • A mesterséges intelligencia már beágyazódott a modern világba SDLCmásodpilótákon, kódolóasszisztenseken, autonóm ügynökökön és mesterséges intelligenciával működő fejlesztőeszközökön keresztül.
  • A hagyományos AppSec modelleket nem mesterséges intelligencia által generált kódhoz, hallucinált függőségekhez, autonóm munkafolyamatokhoz vagy gépi sebességű fejlesztéshez tervezték.
  • Az árnyék-mesterséges intelligencia egyre nagyobb láthatósági és irányítási kihívássá válik a CISOS és AppSec csapatok.
  • A mesterséges intelligenciával támogatott fejlesztés új támadási felületeket vezet be, beleértve az azonnali injektálást, a rosszindulatú függőségeket, az MCP-vel való visszaélést és az ügynöki munkafolyamatokat.
  • A szervezeteknek olyan mesterséges intelligenciát használó irányítási modellekre van szükségük, amelyek a láthatóság, az attribúció, a minimális jogosultságok és a folyamatos ellenőrzés köré épülnek.
  • Az iparág gyorsan az ügynöki piac felé halad. SDLCahol a mesterséges intelligencia rendszerek aktívan fejlesztési műveleteket végeznek.

Nézd meg a teljes SafeDev Talk előadást: AI-vezérelt SDLCMár itt vannak

Az alábbiakban a szekció során megvitatott néhány főbb megállapítást ismertetjük, beleértve azt is, hogy a mesterséges intelligencia hogyan alakítja át az alkalmazásbiztonsági fenyegetésmodellt, és miért... CISAz operációs rendszerek elveszítik a láthatóságukat a fejlesztői környezetekben, és hogy mely gyakorlati ellenőrzéseket kellene a szervezeteknek elsődlegesen kezelniük. 

Miért mesterséges intelligencia vezérelt? SDLC A biztonság most fontos

A mesterséges intelligencia bevezetése a szoftverfejlesztésben gyorsabban gyorsul, mint ahogy azt a legtöbb irányítási program képes alkalmazkodni. Ahogy a szervezetek a másodpilótáktól az egyre inkább autonóm ügynökök felé haladnak, a SDLC egyre inkább gépvezéreltté, dinamikusabbá és a hagyományos AppSec-megközelítésekkel nehezebben monitorozhatóvá válik.

Sokaknak CISAz operációs rendszerek és az alkalmazásbiztonság vezetői számára a kihívás már nem az, hogy a mesterséges intelligencia belép-e a fejlesztői környezetekbe. A kihívás az, hogyan lehet fenntartani a láthatóságot, az attribúciót és az operatív kontrollt, ha már megtörtént.

Ez a változás már most arra kényszeríti a szervezeteket, hogy újragondolják software supply chain security, irányítási modellek, fejlesztői láthatóság és a bizalom szerepe a modern szoftverfejlesztési környezetekben.

A mesterséges intelligencia bevezetése gyorsabban halad, mint a biztonsági irányítás

A beszélgetés egyik legerősebb témája a sebesség volt. Ahogy Luis Rodriguez a megnyitón kifejtette, a mesterséges intelligencia már nem korlátozódik a kísérletezésre vagy az elszigetelt termelékenységi eszközökre. Már közvetlenül részt vesz a fejlesztési munkafolyamatokban: kódot ír, könyvtárakat választ ki, interakcióba lép a… pipelines, és egyre inkább magán a szoftverinfrastruktúrán keresztül működik.

A panel résztvevőit leginkább nem a mesterséges intelligencia elterjedése lepte meg, hanem az, hogy mennyire elterjedt már most is, gyakran hivatalos láthatóság vagy irányítás nélkül. Sam Stepanyan a hivatalos biztonsági irányelvek és a mérnöki csapatokon belüli tényleges történések közötti növekvő eltérésről számolt be, különösen a szabályozott iparágakban. Egyes szervezetek továbbra is azt állítják, hogy „nem használnak mesterséges intelligenciát”, míg a fejlesztők már integrálják a másodpilótákat, az asszisztenseket és a mesterséges intelligencia eszközeit a mindennapi munkafolyamataikba.

Ugyanakkor rámutatott egy olyan valóságra, amelyet sok szervezet még mindig nehezen tud elfogadni: még azok a vállalatok is, amelyek megpróbálják elkerülni a mesterséges intelligencia bevezetését, olyan ellenfelekkel szembesülnek, akik már most is agresszíven használják azt. Ez a feszültség olyan jelenséget teremt, amit sok biztonsági vezető ma már árnyék mesterséges intelligenciának nevez a szoftverfejlesztési környezetekben, olyan MI-rendszereknek, amelyek a bevett irányítási modelleken kívül működnek.

Ashwini Siddhi egy másik fontos szempontot is hozzátett. Nem csupán maga az adaptáció sebessége aggasztja, hanem a mesterséges intelligencia által generált kódot övező működési higiénia hiánya is. A vita során kiemelte, hogy a szervezetek gyakran nem rendelkeznek megbízható adatokkal arról, hogy a mesterséges intelligencia hol járult hozzá a kódhoz, miért generálta az adott kódot, vagy hogyan generálták ezeket a kódokat.cisAz ionokat később felül kell vizsgálni és validálni kell. A következménye jelentős: a fejlesztőcsapatok nem emberi közreműködőket is bevezetnek a rendszerbe. SDLC, de a legtöbb irányítási és felülvizsgálati modell továbbra is kizárólag emberi szerzőséget feltételez.

A mesterséges intelligencia nem csak felgyorsítja a fejlesztést. Megváltoztatja azt is, hogyan kerül be a kockázat a világba. SDLC

Ahogy a mesterséges intelligencia beágyazódik a szoftverfejlesztési munkafolyamatokba, a támadási felület messze túlmutat a hagyományos alkalmazásbiztonsági feltételezéseken. A testület ismételten visszatért egy központi gondolathoz: a legtöbb biztonsági program ismert kockázatok köré épül, emberi sebességgel működve. A mesterséges intelligencia mindkét feltételt egyszerre változtatja meg.

A biztonsági csapatok már nem csak ember által írt kódot vizsgálnak felül. Egyre inkább foglalkoznak mesterséges intelligencia által generált függőségekkel, azonnali injektálási kockázatokkal, autonóm munkafolyamatokkal, MCP-hez csatlakoztatott eszközökkel, mesterséges intelligencia bővítményekkel és gépi sebességű fejlesztésekkel. CI/CD végrehajtás.

Ashwini Siddhi elmagyarázta, hogy az egyik első fogalom, ami elkezd felbomlani, maga a hagyományos bizalmi határ. A mesterséges intelligencia rendszereket hatalmas mennyiségű nyilvános kódon tanítják, amelynek nagy része nem biztonságos, elavult vagy lehetetlen teljes mértékben ellenőrizni. Ennek eredményeként a szervezetek elveszítik a képességüket arra, hogy egyértelműen meghatározzák, mi van a megbízható határokon belül és kívül.

Azt is hangsúlyozta, hogy a mesterséges intelligencia alapvetően megváltoztatja a fenyegetésmodellezés jellegét, mivel ezek a rendszerek nem statikusak. A hagyományos, időponthoz kötött biztonsági felülvizsgálatok már nem állnak fenn olyan környezetekben, ahol a mesterséges intelligencia által működtetett rendszerek folyamatosan fejlődnek, alkalmazkodnak és dinamikusan optimalizálják a viselkedésüket.

Jesus Cuadrado a szoftverellátási lánc szemszögéből közelítette meg a problémát. Az ülés során megvitatott egyik legvilágosabb példa a mesterséges intelligencia által javasolt függőségek voltak. A fejlesztők egyre inkább automatikusan fogadják el a mesterséges intelligencia által generált csomagajánlásokat, gyakran kevés vagy semmilyen validációs folyamattal. Ez egy teljesen új támadási útvonalat hoz létre.

Ahogy a panelbeszélgetésen is szó esett róla, a támadók képesek azonosítani a nagy nyelvi modellek által generált hallucinált csomagneveket, regisztrálni ezeket a csomagokat nyilvános adattárakban, és várni, amíg a fejlesztők vagy a mesterséges intelligencia ügynökei automatikusan telepítik azokat.

Ez drámaian megváltoztatja a hagyományos feltételezéseket SCA programok. A biztonsági csapatok már nem csak az ismert sebezhető függőségekkel foglalkoznak. Egyre inkább olyan függőségekkel is foglalkoznak, amelyek percekkel korábban jelentek meg, és kifejezetten a mesterséges intelligencia által támogatott munkafolyamatokhoz tervezett rosszindulatú viselkedést tartalmaznak.

A beszélgetés azt is megvizsgálta, hogy a támadások hogyan kezdenek teljesen új felületeket célozni a fejlesztői környezetekben. A megjegyzésekbe történő prompt injektálás, az ügynökök számára mérgezett utasításfájlok, a rosszindulatú MCP-interakciók és a manipulált AI-munkafolyamatok mind reális támadási vektorokká válnak. Az eredmény egy olyan fenyegetésmodell, amely szélesebb körű, gyorsabb és sokkal dinamikusabb, mint amire a hagyományos AppSec programokat eredetileg tervezték.

CISAz operációs rendszerek elveszítik láthatóságukat szerte a világon SDLC

A láthatóság a vita egyik domináns témájává vált. Ahogy Luis Rodriguez az ülés során összefoglalta, sok biztonsági vezető egyszerűen nem tudja, hogy a fejlesztőik milyen MI-eszközöket használnak, milyen MI által generált kód kerül be a tárolókba, vagy melyik ügynökökkel lépnek interakcióba. pipelineés az infrastruktúra.

A testület ezt az árnyék-informatika árnyék-mesterséges intelligencia felé való fejlődésének nevezte. De a korábbi generációs, nem engedélyezett eszközökkel ellentétben ezek a rendszerek aktívan részt vesznek a fejlesztésbencisionok. Kódot generálnak, függőségeket választanak ki, interakcióba lépnek az infrastruktúrával, és egyre inkább operatív döntéseket hoznak a fejlesztők nevében.

Sam Stepanyan egy másik kritikus kihívásra is rávilágított: az attribúcióra. Ahogy a mesterséges intelligencia által generált kód egyre gyakoribbá válik, a szervezetek elveszítik annak a képességét, hogy egyértelműen meghatározzák, ki (vagy mi) hajtott végre egy adott műveletet.

A nyomonkövethetőség elvesztése irányítási és működési problémákat is okoz. Ha a csapatok nem tudják megbízhatóan megkülönböztetni az emberi és a mesterséges intelligencia által generált viselkedést, az incidensekre való reagálás, az auditálás és a biztonsági felülvizsgálat jelentősen bonyolultabbá válik.

A beszélgetés során szó esett arról a növekvő tendenciáról is, hogy a mesterséges intelligencia által generált kimenetbe túlzottan megbíznak. A fejlesztők gyakran feltételezik, hogy mivel a mesterséges intelligencia által generált kód magabiztosnak és funkcionálisnak tűnik, biztonságosnak is kell lennie. De ahogy Sam rámutatott, ezeket a rendszereket gyakran nem biztonságos nyilvános példákon képezik, és nagy megbízhatósággal sebezhető vagy teljesen hallucinált eredményeket generálhatnak. Ez egy veszélyes kombinációt hoz létre: korlátozott láthatóságot, csökkent attribúciót és növekvő bizalmat a szervezetek által nem teljesen értett rendszerek iránt.

Az iparág csendben az ügynöki kereskedelem felé halad SDLCs

A vita egyik legfontosabb része a másodpilótákról az autonóm ügynökökre való áttérésről szólt. A panel résztvevői egyetértettek abban, hogy az iparág gyorsan halad afelé, amit egyre inkább ügynöki jellegűnek nevezhetünk. SDLC, olyan környezetek, ahol a mesterséges intelligencia rendszerek már nem csupán kódot javasolnak, hanem aktívan végrehajtanak műveleteket a szoftver életciklusa során.

A mesterséges intelligencia rendszerek kezdenek megnyílni pull requests, teszteket futtathatnak, külső eszközöket hívhatnak meg, módosíthatják az infrastruktúrát, API-kkal kommunikálhatnak, és önállóan működhetnek a fejlesztői környezetekben. Más szóval, a mesterséges intelligencia az asszisztensből az operátorrá válik.

Ez a váltás alapvetően megváltoztatja a biztonsági modellt. Ahogy a vita is feltárta, a szervezeteknek valószínűleg teljesen új irányítási megközelítésekre lesz szükségük, amelyek a mesterséges intelligencia által kezelt ügynökök identitására, a legalacsonyabb jogosultságú hozzáférésre, az auditálhatóságra, az emberi felügyeletre, az aláírt műveletekre és a mesterséges intelligencia viselkedésének folyamatos láthatóságára összpontosítanak.

Az ülés során megvitatott egyik különösen szembetűnő példa egy olyan mesterséges intelligenciarendszerre vonatkozott, amely a kitűzött cél elérése érdekében megpróbálta letiltani a végpontbiztonsági védelmet egy fejlesztői munkaállomáson.

Ez a példa egy fontos valóságot illusztrál a mesterséges intelligencia által vezérelt környezetekkel kapcsolatban: ezek a rendszerek a célok szerint optimalizálnak, nem feltétlenül a biztonsági határok szerint. A hagyományos alkalmazásbiztonság (AppSec) az emberi hibák monitorozására épült. Az alkalmazásbiztonság következő generációjának egyre inkább az autonóm viselkedést kell majd irányítania.

Miért igényel a mesterséges intelligenciával tudatos alkalmazásbiztonság zéró bizalomra épülő megközelítést?

A SafeDev előadás során megvitatott témák közül sok szorosan illeszkedik a szélesebb körű elmozduláshoz a ... felé. Xygeni a mesterséges intelligencia korszakában a zéró bizalomként definiálja SDLC: ne bízz semmiben, ellenőrizz mindent, beleértve magát a mesterséges intelligenciát is. A Xygeni platformmegközelítésében leírtak szerint a mesterséges intelligencia a támadási felületet több rétegre kiterjeszti egyszerre:

  • saját kód,
  • függőségek,
  • CI/CD pipelines,
  • MI modellek és ágensek,
  • és fejlesztői környezetek.

Ezen területek közül sok nagyrészt láthatatlan marad a hagyományos AppSec eszközök számára. A kihívás már nem pusztán a kód sebezhetőségeinek keresése. A szervezeteknek egyre inkább betekintést kell nyerniük a mesterséges intelligencia által generált függőségekbe, a fejlesztői környezetekben zajló mesterséges intelligencia aktivitásába, az ügynökök viselkedésébe, a mesterséges intelligenciához csatlakoztatott infrastruktúrába és a szoftverellátási lánc gépi sebességgel zajló interakcióiba.

Ezért olyan fogalmak, mint a mesterséges intelligencia általi leltár, a mesterséges intelligencia általi tudatosság ASPMAz AI-SPM és a fejlesztői környezet irányítása gyorsan központi szerepet kap a modern alkalmazásbiztonsággal kapcsolatos párbeszédekben.

Az SDLC Már megváltozott

A SafeDev Talk egy dolgot nagyon világossá tett: A mesterséges intelligencia már be van ágyazva a SDLC. Az iparág már nem vitatja meg, hogy lesz-e mesterséges intelligencia által támogatott fejlesztés. Ez az átmenet már folyamatban van minden méretű mérnöki szervezetben.

Az igazi kihívás most a láthatóság, az irányítás, az attribúció és az operatív ellenőrzés fenntartása az egyre autonómabb fejlesztési környezetekben.

Ahogy a mesterséges intelligencia elterjedése felgyorsul, a bizalmi határokkal, az emberi szerzőséggel, a szoftver eredetével és a statikus irányítási modellekkel kapcsolatos hagyományos alkalmazásbiztonsági feltételezések továbbra is felborulnak.

Nem feltétlenül azok a szervezetek alkalmazkodnak a leggyorsabban, amelyek lassítják a mesterséges intelligencia bevezetését. Ők lesznek azok, amelyek képesek megérteni, irányítani és biztosítani a mesterséges intelligencia által vezérelt szoftverfejlesztést a jelenlegi sebességgel.

Folytassa a beszélgetést az OWASP Global AppSec EU Bécs konferenciáján

A mesterséges intelligencia által vezérelt rendszerekről folytatott párbeszéd SDLC A biztonság csak a kezdet. A Xygeni folytatja majd ezen témák feltárását a bécsi OWASP Global AppSec EU konferencián, ahol a csapat a mesterséges intelligenciával támogatott alkalmazásbiztonságot (AI) fogja megvitatni. software supply chain security, a mesterséges intelligencia irányítása és az ágensalapú fejlesztési környezetek újonnan felmerülő kockázatai.

Ha részt veszel OWASP globális alkalmazásbiztonság EU, találkozz az Xygeni csapatával Bécsben a G-08-as standon!

sca-tools-software-composition-elemző-eszközök
Szoftverkockázatok rangsorolása, elhárítása és biztosítása
Szerezd meg az ingyenes fiókodat.
Nem szükséges hitelkártya.

Biztosítsa szoftverfejlesztését és -szállítását

az Xygeni termékcsomaggal