AI vadīts SDLCjau ir klāt. Mākslīgais intelekts vairs neierodas. Tas jau ir klāt. Tas raksta kodu mūsu IDE. Tas izvēlas bibliotēkas. Tas atver pull requestsTas darbojas mūsu soļos. pipelines. Jautājums vairs nav par to, vai izstrādātāji izmantos mākslīgo intelektu. Jautājums ir par to, kā organizācijas saglabā redzamību, kontroli un uzticēšanos, vienlaikus to darot.
Mūsdienu programmatūras izstrāde jau ir iegājusi mākslīgā intelekta laikmetā.
Inženierzinātņu organizācijās izstrādātāji jau izmanto kopilotus, kodēšanas asistentus, mākslīgā intelekta darbinātas IDE, iekšējos aģentus, ar MCP savienotus rīkus un arvien autonomākas darbplūsmas kā daļu no ikdienas izstrādes darbībām. Tas, kas sākās kā eksperimenti, ir ātri vien integrēts pašā programmatūras izstrādes dzīves ciklā. Tā bija galvenā tēma jaunākajā SafeDev sarunā, ko vadīja Xygeni: “AI vadīts SDLCJau Ir Klāt. Kas Tagad?"
Sesija pulcēja kopā Sems Stepanjans, OWASP globālās valdes loceklis un OWASP Londonas nodaļas vadītājs; Ašvini Siddi, OWASP globālās valdes loceklis un kiberdrošības vadītājs, kas koncentrējas uz mākslīgā intelekta vadītām vidēm; un Jēzus Kuadrado, Xygeni izpilddirektors, vadīja Luis Rodriguez, pētniecības darbinieks uzņēmumā Xygeni.
Un diskusijas gaitā radās skaidrs vēstījums: saruna par lietotņu drošību ir fundamentāli mainījusies. Drošības komandas vairs negatavojas mākslīgā intelekta ieviešanai programmatūras izstrādē. Tās jau ar to saskaras.
Galvenie secinājumi par mākslīgā intelekta vadītu SDLCs
- Mākslīgais intelekts jau ir iestrādāts mūsdienu pasaulē SDLCizmantojot kopilotus, kodēšanas asistentus, autonomus aģentus un mākslīgā intelekta darbinātus izstrādes rīkus.
- Tradicionālie lietotņu drošības modeļi nebija paredzēti mākslīgā intelekta ģenerētam kodam, halucinētām atkarībām, autonomām darbplūsmām vai izstrādei mašīntempainā ātrumā.
- Ēnu mākslīgais intelekts kļūst par nopietnu redzamības un pārvaldības izaicinājumu CISOS un AppSec komandas.
- Ar mākslīgo intelektu atbalstīta izstrāde ievieš jaunas uzbrukuma virsmas, tostarp tūlītēju injekciju, ļaunprātīgas atkarības, MCP ļaunprātīgu izmantošanu un aģentu darbplūsmas.
- Organizācijām ir nepieciešami mākslīgā intelekta apzinoši pārvaldības modeļi, kas veidoti, balstoties uz redzamību, attiecināšanu, minimālo privilēģiju ierobežošanu un nepārtrauktu verifikāciju.
- Nozare strauji virzās uz aģentūru sadarbību. SDLCkur mākslīgā intelekta sistēmas aktīvi veic izstrādes darbības.
Noskatieties pilnu SafeDev Talk sesiju: AI vadīta SDLCjau ir klāt
Tālāk ir sniegtas dažas no galvenajām sesijas laikā apspriestajām atziņām, tostarp par to, kā mākslīgais intelekts pārveido lietotņu drošības apdraudējumu modeli, kāpēc CISOperētājsistēmas zaudē redzamību izstrādes vidēs, un kādas praktiskas kontroles organizācijām būtu jāpiešķir pirmajā vietā.
Kāpēc mākslīgā intelekta vadīts SDLC Drošība ir svarīga tieši tagad
Mākslīgā intelekta ieviešana programmatūras izstrādē paātrinās ātrāk, nekā lielākā daļa pārvaldības programmu spēj pielāgoties. Organizācijām pārejot no līdzpilotiem uz arvien autonomākiem aģentiem, SDLC kļūst arvien vairāk mašīnu vadīta, dinamiska un grūtāk uzraugāma, izmantojot tradicionālās lietotņu drošības pieejas.
Daudziem CISOS un AppSec vadītājiem problēma vairs nav tā, vai mākslīgais intelekts ienāks izstrādes vidē. Problēma ir tā, kā saglabāt redzamību, attiecināšanu un darbības kontroli, kad tas jau ir noticis.
Šīs pārmaiņas jau tagad liek organizācijām pārdomāt. software supply chain security, pārvaldības modeļi, izstrādātāju redzamība un uzticēšanās loma mūsdienu programmatūras izstrādes vidē.
Mākslīgā intelekta ieviešana notiek straujāk nekā drošības pārvaldība
Viena no spēcīgākajām tēmām visā sarunā bija ātrums. Kā atklāšanas laikā paskaidroja Luiss Rodrigess, mākslīgais intelekts vairs neaprobežojas tikai ar eksperimentiem vai izolētiem produktivitātes rīkiem. Tas jau tieši piedalās izstrādes darbplūsmās: raksta kodu, atlasa bibliotēkas, mijiedarbojas ar... pipelineun arvien vairāk darbojas visā programmatūras infrastruktūrā.
Visvairāk paneļdiskusijas dalībniekus pārsteidza nevis mākslīgā intelekta ieviešanas esamība, bet gan tas, cik plaši tā jau ir izplatījusies, bieži vien bez oficiālas redzamības vai pārvaldības. Sems Stepanjans aprakstīja pieaugošo neatbilstību starp oficiālo drošības politiku un to, kas patiesībā notiek inženieru komandās, īpaši regulētajās nozarēs. Dažas organizācijas joprojām apgalvo, ka tās "neizmanto mākslīgo intelektu", savukārt izstrādātāji jau integrē kopilotus, asistentus un mākslīgā intelekta rīkus savās ikdienas darbplūsmās.
Vienlaikus viņš norādīja uz realitāti, ko daudzas organizācijas joprojām cenšas pieņemt: pat uzņēmumi, kas cenšas izvairīties no mākslīgā intelekta ieviešanas, joprojām saskaras ar pretiniekiem, kas to jau izmanto agresīvi. Šī spriedze rada to, ko daudzi drošības līderi tagad raksturo kā ēnu mākslīgo intelektu (Ēnu AI) programmatūras izstrādes vidēs, proti, AI sistēmas, kas darbojas ārpus izveidotajiem pārvaldības modeļiem.
Ašvini Siddi pievienoja vēl vienu svarīgu perspektīvu. Viņu satrauc ne tikai pats ieviešanas ātrums, bet arī darbības higiēnas trūkums saistībā ar mākslīgā intelekta ģenerēto kodu. Diskusijas laikā viņa uzsvēra, ka organizācijām bieži vien nav uzticamas informācijas par to, kur mākslīgais intelekts ir veicinājis kodu, kāpēc tas ģenerēja konkrētu kodu vai kā šie kodi tiek ģenerēti.cisJoni vēlāk jāpārskata un jāapstiprina. Sekas ir būtiskas: izstrādātāju komandas ievieš necilvēciskus līdzstrādniekus. SDLC, taču lielākā daļa pārvaldības un pārskatīšanas modeļu joprojām pieņem tikai cilvēka autorību.
Mākslīgais intelekts ne tikai paātrina attīstību. Tas maina to, kā risks nonāk dzīvē. SDLC
Tā kā mākslīgais intelekts (MI) tiek integrēts programmatūras izstrādes darbplūsmās, uzbrukumu virsma paplašinās krietni ārpus tradicionālajiem lietotņu drošības pieņēmumiem. Ekspertu grupa atkārtoti atgriezās pie vienas centrālās idejas: lielākā daļa drošības programmu tika veidotas, balstoties uz zināmiem riskiem, kas darbojas cilvēka ātrumā. MI maina abus nosacījumus vienlaicīgi.
Drošības komandas vairs nepārskata tikai cilvēka rakstītu kodu. Tās arvien vairāk saskaras ar mākslīgā intelekta ģenerētām atkarībām, tūlītējas injekcijas riskiem, autonomām darbplūsmām, ar MCP savienotiem rīkiem, mākslīgā intelekta spraudņiem un mašīnu ātruma risinājumiem. CI/CD izpilde.
Ašvini Siddi paskaidroja, ka viens no pirmajiem jēdzieniem, kas sāk brukt, ir pati tradicionālā uzticēšanās robeža. Mākslīgā intelekta sistēmas tiek apmācītas ar milzīgu publiskā koda apjomu, no kura liela daļa ir nedroša, novecojusi vai neiespējami pilnībā pārbaudīt. Tā rezultātā organizācijas zaudē spēju skaidri definēt, kas atrodas uzticamības robežās vai ārpus tām.
Viņa arī uzsvēra, ka mākslīgais intelekts fundamentāli maina apdraudējumu modelēšanas būtību, jo šīs sistēmas nav statiskas. Tradicionālās konkrēta laika drošības pārskatīšanas vairs nav derīgas vidēs, kur mākslīgā intelekta sistēmas nepārtraukti attīstās, pielāgojas un dinamiski optimizē darbību.
Hesuss Kuadrado piegāja šai problēmai no programmatūras piegādes ķēdes perspektīvas. Viens no skaidrākajiem sesijas laikā apspriestajiem piemēriem bija mākslīgā intelekta ieteiktās atkarības. Izstrādātāji arvien biežāk automātiski pieņem mākslīgā intelekta ģenerētus pakotņu ieteikumus, bieži vien ar nelielu vai bez validācijas procesa. Tas rada pilnīgi jaunu uzbrukuma ceļu.
Kā apspriests paneļdiskusijā, uzbrucēji var identificēt halucinētus pakotņu nosaukumus, ko ģenerē lieli valodu modeļi, reģistrēt šīs pakotnes publiskajās krātuvēs un gaidīt, kamēr izstrādātāji vai mākslīgā intelekta aģenti tās automātiski instalēs.
Tas krasi maina pieņēmumus, kas ir tradicionālo SCA programmas. Drošības komandas vairs nenodarbojas tikai ar zināmām neaizsargātām atkarībām. Arvien biežāk tās strādā ar atkarībām, kas, iespējams, parādījušās pirms dažām minūtēm un satur ļaunprātīgu darbību, kas īpaši paredzēta mākslīgā intelekta atbalstītām darbplūsmām.
Diskusijā tika pētīts arī tas, kā uzbrukumi sāk mērķēt uz pilnīgi jaunām virsmām izstrādes vidēs. Ātra injekcija komentāros, saindēti instrukciju faili aģentiem, ļaunprātīga MCP mijiedarbība un manipulētas mākslīgā intelekta darbplūsmas kļūst par reāliem uzbrukuma vektoriem. Rezultāts ir plašāks, ātrāks un daudz dinamiskāks apdraudējumu modelis nekā tas, kam sākotnēji bija paredzētas tradicionālās AppSec programmas.
CISOs zaudē redzamību visā SDLC
Redzamība kļuva par vienu no dominējošajām tēmām visā diskusijā. Kā sesijas laikā rezumēja Luiss Rodrigess, daudzi drošības līderi vienkārši nezina, kādus mākslīgā intelekta rīkus izmanto viņu izstrādātāji, kāds mākslīgā intelekta ģenerēts kods nonāk repozitorijos vai kuri aģenti mijiedarbojas ar... pipelineun infrastruktūra.
Ekspertu grupa to raksturoja kā ēnu IT evolūciju par ēnu mākslīgo intelektu. Taču atšķirībā no iepriekšējām nesankcionēto rīku paaudzēm šīs sistēmas aktīvi piedalās izstrādēcisjoni. Tie ģenerē kodu, atlasa atkarības, mijiedarbojas ar infrastruktūru un arvien biežāk pieņem operacionālas izvēles izstrādātāju vārdā.
Sems Stepanjans izcēla vēl vienu būtisku izaicinājumu: atribūciju. Tā kā mākslīgā intelekta ģenerēts kods kļūst arvien izplatītāks, organizācijas zaudē spēju skaidri noteikt, kurš (vai kas) veica konkrētu darbību.
Šis izsekojamības zudums rada gan pārvaldības, gan darbības problēmas. Ja komandas nevar droši atšķirt cilvēka un mākslīgā intelekta radīto uzvedību, incidentu reaģēšana, audits un drošības pārskatīšana kļūst ievērojami sarežģītāka.
Diskusijā tika skarta arī pieaugošā tendence pārāk uzticēties mākslīgā intelekta ģenerētai informācijai. Izstrādātāji bieži pieņem, ka, tā kā mākslīgā intelekta ģenerētais kods šķiet pārliecināts un funkcionāls, tam jābūt arī drošam. Taču, kā norādīja Sems, šīs sistēmas bieži tiek apmācītas, izmantojot nedrošus publiskus piemērus, un tās var ģenerēt neaizsargātus vai pilnībā halucinētus rezultātus ar augstu pārliecību. Tas rada bīstamu kombināciju: ierobežota redzamība, samazināta attiecināšana un pieaugoša uzticēšanās sistēmām, kuras organizācijas pilnībā neizprot.
Nozare klusi virzās uz aģentūru biznesu SDLCs
Viena no svarīgākajām diskusijas daļām bija veltīta pārejai no līdzpilotiem uz autonomiem aģentiem. Diskusijas dalībnieki bija vienisprātis, ka nozare strauji virzās uz to, ko arvien vairāk var raksturot kā aģentūru pāreju. SDLC, vides, kurās mākslīgā intelekta sistēmas vairs tikai neiesaka kodu, bet gan aktīvi veic darbības visā programmatūras dzīves ciklā.
Mākslīgā intelekta sistēmas sāk atvērties pull requests, veikt testus, izsaukt ārējos rīkus, modificēt infrastruktūru, mijiedarboties ar API un darboties autonomi dažādās izstrādes vidēs. Citiem vārdiem sakot, mākslīgais intelekts pāriet no asistenta uz operatoru.
Šīs pārmaiņas fundamentāli maina drošības modeli. Kā tika aplūkots diskusijā, organizācijām, visticamāk, būs nepieciešamas pilnīgi jaunas pārvaldības pieejas, kuru centrā ir mākslīgā intelekta aģentu identitāte, piekļuve ar vismazākajām privilēģijām, auditējamība, cilvēka pārraudzība, parakstītas darbības un nepārtraukta mākslīgā intelekta uzvedības pārskatāmība.
Viens īpaši spilgts piemērs, kas tika apspriests sesijas laikā, bija saistīts ar mākslīgā intelekta sistēmu, kas mēģināja atspējot galapunktu drošības aizsardzību izstrādātāja darbstacijā, lai sasniegtu tai noteikto mērķi.
Šis piemērs ilustrē svarīgu realitāti par mākslīgā intelekta vadītām vidēm: šīs sistēmas optimizējas atbilstoši mērķiem, nevis obligāti drošības robežām. Tradicionālā lietotņu drošības (AppSec) pamatā bija cilvēku kļūdu uzraudzība. Nākamajai lietotņu drošības (AppSec) paaudzei arvien vairāk būs jāpārvalda autonoma uzvedība.
Kāpēc mākslīgo intelektu apzinošai lietotņu drošībai ir nepieciešama nulles uzticēšanās pieeja
Daudzas no SafeDev sarunā apspriestajām tēmām cieši saistītas ar plašāku virzību uz to, kas Ksigēni definē kā nulles uzticēšanos mākslīgā intelekta laikmetā SDLCNeuzticieties nekam, pārbaudiet visu, ieskaitot pašu mākslīgo intelektu. Kā norādīts Xygeni platformas pieejā, mākslīgais intelekts paplašina uzbrukuma virsmu vairākos slāņos vienlaikus:
- pirmās puses kods,
- atkarības,
- CI/CD pipelines,
- Mākslīgā intelekta modeļi un aģenti,
- un izstrādātāju vides.
Daudzas no šīm jomām tradicionālajiem AppSec rīkiem joprojām ir lielā mērā neredzamas. Izaicinājums vairs nav tikai koda skenēšana, lai atrastu ievainojamības. Organizācijām arvien vairāk ir nepieciešama pārredzamība par mākslīgā intelekta ģenerētajām atkarībām, mākslīgā intelekta aktivitātēm izstrādātāju vidēs, aģentu uzvedību, ar mākslīgo intelektu savienoto infrastruktūru un programmatūras piegādes ķēdes mijiedarbībām, kas notiek datora ātrumā.
Tāpēc arī tādi jēdzieni kā mākslīgā intelekta inventarizācija, mākslīgā intelekta apzināšanās ASPMAI-SPM un izstrādātāju vides pārvaldība strauji kļūst par centrālajām mūsdienu lietotņu drošības sarunām.
The SDLC Jau ir mainījies
SafeDev sarunā viena lieta tika ļoti skaidri pateikts: Mākslīgais intelekts jau ir iestrādāts SDLC. Nozare vairs neapspriež, vai notiks mākslīgā intelekta atbalstīta izstrāde. Šī pāreja jau notiek visu lielumu inženierorganizācijās.
Tagad īstais izaicinājums ir saglabāt redzamību, pārvaldību, attiecināšanu un darbības kontroli arvien autonomākās izstrādes vidēs.
Paātrinoties mākslīgā intelekta ieviešanai, tradicionālie lietotņu drošības pieņēmumi par uzticamības robežām, cilvēka autorību, programmatūras izcelsmi un statiskiem pārvaldības modeļiem turpinās sabrukt.
Organizācijas, kas pielāgosies visātrāk, nebūs tās, kas palēninās mākslīgā intelekta ieviešanu. Tās būs tās, kas spēs izprast, pārvaldīt un nodrošināt mākslīgā intelekta vadītas programmatūras izstrādi tādā ātrumā, kādā tā jau virzās.
Turpiniet sarunu OWASP Global AppSec EU Vīnē
Saruna par mākslīgā intelekta vadītu SDLC Drošība ir tikai sākums. Xygeni turpinās pētīt šīs tēmas OWASP Global AppSec EU konferencē Vīnē, kur komanda apspriedīs mākslīgā intelekta apzinīgu lietotņu drošību. software supply chain security, mākslīgā intelekta pārvaldība un jaunie aģentūru izstrādes vides riski.
Ja jūs apmeklējat OWASP globālā lietotņu saugums ES, nāciet un satikiet Xygeni komandu Vīnē, stendā G-08!
