Kas yra dirbtinis intelektas (DI)?

Dauguma saugumo komandų gali pavadinti savo „AppSec“ paketą vienu atsikvėpimu: SAST, SCA, DAST, paslapčių nuskaitymas. Paprašykite tos pačios komandos pavadinti savo dirbtinio intelekto rinkinį, ir atsakymas paprastai būna gūžtelėjimas pečiais, keli skubotai nupirkti įrankiai ir bendro žodyno, ką reiškia „apdengta“, nebuvimas. DI TRiSM egzistuoja būtent tam, kad užpildytų šią spragą, suteikdamas saugumo ir rizikos vadovams vieningą DI valdymo sistemą taip, kaip jie jau valdo programas.

Šiame žodynėlyje pateikiama DI TRiSM, jo reikšmė, pagrindiniai ramsčiai ir jo vieta realioje, veikiančioje DI saugumo programoje, o ne skaidrėje.

AI TRiSM reikšmė: paprastas apibrėžimas #

AI TRiSM reiškia Dirbtinio intelekto pasitikėjimo, rizikos ir saugumo valdymasTai sistema, kurią iš pradžių pristatė „Gartner“., skirtas dirbtinio intelekto sistemų patikimumui, sąžiningumui, patikimumui ir saugumui valdyti per visą jų gyvavimo ciklą – nuo ​​duomenų ir modelių, kuriais remiantis jos kuriamos, iki programų ir agentų, kurie jas naudoja gamyboje.

Dirbtinio intelekto TRiSM reikšmė geriausiai suprantama kaip saugumo komandoms jau žinomo modelio išplėtimas. Debesų kompiuterija atnešė CSPM. Duomenys atnešė DSPM. Dirbtinis intelektas atneša dirbtinio intelekto TRiSM – skėtinę kategoriją, pagrįstą ta pačia logika: negalite apsaugoti ar valdyti to, ko pirmiausia neaptikote, neįvertinote ir nuolat nestebite, o dirbtinio intelekto sistemos kelia rizikas, kurioms tradicinis programų saugumo ir IT valdymas niekada nebuvo sukurtas.

Ką bandoma išspręsti? #

Norint iš tikrųjų atsakyti į klausimą, kas yra dirbtinio intelekto TRiSM, pravartu pažvelgti į problemą, į kurią jis reaguoja. Dirbtinio intelekto sistemos neveikia taip, kad netelpa į tam tikrą sistemą. CVE duomenų bazė:

• Modelis gali būti techniškai „saugus“ ir vis tiek pateikti šališką, nepatikimą ar haliucinuotą rezultatą.
• Modelis gali teisingai veikti testavimo metu ir vis tiek būti tyliai sugadintas užterštų mokymo ar paieškos duomenų.
• Dirbtinio intelekto agentas gali turėti galiojančius prisijungimo duomenis ir vis tiek atlikti veiksmus, kurių niekada nepatvirtino žmogus.
• Idealiai pataisyta programa vis tiek gali nutekinti neskelbtinus duomenis per raginimą, sistemos pranešimą arba per daug bendrinamą failą, kurio dirbtinis intelektas niekada neturėjo matyti.

Nei vienas iš jų neatitinka senojo modelio „surask pažeidžiamą kodo eilutę, ją pataisyk ir viskas“. Dirbtinis intelektas TRiSM buvo apibrėžtas iš anksto.cisypač todėl, kad pasitikėjimui, rizikai ir saugumui dirbtinio intelekto sistemose reikėjo savos sistemos, kuri modelį, duomenis ir agentą laikytų pirmos klasės valdymo objektais, o ne juos supančios programos šalutiniais poveikiais.

Dirbtinio intelekto (DI) TRiSM pagrindiniai ramsčiai #

Daugumoje dirbtinio intelekto (DI) TRiSM traktavimų, įskaitant ir paties Gartnerio pateiktą sampratą, ši disciplina susisteminama remiantis keturiais tarpusavyje susijusiais ramsčiais:

1. Paaiškinimas ir modelio stebėsena: modelio kūrimo stebėjimascisjonus, stebint poslinkį, paklaidą ir laikui bėgant sumažėjusį tikslumą, ir gebant paaiškinti išvestį, kai kas nors paklausia, kodėl modelis pasakė tai, ką pasakė.
2. ModelOps: reglamentuojantis modelių gyvavimo ciklą gamyboje, įskaitant versijų kūrimą, prieigos kontrolę ir operacinę discipliną, nurodant, kuris modelis kur ir kodėl veikia.
3. Dirbtinio intelekto programų saugumas: dirbtiniam intelektui būdingos atakos paviršiaus apsauga, įskaitant greitą injekciją, duomenų ir modelių užkrėtimą, nesaugius papildinius ir įrankių integracijas bei neteisėtą agentų elgesį.
4. Privatumo politikaužtikrinimas, kad duomenys, naudojami dirbtinio intelekto sistemoms mokyti, tikslinti ir valdyti, nenutekėtų neskelbtina ar reglamentuojama informacija nei į patį modelį, nei per jo atsakymus.

Suprasti, kas praktiškai yra dirbtinio intelekto TRiSM, reiškia pripažinti, kad šie keturi ramsčiai veikia tik kartu. Modelis, kuris yra puikiai paaiškinamas, bet nesaugus, vis tiek yra trūkumas. Saugus modelis be jokio matomumo dėl nukrypimų ar šališkumo vis dar yra nevaldomas. Dirbtinio intelekto TRiSM indėlis yra tas, kad visi keturi ramsčiai traktuojami kaip viena susijusi disciplina, o ne kaip keturi atskiri darbai, kuriuos valdo keturios atskiros komandos.

Kodėl dirbtinio intelekto TRiSM reikšmė apima daugiau nei atitikties reikalavimus #

Gali kilti pagunda priskirti DI TRiSM prie „kito valdymo langelio“, tačiau DI TRiSM reikšmė yra ne tik reguliavimo, bet ir praktinė. Organizacijos, taikančios DI TRiSM principus, paprastai bando atsakyti į tris konkrečius klausimus, į kuriuos šiuo metu negali atsakyti:

• Kokį dirbtinį intelektą mes iš tikrųjų turime? Modeliai, duomenų rinkiniai, agentai, MCP serveriai ir dirbtinio intelekto kodavimo įrankiai kaupiasi komandose greičiau, nei kas nors juos seka, taip sukurdami šešėlinį dirbtinį intelektą taip pat, kaip kadaise tai darė šešėlinė IT.
• Ką tai daro ir ar tai įgaliota? Agentas, turintis pernelyg daug leidimų arba nepatvirtintą įskiepį, gali atlikti realius veiksmus, o ne tik generuoti tekstą, o tai gerokai padidina „neleistino elgesio“ riziką, palyginti su pokalbių roboto pateiktu neteisingu atsakymu.
• Ar galime tai įrodyti, kai to reikalauja reglamentas? Tokios sistemos kaip ES Dirbtinio intelekto įstatymo techninės dokumentacijos reikalavimai ir bendrieji programinės įrangos medžiagų sąrašo įsipareigojimai vis dažniau tikisi, kad organizacijos parodys savo darbą, o ne tik teigs, kad dirbtinis intelektas yra „tvarkomas“.

Čia dirbtinio intelekto TRiSM reikšmė virsta dirbtinio intelekto TRiSM praktika: pirmiausia – atradimas, antras – rizikos vertinimas, trečias – vykdymo užtikrinimas – visa tai nuolat, o ne kaip metinis auditas.cise.

Kaip „Xygeni“ dera prie dirbtinio intelekto TRiSM paveikslo? #

Dirbtinio intelekto TRiSM yra didelis skėtis, ir nėra vieno įrankio, kuris apimtų visus keturis jo ramsčius. Kur Ksigeni Tinkamumas yra atradimo ir saugumo dalis, kurios dauguma organizacijų pirmiausia nepastebi: žinojimas, kas iš tikrųjų egzistuoja DI, ir jo apsauga, kai jis atsiranda.

„Xygeni“ dirbtinio intelekto inventorius nuolat atranda dirbtinio intelekto išteklius visame pasaulyje. SDLC, modelius, sistemas, duomenų rinkinius, agentus, MCP serverius ir DI kodavimo įrankius ir susieja juos į tiesioginį ryšių grafiką, paremtą AI-BOM kuris atitikties ir saugumo komandoms suteikia įrodymų pėdsaką, kurį DI TRiSM daro prielaidą. Be to, inventorizacija... „Xygeni“ dirbtinio intelekto saugumas įvertina kiekvieno turto riziką (greitas įterpimas, nesaugios MCP konfigūracijos, jautrių duomenų atskleidimas, vektoriaus ir įterpimo trūkumai), atsižvelgiant į OWASP 10 geriausių LLM programųir DevAI politiką tiesiogiai taiko kūrėjo galiniame taške, blokuodamas nesaugų agento elgesį prieš jam įvykstant. Jei jūsų organizacija bando įdiegti dirbtinio intelekto TRiSM ir sąžiningas atsakymas į klausimą „kokį dirbtinį intelektą turime“ vis dar yra „nesame visiškai tikri“, pirmiausia verta panaikinti šią atradimo spragą.

DUK #