Lt; DR #
„GenAI“ saugumas – tai praktika, kuria siekiama apsaugoti organizacijos kuriamą generatyvinį dirbtinį intelektą ir generatyvinį dirbtinį intelektą, kurį ji integruoja į savo programinę įrangą: modelius, raginimus, agentus, įgūdžių failus, MCP serverius ir dirbtinio intelekto kodavimo asistentus, kurie dabar yra kūrimo gyvavimo ciklo dalis. Jis veikia trimis etapais: nustatoma, kokie dirbtinio intelekto ištekliai egzistuoja, aptinkama su jais susijusi rizika ir įgyvendinama politika, kol ši rizika nepasiekia gamybos aplinkos.
Kas yra „GenAI“ saugumas? #
Programinę įrangą anksčiau rašydavo žmonės, o atakavo per kodą. Abi šio sakinio dalys pasikeitė per mažiau nei trejus metus.
Dabar kūrėjai siunčia kodą, kurį parengia asistentas, įtraukia agento pasiūlytas priklausomybes ir sujungia įrankius per konfigūracijos failus, kurių niekas neperžiūri kaip saugumo artefaktus. Tuo pačiu metu pačios programos įterpia modelius, paieškos rezultatus. pipelineir agentus, kurie gauna instrukcijas iš nepatikimo teksto. Taigi komanda, klausdama, kas yra „GenAI“ saugumas, iš tikrųjų užduoda du klausimus vienu metu: kaip apsaugoti mūsų kūrėjų naudojamą dirbtinį intelektą ir kaip apsaugoti mūsų produktų dirbtinį intelektą?
„GenAI“ saugumas atsako į abu klausimus. Tai disciplina, kurios tikslas – atrasti, įvertinti ir kontroliuoti riziką generatyviniuose ir agentiniuose dirbtinio intelekto komponentuose programinės įrangos kūrimo gyvavimo cikle – nuo modelio ir MCP serverio iki kūrėjo kompiuterio.
Svarbus skirtumas: tradicinis skaitytuvas ieško pažeidžiamų funkcijų. „GenAI“ saugumas ieško taisyklių failo, kuris tyliai nurodo asistentui pasiekti vietą, kurios jam nereikėtų pasiekti, agento, kuriam suteikti daugiau įgaliojimų, nei reikalauja jo užduotis, arba raginimo, surinkto iš užpuoliko kontroliuojamo turinio. Tas pats gyvavimo ciklas, skirtingas gedimo režimas. Kas yra programų saugumas?
„GenAI“ saugumo reikšmė: ką šis terminas iš tikrųjų apima #
Tiekėjo medžiagoje „GenAI“ saugumo reikšmė yra išplėtota, todėl tai padeda nustatyti ribas. Šis terminas apima keturias poveikio rūšis:
- Jūsų kūrėjų naudojamas dirbtinis intelektas. Kodavimo asistentai, agentai, MCP serveriai ir juos valdantys konfigūracijos failai. Būtent čia dauguma organizacijų pirmiausia įgyja matomumo, paprastai be viešųjų pirkimų vadovo.cisjonų.
- Dirbtinis intelektas jūsų produkte. Modeliai, raginimai, paieška pipelines, agento laidai ir guardrails skirta juos apriboti.
- Kodas, kurį sukuria DI. Sugeneruotas kodas turi savo mokymo duomenų pažeidžiamumo modelius. 2025 m. GenAI Code Security ataskaita, išbandžius daugiau nei 100 modelių 80 užduočių, nustatyta, kad 45 % dirbtinio intelekto sugeneruotų pavyzdžių iš karto įdiegė 10 populiariausių OWASP pažeidžiamumų.
- Įsijungia tiekimo grandinės dirbtinis intelektas. Modelio siūlomos priklausomybės, įskaitant paketų pavadinimus, kurie neegzistuoja, kol užpuolikas jų neužregistruoja.
Ko neapima: pagrindinio modelio, kurio neapmokėte, vidinis saugumas ir klasikinis mašininis mokymasis. pipeline, kuri priklauso toliau aprašytoms gretimoms disciplinoms.
Kodėl „GenAI“ saugumas tapo savarankiška disciplina #
Nes atakos paviršius nustojo būti kodu. Įgūdžių failas, taisyklių failas, MCP serverio konfigūracija: paprastas tekstas, commitSutvarkyta kaip dokumentacija, peržiūrima kaip dokumentacija. Kiekvienas tyliai nustato, ką dirbtinio intelekto asistentui nurodoma daryti ir ką jam leidžiama pasiekti. Nebuvo sukurtas joks statinis analizatorius, kuris galėtų juos skaityti, nes iki šiol joks kitas failas neturėjo tokios didelės autoriteto.
Prieinamumas taip pat beveik visuotinis. „GitHub“ 2024 m. kūrėjų apklausa parodė, kad daugiau nei 97 % enterprise respondentai darbe naudojo dirbtinio intelekto kodavimo įrankius, o formalus valdymas gerokai atsiliko. Dauguma inžinerinių organizacijų jau taiko generatyvinį dirbtinį intelektą savo kūrimo cikle. Palyginti nedaugelis jų turi jo inventorių. → Dirbtinio intelekto saugumas: failai, kurių niekas neperžiūri.
Kaip veikia „GenAI“ saugumas: atrasti, aptikti, vykdyti #
Dauguma programų prasideda nuo vidurinio lygio, nes aptikimas yra tai, ką visada pardavinėjo saugumo įrankiai. Tai retai kada veikia. Negalite įvertinti rizikos iš išteklių, kurių nesate inventorinę, o nepatvirtinti dirbtinio intelekto įrankiai yra norma, o ne išimtis. Aptikimas nėra parengiamasis žingsnis, tai yra kitų dviejų prielaida.
Kas nėra „GenAI“ saugumas? Gretimi terminai #
Jie vartojami pakaitomis, o tai apsunkina pokalbius apie viešuosius pirkimus.
- Programų saugumas (AppSec) apsaugo programą: kodą, priklausomybes, konfigūraciją, pipelines, vykdymo laikas. „GenAI“ saugumas jį išplečia, o ne pakeičia.
- AI saugumas yra platesnis skėtis, apimantis klasikines mašininio mokymosi sistemas, kurios nėra generatyvios.
- AI-SPM yra dirbtinio intelekto išteklių, dirbtinio intelekto atitikmens, padėties valdymas ASPMTai yra „GenAI“ saugumo komponentas, o ne jo sinonimas.
- MLSecOps dėmesys sutelkiamas į modelį pipelineduomenų kilmė, modelio kilmė, diegimo vientisumas.
- LLM saugumas paprastai reiškia tik modelį ir jo raginimus, siauresnę taikymo sritį, kuri neapima agentų, įrankių ir kūrimo aplinkos.
Jie yra sluoksniai, o ne konkurentai. Organizacija, kuri atsako į „GenAI“ saugumo uždavinius įsigydama atskirą konsolę, paprastai tiesiog sukuria ketvirtą radinių eilę, kurių niekas nerūšiuoja. Naudinga versija susieja DI riziką su tuo pačiu modeliu kaip ir visi kiti radiniai, todėl darbą valdo viena prioritetinė eilė.
Sistemos, kurios formuoja „GenAI“ saugumo rizikos reikšmę #
Vertinkite sistemą pagal jos publikavimo būseną, o ne pagal tai, kiek ji skamba moderniai.
Kalbant apie reguliavimą, sąžiningas rėmimas yra siauras. ES Dirbtinio intelekto įstatymo techninės dokumentacijos pareigos ir Kibernetinio atsparumo įstatymo... SBOM Įsipareigojimai sukuria realius įrodymų reikalavimus, o dirbtinio intelekto inventorius padeda juos patenkinti. Nei vienas iš jų neįvardija dirbtinio intelekto duomenų rinkinio. Kiekvienas, teigiantis, kad reglamentas jį reikalauja, parduoda anksčiau nei tekstas.
Nuo apibrėžimo iki programos #
Žinoti „GenAI“ saugumo prasmę, susijusią su greitu įskiepijimu, nėra tas pats, kas žinoti, ar jūsų saugyklose yra kelias į tokią injekciją.
Šis atotrūkis mažėja nuspėjama tvarka. Atraskite kiekvieną dirbtinio intelekto išteklių įvairiose saugyklose, pipelineir kūrėjų aplinkas, įskaitant tas, kurių niekas nedeklaravo. Įvertinkite jas pagal realius atakų kelius, o ne pagal neapdorotą pavojingumą, kad eilė būtų pakankamai trumpa, jog būtų galima imtis veiksmų. Tada vykdykite politiką toje vietoje, kur kitu atveju būtų vykdomas nesaugus paketas, modelis ar įrankis.
„Xygeni“ integruoja šią seką į vieną platformą ir vieną rizikos modelį, kartu su jau valdomais programos rezultatais. Suplanuokite demonstracinę versiją pamatyti savo dirbtinio intelekto inventorių
DUK #
Jūsų organizacijos naudojamo ir kuriamo generatyvinio dirbtinio intelekto apsauga: žinojimas, kokie dirbtinio intelekto ištekliai egzistuoja, su jais susijusių rizikų nustatymas ir nesaugių išteklių sustabdymas prieš jiems paleidžiant.
Kad raginimai, įgūdžių failai, taisyklių failai ir MCP konfigūracijos būtų peržiūrimi kaip saugumo artefaktai, o ne kaip dokumentacija, ir kad dirbtinio intelekto sugeneruotas kodas būtų patvirtintas prieš jam pasiekiant pipeline o ne po to.
Ne. Dauguma organizacijų įgyja generatyvinio dirbtinio intelekto (DI) poveikį per savo kūrėjus gerokai prieš išleisdamos DI funkciją.
Konfigūracijos sluoksnis, kuris valdo dirbtinio intelekto elgesį. A SAST Variklis skaito kodą. Jis neskaito taisyklių failo, nurodančio asistentui, ką rašyti, arba MCP serverio apibrėžimo, nurodančio agentui, ką jis gali pasiekti.
Praktiškai, kas bebūtų atsakingas už programų saugumą. Ištekliai yra saugyklose ir kūrėjų aplinkose, todėl jų padalijimas į atskirą funkciją dažniausiai sukuria antrą darbų sąrašą, o ne sumažina riziką.
