Kas ir mākslīgā intelekta drošība? Mākslīgā intelekta drošība ir prakse, kuras mērķis ir aizsargāt mākslīgā intelekta modeļus, aģentus, datu kopas un infrastruktūru, no kuras ir atkarīga programmatūra, no riskiem, kas saistīti ar to, kā mākslīgā intelekta sistēmas tiek veidotas, apmācītas un darbinātas. Tas aptver katra izmantotā mākslīgā intelekta resursa atklāšanu, mākslīgajam intelektam raksturīgu ievainojamību, piemēram, tūlītējas injekcijas un nedrošas aģenta uzvedības, noteikšanu, kā arī tādu politiku ieviešanu, kas aptur nedrošas mākslīgā intelekta darbības, pirms tās rada kaitējumu. Šī ir galvenā mākslīgā intelekta drošības nozīme, kas tiek aplūkota pārējā šajā glosārija ierakstā.
Atšķirībā no tradicionālās lietojumprogrammu drošības, kas aizsargā kodu, atkarības un infrastruktūru, mākslīgā intelekta drošība aizsargā jaunu aktīvu klasi: modeļus, uzvednes, aģentus un mašīnu-mašīnu protokolus, kas tos savieno. Mākslīgajam intelektam pārejot no funkcijas uz pašu programmatūras piegādes ķēdi, tas ir kļuvis par atsevišķu, nepieciešamu aizsardzības slāni.
Mākslīgā intelekta drošības nozīme: īsa definīcija #
Vienkāršāk sakot, mākslīgā intelekta drošības nozīme ir šāda: nodrošinot mākslīgā intelekta aizsardzību tāpat kā koda aizsardzību, bet ar komponentu un uzvedības kopumu, kuru aplūkošanai tradicionālie rīki nekad netika izstrādāti.
Noderīgs veids, kā atdalīt jēdzienu no bieži sastopama neskaidrības cēloņa: Mākslīgā intelekta drošība nav tas pats, kas “mākslīgais intelekts drošībā”. Mākslīgais intelekts drošībā attiecas uz mākslīgā intelekta izmantošanu, lai uzlabotu esošos drošības darbus, piemēram, mākslīgā intelekta modeli, kas šķiro ievainojamību atradumus. Turpretī mākslīgā intelekta drošība attiecas uz paša mākslīgā intelekta aizsardzību: modeļa failus, apmācības datus, aģentus, uzvednes un serverus, kas ļauj mākslīgā intelekta rīkiem veikt darbības. Abi ir derīgi mākslīgā intelekta lietojumi, taču tie atbild uz dažādiem jautājumiem.
Kāpēc tas ir svarīgi #
Programmatūras komandas ir ieviesušas mākslīgā intelekta kodēšanas asistentus, autonomus aģentus un Modeļa konteksta protokols (MCP) tādā tempā, kas ir apsteidzis rīkus, kas paredzēti to nodrošināšanai. Daži iemesli, kāpēc šī maiņa radīja jaunu uzbrukuma virsmu:
Mākslīgā intelekta atkarības var būt saindētas vai izgudrotas. Mākslīgā intelekta kodēšanas asistenti dažreiz iesaka pakotnes, kas neeksistē, un šis modelis ir pazīstams kā slopsquatting, ko uzbrucēji var iepriekš reģistrēt un pārvērst par ieroci.
Mākslīgā intelekta ģenerētam kodam ir savs riska profils. Neatkarīga mākslīgā intelekta koda ģenerēšanas salīdzinošā novērtēšana ir atklājusi, ka ievērojama daļa mākslīgā intelekta rakstīta koda rada kopīgus ievainojamības modeļus pat tad, ja pamatā esošais modelis ir spējīgs un labi apmācīts.
Aģenti un MCP serveri ir jauna, lielākoties neuzraudzīta infrastruktūra. Aģenti var lasīt failus, izsaukt rīkus un veikt darbības izstrādātāja vārdā. Ja tiek manipulētas ar aģenta instrukcijām, noteikumu failiem vai pievienotajiem MCP serveriem, aģentu var vērst pret sistēmu, kuras aizsardzībai tas bija paredzēts.
Mākslīgā intelekta konfigurācija tagad ir uzbrukuma virsma. Prasmju faili, noteikumu faili un uzvedņu veidnes parasti tiek uzskatītas par dokumentāciju, nevis par ar drošību saistītiem artefaktiem. Uzbrucēji jau ir pierādījuši, ka šajos failos iegultās slēptās instrukcijas var likt mākslīgā intelekta palīgam ģenerēt aizmugures kodu bez jebkādām redzamām pēdām savā atbildē.
Ko tas sedz #
Pilnīga AI drošības programma parasti aptver trīs funkcijas:
1. Atklāšana (mākslīgā intelekta inventarizācija) #
Pirms kaut ko var aizsargāt, tas ir jāatrod. Mākslīgā intelekta drošība sākas ar nepārtrauktu katra mākslīgā intelekta resursa atklāšanu organizācijas krātuvēs un pipelines: modeļi, mākslīgā intelekta ietvari, datu kopas, secinājumu galapunkti, aģenti, mākslīgā intelekta kodēšanas rīki un MCP serveri, ar kuriem tie izveido savienojumu. Šis inventārs parasti tiek izteikts kā mašīnlasāms mākslīgā intelekta materiālu saraksts (AI-BOM), kas ir mākslīgā intelekta ekvivalents programmatūras materiālu sarakstam (SBOM).
2. Atklāšana (mākslīgā intelekta risks) #
Kad mākslīgā intelekta līdzekļi ir zināmi, mākslīgā intelekta drošība nosaka tiem raksturīgos riskus, tostarp:
- Ātra injekcija un sistēmas ātra noplūde, kur neuzticams saturs manipulē ar mākslīgā intelekta modeļa darbību
- Nedroša MCP konfigurācija, kur pievienoto rīku vai serveri var saindēt vai personificēt
- Pārmērīga rīcības brīvība, kur aģentam ir atļauts darboties ārpus paredzētajām robežām bez cilvēka kontroles
- Noslēpumu atklāšana mākslīgā intelekta failos, kur API atslēgas vai akreditācijas dati noplūst caur mākslīgā intelekta rīku izmantoto konfigurāciju
- Neaizsargātas vai halucinētas mākslīgā intelekta atkarības, ieskaitot pietupienus
Šīs riska kategorijas atbilst publicētām, kopienas pārskatītām sistēmām, jo īpaši OWASP Top 10 LLM lietojumprogrammām.
3. Izpilde (Guardrails) #
Pēdējais slānis aptur nedrošu mākslīgā intelekta darbību pirms tā izpildes: ļaunprātīgas pakotnes instalēšanas bloķēšana, prasmju vai noteikumu faila validēšanu pirms tam, kad tas tiek uzskatīts par uzticamu, vai aģenta darbības pārtveršanu, kas pārkāpj politiku. Šeit AI drošība pāriet no redzamības uz aktīvu aizsardzību.
Galvenie mākslīgā intelekta drošības riski, definēti #
| Termiņš | Ko tas nozīmē |
|---|---|
| Ātra injekcija | Ļaunprātīgas instrukcijas, kas paslēptas saturā, ko apstrādā mākslīgā intelekta modelis, liekot tam rīkoties pretēji paredzētajam mērķim |
| Slīpi pietupieni | Uzbrucēji, reģistrējot viltotus pakotnes, kas atbilst AI modeļa nosaukumiem, visticamāk, halucinēs un ieteiks |
| MCP risks | Model Context Protocol serveru ievainojamības, kas ļauj AI aģentiem izsaukt ārējos rīkus, tostarp rīku saindēšanās un neautentificēta piekļuve |
| Pārmērīga rīcības brīvība | Mākslīgā intelekta aģentam piešķirta lielāka autonomija vai piekļuve, nekā nepieciešams tā uzdevumam |
| Noteikumu/prasmju faila aizmugurējā durvis | Slēptas rakstzīmes vai instrukcijas, kas ievietotas konfigurācijas failos un vada mākslīgā intelekta kodēšanas palīgu, neparādās tā redzamajā izvadē. |
| AI-BOM | Mašīnlasāms organizācijas mākslīgā intelekta aktīvu inventārs, ko izmanto auditam un risku pārvaldībai |
Mākslīgā intelekta drošības ietvari un Standards #
Tas ir saistīts ar nelielu publicēto materiālu kopumu. standardnevis jebkura atsevišķa pārdevēja taksonomija:
- OWASP 10 labākie LLM pieteikumi (2025): visplašāk izmantotais mākslīgā intelekta lietojumprogrammu risku saraksts, kas aptver tūlītēju ievadīšanu, sensitīvas informācijas izpaušanu, piegādes ķēdes riskus un citus.
- NIST SP 800-218A: vadlīnijas drošai programmatūras izstrādes praksei, kas pielāgota ģeneratīvajam mākslīgajam intelektam un divējāda lietojuma pamatmodeļiem.
- Gartnera AI-SPM un AI TRiSMAnalītiķu definētas kategorijas mākslīgā intelekta drošības stāvokļa pārvaldībai un plašākai disciplīnai — mākslīgā intelekta uzticamības, riska un drošības pārvaldībai.
Kopā tie sniedz organizācijām kopīgu vārdu krājumu tam, ko patiesībā nozīmē “drošs mākslīgais intelekts”, nevis tikai paļaujas uz mārketinga definīcijām.
Mākslīgā intelekta drošība salīdzinājumā ar saistītajiem terminiem #
- Mākslīgā intelekta drošība salīdzinājumā ar lietotņu drošībuAppSec aizsargā lietojumprogrammas kodu un tā atkarības. Tas aizsargā mākslīgā intelekta modeļus, aģentus un mākslīgajam intelektam specifisko konfigurāciju, kuru pārbaudei AppSec rīki nebija paredzēti.
- Mākslīgā intelekta drošība pret mākslīgā intelekta pārvaldībuPārvaldība nosaka politikas un apstiprinājumus, kas organizācijai nepieciešami mākslīgā intelekta lietošanai. Tā nodrošina un pārbauda, vai šīs politikas tiek ievērotas praksē gan koda, gan aģenta līmenī.
- Mākslīgā intelekta drošība salīdzinājumā ar MLSecOpsMLSecOps koncentrējas uz mašīnmācīšanās dzīves cikla (apmācības, datu, modeļu izvietošanas) nodrošināšanu. Tas ir plašāks tvērums, kas aptver aģentus, kodēšanas asistentus un protokolus, kas tos savieno ar reālām sistēmām.
Kā Xygeni pieeja mākslīgā intelekta drošībai
#
Ksigēni Mākslīgā intelekta drošības produkts tieši piemēro šo pašu atklāšanas, noteikšanas un ieviešanas modeli programmatūras izstrādes dzīves ciklam. Tas nepārtraukti veido mākslīgā intelekta inventarizāciju dažādos repozitorijos, nosaka mākslīgajam intelektam specifiskus riskus, piemēram, tūlītēju injekciju un nedrošu MCP konfigurāciju, un sasaista katru atradumu ar OWASP Top 10 LLM lietojumprogrammām, lai drošības un inženieru komandas strādātu no viena mākslīgā intelekta krājuma un viena risku skata, nevis minētu, ko mākslīgais intelekts jau darbina viņu kodā.
FAQ #
Mākslīgā intelekta drošība ir mākslīgā intelekta modeļu, aģentu, datu un tos savienojošās infrastruktūras aizsardzība pret riskiem, kas raksturīgi mākslīgā intelekta sistēmu uzbūvei un darbībai.
Nē. Kiberdrošība ir visaptveroša disciplīna, kas aptver visus digitālos riskus. Mākslīgā intelekta drošība ir specializēta kiberdrošības apakškopa, kas koncentrējas uz mākslīgajam intelektam specifiskiem resursiem un kļūmju režīmiem, piemēram, tūlītēju injekciju vai nedrošu aģenta uzvedību.
Jebkura organizācija, kuras izstrādātāji izmanto mākslīgā intelekta kodēšanas palīgus, kuras produktos ir iestrādāti mākslīgā intelekta modeļi vai kuras darbplūsmas ietver autonomus aģentus un MCP serverus. Tagad tas ietver lielāko daļu programmatūras komandu neatkarīgi no to lieluma.
