Što je AI sigurnost? AI sigurnost je praksa zaštite AI modela, agenata, skupova podataka i infrastrukture o kojima softver ovisi od rizika jedinstvenih za način na koji se AI sustavi grade, obučavaju i pokreću. Obuhvaća otkrivanje svake AI imovine u upotrebi, otkrivanje ranjivosti specifičnih za AI, kao što su brzo ubrizgavanje i nesigurno ponašanje agenta, te provedbu politika koje zaustavljaju nesigurne AI radnje prije nego što uzrokuju štetu. Ovo je ključna sigurnost AI-a, što znači da se ostatak ovog glosara detaljnije objašnjava.
Za razliku od tradicionalne sigurnosti aplikacija, koja štiti kod, ovisnosti i infrastrukturu, AI sigurnost štiti novu klasu imovine: modele, upute, agente i protokole za komunikaciju između strojeva koji ih povezuju. Kako se AI pomiče od značajke do samog lanca opskrbe softverom, postao je zaseban, nužan sloj obrane.
Značenje AI sigurnosti: Kratka definicija #
Najjednostavnije rečeno, značenje AI sigurnosti je sljedeće: osiguravajući umjetnu inteligenciju na način na koji već osiguravate kod, ali za skup komponenti i ponašanja za koja konvencionalni alati nikada nisu izgrađeni.
Koristan način odvajanja koncepta od uobičajene točke zbrke: Sigurnost umjetne inteligencije nije isto što i „umjetna inteligencija u sigurnosti“. Umjetna inteligencija u sigurnosti odnosi se na korištenje umjetne inteligencije za poboljšanje postojećeg sigurnosnog rada, na primjer AI modela koji trijažira nalaze ranjivosti. Sigurnost umjetne inteligencije, nasuprot tome, odnosi se na osiguranje same umjetne inteligencije: datoteka modela, podataka za obuku, agenata, upita i poslužitelja koji omogućuju AI alatima da poduzmu akciju. Obje su valjane upotrebe umjetne inteligencije, ali odgovaraju na različita pitanja.
Zašto je to važno #
Softverski timovi su usvojili AI asistente za kodiranje, autonomne agente i Protokol konteksta modela (MCP) tempom koji je nadmašio alate namijenjene njihovom osiguravanju. Nekoliko razloga zašto je ova promjena stvorila novu površinu za napad:
Ovisnosti o umjetnoj inteligenciji mogu biti zatrovane ili izmišljene. Asistenti za AI kodiranje ponekad preporučuju pakete koji ne postoje, obrazac poznat kao slopsquatting, koje napadači mogu unaprijed registrirati i pretvoriti u oružje.
Kod generiran umjetnom inteligencijom nosi vlastiti profil rizika. Neovisna analiza generiranja AI koda pokazala je da znatan udio AI koda uvodi uobičajene obrasce ranjivosti, čak i kada je temeljni model sposoban i dobro obučen.
Agenti i MCP poslužitelji su nova, uglavnom nenadzirana infrastruktura. Agenti mogu čitati datoteke, pozivati alate i poduzimati radnje u ime programera. Ako se manipulira uputama agenta, datotekama s pravilima ili povezanim MCP poslužiteljima, agent se može okrenuti protiv sustava koji je trebao zaštititi.
Konfiguracija umjetne inteligencije sada je površina za napad. Datoteke vještina, datoteke pravila i predlošci upita obično se tretiraju kao dokumentacija, a ne kao artefakti relevantni za sigurnost. Napadači su već pokazali da skrivene upute ugrađene u te datoteke mogu uzrokovati da AI asistent proizvede kod skrivenih vrata bez ikakvog vidljivog traga u svom odgovoru.
Što pokriva #
Potpuni program AI sigurnosti obično obuhvaća tri funkcije:
1. Otkriće (AI inventar) #
Prije nego što se išta može osigurati, mora se pronaći. Sigurnost umjetne inteligencije započinje kontinuiranim otkrivanjem svake imovine umjetne inteligencije u repozitorijima organizacije i pipelines: modeli, AI okviri, skupovi podataka, krajnje točke zaključivanja, agenti, AI alati za kodiranje i MCP poslužitelji na koje se povezuju. Ovaj inventar se obično izražava kao strojno čitljiva AI lista materijala (AI-BOM), AI ekvivalent softverske liste materijala (SBOM).
2. Detekcija (rizik umjetne inteligencije) #
Nakon što su AI resursi poznati, AI Security otkriva rizike specifične za njih, uključujući:
- Brzo ubrizgavanje i brzo curenje iz sustava, gdje nepouzdani sadržaj manipulira ponašanjem modela umjetne inteligencije
- Nesigurna konfiguracija MCP-a, gdje povezani alat ili poslužitelj može biti zatrovan ili lažno predstavljen
- Prekomjerna agencija, gdje je agentu dopušteno djelovati izvan svojih predviđenih granica bez ljudske provjere
- Otkrivanje tajni u AI datotekama, gdje API ključevi ili vjerodajnice cure kroz konfiguraciju koju koriste AI alati
- Ranjive ili halucinirane ovisnosti o umjetnoj inteligenciji, uključujući i čučnjeve bez napora
Ove kategorije rizika podudaraju se s objavljenim okvirima koje je pregledala zajednica, a najznačajniji su OWASP Top 10 za LLM prijave.
3. Provedba (Guardrails) #
Posljednji sloj zaustavlja nesigurno ponašanje umjetne inteligencije prije nego što se izvrši: blokiranje instalacije zlonamjernog paketa, provjera vještina ili datoteke s pravilima prije nego što joj se vjeruje ili presretanje radnje agenta koja krši pravila. Ovdje se AI sigurnost pomiče od vidljivosti do aktivne obrane.
Ključni sigurnosni rizici umjetne inteligencije, definirani #
| Termin | Što to znači |
|---|---|
| Brzo ubrizgavanje | Zlonamjerne upute skrivene u sadržaju koji obrađuje AI model, uzrokujući da djeluje suprotno svojoj namjeni |
| Čučanje bez posla | Napadači registriraju lažne pakete koji odgovaraju imenima koja će model umjetne inteligencije vjerojatno halucinirati i preporučiti. |
| Rizik MCP-a | Ranjivosti u poslužiteljima Model Context Protocol-a koje omogućuju AI agentima pozivanje vanjskih alata, uključujući trovanje alata i neautentificirani pristup |
| Prekomjerna agencija | Agent umjetne inteligencije kojem je dodijeljena veća autonomija ili pristup nego što je potrebno za njegov zadatak |
| Stražnja vrata za datoteke s pravilima/vještinama | Skriveni znakovi ili upute umetnute unutar konfiguracijskih datoteka koje upravljaju AI asistentom za kodiranje bez da se pojavljuju u njegovom vidljivom izlazu |
| AI-BOM | Strojno čitljiv popis AI imovine organizacije, koji se koristi za reviziju i upravljanje rizicima |
Sigurnosni okviri umjetne inteligencije i Standards #
Temelji se na malom skupu objavljenih standards, a ne taksonomija bilo kojeg pojedinačnog dobavljača:
- OWASP Top 10 za prijave na LLM (2025): najčešće citirani popis rizika primjene umjetne inteligencije, koji obuhvaća brzo ubrizgavanje, otkrivanje osjetljivih informacija, rizik opskrbnog lanca i drugo.
- NIST SP 800-218A: smjernice za sigurne prakse razvoja softvera prilagođene generativnoj umjetnoj inteligenciji i modelima dvojne namjene.
- Gartnerov AI-SPM i AI TRiSM: kategorije koje definiraju analitičari za Upravljanje sigurnosnim pozicijama umjetne inteligencije i širu disciplinu Upravljanja povjerenjem, rizikom i sigurnošću umjetne inteligencije.
Zajedno, to organizacijama daje zajednički vokabular za ono što „sigurna umjetna inteligencija“ zapravo znači, umjesto da se oslanjaju samo na marketinške definicije.
Sigurnost umjetne inteligencije u odnosu na povezane pojmove #
- Sigurnost umjetne inteligencije u odnosu na AppSecAppSec osigurava kod aplikacije i njegove ovisnosti. Osigurava AI modele, agente i konfiguraciju specifičnu za AI koju AppSec alati nisu namijenjeni za pregled.
- Sigurnost umjetne inteligencije u odnosu na upravljanje umjetnom inteligencijomUpravljanje definira politike i odobrenja koja organizacija zahtijeva za korištenje umjetne inteligencije. Provodi i provjerava provode li se te politike u praksi, na razini koda i agenta.
- AI sigurnost u odnosu na MLSecOpsMLSecOps se fokusira na osiguranje životnog ciklusa strojnog učenja (obuka, podaci, implementacija modela). Širi je pojam i proteže se na agente, asistente kodiranja i protokole koji ih povezuju s aktivnim sustavima.
Kako Xygeni pristupa sigurnosti umjetne inteligencije
#
Xygenijev Proizvod AI sigurnosti primjenjuje isti model otkrivanja, detekcije i provođenja izravno na životni ciklus razvoja softvera. Kontinuirano gradi AI inventar u svim repozitorijima, detektira rizike specifične za AI, kao što su promptno ubrizgavanje i nesigurna MCP konfiguracija, te mapira svaki nalaz na OWASP Top 10 za LLM aplikacije, tako da sigurnosni i inženjerski timovi rade iz jednog AI-BOM-a i jednog prikaza rizika umjesto da nagađaju što AI već izvodi u njihovom kodu.
Česta pitanja #
Sigurnost umjetne inteligencije je zaštita modela umjetne inteligencije, agenata, podataka i infrastrukture koja ih povezuje od rizika specifičnih za način na koji su sustavi umjetne inteligencije izgrađeni i rade.
Ne. Kibernetička sigurnost je krovna disciplina koja pokriva sve digitalne rizike. Sigurnost umjetne inteligencije specijalizirani je podskup kibernetičke sigurnosti usmjeren na sredstva specifična za umjetnu inteligenciju i načine kvara, kao što su promptno ubrizgavanje ili nesigurno ponašanje agenta.
Bilo koja organizacija čiji programeri koriste AI asistente za kodiranje, čiji proizvodi ugrađuju AI modele ili čiji tijekovi rada uključuju autonomne agente i MCP poslužitelje. To sada uključuje većinu softverskih timova, bez obzira na veličinu.
