Zaposlenik u finansijskom sektoru u inženjerskoj firmi Arup se pridružio video pozivu s nekoliko kolega, uključujući i finansijskog direktora kompanije. Svaki od njih je bio deepfake generiran umjetnom inteligencijom. Poziv je završio s 25 miliona dolara prebačenih napadačima. Nije bilo zlonamjernog softvera, nije bilo phishing linka, nije bilo iskorištene ranjivosti: samo umjetna inteligencija, korištena dovoljno uvjerljivo da je povjerenje učinilo ostalo. Taj jedan incident obuhvata zašto je umjetna inteligencija u kibernetičkoj sigurnosti postala definirajuća tema u ovoj oblasti. Ista tehnologija koja je izgradila taj deepfake, i u drugim dijelovima industrije, hvata anomaliju koja bi ga zaustavila. Ovaj vodič za sigurnost umjetne inteligencije pokriva obje strane: kako umjetna inteligencija napada, kako se umjetna inteligencija brani i šta to znači za ono na što bi se sigurnosni timovi trebali sljedeće fokusirati.
Vještačka inteligencija u sajber sigurnosti, u jednom paragrafu
Vještačka inteligencija u sajber sigurnosti odnosi se na upotrebu mašinskog učenja, obrade prirodnog jezika i velikih jezičkih modela na obje strane iste borbe: za pokretanje napada te njihovo otkrivanje i zaustavljanje. Napadači koriste vještačku inteligenciju (AI) za generiranje uvjerljivog phishing sadržaja, kloniranje glasova i lica te brže ispitivanje sistema nego što bi to mogao ljudski tim. Branitelji koriste iste osnovne tehnike (prepoznavanje obrazaca u ogromnim količinama podataka, razumijevanje prirodnog jezika, modeliranje ponašanja) kako bi uočili anomalije, probili buku upozorenja i reagirali prije nego što se šteta pogorša. Rezultat je zaista tehnologija dvostruke namjene unutar jedne industrije, zbog čega vještačka inteligencija u kibernetičkoj sigurnosti nije kategorija s jasnom "dobrom" i "lošom" stranom. To je sposobnost, i ko god je primijeni brže i preciznije...cisEly trenutno ima prednost.
Vještačka inteligencija kao vektor napada
- Fišing generiran umjetnom inteligencijom u industrijskim razmjerima. Phishing se nekada mogao prepoznati po svojim znakovima: nespretnim frazama, generičkim pozdravima, očiglednim lažnim domenama. Vještačka inteligencija je uklonila većinu tih znakova. Prema Hoxhuntov Izvještaj o trendovima phishinga za 2026. godinu, phishing generiran umjetnom inteligencijom skočio je sa 4% svih prijavljenih pokušaja phishinga u novembru 2025. na 56% u decembru 2025., što je 14 puta više u jednom mjesecu, i zadržao je oko 40% svih prijavljenih pokušaja phishinga do sredine 2026. godine. Razlika u učinkovitosti je jednako velika: a Studija na ljudima koju su proveli istraživači Harvard Kennedy School utvrđeno je da su potpuno automatizirane phishing e-poruke pomoću umjetne inteligencije postigle stopu klikanja od 54%, što je jednako vještim ljudskim stručnjacima i daleko nadmašuje stopu klikanja od 12% generičkih phishing e-poruka kontrolne grupe. Vještačka inteligencija ne samo da piše više phishing e-poruka. Piše one koje djeluju.
- Deepfakeovi koji ciljaju povjerenje, a ne infrastrukturu. The Arupov slučaj Gore navedeno više nije izuzetak; to je šablon. Glas i video generirani umjetnom inteligencijom dovoljno su uvjerljivi da prođu kao pravi rukovodilac u pozivu uživo, pretvarajući socijalni inženjering iz "prevare nekoga da klikne" u "prevaru nekoga da povjeruje da gleda svog finansijskog direktora". To je fundamentalno teži problem za rješavanje obuke o sigurnosnoj svijesti, jer se obmana događa na perceptivnom, a ne na tehničkom nivou.
- Brže izviđanje i adaptivni zlonamjerni softver. Pored socijalnog inženjeringa, vještačka inteligencija skraćuje udaljenost između „napadač ima ideju“ i „napadač ima funkcionalni eksploit“. Veliki jezički modeli mogu ubrzati istraživanje ranjivosti u javno dostupnom kodu i infrastrukturi mete, a adaptivni zlonamjerni softver može promijeniti vlastito ponašanje tokom izvršavanja ako otkrije da se analizira u sandboxu, što je ranije zahtijevalo vještog ljudskog operatera koji posmatra u stvarnom vremenu.
- Napadi na akreditive brzinom mašine. Unošenjem procurjelih skupova akreditacija u model kako bi se naučili obrasci koje ljudi zapravo koriste kada misle da su "pametni" s lozinkom, pogađanje i provjera pretvaraju u nešto bliže predviđanju. U kombinaciji s automatiziranim popunjavanjem akreditacija, ovo komprimira ono što je nekada bio spor i bučan napad u nešto brzo i tiho.
Vještačka inteligencija kao odbrambeni alat
- Detekcija anomalija u mjeri kojoj ljudi ne mogu parirati. Osnovna odbrambena vrijednost umjetne inteligencije je obrada velikih količina mrežnog prometa, login aktivnosti i sistemske zapise koje nijedan analitički tim ne bi mogao ručno pregledati i označavanje onoga što odstupa od utvrđene osnovne vrijednosti. Ovo je ono što hvata napade bez poznatog potpisa, uključujući zero-day napade i zloupotrebu od strane insajdera koja ne bi aktivirala upozorenje zasnovano na pravilima.
- Probijanje kroz red upozorenja, a ne dodavanje u njega. Ovo je također područje gdje umjetna inteligencija u kibernetičkoj sigurnosti ima najneposredniju operativnu korist i gdje industrija još uvijek ima puno posla. Istraživanje Vectra AI-a iz 2026. utvrđeno je da organizacije u prosjeku primaju 2,992 sigurnosna upozorenja dnevno, od čega 63% ostaje neistraženo, i Microsoft i Omdia Stanje SOC-a: Ujedinite se sada ili platite kasnije izvještaj utvrđeno je da se 46% svih upozorenja pokaže lažno pozitivnim, a 42% se u potpunosti ne istražuje. Trijaža vođena vještačkom inteligencijom ne dodaje samo još jedan detektor na tu gomilu. Kada se dobro uradi, povezuje povezana upozorenja u jedan incident, ocjenjuje ono što zaista vrijedi ljudske pažnje i omogućava analitičarima da svoje vrijeme provedu na dijelu upozorenja koji predstavljaju stvarni rizik umjesto da ručno zatvaraju ostatak.
- Klasifikacija zlonamjernog softvera i ponašanja izvan poznatih potpisa. Isti pristup bihevioralne analize koji označava anomalne mrežne aktivnosti funkcioniše i na datotekama i paketima: umjesto upoređivanja s listom poznatih loših potpisa, vještačka inteligencija može procijeniti ponašanje prilikom instalacije, neobične sistemske pozive i obrasce obfuskacije kako bi uhvatila zlonamjerni softver koji nikada prije nije viđen, u trenutku kada se pojavi, a ne nakon što mu se uzme otisak prsta.
- Automatizirani, ograničeni odgovor. Detekcija bez djelovanja samo pomjera vrijeme. Reakcija vođena umjetnom inteligencijom može izolirati pogođeni uređaj, blokirati sumnjiv promet i automatski započeti obuzdavanje, smanjujući jaz između „vidjeli smo to“ i „zaustavili smo to“ sa sati na sekunde u slučajevima koji su najvažniji.
Zašto iste tehnike režu u oba smjera?
Neugodna istina u ovom vodiču za sigurnost umjetne inteligencije je da napadači i branioci često koriste istu osnovnu sposobnost za suprotne ciljeve. Modeliranje prirodnog jezika koje piše uvjerljivu phishing e-poštu je ista tehnologija koja čita sumnjivu e-poštu i ispravno je klasificira kao takvu. Prepoznavanje uzoraka koje omogućava zlonamjernom softveru da se prilagodi kako bi izbjegao sandbox arhitektonski je slično prepoznavanju uzoraka koje označava ponašanje zlonamjernog softvera kao anomalno. Nijedna strana nema monopol nad tehnologijom, što znači da prednost ima onaj ko je potpunije integrira u svoj stvarni radni tok, a ne onaj ko ima pristup naprednijem modelu.
Ta simetrija je također razlog zašto umjetna inteligencija u kibernetičkoj sigurnosti uvodi vlastite rizike u defanzivi. Sistemi umjetne inteligencije mogu generirati lažno pozitivne rezultate koji zakopavaju pravi signal u šumu ako su loše podešeni, nasljeđivati pristranost iz nepotpunih podataka o obuci i kao rezultat toga propustiti cijele klase prijetnji, a i sami mogu biti meta napadačkih tehnika, gdje napadač namjerno unosi obmanjujuće podatke u model detekcije kako bi manipulirao onim što on označava. Ništa od toga nije razlog da se defanzivno izbjegava umjetna inteligencija. To je razlog da se čovjek drži u toku radi procjene i da se sam sistem umjetne inteligencije tretira kao nešto što treba pratiti, a ne kao nešto što se jednom implementira i čemu se vjeruje neograničeno.
Šta ovaj vodič za sigurnost umjetne inteligencije znači za vaš tim
Pet poteza razdvaja timove koji dobijaju pravu vrijednost od vještačke inteligencije u sajber sigurnosti od timova koji su upravo dodali još jedan alat:
- Ne čekajte da napadi "pokrenuti vještačkom inteligencijom" postanu većina prije nego što investirate u odbranu. Podaci o phishingu iznad pokazuju koliko brzo taktika manjine može postati dominantna. Izgradite kapacitete za detekciju prije porasta, a ne tokom njega.
- Prvo usmjerite vještačku inteligenciju na svoj red za trijažu, ne samo na perimetar. Najbrža i najmjerljivija pobjeda za većinu timova je smanjenje broja lažno pozitivnih rezultata koje analitičar mora ručno ukloniti, a ne dodavanje novog sloja detekcije.
- Rizik od deepfake-a i kloniranja glasa tretirajte kao procesni, a ne tehnološki problem. Nijedan alat za detekciju ne može u potpunosti zatvoriti jaz u Arup stilu. Verifikacija van opsega za bilo koji zahtjev koji uključuje kretanje novca ili promjene akreditiva.
- Proširiti isto bihevioralno razmišljanje vođeno umjetnom inteligencijom na kod i pipelines, ne samo mrežni promet. Napadači sve više direktno ciljaju lanac snabdijevanja softverom (zlonamjerni paketi, halucinirane zavisnosti, nepregledane instrukcije agenata), kategoriju rizika sa svojom vlastitom dinamikom, detaljno obrađenu u našem vodiču za sigurnost lanca snabdijevanja umjetnom inteligencijom.
- Neka čovjek bude odgovoran za ono što odluči vještačka inteligencija. Automatski odgovor je vrijedan upravo zato što je brz, što je ujedno i razlog zašto mu je potreban jasan put eskalacije kada nešto pođe po zlu.
Kuda ide vještačka inteligencija u sajber sigurnosti
Dva pomaka će definirati narednih nekoliko godina. Prvo, napadačka strana se konsoliduje oko manjeg broja, uvjerljivijih taktika, umjesto brojnijih grubih: phishing i deepfakeovi generirani umjetnom inteligencijom nisu šira mreža; oni su oštrija udica. Drugo, strana odbrane se pomiče sa "otkrivanja i upozoravanja čovjeka" na "otkrivanja, bodovanja i djelovanja prije nego što postoji tiket", što je upravo pomak koji smanjuje jaz između 2,992 dnevna upozorenja s kojima se suočava većina SOC-ova i dijela onih koji ikada dobiju pravi uvid. Organizacije koje prednjače su one koje primjenjuju taj pomak svugdje gdje umjetna inteligencija već dodiruje njihovo okruženje, uključujući kod koji njihovi programeri šalju, a ne samo promet koji prelazi njihov mrežni perimetar.
Xygenijev stav: Sigurnost umjetne inteligencije mora pokrivati kod, ne samo inbox.
Većina pokrivenosti umjetnom inteligencijom u kibernetičkoj sigurnosti završava se na SOC-u: phishing, zlonamjerni softver, mrežne anomalije. To je neophodno, ali i nepotpuno, jer se sve veći udio rizika uzrokovanih umjetnom inteligencijom sada nalazi unutar samog životnog ciklusa razvoja softvera, gdje SOC alati ne gledaju.
Xygeni's CoreAI primjenjuje isto bihevioralno, na anomalijama zasnovano razmišljanje opisano u ovom vodiču konkretno na sigurnost aplikacija: koreliranje nalaza između vaših postojećih skenera (ne samo Xygeni's vlastiti), bodovanje onoga što se zapravo može iskoristiti umjesto preplavljivanja timova sirovim obimom upozorenja, objašnjavanje zašto je određeni rizik važan i generiranje sanacije pull request umjesto još jedne zaostale karte. DevAI proširuje taj isti obrambeni stav na najnoviji dio površine napada: AI kodiranje agenata i asistenata, provjera vještina i instrukcija agenata, te blokiranje zlonamjerne instalacije prije nego što agent uopće reagira na nju. Cilj je isti onaj za koji se ovaj vodič zalaže na nivou SOC-a, primijenjen na pipeline: pretvoriti prednost umjetne inteligencije nad volumenom i brzinom u prednost branioca umjesto napadača.
Počnite besplatno. Sign up with GitHub, GitLab ili Google i ostvarite uvid u do 25 repozitorija i 50 AI skeniranja mjesečno bez ikakvih troškova, bez potrebe za kreditnom karticom.
ČESTA PITANJA
Šta je AI u sajber sigurnosti?
Vještačka inteligencija u sajber sigurnosti je upotreba mašinskog učenja, obrade prirodnog jezika i velikih jezičkih modela, kako na napadačkoj tako i na odbrambenoj strani sigurnosti. Napadači je koriste za generiranje uvjerljivog phishing sadržaja, deepfakeova i adaptivnog zlonamjernog softvera; branioci koriste iste osnovne tehnike za otkrivanje anomalija, trijažu upozorenja i automatizirani odgovor.
Da li je vještačka inteligencija opasnija kao alat za napad ili korisnija kao alat za odbranu?
Nijedna strana nema trajnu prednost jer su obje izgrađene na istoj osnovnoj sposobnosti. Organizacije koje su u većem riziku su one koje još nisu primijenile vještačku inteligenciju defanzivno istim tempom kojim su je napadači primjenjivali ofanzivno, a ne one koje se suočavaju s tehnološkim jazom koji ne mogu zatvoriti.
Može li vještačka inteligencija u potpunosti zamijeniti ljudske analitičare u SOC-u?
Ne, a rizici pokušaja (lažno pozitivni rezultati zbog loše podešenih modela, pristranost zbog nepotpunih podataka o obuci i manipulacija samim sistemom detekcije od strane neprijatelja) su upravo razlog zašto je ljudski nadzor i dalje neophodan. Prava vrijednost vještačke inteligencije je čišćenje reda čekanja kako bi se analitičari mogli fokusirati na procjene koje i dalje zahtijevaju prisustvo osobe.
Po čemu se rizik od napada uzrokovanih umjetnom inteligencijom razlikuje posebno za timove za razvoj softvera?
Pored phishinga i deepfakeova, razvojni timovi se suočavaju s rizicima specifičnim za vještačku inteligenciju unutar SDLC sama po sebi: Agenti za kodiranje umjetne inteligencije koji instaliraju halucinirane ili zlonamjerne zavisnosti, nepregledane instrukcije agenata u datotekama vještina i kod generiran umjetnom inteligencijom koji reproducira čvrsto kodirane tajne. Ta strana umjetne inteligencije u kibernetičkoj sigurnosti detaljnije je obrađena u našem Vodič za sigurnost lanca snabdijevanja umjetnom inteligencijom.
