AI v kybernetické bezpečnosti

Umělá inteligence v kybernetické bezpečnosti: vektor útoku a nástroj obrany

Finanční pracovník ve strojírenské firmě Arup se připojil(a) k videohovoru s několika kolegy, včetně finančního ředitele společnosti. Každý z nich byl deepfake generovaný umělou inteligencí. Hovor skončil převodem 25 milionů dolarů útočníkům. Žádný malware, žádný phishingový odkaz, žádná zneužitá zranitelnost: pouze umělá inteligence, použitá dostatečně přesvědčivě, aby důvěra udělala zbytek. Tento jediný incident vystihuje, proč se umělá inteligence v kybernetické bezpečnosti stala určujícím tématem v tomto oboru. Stejná technologie, která tento deepfake postavila, i jinde v odvětví zachycuje anomálii, která by ho zastavila. Tato příručka k zabezpečení umělé inteligence se zabývá oběma stranami: jak umělá inteligence útočí, jak se umělá inteligence brání a co to znamená pro to, na co by se bezpečnostní týmy měly dále zaměřit.

Umělá inteligence v kybernetické bezpečnosti, v jednom odstavci

Umělá inteligence v kybernetické bezpečnosti označuje využití strojového učení, zpracování přirozeného jazyka a velkých jazykových modelů na obou stranách stejného boje: k zahájení útoků a k jejich detekci a zastavení. Útočníci používají umělou inteligenci k generování přesvědčivého phishingového obsahu, klonování hlasů a obličejů a k prozkoumávání systémů rychleji než lidský tým. Obránci používají stejné základní techniky (rozpoznávání vzorců napříč obrovskými objemy dat, porozumění přirozenému jazyku, modelování chování) k odhalení anomálií, prolínání varovného šumu a reakci dříve, než dojde k poškození. Výsledkem je skutečně technologie dvojího užití v rámci jednoho odvětví, a proto umělá inteligence v kybernetické bezpečnosti není kategorií s jasnou „dobrou“ a „špatnou“ stránkou. Je to schopnost a kdokoli ji aplikuje rychleji a předem.cisEly má momentálně výhodu.

Umělá inteligence jako vektor útoku

  • Phishing generovaný umělou inteligencí v průmyslovém měřítku. Phishing býval chytatelný podle svých tellů: neohrabané fráze, obecné pozdravy, zjevné falešné domény. Umělá inteligence většinu těchto tellů odstranila. Podle Hoxhuntův Zpráva o trendech phishingu za rok 2026Phishing generovaný umělou inteligencí vzrostl ze 4 % všech hlášených pokusů o phishing v listopadu 2025 na 56 % v prosinci 2025, což je 14násobný nárůst za jediný měsíc, a do poloviny roku 2026 tvořil přibližně 40 % všech hlášených pokusů o phishing. Rozdíl v efektivitě je stejně výrazný: a studie na lidských subjektech od výzkumníků z Harvard Kennedy School zjistila, že plně automatizované phishingové e-maily s využitím umělé inteligence dosáhly 54% míry prokliku, což odpovídá zkušeným lidským expertům a výrazně překonává 12% míru prokliku generických phishingových e-mailů z kontrolní skupiny. Umělá inteligence nejenže píše další phishingové e-maily. Píše takové, které fungují.
  • Deepfakes, které cílí na důvěru, ne na infrastrukturu. Jedno Případ Arup Výše uvedené už není žádným výjimkem; je to šablona. Hlas a video generované umělou inteligencí jsou dostatečně přesvědčivé na to, aby se daly vydávat za skutečného manažera během živého hovoru, čímž se sociální inženýrství mění z „oklamání někoho, aby klikl“ na „oklamání někoho, aby věřil, že se dívá na svého finančního ředitele“. To je zásadně obtížnější problém pro školení v oblasti bezpečnostního povědomí, protože k klamání dochází na percepční úrovni, nikoli na technické.
  • Rychlejší průzkum a adaptivní malware. Kromě sociálního inženýrství zkracuje umělá inteligence vzdálenost mezi „útočník má nápad“ a „útočník má funkční exploit“. Rozsáhlé jazykové modely mohou urychlit výzkum zranitelností veřejně přístupného kódu a infrastruktury cíle a adaptivní malware může změnit své vlastní chování během provádění, pokud zjistí, že je analyzován v sandboxu, což je schopnost, která dříve vyžadovala zkušeného lidského operátora, který situaci sledoval v reálném čase.
  • Útoky na pověření rychlostí stroje. Zadávání uniklých sad přihlašovacích údajů do modelu, aby se zjistily vzorce, které lidé skutečně používají, když si myslí, že jsou s heslem „chytří“, mění metodu hádání a ověřování na něco bližšího predikci. V kombinaci s automatizovaným vkládáním přihlašovacích údajů se tím zkomprimuje to, co bývalo pomalým a hlučným útokem, na něco rychlého a tichého.

Umělá inteligence jako obranný nástroj

  • Detekce anomálií v měřítku, kterému se lidé nemohou rovnat. Hlavní obrannou hodnotou umělé inteligence je zpracování objemů síťového provozu, login aktivitu a systémové protokoly, které žádný analytický tým nemohl ručně zkontrolovat, a označování toho, co se odchyluje od stanovené základní hodnoty. To je to, co zachycuje útoky bez dosud známé signatury, včetně útoků nulového dne a zneužití ze strany interních osob, které by nespustilo upozornění založené na pravidlech.
  • Prořezávání fronty upozornění, ne její přidávání. Právě zde má umělá inteligence v kybernetické bezpečnosti největší okamžitý provozní přínos a toto odvětví má stále co dělat. Výzkum Vectra AI z roku 2026 zjistila, že organizace dostávají v průměru 2 992 bezpečnostních upozornění denně, přičemž 63 % z nich zůstává neprošetřeno, a Microsoft a Omdia Stav SOC: Sjednoťte se nyní, nebo plaťte později zprávy zjistili, že 46 % všech upozornění se ukáže jako falešně pozitivních a 42 % zůstává zcela neprošetřeno. Triáž řízená umělou inteligencí nejen přidává další detektor do hromady. Pokud je provedena dobře, koreluje související upozornění do jednoho incidentu, hodnotí to, co si skutečně zaslouží lidskou pozornost, a umožňuje analytikům věnovat svůj čas té části upozornění, která představují skutečné riziko, místo aby ručně uzavírali zbytek.
  • Klasifikace malwaru a chování nad rámec známých signatur. Stejný přístup behaviorální analýzy, který označuje anomální síťovou aktivitu, funguje i na soubory a balíčky: namísto porovnávání se seznamem známých škodlivých signatur dokáže umělá inteligence vyhodnotit chování při instalaci, neobvyklá systémová volání a vzorce zamlžování, aby zachytila ​​malware, který se dosud neviděl, a to v okamžiku, kdy se objeví, a ne až po jeho otisku.
  • Automatizovaná, omezená odpověď. Detekce bez zásahu pouze posouvá čas. Reakce řízená umělou inteligencí dokáže izolovat postižené zařízení, blokovat podezřelý provoz a automaticky spustit omezení, čímž se v nejdůležitějších případech zkrátí doba mezi „viděli jsme to“ a „zastavili jsme to“ z hodin na sekundy.

Proč stejné techniky řežou oběma směry?

Nepříjemnou pravdou v tomto průvodci zabezpečením umělé inteligence je, že útočníci a obránci často používají stejnou základní schopnost k opačným účelům. Modelování přirozeného jazyka, které napíše přesvědčivý phishingový e-mail, je stejná technologie, která přečte podezřelý e-mail a správně jej jako takový klasifikuje. Rozpoznávání vzorů, které umožňuje malwaru přizpůsobit se a vyhnout se sandboxu, je architektonicky podobné rozpoznávání vzorů, které v první řadě označuje chování malwaru jako anomální. Ani jedna strana nemá na technologii monopol, což znamená, že výhodu má ten, kdo ji komplexněji integruje do svého skutečného pracovního postupu, nikoli ten, kdo má přístup k pokročilejšímu modelu.

Tato symetrie je také důvodem, proč umělá inteligence v kybernetické bezpečnosti přináší svá vlastní rizika na straně obrany. Systémy umělé inteligence mohou generovat falešně pozitivní výsledky, které při špatném naladění zašumí skutečný signál, dědit zkreslení z neúplných trénovacích dat a v důsledku toho minout celé třídy hrozeb a samy o sobě mohou být cílem útočných technik, kdy útočník úmyslně zadává detekčnímu modelu zavádějící data, aby manipuloval s tím, co signalizuje. Nic z toho není důvodem k tomu, abychom se umělé inteligenci v obraně vyhýbali. Je to důvod k tomu, abychom člověka informovali o jeho úsudku, a abychom se samotným systémem umělé inteligence zacházeli jako s něčím, co je třeba monitorovat, ne s něčím, co nasadíte jednou a důvěřujete tomu donekonečna.

Co tento průvodce zabezpečením umělé inteligence znamená pro váš tým

Pět kroků odděluje týmy, které v kybernetické bezpečnosti získávají skutečnou hodnotu z umělé inteligence, od týmů, které si jen přidaly další nástroj:

  • Nečekejte, až se útoky „poháněné umělou inteligencí“ stanou většinou, než investujete do obrany. Výše uvedená data o phishingu ukazují, jak rychle se může menšinová taktika stát dominantní. Budujte detekční kapacitu před nárůstem, ne během něj.
  • Namiřte umělou inteligenci nejdříve na třídící frontu, ne jen na perimetr. Nejrychlejším a nejměřitelnějším vítězstvím pro většinu týmů je snížení objemu falešně pozitivních výsledků, které musí analytik ručně vymazat, nikoli přidání nové detekční vrstvy.
  • Riziko deepfake a klonování hlasu berte jako procesní problém, nikoli jako technologický problém. Žádný detekční nástroj zcela nezakryje mezeru ve stylu Arupu. Ověřování mimo pásmo pro jakýkoli požadavek týkající se pohybu peněz nebo změn přihlašovacích údajů.
  • Rozšířit stejné behaviorální myšlení řízené umělou inteligencí na kód a pipelines, nejen síťový provoz. Útočníci se stále častěji zaměřují přímo na dodavatelský řetězec softwaru (škodlivé balíčky, halucinované závislosti, nezkontrolované instrukce agentů), což je riziková kategorie s vlastní dynamikou, která je podrobně popsána v našem průvodci zabezpečením dodavatelského řetězce s umělou inteligencí.
  • Nechte člověka nést odpovědnost za to, co AI rozhodne. Automatická reakce je cenná právě proto, že je rychlá, a proto potřebuje jasnou cestu k eskalaci, když se něco pokazí.

Kam směřuje umělá inteligence v kybernetické bezpečnosti

Dva posuny budou definovat příštích několik let. Zaprvé, útočná strana se konsoliduje kolem menšího počtu přesvědčivějších taktik namísto početnějších hrubých: phishing a deepfake generované umělou inteligencí nepředstavují širší síť; jsou ostřejším háčkem. Zadruhé, obránci se posouvají od „detekce a upozornění člověka“ k „detekci, vyhodnocení a reakci před vznikem tiketu“, což je přesně ten posun, který zmenšuje propast mezi 2 992 denními upozorněními, kterým většina SOC čelí, a zlomkem těch, které se na ně vůbec skutečně podívají. Organizace, které se drží vpředu, jsou ty, které tento posun uplatňují všude, kde se umělá inteligence již dotýká jejich prostředí, včetně kódu, který jejich vývojáři dodávají, nejen provozu procházejícího jejich síťovým perimetrem.

Xygeniho názor: Zabezpečení umělé inteligence se musí vztahovat na kód, nejen na doručenou poštu

Většina pokrytí umělé inteligence v kybernetické bezpečnosti se zastavuje u SOC: phishing, malware, síťové anomálie. To je nezbytné a zároveň neúplné, protože rostoucí podíl rizik způsobených umělou inteligencí se nyní nachází uvnitř samotného životního cyklu vývoje softwaru, kam nástroje SOC nehledají.

Xygeni's CoreAI aplikuje stejné behaviorální, na anomálie popsané myšlení, konkrétně na zabezpečení aplikací: korelace zjištění napříč vašimi stávajícími skenery (nejen Xygeni's vlastní), hodnocení toho, co je skutečně zneužitelné, namísto zahlcení týmů objemem surových upozornění, vysvětlení, proč je dané riziko důležité, a generování nápravných opatření pull request místo dalšího nevyřízeného tiketu. DevAI rozšiřuje stejnou obrannou pozici do nejnovější části útočné plochy: kódování agentů a asistentů pomocí umělé inteligence, ověřování souborů dovedností a instrukcí agentů a blokování škodlivé instalace dříve, než na ni agent vůbec zareaguje. Cíl je stejný, jaký tato příručka prosazuje na úrovni SOC, aplikovaný na pipeline: proměnit výhodu umělé inteligence nad objemem a rychlostí ve výhodu obránce místo útočníka.

Začněte zdarma. Sign up with GitHub, GitLab nebo Google a získejte přehled až o 25 repozitářích a 50 skenech umělé inteligence měsíčně zdarma a bez nutnosti platit kreditní kartou.

Nejčastější dotazy

Co je umělá inteligence v kybernetické bezpečnosti? 

Umělá inteligence v kybernetické bezpečnosti je využití strojového učení, zpracování přirozeného jazyka a rozsáhlých jazykových modelů jak na útočící, tak na obranné straně zabezpečení. Útočníci ji používají k generování přesvědčivého phishingového obsahu, deepfaků a adaptivního malwaru; obránci používají stejné základní techniky pro detekci anomálií, třídění upozornění a automatizovanou reakci.

Je umělá inteligence nebezpečnější jako útočný nástroj, nebo užitečnější jako obranný nástroj? 

Ani jedna strana nemá trvalou výhodu, protože obě jsou postaveny na stejné základní schopnosti. Většímu riziku jsou vystaveny organizace, které dosud neaplikovaly umělou inteligenci v obraně stejným tempem, jakým ji útočníci aplikovali ofenzivně, nikoli ty, které čelí technologické mezeře, kterou nedokážou překlenout.

Může umělá inteligence plně nahradit lidské analytiky v SOC? 

Ne, a rizika spojená s pokusem o to (falešně pozitivní výsledky ze špatně vyladěných modelů, zkreslení z neúplných trénovacích dat a manipulace samotného detekčního systému ze strany nepřátel) jsou přesně důvodem, proč je lidský dohled i nadále nezbytný. Skutečná hodnota umělé inteligence spočívá v uvolnění fronty, aby se analytici mohli soustředit na úsudky, které stále vyžadují lidskou pomoc.

Jak se liší riziko útoků řízených umělou inteligencí konkrétně pro týmy vývoje softwaru? 

Kromě phishingu a deepfaků čelí vývojové týmy rizikům specifickým pro umělou inteligenci uvnitř SDLC sama o sobě: Agenti kódující umělou inteligencí instalující halucinované nebo škodlivé závislosti, nezkontrolované instrukce agentů v souborech dovedností a kód generovaný umělou inteligencí, který reprodukuje pevně zakódovaná tajemství. Tato stránka umělé inteligence v kybernetické bezpečnosti je podrobněji popsána v našem Průvodce zabezpečením dodavatelského řetězce s umělou inteligencí. 

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni