AI в киберсигурността

Изкуствен интелект в киберсигурността: вектор на атака и инструмент за защита

Финансов служител в инженерната фирма Аруп се присъедини към видеообаждане с няколко колеги, включително финансовия директор на компанията. Всеки един от тях беше генериран от изкуствен интелект deepfake. Разговорът завърши с прехвърляне на 25 милиона долара на нападателите. Нямаше зловреден софтуер, нямаше фишинг линк, нямаше експлоатирана уязвимост: само изкуствен интелект, използван достатъчно убедително, че доверието да свърши останалото. Този единствен инцидент улавя защо изкуственият интелект в киберсигурността се превърна в определяща тема в областта. Същата технология, изградила този deepfake, сега, другаде в индустрията, улавя аномалията, която би го спряла. Това ръководство за сигурност с изкуствен интелект обхваща и двете страни: как изкуственият интелект атакува, как изкуственият интелект защитава и какво означава това за това къде екипите по сигурност трябва да се съсредоточат по-нататък.

Изкуствен интелект в киберсигурността, в един параграф

Изкуственият интелект в киберсигурността се отнася до използването на машинно обучение, обработка на естествен език и големи езикови модели от двете страни на една и съща битка: за стартиране на атаки, за тяхното откриване и спиране. Атакуващите използват изкуствен интелект, за да генерират убедително фишинг съдържание, да клонират гласове и лица и да изследват системи по-бързо, отколкото би могъл човешки екип. Защитниците използват същите основни техники (разпознаване на модели в огромни обеми от данни, разбиране на естествен език, поведенческо моделиране), за да откриват аномалии, да пресичат шума от предупреждения и да реагират преди повредата да се усложни. Резултатът е наистина технология с двойно предназначение в рамките на една индустрия, поради което изкуственият интелект в киберсигурността не е категория с ясна „добра“ и „лоша“ страна. Това е способност и който я прилага по-бързо и по-прецизно, той...cisЕли в момента има предимство.

Изкуственият интелект като вектор на атака

  • Фишинг, генериран от изкуствен интелект, в индустриален мащаб. Фишингът преди беше лесно разпознаваем по своите подсказки: неудобни фрази, общи поздрави, очевидно фалшифицирани домейни. Изкуственият интелект премахна повечето от тези подсказки. Според Хоксхънт Доклад за тенденциите във фишинга за 2026 г.Фишингът, генериран от изкуствен интелект, скочи от 4% от всички докладвани опити за фишинг през ноември 2025 г. до 56% през декември 2025 г., което е 14-кратно увеличение за един месец, и заема около 40% от всички докладвани опити за фишинг до средата на 2026 г. Разликата в ефективността е също толкова голяма: a проучване върху хора от изследователи от училището „Кенеди“ в Харвард установиха, че напълно автоматизираните с изкуствен интелект фишинг имейли постигат 54% процент на кликване, което е равно на квалифицирани човешки експерти и значително надминава 12% процент на кликване на общите фишинг имейли от контролната група. Изкуственият интелект не просто пише още фишинг имейли. Той пише такива, които работят.
  • Дийпфейкове, насочени към доверие, а не към инфраструктура. - Случаят Аруп Горното вече не е аномалия; това е шаблон. Генерираните от изкуствен интелект глас и видео са достатъчно убедителни, за да минат като истински изпълнителен директор по време на живо обаждане, превръщайки социалното инженерство от „да подмамиш някого да кликне“ в „да подмамиш някого да повярва, че гледа своя финансов директор“. Това е фундаментално по-труден проблем за решаване от обучението за повишаване на осведомеността по сигурността, защото измамата се случва на перцептивно ниво, а не на техническо.
  • По-бързо разузнаване и адаптивен зловреден софтуер. Отвъд социалното инженерство, изкуственият интелект скъсява разстоянието между „атакуващият има идея“ и „атакуващият има работещ експлойт“. Моделите с големи езици могат да ускорят проучването на уязвимости срещу публично достъпния код и инфраструктура на целта, а адаптивният зловреден софтуер може да промени собственото си поведение по време на изпълнение, ако открие, че се анализира в пясъчник – възможност, която преди изискваше квалифициран човешки оператор, наблюдаващ в реално време.
  • Атаки върху идентификационни данни със скоростта на машината. Захранването на изтекли набори от идентификационни данни в модел, за да се научат моделите, които хората всъщност използват, когато си мислят, че са „умни“ с парола, превръща гадаенето и проверката в нещо по-близко до предсказание. В комбинация с автоматизираното добавяне на идентификационни данни, това компресира това, което преди беше бавна и шумна атака, в нещо бързо и тихо.

Изкуственият интелект като инструмент за защита

  • Откриване на аномалии в мащаб, невъзможен за хората. Основната защитна стойност на изкуствения интелект е обработката на обеми мрежов трафик, login активност и системни регистрационни файлове, които никой екип от анализатори не би могъл да прегледа ръчно, и маркиране на това, което се отклонява от установената базова линия. Това е, което улавя атаки без известна сигнатура, включително zero-day атаки и злоупотреба от вътрешна информация, които не биха задействали предупреждение, базирано на правила.
  • Прорязване на опашката от предупреждения, а не добавяне към нея. Това е и мястото, където изкуственият интелект в киберсигурността има най-непосредствена оперативна полза и където индустрията все още има реална работа за вършене. Изследванията на Vectra AI от 2026 г. установи, че организациите получават средно по 2,992 сигнала за сигурност на ден, като 63% от тях остават неразследвани, и Microsoft и Omdia Състояние на SOC: Обединете се сега или платете по-късно докладва установи, че 46% от всички сигнали се оказват фалшиво положителни, а 42% остават напълно неразследвани. Сортирането, управлявано от изкуствен интелект, не просто добавя още един детектор към купчината. Ако се направи добре, то съпоставя свързани сигнали в един инцидент, оценява какво действително си струва човешкото внимание и позволява на анализаторите да отделят времето си за онази част от сигналите, които представляват реален риск, вместо ръчно да затварят останалите.
  • Класификация на зловреден софтуер и поведение отвъд известните сигнатури. Същият подход за поведенчески анализ, който сигнализира за аномална мрежова активност, работи и върху файлове и пакети: вместо да съпоставя със списък с известни лоши сигнатури, изкуственият интелект може да оцени поведението по време на инсталиране, необичайните системни извиквания и моделите на обфускация, за да улови злонамерен софтуер, който никога преди не е бил виждан, в момента на появата му, а не след като е бил отпечатан.
  • Автоматизиран, ограничен отговор. Откриването без действие просто отлага времето. Реакцията, основана на изкуствен интелект, може да изолира засегнатото устройство, да блокира подозрителен трафик и да започне автоматично ограничаване, като намали разликата между „видяхме го“ и „спряхме го“ от часове до секунди в най-важните случаи.

Защо едни и същи техники режат и в двете посоки?

Неудобната истина в това ръководство за сигурност, основана на изкуствен интелект, е, че атакуващите и защитниците често използват едни и същи основни възможности за противоположни цели. Моделирането на естествен език, което пише убедителен фишинг имейл, е същата технология, която чете подозрителен имейл и правилно го класифицира като такъв. Разпознаването на образи, което позволява на зловредния софтуер да се адаптира, за да избегне пясъчник, е архитектурно подобно на разпознаването на образи, което първоначално маркира поведението на зловредния софтуер като аномално. Нито една от страните няма монопол върху технологията, което означава, че предимството е за този, който я интегрира по-пълноценно в реалния си работен процес, а не за този, който има достъп до по-усъвършенстван модел.

Тази симетрия е и причината, поради която изкуственият интелект в киберсигурността въвежда свои собствени рискове от защитна страна. Системите с изкуствен интелект могат да генерират фалшиви положителни резултати, които затрупват реалния сигнал в шум, ако са лошо настроени, да наследяват пристрастия от непълни данни за обучение и в резултат на това да пропускат цели класове заплахи, а самите те могат да бъдат атакувани чрез състезателни техники, при които нападателят умишлено подава подвеждащи данни към модел за откриване, за да манипулира това, което той сигнализира. Нищо от това не е причина да се избягва изкуствен интелект в защитна цел. Това е причина човек да бъде информиран за евентуална преценка и самата система с изкуствен интелект да се третира като нещо, което се нуждае от наблюдение, а не като нещо, което се внедрява веднъж и на което се доверявате за неопределено време.

Какво означава това ръководство за сигурност с изкуствен интелект за вашия екип

Пет стъпки разделят екипите, които получават реална стойност от изкуствения интелект в киберсигурността, от екипите, които току-що са добавили още един инструмент:

  • Не чакайте атаките, „задвижвани от изкуствен интелект“, да станат мнозинство, преди да инвестирате в защита. Данните за фишинг по-горе показват колко бързо тактиката на малцинството може да се превърне в доминираща. Изградете капацитет за откриване преди нарастването, а не по време на него.
  • Насочете ИИ първо към опашката си за триаж, не само към периметъра си. Най-бързата и най-измерима победа за повечето екипи е намаляването на обема на фалшивите положителни резултати, които анализаторът трябва да изчисти ръчно, а не добавянето на нов слой за откриване.
  • Отнасяйте се към риска от дийпфейк и клониране на глас като към проблем с процеса, а не като към технологичен проблем. Никой инструмент за откриване не може напълно да запълни празнината в стил Arup. Извънбродната проверка за всяка заявка, включваща движение на пари или промени в идентификационните данни.
  • Разширете същото поведенческо мислене, основано на изкуствен интелект, към кода и pipelines, не само мрежов трафик. Атакуващите все по-често атакуват директно веригата за доставки на софтуер (злонамерени пакети, халюцинирани зависимости, непроверени инструкции на агенти) – рискова категория със собствена динамика, разгледана подробно в нашето ръководство за сигурност на веригата за доставки с изкуствен интелект.
  • Дръжте човека отговорен за решенията на изкуствения интелект. Автоматизираният отговор е ценен именно защото е бърз, което е и причината да се нуждае от ясен път за ескалация, когато възникне проблем.

Накъде се насочва изкуственият интелект в киберсигурността

Две промени ще определят следващите няколко години. Първо, атакуващата страна се консолидира около по-малко, по-убедителни тактики, вместо около по-многобройни груби: генерираните от изкуствен интелект фишинг и дийпфейкове не са по-широка мрежа; те са по-остра кука. Второ, защитната страна се измества от „откриване и предупреждаване на човек“ към „откриване, оценка и действие преди да съществува билет“, което е точно промяната, която затваря разликата между 2,992-те дневни предупреждения, с които се сблъскват повечето SOC, и делът от тези, които някога получават реален поглед. Организациите, които се издигат напред, са тези, които прилагат тази промяна навсякъде, където изкуственият интелект вече докосва тяхната среда, включително кода, който техните разработчици изпращат, а не само трафика, пресичащ периметъра на мрежата им.

Мнението на Xygeni: Сигурността на изкуствения интелект трябва да обхваща кода, не само входящата поща

По-голямата част от обхвата на ИИ в киберсигурността спира до SOC: фишинг, зловреден софтуер, мрежови аномалии. Това е необходимо и също така е непълно, защото нарастващ дял от риска, породен от ИИ, сега се намира в самия жизнен цикъл на разработка на софтуер, където инструментите за SOC не разглеждат.

Ксигени CoreAI прилага същото поведенческо, базирано на аномалии мислене, описано в това ръководство, по-специално към сигурността на приложенията: съпоставяне на откритията между съществуващите ви скенери (не само Ксигени собствено), оценяване на това, което всъщност може да се използва, вместо заливане на екипите с обем необработени предупреждения, обясняване защо даден риск е важен и генериране на коригиращи мерки pull request вместо още един натрупан билет. DevAI разширява същата защитна позиция в най-новата част от повърхността за атака: кодиране от AI агенти и асистенти, валидиране на файлове с умения и инструкции на агенти и блокиране на злонамерена инсталация, преди агент да е предприел действия по нея. Целта е същата, за която се твърди в това ръководство на ниво SOC, приложена към pipeline: превърнете предимството на ИИ пред обема и скоростта в предимство на защитника, вместо на нападателя.

Започнете безплатно. Sign up with GitHub, GitLab или Google и получете видимост до 25 хранилища и 50 AI сканирания на месец безплатно, без да се изисква кредитна карта.

Често задавани въпроси

Какво е изкуствен интелект в киберсигурността? 

Изкуственият интелект в киберсигурността е използването на машинно обучение, обработка на естествен език и големи езикови модели както от атакуващата, така и от защитаващата се страна на сигурността. Атакуващите го използват, за да генерират убедително фишинг съдържание, фалшиви данни и адаптивен зловреден софтуер; защитниците използват едни и същи основни техники за откриване на аномалии, сортиране на предупреждения и автоматизиран отговор.

По-опасен ли е изкуственият интелект като инструмент за атака или по-полезен като инструмент за защита? 

Нито една от страните няма трайно предимство, защото и двете са изградени върху едни и същи базови възможности. Организациите, изложени на по-голям риск, са тези, които все още не са приложили ИИ защитно със същото темпо, с което атакуващите са го приложили офанзивно, а не тези, които са изправени пред технологична празнина, която не могат да затворят.

Може ли изкуственият интелект напълно да замести човешките анализатори в SOC? 

Не, а рисковете от опитите за това (фалшиви положителни резултати от лошо настроени модели, пристрастия от непълни данни за обучение и манипулиране на самата система за откриване от страна на противниковия контрол) са точно причината, поради която човешкият надзор остава необходим. Истинската стойност на ИИ е изчистването на опашката, за да могат анализаторите да се съсредоточат върху преценките, които все още се нуждаят от човек.

По какво се различава рискът от атаки, предизвикани от изкуствен интелект, по-специално за екипите за разработка на софтуер? 

Освен фишинга и дийпфейковете, екипите за разработка са изправени пред специфични за изкуствения интелект рискове вътре в SDLC себе си: агенти с изкуствен интелект, които инсталират халюцинирани или злонамерени зависимости, непроверени инструкции на агенти във файлове с умения и генериран от изкуствен интелект код, който възпроизвежда твърдо кодирани тайни. Тази страна на изкуствения интелект в киберсигурността е разгледана по-подробно в нашата Ръководство за сигурност на веригата за доставки с изкуствен интелект. 

инструменти за анализ на състава на софтуера SCA Tools
Приоритизирайте, отстранете и защитете софтуерните си рискове
Вземете своя безплатен акаунт.
Не е необходима кредитна карта.

Осигурете си разработка и доставка на софтуер

с продуктовия пакет Xygeni