Што такое кібербяспека са штучным інтэлектам?

Кібербяспека штучнага інтэлекту — гэта практыка абароны штучнага інтэлекту як часткі паверхні вашай атакі: мадэляў, набораў дадзеных, агентаў, MCP-сервераў, падказак і згенераванага штучным інтэлектам кода ўнутры вашага праграмнага забеспячэння, а таксама новых метадаў атакі, якія накіраваны на іх. Ён таксама ахоплівае зваротны кірунак, выкарыстанне штучнага інтэлекту для ўзмацнення абароны, але першы кірунак — гэта той, які стварае раскрыццё сёння. Гэта кароткі адказ на пытанне, што такое кібербяспека штучнага інтэлекту. Варта быць загадзя падрыхтаваным.cisпра гэта, таму што гэты тэрмін выкарыстоўваецца для двух вельмі розных рэчаў, і купля няправільнай рэчы пакідае другую без нагляду.

Значэнне кібербяспекі штучнага інтэлекту ў двух напрамках #

Сэнс кібербяспекі штучнага інтэлекту можна раскласці па адной простай лініі: вы абараняеце штучны інтэлект ці ён абараняе вас?

Забеспячэнне бяспекі штучнага інтэлекту. Ваша арганізацыя будуе і развіваецца з дапамогай штучнага інтэлекту. Гэта прыводзіць да ўзнікнення рэсурсаў, якія ніхто не інвентарызаваў, і рэжымаў збояў, для якіх традыцыйныя інструменты ніколі не былі распрацаваны: падказка, якая прымае ненадзейны ўвод, агент з большымі дазволамі, чым патрабуецца для яго задачы, набор дадзеных, які атручае мадэль, сервер MCP, які ніхто не ўхваляў. Вось тут і адбываюцца інцыдэнты.

Штучны інтэлект для бяспекі. Машыннае навучанне, якое выкарыстоўваецца для выяўлення, трыяжу, тлумачэння і выпраўлення наступстваў: падаўленне шуму папярэджанняў, прыярытэтызацыя высноў, якія можна выкарыстоўваць, і напісанне рашэнняў. Вось адкуль бярэцца эфектыўнасць.

Большасць пастаўшчыкоў і большасць артыкулаў аб'ядноўваюць гэтыя дзве тэорыі. Аператыўнае значэнне кібербяспекі штучнага інтэлекту заключаецца ў тым, што гэта асобныя праграмы з асобнымі ўладальнікамі. Адна з іх — праблема паверхні атакі. Другая — праблема прадукцыйнасці.

Што абараняе кібербяспека з дапамогай штучнага інтэлекту? #

Інвентарызацыя перад кантролем. Кожны элемент ніжэй — гэта актыў, за які цяпер адказвае служба бяспекі.

• мадэлі, незалежна ад таго, ці размяшчаецца яна самастойна, ці наладжваецца дакладна, ці выклікаецца праз API пастаўшчыка
• Datasets выкарыстоўваецца для навучання, тонкай налады, ацэнкі і пошуку
• Агенты і серверы агентаў якія дзейнічаюць аўтаномна ўнутры вашых сістэм
• Серверы MCP якія прадастаўляюць інструменты і дадзеныя гэтым агентам
• Падказкі, файлы навыкаў, файлы правілаў і guardrails, канфігурацыйны ўзровень, які кіруе паводзінамі штучнага інтэлекту
• Канчатковыя кропкі вываду і паўнамоцтвы, якія да іх даходзяць
• Памочнікі па кадаванні са штучным інтэлектам якія выкарыстоўваюцца ў вашых камандах, і код, які яны генеруюць
• Залежнасці ад штучнага інтэлекту: фрэймворкі і пакеты, якія выкарыстоўвае ваш стэк штучнага інтэлекту

Звярніце ўвагу, як мала з гэтага складае код прыкладання. Гэта загадзяcisчаму ж SAST Інструмент, агент EDR і інструмент кіравання воблакам могуць паведамляць пра зялёную лінію, пакуль агент на ноўтбуку выцягвае даныя праз уласныя падключаныя інструменты электроннай пошты. Код прыкладання таксама не распаўсюджваецца, таму ні адзін з іх не пакрываецца ўжо запушчанымі інструментамі.

Тры атакі, якія існуюць толькі дзякуючы штучнаму інтэлекту #

Веданне таго, на якую сям'ю вы глядзіце, паказвае, дзе належыць кантроль, і менавіта тут значэнне кібербяспекі штучнага інтэлекту перастае быць абстрактным.

Першае сямейства арыентавана на інструкцыі мадэлі. Хуткая ін'екцыя займае першае месца ў Топ-10 OWASP для падачы заявак на атрыманне магістра права (LLM) паколькі спіс існаваў па простай прычыне: любая кропка, дзе мадэль чытае тэкст, які яна не стварыла, з'яўляецца кропкай уваходу. Небяспечная версія — ускосная. Ніхто не ўводзіць атаку, мадэль атрымлівае яе з запыту падтрымкі, вэб-старонкі, pull request каментарый або дакумент, які хтосьці загрузіў. Мадэль не можа адрозніць інструкцыі ад зместу, таму яна выконвае абодва. Дайце гэтай мадэлі інструменты, і той жа метад стане ўвядзеннем інструмента: зменіце тое, што, на думку агента, робіць інструмент, і ён будзе дзейнічаць супраць вас, выкарыстоўваючы вашы ўласныя ўліковыя дадзеныя. Празмерная свабода дзеянняў — гэта множнік. Агент, які мае больш шырокія дазволы, чым патрабуецца для яго задачы, — гэта розніца паміж непрыемнасцю і інцыдэнтам.

Другое сямейства арыентавана на канфігурацыйны ўзровень. Падказкі, файлы правілаў, файлы навыкаў і азначэнні сервера MCP вызначаюць, што робіць штучны інтэлект у вашым асяроддзі, і ні адзін з іх не з'яўляецца кодам прыкладання. Бэкдор для файлаў правілаў паказаў, наколькі далёка гэта заходзіць: сімвалы Unicode нулявой шырыні ўтрымліваюць інструкцыі, якія чалавек-рэцэнзент фізічна не можа бачыць, памочнік выконвае іх і ніколі не згадвае іх у сваім адказе. Тэхніка каталагізавана ў АТЛАС МІТР як AML.CS0041. Той жа ўзровень звычайна захоўвае ўліковыя дадзеныя пастаўшчыка ў выглядзе звычайнага тэксту і дае памочнікам доступ на чытанне значна большай часткі файлавай сістэмы, чым хто-небудзь планаваў. У агентычнае кадаванне, Гэты пласт — руль, і яго амаль ніхто не разглядае.

Трэцяе сямейства арыентавана на ланцужок паставак штучнага інтэлекту. Мадэлі, наборы дадзеных і пакеты вакол іх паступаюць звонку. Найбольш відавочны выпадак — гэта «слопсквотынг»: моўныя мадэлі прыдумляюць назвы пакетаў, зламыснікі іх рэгіструюць, а агент усталёўвае код зламысніка па запыце. Даследаванне, прадстаўленае на канферэнцыі USENIX Security 2025, паказала, што 19.7% пакетаў, рэкамендаваных LLM, не існуюць, і што выдуманыя назвы паўтараюцца дастаткова часта, каб іх можна было «фарміць». Побач з гэтым знаходзяцца атручаныя дадзеныя навучання і пошуку, убудаванні, якія раскрываюць свой зыходны матэрыял, ненадзейныя серверы MCP, падключаныя непасрэдна да агента, і ўразлівыя платформы штучнага інтэлекту, якія падцягваюцца ў якасці залежнасцей.

Пад усімі трыма знаходзіцца ценявы штучны інтэлект: мадэлі, агенты, памочнікі і Серверы MCP ужо працуе без зацвярджэння, праверкі або інвентарызацыі. Гэта стан па змаўчанні ў большасці арганізацый, і менавіта таму першым элементам кіравання заўсёды з'яўляецца спіс.

Што не з'яўляецца? #

Гэта не кіраванне штучным інтэлектам. Кіраванне адказвае на пытанне, ці варта выкарыстоўваць мадэль і ў адпаведнасці з якой палітыкай. Кібербяспека штучнага інтэлекту адказвае на пытанне, ці можна атакаваць мадэль, агента і сувязь паміж імі.

Гэта не фільтр перад чат-ботам. Фільтраванне запытаў падчас выканання — гэта толькі адзін з многіх элементаў кіравання. Ён не бачыць нічога пра сервер MCP на ноўтбуку распрацоўшчыка, файл атручаных правілаў у рэпазітарыі або ўліковыя дадзеныя ў канфігурацыі штучнага інтэлекту.

Гэта не пакрываецца тым, што вы ўжо выкарыстоўваеце. Традыцыйная бяспека праграм спыняецца на рэпазітарыі і не ведае, што такое мадэль. Інструменты для канцавых кропак сочаць за аперацыйнай сістэмай і не разумеюць пакеты, MCP-серверы або памочнікаў. Атакі штучнага інтэлекту адбываюцца ў прамежку паміж імі.

Гаворка ідзе не толькі пра генератыўны штучны інтэлект. Класічнае машыннае навучанне ў галіне махлярства, цэнаўтварэння і ацэнкі рызык таксама з'яўляецца мішэнню праз атручванне, ухіленне ад кантролю і здабыванне мадэляў.

Структуры, якія вызначаюць поле #

Топ-10 OWASP для падачы заявак на атрыманне магістра права (LLM): рабочая таксанамія рызык прыкладанняў LLM і тая, да якой большасць каманд бяспекі суадносяць вынікі

Топ-10 OWASP для агентаў-прыкладанняў 2026 года: суправаджальны спіс для аўтаномных сістэм з выкарыстаннем інструментаў, апублікаваны ў снежні 2025 г.

Праект бяспекі OWASP GenAIагульныя намаганні, у тым ліку бяспека дадзеных, кіраўніцтва па серверах MCP і рэсурсы па стварэнні чырвоных каманд

NIST AI Risk Management Framework і яго генератыўны профіль штучнага інтэлекту: рэгулятары і саветы па кіраванні прызнаюць слоўнік

АТЛАС МІТРбаза ведаў па тэхніцы спаборніцтва для сістэм штучнага інтэлекту з рэальнымі прыкладамі з практыкі

Закон аб AI ЕСправавая база, у тым ліку абавязкі па тэхнічнай дакументацыі, якія дапамагае вам выканаць інвентарызацыя штучнага інтэлекту

З чаго пачаць #

Інвентар Знайдзіце кожную мадэль, набор дадзеных, агента, сервер MCP і памочніка штучнага інтэлекту, якія выкарыстоўваюцца, з кода, залежнасцей і канфігурацыі, а не з апытання.

Адлюструйце сувязі на карце. Рызыка існуе ў самой сістэме: які агент дасягае якога інструмента, які набор дадзеных якую мадэль падсілкоўвае.

Прачытайце канфігурацыйны ўзровень. Разглядайце падказкі, файлы навыкаў, файлы правілаў і азначэнні MCP як артэфакты бяспекі і правярайце іх як код.

Дазволы на абмежаванне. Дайце кожнаму агенту найменшую паверхню інструментаў і найменшую аўтаномію, якую дазваляе яму выконваць сваю працу.

Выконвайце там, дзе яно працуе. Большая частка рызык, звязаных са штучным інтэлектам, знаходзіцца на машынах распрацоўшчыкаў, таму палітыка павінна ўжывацца на канчатковым пункце, да таго, як будзе выкананы несанкцыянаваны сервер або шкоднасны пакет.

Абарона штучнага інтэлекту, які вы выкарыстоўваеце, і штучнага інтэлекту, з дапамогай якога вы ствараеце #

Практычны адказ на пытанне, што такое кібербяспека з выкарыстаннем штучнага інтэлекту, заключаецца ў тым, што яна пачынаецца з бачнасці і заканчваецца забеспячэннем правоў. Xygeni выяўляе кожны актыў штучнага інтэлекту ў вашым SDLC, уключаючы мадэлі, агентаў, серверы MCP, наборы дадзеных, файлы навыкаў і падказкі, якія ніхто не дэклараваў, адлюстроўвае, як яны злучаюцца, і выяўляе рызыкі, характэрныя для іх: укараненне падказак і інструментаў, шкоднасныя інструкцыі ў правілах і файлах навыкаў, небяспечную канфігурацыю MCP, сакрэты ў файлах штучнага інтэлекту і нядбайныя залежнасці штучнага інтэлекту. Вынікі суадносяцца з топ-10 OWASP для прыкладанняў LLM і паказваюць на дакладны файл і радок. AI-BOM дае вашым аўдытарам нешта абараняльнае, а палітыка выконваецца на канчатковым пункце распрацоўшчыка, дзе фактычна ўзнікае большасць рызык, звязаных са штучным інтэлектам.

Такія ж інтэлектуальныя дадзеныя распаўсюджваюцца і на вынікі сканераў, якія ў вас ужо ёсць, таму бяспека на базе штучнага інтэлекту пашырае ваш стэк, а не замяняе яго. Глядзіце, да чаго падключаны вашы агенты на Ксігені.

Часта задаваныя пытанні #