Ценявая бяспека штучнага інтэлекту

Бяспека ценявога штучнага інтэлекту: усё, што вам трэба ведаць

Ценявы штучны інтэлект — гэта ўжо не проста супрацоўнікі, якія карыстаюцца несанкцыянаваным чат-ботам. Сёння ценявы штучны інтэлект часта ўключае несанкцыянаваныя агенты штучнага інтэлекту працуе з рэальнымі дазволамі: доступ да рэпазітара, CI/CD токены, API чытання/запісу файлаў і абмену паведамленнямі. Іншымі словамі, ценявы штучны інтэлект можа паводзіць сябе як ценявая аўтаматызацыя, і таму гэта павялічвае рызыку бяспекі хутчэй, чым чакае большасць каманд.

Вось у чым прабел у бяспецы: ценявы штучны інтэлект пашырае паверхню вашай атакі, не змяняючы вашы элементы кіравання. Напрыклад, адзін агент можа атрымліваць ненадзейны кантэнт, выконваць схаваныя інструкцыі, а затым выклікаць інструменты, якія маюць дачыненне да вытворчых сістэм. Такім чынам, рызыка заключаецца не толькі ў уцечцы дадзеных; гэта таксама несанкцыянаваныя дзеянні выконваецца з хуткасцю машыны.

Калі вам патрэбна практычнае вызначэнне, вы можаце працытаваць яго ўнутры: Ценявы штучны інтэлект — гэта любая магчымасць штучнага інтэлекту, якая выкарыстоўваецца без кіравання і можа атрымліваць доступ да канфідэнцыйных дадзеных або запускаць рэальныя дзеянні. Адпаведна, правільным адказам не з'яўляецца «забараніць штучны інтэлект». Замест гэтага вам патрэбныя бачнасць, мінімальныя прывілеі, кіраванне навыкамі і аўдыт выклікаў інструментаў, каб кантраляваць ценявы штучны інтэлект, не запавольваючы яго распрацоўку.

Што такое ценявы штучны інтэлект?

Ценявы штучны інтэлект (ШІ) — гэта выкарыстанне інструментаў ШІ, мадэляў або працоўных працэсаў агентаў. без афіцыйнага адабрэння, маніторынгу або кіравання з боку ІТ-аддзела або службы бяспекі. Гэта ўключае несанкцыянаваныя чат-боты, пашырэнні для браўзера, дадатковыя праграмы IDE і лакальныя або размешчаныя агенты, падлучаныя да enterprise інструменты. Найбольш важна тое, што ценявы штучны інтэлект стварае сляпыя зоны ў апрацоўцы дадзеных, кантролі доступу і магчымасці аўдыту. Такім чынам, ён можа ператварыць звычайную дзейнасць распрацоўшчыка ў рызыку для бяспекі і адпаведнасці патрабаванням.

Ценявы штучны інтэлект супраць ценявога IT супраць агента Ценявы штучны інтэлект

Ценявы штучны інтэлект перасякаецца з ценявымі ІТ, але паводзіць сябе па-рознаму. Перш за ўсё, сістэмы штучнага інтэлекту могуць вучыцца на ўваходных дадзеных і шкала дэcisіёны, у той час як агенты таксама могуць выконваць дзеянні з дапамогай інструментаў і токенаў. У выніку камандам патрэбна больш выразная мадэль таго, што яны абараняюць.

вымярэнне Цень ІТ Цень ІІ Агент Ценявы ШІ
Што гэта такое Несанкцыянаванае праграмнае забеспячэнне або паслугі Несанкцыянаваныя інструменты штучнага інтэлекту, якія выкарыстоўваюцца для працы Несанкцыянаваныя агенты штучнага інтэлекту, якія могуць выклікаць інструменты і выконваць дзеянні
Тыповы прыклад Несанкцыянаваны SaaS, плагіны, скрыпты Персанальны чат-бот або рэдактар ​​са штучным інтэлектам, які выкарыстоўваецца для працы з дадзенымі кампаніі Агент, падлучаны да рэпазіторыяў, CI/CD, электронная пошта, квіткі, воблачныя API
Галоўны рызыка Уцечка дадзеных, прабелы ў адпаведнасці з патрабаваннямі, некіраваны доступ Уцечка дадзеных, абыход палітык, выкарыстанне мадэлі без адсочвання Несанкцыянаваныя дзеянні, злоўжыванне прывілеямі, крадзеж дадзеных з дапамогай спецыяльных інструментаў
Хуткасць рызыкі Modéré амаль Вельмі хутка (аўтаматызацыя + уліковыя дадзеныя)
Шляхі атакі Злоўжыванне ўліковымі дадзенымі, небяспечныя канфігурацыі, злоўжыванне OAuth Увядзенне запытаў, канфідэнцыйнае рэгістраванне запытаў, праблемы з захаваннем дадзеных Укараненне інструментаў, ланцужок паставак навыкаў, захоп з браўзера ў лакальны рэжым, пераключэнне токенаў
Праблема бачнасці Ценявыя праграмы і невядомыя пастаўшчыкі Невядомае выкарыстанне штучнага інтэлекту + незразумелыя патокі дадзеных Невядомае выкарыстанне штучнага інтэлекту + схаваныя выклікі інструментаў + незразумелая атрыбуцыя
Лепшы першы кантроль SaaS-адкрыццё + кіраванне доступам Зацверджаны каталог штучнага інтэлекту + правілы рэдагавання + рэгістрацыя Інвентарызацыя агентаў + мінімальныя прывілеі + рэгістрацыя выклікаў інструментаў
Як выглядае «добра» Зацверджаны каталог, SSO, рэгістрацыя, праверка пастаўшчыка Зацверджаны каталог штучнага інтэлекту, кантроль захоўвання дадзеных, бяспечная апрацоўка дадзеных Зацверджанае асяроддзе выканання агента, навыкі ў белым спісе, токены з абмежаванай вобласцю дзеяння, правераныя дзеянні

Чаму рызыкі агента OpenClaw важныя для DevSecOps

Рызыкі агентаў OpenClaw маюць значэнне, бо агенты змяняюць мадэль бяспекі з «уваходныя дадзеныя, вывадныя тэксты» на дадзеныя ўваходзяць, дзеянні выходзяць, ў ценявы штучны інтэлект сцэнар, які азначае, што адзін распрацоўшчык можа запускаць некіраваны агент, які падключаецца да рэпазіторыяў, CI/CD, хмарныя API і інструменты абмену паведамленнямі. У выніку ценявы штучны інтэлект ператвараецца ў ценявая аўтаматызацыя з уліковымі дадзенымі.

Гэты зрух парушае распаўсюджаныя здагадкі. Напрыклад, каманды часта разглядаюць «лакальных агентаў» як нізкарызыкоўных, таму што яны працуюць на ноўтбуку або прывязваюцца да лакальнага хоста. Аднак нядаўнія інцыдэнты з OpenClaw паказваюць, што браўзер можа стаць мостам, токены могуць быць выкрытыя, а шлюзы інструментаў могуць быць перахоплены, нават у "толькі лакальных" наладах.

Карацей кажучы, як толькі агент можа выклікаць інструменты, ваша мадэль пагроз павінна ўключаць крадзеж токенаў, злоўжыванне выклікам інструментаў, кампраметацыя ланцужка паставак навыкаў і ўскоснае ўвядзеннеІнакш вы прапусціце найбольш рызыкоўную частку ценявога штучнага інтэлекту.

Найбольш сур'ёзныя інцыдэнты OpenClaw (пацверджаныя)

 1) CVE-2026-25253 — захоп у адзін клік / шлях RCE праз шкоднасную спасылку

ўздзеянне: Максімальны (высокая верагоднасць + высокі ўплыў)

Што гэта дазволіла (высокі ўзровень):

  • OpenClaw мог атрымаць gatewayUrl з радка запыту і аўтаматычна адкрываць злучэнне WebSocket без запыту, адпраўка значэння токена у гэтым працэсе.
  • Гэта экспазіцыя токенаў можа дазволіць захоп шлюза і злоўжыванне ў залежнасці ад дазволаў і канфігурацыі.

Чаму гэта так сур'ёзна:
Гэта ператварае «націск на спасылку» ў «кампраметацыю ланцужка інструментаў агента», і менавіта такім становіцца ценявы штучны інтэлект. ценявая аўтаматызацыя з уліковымі дадзенымі.

2) ClawJacked — вэб-сайт, які праходзіць міма → лакальны перабор WebSocket → поўны захоп агента

ўздзеянне: Вельмі высокі (ціхі + маштабуемы шаблон)

Што гэта дазволіла (высокі ўзровень):

Шкодны вэб-сайт можа адкрыць падключэнне WebSocket да лакальны і арыентавацца на лакальны сэрвіс OpenClaw.

З-за слабой аўтэнтыфікацыі на аснове пароля зламыснікі могуць падабраць пароль і атрымаць надзейны доступ, што дазволіць поўны кантроль экзэмпляра агента.

Чаму гэта так сур'ёзна:
Гэта парушае здагадку пра «лакальны хост бяспечны». На практыцы, браўзер становіцца мостам, таму «толькі лакальна» не з'яўляецца сапраўднай мяжой. 

3) Злоўжыванне экасістэмай навыкаў: ToxicSkills + шкоднасныя навыкі ClawHub (ланцужок паставак навыкаў агента)

ўздзеянне: Ад высокага да максімальнага (маштаб + устойлівасць)

Што гэта дазволіла (высокі ўзровень):

Зламысны або ўразлівы навыкі могуць паводзіць сябе як залежнасці: усталёўвацца з рынку, абнаўляцца незалежна і часта працаваць з дазволы на ўзроўні агента.

Незалежны аналіз даследаванняў 3,984 знойдзеныя навыкі агента 13.4% (534) меў хаця б адну крытычную праблему, у тым ліку распаўсюджванне шкоднасных праграм, імгненнае ўкараненне і раскрыццё сакрэтаў.

Рэальныя прыклады паказаць зламыснікам, якія выкарыстоўваюць крыптаграфічныя «навыкі» для распаўсюджвання шкоднасных праграм або крадзяжу канфідэнцыйных дадзеных з дапамогай сацыяльнай інжынерыі і заблытаных каманд.

Чаму гэта так сур'ёзна:
Гэта рызыка ланцужка паставак, але для агентаў: «навык» можа ўспадкаваць здольнасць агента чытаць файлы, атрымліваць доступ да сакрэтаў або выконваць дзеянні з інструментамі.

інцыдэнт Тып атакі Узаемадзеянне карыстальніка Першасны вынік крыніцы
CVE-2026-25253 Шкоднасная спасылка → радок запыту gatewayUrl → экспазіцыя токена → захоп шлюза / шлях RCE 1 клік (UI:R) Кампраметацыя шлюза; магчымае выкананне ў залежнасці ад дазволаў НВД (NIST)
INCIBE-CERT
Hacker News
Кіпцюрны Сайт, які праходзіць міма → лакальны вэб-сокет → грубая сіла → захоп агента Наведайце сайт Поўны кантроль над лакальным агентам; доступ да журналаў/канфігурацыі/дадзеных Аазіс Бяспека
TechRadar
Hacker News
ToxicSkills / шкоднасныя навыкі ClawHub Рынак навыкаў як ланцужок паставак (шкоднаснае праграмнае забеспячэнне, ін'екцыя, раскрыццё сакрэтаў) Зменная (навык усталёўкі/выкарыстання) Кампраметацыя на ўзроўні агента праз успадкаваныя дазволы і шкоднасныя навыкі абсталяванне Тома
Hacker News

Прыклад выкарыстання: зніжэнне рызыкі ценявога штучнага інтэлекту ў стылі OpenClaw з дапамогай працоўнага працэсу DevSecOps

OpenClaw — карысны прыклад даследавання, бо ён паказвае, як ценявы штучны інтэлект становіцца рэальнай аперацыйнай рызыкай: агент працуе «лакальна», падключаецца да рэпазіторыяў і pipelineі раптам наведванне браўзера, токен або навык трэцяга боку могуць ператварыцца ў захоп. Мэта не ў тым, каб забараніць агентам. Замест гэтага, яна ў тым, каб пераканацца, што праца, кіраваная агентамі, праходзіць праз тыя ж элементы кіравання, якім вы ўжо давяраеце для кода і ланцужка паставак.

Крок 1: Разглядайце «навыкі» агента як залежнасці, а не як бяскрыўдныя дапаўненні

Большасць інцыдэнтаў ценявога штучнага інтэлекту пачынаюцца не са складанага эксплойту. Яны пачынаюцца з укаранення: распрацоўшчык усталёўвае агента, дадае пару навыкаў і дае яму доступ, «каб ён працаваў». З гэтага моманту экасістэма агента паводзіць сябе як экасістэма пакетаў: навыкі абнаўляюцца, з'яўляюцца дапаможныя скрыпты, і ненадзейны код можа ціха ўваходзіць.

Такім чынам, першы крок — гэта змена мыслення: усё, што агент можа ўсталяваць або выканаць, з'яўляецца часткай вашага ланцужка паставак, ў Працоўны працэс Xygeni, гэта азначае, што вы не чакаеце справаздачы аб узломе. Вы засяроджваецеся на ранніх сігналах аб тым, што кампанент рызыкоўны або відавочна шкоднасны, таму ўкараненне спыняецца да таго, як яно распаўсюдзіцца па рэпазіторах і машынах распрацоўшчыкаў.

Што змяняецца на практыцы

  • Каманды спыняюць капіяванне «канфігурацый працоўных агентаў» без праверкі
  • Новыя навыкі і пакеты памочнікаў разглядаюцца як набор залежных, а не як асабісты інструментарый

Крок 2: Зрабіце змены кантрольнай кропкай — гэта PR, нават калі змены былі напісаны агентам.

Агенты паскараюць змены. У гэтым і сэнс. Аднак гісторыя OpenClaw паказвае, як хутка «невялікія змены» ператвараюцца ў падзеі бяспекі, калі ў іх уключаны токены і шлюзы інструментаў. Таму спадзявацца толькі на «асцярожнасць распрацоўшчыкаў» недастаткова.

Замест гэтага, вывад агента накіроўваць праз pull requests і прымусова сканаваць падчас PR. Такім чынам, нават калі агент прапануе паляпшэнне залежнасцей, карэкціроўку сцэнарыя зборкі або рэдагаванне працоўнага працэсу CI, PR становіцца вузкім месцам, дзе ўжываецца палітыка. Xygeni натуральна ўпісваецца сюды, таму што ён пабудаваны для CI/CD і PR-працэсы, таму рызыкоўныя змены фіксуюцца да іх аб'яднання.

Тыповыя змены, выкліканыя агентамі, якія вы хочаце кантраляваць

  • Абнаўленні залежнасцей і пераключэнне файлаў блакіроўкі
  • Стварэнне скрыптоў і ўстаноўка hooks
  • Рэдагаванне працоўнага працэсу CI (дазволы, выкарыстанне сакрэтаў, сеткавыя выклікі)
  • Новыя этапы аўтаматызацыі, якія выконваюцца з павышанымі правамі

Крок 3: Прыярытэзуйце тым, што будуць выкарыстоўваць зламыснікі, а не толькі тым, што знаходзяць сканеры

Ценявы штучны інтэлект павялічвае аб'ём. Большая аўтаматызацыя азначае большы дрэйф залежнасцей, большую змену канфігурацый і больш «невялікіх змен» у тыдзень. У выніку каманды могуць патануць у выніках, калі прыярытэтызацыя не адпавядае рэальнай прыдатнасці для эксплуатацыі.

Вось тут і мае значэнне кантэкст эксплойту. Калі адна праблема, верагодна, будзе выкарыстана, а другая — не, ваш працоўны працэс павінен адлюстроўваць гэтую розніцу. Xygeni падыход да прыярытэтызацыі распрацаваны з улікам гэтай рэальнасці: знізіць шум, засяродзіўшы ўвагу на тым, што найбольш верагодна мае значэнне на практыцы. 

Простае правіла, якое маштабуецца

  • Блакіраваць або паскорыць выпраўленне праблем з найбольшай рэальнай рызыкай
  • Адкласці нізкі ўзровень шуму сігналу, каб інжынеры маглі бяспечна дастаўляць

Крок 4: Перастаньце меркаваць, што «localhost бяспечны»

ClawJacked працуе як урок, бо ён аспрэчвае меркаванне, якога дагэтуль прытрымліваюцца многія каманды: «калі гэта лакальна, то ўсё ў парадку». Насамрэч, лакальныя шлюзы і лакальныя карыстальніцкія інтэрфейсы ўсё яшчэ патрабуюць мыслення на ўзроўні вытворчых тэхналогій. Браўзер — гэта частка паверхні пагрозы, і «толькі лакальна» — гэта не мяжа, на якую можна спадзявацца.

Такім чынам, вы ўмацоўваеце лакальныя службы, як і любы адчувальны інтэрфейс:

  • Надзейная аўтэнтыфікацыя (не проста пароль, выбраны чалавекам)
  • Абмежаванні хуткасці і блакіроўкі
  • Няма аўтаматычнага падключэння, якое давярае неправераным уваходным дадзеным
  • Абмежаваць, хто можа падключацца і адкуль

Хоць Xygeni не з'яўляецца лакальным брандмаўэрам, ён дапамагае паменшыць практычны ўплыў шаблонаў «лакальнай абыходнай сістэмы», пераносячы прымусовае забеспячэнне на pipeline і платформа. Калі элементы кіравання працуюць CI/CD і палітыкі бяспекі, ценявы штучны інтэлект мае менш шанцаў абысці іх, «таму што ён быў лакальным». 

Крок 5: Звярніце ўвагу на незвычайную паводзіны, якая выглядае як злоўжыванне ў ланцужку паставак

Інцыдэнты ў стылі OpenClaw часта маюць агульны рэжым збою: нешта змяняецца ціха, а потым працоўныя працэсы пачынаюць паводзіць сябе інакш. Вось чаму сігналы, арыентаваныя на анамаліі, маюць значэнне. Калі асяроддзе раптам пачынае ствараць незвычайныя залежнасці, хутка публікаваць версіі або паказваць заканамернасці, якія адпавядаюць злоўжыванням ланцужком паставак, вам трэба папярэдзіць пра гэта загадзя.

Выяўленне анамалій Xygeni і сістэма ранняга папярэджання адпавядае гэтай мэце: выяўляць падазроныя заканамернасці загадзя, перш чым яны стануць паўтаральнымі інцыдэнтамі ў розных камандах.

Сігналы, на якія варта звярнуць увагу

  • Раптоўныя ўсплёскі змяненняў залежнасцей паміж рэпазітарамі
  • Новыя пакеты/навыкі з нізкай рэпутацыяй або дзіўнымі шаблонамі абнаўлення
  • Нечаканыя крокі неперарыўнай інтэграцыі, якія загружаюць асяроддзе выканання або выконваюць скрыпты
  • Незвычайныя сеткавыя выклікі з кантэкстаў зборкі
Ценявая бяспека штучнага інтэлекту

Вынас

Гэты працоўны працэс наўмысна не з'яўляецца «спецыфічным для агента». Гэта шаблон DevSecOps, які працуе для ценявога штучнага інтэлекту ў маштабе: апрацоўка такіх навыкаў, як залежнасці, змены варот падчас PR/CI, прыярытэтызацыя таго, што можна выкарыстоўваць, перастаньце давяраць localhost па змаўчанні і выяўляйце анамальныя паводзіны ланцужка паставак на ранняй стадыі. Вось як вы памяншаеце ценявы штучны інтэлект рызыка без запаволення дастаўкі.

Ценявая бяспека штучнага інтэлекту: што гэта азначае для каманд DevSecOps

Ценявы штучны інтэлект больш не з'яўляецца другараднай праблемай. У 2026 годзе ён усё больш азначае агенты з рэальнымі дазволамі, што ператварае простыя памылкі ў інцыдэнты, выкліканыя інструментамі. OpenClaw — гэта найбольш выразнае напамін: рызыка — гэта не толькі тое, што «кажа» мадэль, але і тое, што можа зрабіць агент. do з токенамі, шлюзамі і навыкамі.

Адпаведна, найбольш эфектыўным адказам з'яўляецца практычны, а не тэарэтычны. Разглядайце навыкі агента як залежнасці, накіроўвайце вывад агента праз PR і CI/CD guardrailsі перастаньце меркаваць, што «localhost бяспечны». Адначасова расстаўце прыярытэты таго, што сапраўды прыдатна для ўзлому, каб каманды маглі працягваць распрацоўку, не патанаючы ў шуме.

У рэшце рэшт, вам не трэба забараняць агентам кантраляваць бяспека ценявога штучнага інтэлектуВам трэба пераканацца, што рабочыя працэсы, кіраваныя агентамі, не могуць абысці тыя ж ланцужкі паставак і меры кантролю дастаўкі, якія ўжо абараняюць жыццёвы цыкл вашага праграмнага забеспячэння.

інструменты-для-аналізу-складання-праграмнага ...
Прыярытэзуйце, ліквідуйце і абараняйце свае праграмныя рызыкі
Атрымайце свой бясплатны рахунак.
Не патрабуецца крэдытная карта.

Забяспечце распрацоўку і пастаўку праграмнага забеспячэння

з пакетам прадуктаў Xygeni