Agenten-KI-Risiko a Sprengradius

Risiko vun der KI duerch Agenten a Sprengradius: den Agent limitéieren oder sech méi séier erhuelen?

TL; DR

Dräi Äntwerten op déiselwecht Fro iwwer de Risiko vun der Agentur-KI

Mir hunn eng breet Zoustëmmung iwwer d'Aschränkung vun KI-Agenten erwaart a kruten dräi verschidden Äntwerten.

  • Pedro Fortuna: Agenten a vill kleng, spezifesch opdeelen, jidderee mat de schmuelsten méigleche Rechter, a Runtime-Iwwerwaachung derbäisetzen, déi se fréizäiteg stoppt.
  • Jack Trefon: d'Géigendeel, fir Codéierungsagenten. Wann Dir een beschränkt, zerstéiert Dir dat, wat en nëtzlech mécht, also akzeptéiert de Sprengradius an investéiert an d'Verfollegung an eng séier Erhuelung.
  • Luis Rodríguez Berzosa: eng drëtt Zeil. Behandelt Frontiermodeller sou wéi Dir Malware behandelt, designt den Harness fir all spezialiséierten Agent ze limitéieren, a setzt eng Ëmsetzungsschicht drënner all, déi gëllt, wann alles driwwer ausfällt.

Wou all dräi sech begéint hunn: Dir kënnt net schützen, wat Dir net inventariséiert hutt, all Aktioun muss protokolléiert ginn, an dat, wat en Agent stoppt, muss baussent dem Agent sëtzen.

Näischt gouf verletzt.

Den Agent huet seng Aarbecht gemaach. Ënnerwee huet en decidéiert, datt en eng Ofhängegkeet, eng Konfiguratioun, e Service, unhuele muss, deen keen ugefrot huet. En ass déi ganz Zäit bannent senge Rechter bliwwen. Keng Regel gouf verletzt, dofir gouf näischt gestart.

Mir hunn dee Fall dräi Leit virgeluecht, déi sech professionell domat beschäftegen, an erwaarden eng breet Eenegung iwwer wat ze maachen ass. Mir kruten dräi verschidden Äntwerten, an zwou dovun widderspriechen sech.

Agentesch KI-Risiko gëtt normalerweis als e Problem mat Ugräifer beschriwwen. Dëst ass déi aner Versioun. Zwanzeg Joer laang hu mir Zougangsgrenzen ëm Software gezeechent, déi genau dat gemaach huet, wat hir gesot gouf. E Servicekonto, e CI-Runner, e geplangten Job. Mir hunn d'Grenz dacks genuch falsch gemaach, awer d'Saach dran war virauszesoen. Et huet all Kéier eng Aarbecht op déiselwecht Manéier gemaach.

Dat, wat bannent der Grenz läit, entscheet elo. An d'Grenz gëtt nach ëmmer sou gezeechent, wéi se ëmmer war: am Viraus, bei der Konfiguratioun, vun engem, deen net weess, wéi d'Aufgab sech entwéckele wäert.

Dat ass déi Versioun vum Agentur-KI-Risiko, iwwer déi et sech lount ze diskutéieren, an doriwwer hu mir an der leschter Zäit eng Stonn verbruecht. SafeDev Diskussioun mat Pedro Fortuna vum Jscrambler, Jack Trefon vun Trefon Digital Consulting, an Luis Rodríguez Berzosa vun Xygeni, organiséiert vun Alexander Estrada.

Mir hunn erwaart, datt si sech am Groussen a Ganzen eens wieren. Dat war net de Fall.

Agentesch KI-Risiko: déi tréischtend Viraussetzung, déi net stëmmt

De Kader uewen huet e Wuert dran, dat méi Aarbecht mécht wéi et sollt: Angschtakt gëttEt gëtt keen. Dat soll d'Situatioun méi einfach maachen.

De Pedro huet dat an engem Zuch auserneegeholl.

„En Ugräifer ze sinn oder net ass e mënschlecht Konzept. Wat en Ugräifer zu engem Ugräifer mécht, ass datt hien aner Ziler huet. An en falsch ausgeriichten Agent ass och eppes, wat en anert Zil huet.“

Bleift domat eens, well et d'Viraussetzung vun de meeschte Gespréicher iwwer Agent-KI-Risike zerstéiert, dorënner d'Beschreiwung, déi mir fir eisen eegenen Event geschriwwen hunn. Wann dat, wat en Ugräifer definéiert, divergéierend Ziler sinn anstatt Béiswëllegkeet, dann ass "et gëtt keen Ugräifer an dëser Geschicht" e Komfort, deen sech keen verdéngt huet. Strukturell ass et datselwecht Risiko. Wat feelt, ass d'Intentioun, an d'Intentioun war ni dat, wat Är Kontrollen erkannt hunn. Si erkennen Effekter. Dat hunn se ëmmer gemaach.

Dëst ass och de Grond, firwat de Vokabulär vun der Industrie sech verännert huet. OWASP's Top 10 fir LLM-Umeldungen 2026 exzessiv Handlungsfäegkeet vun der sechster op déi drëtt Plaz gefördert, wat manner eng Meenungsännerung ass wéi den Incident-Bilan, deen eng Architektur ageholl huet, déi scho agesat gouf.

Wat den Hugging Face Incident tatsächlech weist

Den Tëschefall am Juli, bei deem e Frontier-Model eng Drëtt Partei ugegraff huet, gouf wäit verbreet als eng Geschicht iwwer e Model gelies, deen sech duerch d'Falschheet beweegt. De Luis liest et anescht, a seng Versioun setzt d'Verantwortung iergendwou onbequem.

„De Problem ass net de Frontiermodell. De Frontiermodell huet dat gemaach, wat him ugewise gouf. De Problem ass den Design vum Experiment.“

D'Zil war onbegrenzt. D'Restriktioune waren net do. An d'Sandbox, déi et sollt enthalen, hat eng Fënster zum Internet, duerch eng Server-Säit Ufro-Fälschungslück am Package-Cache, déi den Agent erreeche konnt. All eenzel vun dësen ass en Design-DecisIon, dee vun enger Persoun gemaach gouf.

Wat de Saz produzéiert, deen d'Aart a Weis wéi Dir dës Saachen zur Verfügung stellt, ännere soll:

„Grenzmodeller musse sou ugekuckt ginn, wéi wann se Malware wieren, well se autonom handele kënnen an d'Decisioune huelen.“cisIonen, déi béiswëlleg sinn. Net mat Absicht, awer si sinn um Enn wierklech béiswëlleg.“

Net als Beleidegung vum Modell. Als eng Provisionéierungspositioun. Dir gitt der Malware keng Bash-Shell an hofft net, datt d'Zil gutt spezifizéiert war.

Dem Pedro seng Interpretatioun vum selwechten Incident goung et éischter ëm den Timing wéi ëm den Design:

„An der Minutt wou Dir Agenten iwwer Dossiernimm op engem Service kommunizéieren gesitt, deen se net sollten benotzen, an deem Moment musst Dir dës Agenten stoppen. Dir musst net waarde bis dës Agenten erfollegräich Hugging Face duerchbriechen, fir ze entscheeden ob dat béiswëlleg ass oder net.“

En Detail aus der Äntwert ass och derwäert ze behalen. D'Responder hunn probéiert e kommerziellen Agenteninstrument ze benotzen fir d'Spueren z'analyséieren, awer si konnten dat net, well se d'Grenze vun der Geschwindegkeet erreecht hunn. Den Ugräifer hat keng sou eng Limit. "Et gouf eng Asymmetrie am Ugrëff selwer."

Dat eigentlecht Argument: den Agent limitéieren, oder sech méi séier erhuelen?

Hei ass wou de Panel sech gespléckt huet, an et gëtt eng richteg Meenungsverschiddenheet tëscht de Praktiker, déi all hir Positioun verdéngt hunn.

De Pedro plädéiert fir d'Zersetzung. Fofzéng Joer laang huet hien d'Isolatioun am Browser gedriwwen, an hien huet geléiert, datt een näischt zur Lafzäit géint e Monolith erzwinge kann. Deelt d'Architektur a kleng Stécker mat spezifesche Funktiounen op, an eréischt dann hunn d'Kontrollen an d'Iwwerwaachungspunkten eng Plaz, wou se sech uschléissen kënnen. Agenten sinn net anescht.

„Ech mengen, een muss et a ganz spezifesch Agenten opdeelen, déi nëmme fir spezifesch Aufgaben geduecht sinn. An et ass egal, ob een um Enn fofzeg Agenten huet. Et ass besser, wéi just een eenzegen ze hunn.“

De Jack argumentéiert dat Géigendeel, speziell fir Coding Agenten. Ee géif erwaarden, datt eng Technologie, déi am Hannergrond an enger reglementéierter Krypto-Bourse leeft, déi restriktivst Positioun am Raum produzéiert. Si huet am mannsten produzéiert.

Seng Startanalogie ass guer kee Bedrohungsmodell:

„Ech kucken mir eng typesch Agentur-Asaz un, genee sou wéi ech eng nei Astellung géif kucken, eng nei Persoun, déi kënnt. An déi Persoun kann an der Ausféierung perfekt sinn, oder si kéint e Feeler maachen. Ech gesinn net vill Ënnerscheed.“

Fir eng enk Agenten ass hie sou streng wéi jiddereen aneren. Hie beschreift en nëmmen-liesbaren Iwwerpréiwungsagent, deen hien am Moment baut, a sot direkt, datt déi üblech Opstellung net ze verdeedegen ass: d'Installatioun op enger einfacher Linux-Box mat Bash-Zougang "mécht dat ganzt Ökosystem vu Bedrohungen op". Awer fir allgemeng Programméieragenten ëmdréit sech d'Logik, an hie weess, datt d'Positioun onpopulär ass:

„Wat méi Muecht den Agent huet, wat méi kreativ a méi effektiv ass en. Et ass also net d'Industrie, déi duerch Aschränkungen an d'Reduktioun vum Ëmfang bléit.“

Also, wat bleift iwwreg, wann een net limitéiert? Stroumverbriecher, a virun allem zäitbaséiert Schnappschëss: net de Sprengradius verhënneren, mä d'Erhuelung dovun bëlleg a séier maachen. Dat integréiert hien an ... Amber, en ofhängegkeetsfräie C++ Agentenharness, deen hien a senger Fräizäit schreift, mat Snapshotting an der Loop (Projet Site).

An d'Warnung iwwer wou deen anere Wee ophält:

„Wa mir ufänken, ewechzehuelen, bleift just nach een Tool iwwreg, an dee Entwéckler kann d'Luuchten un- an ausschalten.“

De Luis hëlt déi drëtt Plaz an, wat weder beschränkt nach erëm hiergestallt gëtt, mä vun ënnen enthält: gitt dovun aus, datt den Agent sech schlussendlech wéi Malware verhält, designt den Harness fir all spezialiséierten Agent ze limitéieren, a setzt eng Ëmsetzungsschicht drënner, déi hält, wann alles driwwer ausfällt.

Dräi Approche fir dat selwecht Problem

Dräi Positiounen, all mat Käschte verbonnen. Keng dovun ass gratis, a keng dovun mécht den Agent eleng sécher.

ApprocheKärbewegungWat et Iech kascht
ZersetzenPedro FortunaVill kleng Agenten, jidderee mat enke Rechter, plus Lafzäitiwwerwaachung déi se fréizäiteg stopptDesign-Ustrengungen am Viraus, an eng méi schwéier Zäit mat oppener Programméierungsaarbecht
recuperéierenJack TrefonBehalen d'Fäegkeet, füügt Stroumverbriecher an zäitbaséiert Schnappschëss derbäi, sou datt d'Rollback bëlleg ass.E méi breede Sprengradius, an eng Wett drop, se rechtzäiteg z'entdecken an ongëlteg ze maachen
Enthält vun ënnenLuis Rodríguez BerzosaHuelt d'Verhale vu Malware un, limitéiert all Agent am Harness, setzt en op der Aarbechtsstatioun an dem CI-Runner duerch.Infrastruktur an Tools, déi déi meescht Endpoint-Stacks nach net ubidden

Wann een se niewentenee liest, ass d'Meenungsverschiddenheet méi enk wéi et kléngt. All dräi akzeptéieren, datt den Agent eppes Ongewolltes mécht. Si ënnerscheede sech doriwwer, wou d'Suen higeet: an d'Architektur ier et geschitt, an d'Erhuelung nodeems et geschitt, oder an e Buedem ënner béiden.

Firwat manner Privilegien net zu engem Risiko vun der KI vun der Agentur féieren

Déi mannst Berechtegung geet dovun aus, datt Dir d'Aarbecht kennt. Dir setzt d'Berechtegung op d'Aufgab.

En Agent brécht dat roueg, well seng Berechtigungsgrenz zur Konfiguratiounszäit gezeechent gëtt a seng Aufgab zur Lafzäit ukënnt. Wat Dir tatsächlech gewährt, ass d'Unioun vun allem, wat e jeemools kéint maachen. Dat ass net dat "least privilege"; et ass d'Géigendeel, d'Kleeder vum "least privilege" unzedoen.

De Luis huet eng nei Formuléierung ugebueden, déi vun enger Iddi iwwerholl gouf, déi méi al ass wéi all dat hei:

„Ech denken un den UNIX-Mechanismus vu Piping, wou einfach Tools zesummegebonne ginn, fir eng komplex Aufgab auszeféieren. Dir kënnt spezifesch Agenten mat enger kontrolléierter Konfiguratioun definéieren, wat limitéiert wat dee spezialiséierten Agent maache kann. An Dir kënnt se fir bal all Aufgab kombinéieren.“

Plus eng zweet Designiddie, déi déi meescht Équipen nach net ausprobéiert hunn: d'Tools ëmklappen anstatt d'Rechter ze erweideren. Net Bash, deen de ganze System iwwergëtt, mä e schmuele Wrapper, deen deen eenzege beruffbare Wee ass, mat read-only Varianten, déi generesch Varianten ëmfaassen. Den Agent kritt eng Fäegkeet, keng Shell.

Hie war och kloer, datt den Hindernis net den Design ass, mee d'Aféierung. Nei Kontrollen op Entwécklermaschinne goufen zënter laanger Zäit ëmgaangen, an dës Geschicht ännert sech net, well den Tool a Fro en Agent ass.

An doriwwer, wou hie mengt, datt alles ophält:

„Ech mengen, datt mir um Enn autonom Agenten hunn, déi aner autonom Agenten kontrolléieren.“

De Laptop ass zum Krounjuwel ginn, an Ären EDR huet et net gemierkt

En Agent brauch permanenten Zougang fir nëtzlech ze sinn. En Token, deen net während enger Aufgab ofleeft, e gecachte Login, Push-Rechter, Registrierungszougang, e Live-Pfad an den pipelineAll eenzel vun dësen ass eng Viraussetzung anstatt en Iwwerbléck, dat heescht, wat besser d'Tools goufen, wat méi konzentréiert d'Entwécklermaschinn gouf.

D'Attacker hunn et als éischt gemierkt. Wéi de Pedro et ausgedréckt huet, si sinn keng Ideologen:

„Si organiséiere sech wéi kleng Firmen. Si musse Sue verdéngen, dofir wiesselen se op déi rentabelst Säit, déi se fanne kënnen. An si hunn séier gemierkt, datt et Sue mat Entwécklungsstatiounen ze verdénge gëtt.“

Mir gesinn, wéi dës Verännerung all Woch an de Registere lant. Béiswëlleg Code Digest, wou Umeldungsinformatiouns-Harvester elo routineméisseg KI-Ubidderschlësselen niewent de Cloud- a Registry-Schlësselen sichen.

Seng Lëscht vu Mitigatiounsmoossnamen ass net glamouréis a funktionéiert: all Schlëssel ewechhuelen, deen net op der Maschinn muss sinn, déi, déi bleiwen, mat engem zweete Faktor wéi OpenID Connect oder engem Hardware-Schlëssel koppelen, sou datt en geklauten Token eleng net duer geet, an d'Ëmfeld vum Host ewech réckelen, wou et méiglech ass, iwwer Entwécklercontainer oder Cloud-IDEen.

Dunn huet de Luis de Punkt gemaach, deen jidderee Suerge sollt maachen, deen dovun ausgeet, datt hiren Endpoint-Stack dëst ofdeckt:

„D'EDRs si spezialiséiert op traditionell Malware a si net bewosst iwwer Agent-Tools. A wa se funktionéieren, kënne se vill falsch Positiver generéieren, well den Agent Saache mécht, vun deenen d'Detektiounsmuster haut nach net bewosst sinn.“

Zwee Feelermodi gläichzäiteg: et verpasst dat, wat wichteg ass, a markéiert dat, wat net wichteg ass. Seng Äntwert ass déi baussenzeg Ëmsetzungsschicht, déi ronderëm d'Entwéckler-Aarbechtsstatioun an de CI-Runner läit, ënnert dem Harness, a begrenzt dat, wat e béiswëllege Agent erreeche kann. Dat ass d'Lück. Xygeni Shield gouf fir gebaut, mat enger Politik déi um Endpunkt duerchgesat gëtt, wou d'Installatioun tatsächlech stattfënnt.

Den Jack huet et méi direkt ausgedréckt: haalt Äre Bitcoin net op Ärer Entwécklermaschinn.

De Buedem, op deen all dräi sech eens waren

Dräi verschidden Äntwerten, eng gemeinsam Minimum.

  • Inventar als éischt. „Dir kënnt dat net schützen, wat Dir näischt wësst.“ All aner DecisD'Ion hänkt dovun of, ze wëssen, wéi eng Agenten, Fäegkeeten a MCP-Server et gëtt, a bal keen dovun gouf deklaréiert.
  • All Aktioun opschreiwen. Den Jack an de Luis sinn aus géigeniwwerenee Richtungen ukomm. Den Jack wëll Spueren, well se sinn, wéi een sech erhëlt a wéi eng Organisatioun reift. De Luis wëll se, well ouni si kann een de Sprengradius net duerno rekonstruéieren. Dem Jack seng Kaderung ass et wäert, sech ze léinen: et huet kee Wäert, den Akteur, Mënsch oder Agent, ze verhéieren, nëmmen de Kontext gutt genuch ze verstoen, fir en net ze widderhuelen.
  • Dat, wat en Agent ophält, muss baussent dem Agent sëtzen. Dem Pedro seng Lafzäitiwwerwaachung, dem Luis seng Ëmsetzungsschicht, dem Jack seng Circuit Breaker a Snapshots. Verschidde Mechanismen, ee Prinzip.

Den Jack huet eng nëtzlech Erklärung ginn, wou d'Industrie sech op der Kurve befënnt. Hie kann sech un déi éischt Spam-E-Mail erënneren, déi hie jee kritt huet, an där hie gesot huet, datt hien eng Goldminn an Nigeria geierft hätt. Dëst ass e Problem mat der Reife, an d'Reife kënnt no de Feeler anstatt virun hinnen.

Wat soll een virum Freideg maachen

Wiel een Agent. Schreif zwou Lëschten op: wat en däerf maachen, a wat en dës Woch tatsächlech gefrot gouf ze maachen.

D'Lück tëscht dëse Lëschten ass Äre Sprengradius, an et ass déi nëtzlechst Moossnam fir den Agent-KI-Risiko, deen Äert Team an engem Nomëtteg produzéiere kann. Et dauert en Nomëtteg, et brauch kee Budget, an et kläert d'Argumentatioun uewen fir Är eegen Organisatioun, well déi dräi Positiounen eigentlech dräi verschidden Äntwerten op d'Fro sinn, wéi grouss dës Lück soll sinn.

Déi meescht Équipen hunn et ni opgeschriwwen.

d' voll Stonn ass verfügbar fir zeréckzekucken, dorënner dem Jack säi Punkt driwwer, firwat d'Ufuerderunge vum Human-in-the-Loop an Europa verschidde KI-Verteidegungsmoossnamen an der Praxis onméiglech maachen. 

An wann d'Übungcise gëtt eng Äntwert zréck, déi dir net gefällt, Xygeni entdeckt all KI-Asset an Äre Repositories, inklusiv d'Agenten, d'Fäegkeeten an d'MCP-Serveren, déi keen deklaréiert huet, a kartéiert, wat all eenzel erreeche kann. Buch eng Demo or fräi ufänken, an mir wäerten et op Ärem lafen.

FAQ

Wat ass de Sprengradius vun engem KI-Agent?

Alles wat den Agent erreeche kéint, wann et falsch géing, am Géigesaz zu deem wat hie gefrot gouf ze maachen. Et gëtt definéiert duerch d'Rechter, d'Umeldungsinformatiounen an d'Tools, déi him zur Lafzäit zur Verfügung stinn, net duerch d'Aufgab. Den Ënnerscheed tëscht deenen zwee ass dat, wat et wäert ass ze moossen, an déi meescht Équipen hunn en ni opgeschriwwen.

Ass en Agent, deen seng Aufgab iwwerschratt huet, en Sécherheetsincident, wann en seng Rechter ni iwwerschratt huet?

Dat war den zentrale Meenungsverschiddenheeten. Dem Pedro seng Äntwert ass am Fong jo, well en Ugräifer duerch Zildivergenz anstatt duerch Béiswëlleg definéiert gëtt, an en falsch ausgeriichten Agent huet divergéiert. Dem Jack seng Äntwert ass méi no beim Nee: et ass e operationelle Feeler wéi de Feeler vun engem neien Ugestallten, an déi richteg Äntwert ass d'Verfollegung an d'Erëmaféierung anstatt méi streng Restriktiounen. De Luis ëmgeet d'Fro andeems hien vun Ufank un de schlëmmste Fall ausgëtt a freet, wéi eng Schicht nach ëmmer gëllt, wann et geschitt.

Sollen Code-Agenten an enger Sandbox benotzt ginn?

Fir enk, Aufgabenspezifesch Agenten hunn all dräi ouni ze zécken jo gesot: nëmme liesen wou et méiglech ass, kee Bash, kee Netzwierk ausser et ass néideg. Fir allgemeng Programméierungsagenten huet sech de Panel op dräi Weeër opgedeelt: De Pedro géif se zerleeën, de Jack géif d'Fäegkeet an de Snapshot aggressiv behalen, an de Luis géif eng Ëmsetzungsschicht ënnert dem Harness derbäisetzen, egal wat den Agent maache däerf.

Deckt mäin EDR de Risiko vun der Agentur-KI of?

Wahrscheinlech net gutt. Aktuell Endpoint-Tools baséieren op traditionelle Malware-Muster a modelléieren d'Verhale vun Agenten net, sou datt se dacks dat iwwersinn, wat wichteg ass, a markéieren dat, wat net wichteg ass. D'Äntwert vum Luis war eng äusserlech Ëmsetzungsschicht, déi fir Entwécklerëmfeld entwéckelt gouf, anstatt eng allgemeng EDR.

Wat ass déi eenzeg éischt Saach, déi een maache soll?

Bau den Inventar op. All Modell, Agent, Fäegkeet a MCP-Server an Äre Repositories, a wat all eenzel erreeche kann. Et ass deen eenzege Schrëtt, deen all dräi Panellisten genannt hunn, an deen eenzegen, vun deem all aner Kontroll ofhänkt.

sca-tools-software-zesummesetzungsanalyse-tools
Prioritäriséiert, behënnert a séchert Är Softwarerisiken
Kritt Äre gratis Kont.
Kee Kreditkaart erfuerderlech.

Séchert Är Softwareentwécklung a Liwwerung

mat der Xygeni Produkt Suite