TL; DR
Tres respostes a la mateixa pregunta sobre el risc de la IA agentiva
Esperàvem un ampli acord sobre la restricció dels agents d'IA i vam obtenir tres respostes diferents.
- Pere Fortuna: dividir els agents en molts agents petits i específics, cadascun amb els permisos més estrets possibles, i afegir supervisió en temps d'execució que els aturi abans d'hora.
- Jack Trefon: el contrari, per als agents de codificació. Restringeix-ne un i destruiràs allò que el fa útil, així que accepta el radi de l'explosió i inverteix en el rastreig i la recuperació ràpida.
- Luis Rodríguez Berzosa: una tercera línia. Tracteu els models de frontera com tractaríeu el programari maliciós, dissenyeu l'arnès per limitar cada agent especialitzat i poseu una capa d'aplicació a sota de tot això que es mantingui quan tot el que hi ha a sobre falla.
On es van trobar tots tres: No pots protegir allò que no has inventariat, cada acció s'ha de registrar i allò que atura un agent ha de ser fora de l'agent.
No es va infringir res.
L'agent va fer la seva feina. Pel camí, va decidir que havia de tocar una dependència, una configuració, un servei que ningú li havia demanat que toqués. Va romandre dins dels seus permisos tot el temps. No es va violar cap regla, així que no es va activar res.
Vam plantejar aquest cas a tres persones que s'hi ocupen professionalment, esperant un ampli acord sobre què fer-hi. Vam obtenir tres respostes diferents, i dues d'elles es contradiuen entre si.
El risc d'IA agentiva normalment es descriu com un problema d'atacant. Aquesta és l'altra versió. Durant vint anys vam traçar límits de permisos al voltant de programari que feia exactament el que se li deia. Un compte de servei, un executor de CI, una tasca programada. Ens vam equivocar amb el límit prou sovint, però la cosa que hi havia a dins era predictible. Feia una feina, de la mateixa manera, cada vegada.
Ara ho decideix la cosa que hi ha dins del límit. I el límit encara es dibuixa com sempre: per endavant, en el moment de la configuració, per algú que no pot saber en què es convertirà la tasca.
Aquesta és la versió del risc de la IA agentiva sobre la qual val la pena discutir, i hi vam dedicar una hora l'última vegada. Xerrada de SafeDev amb Pere Fortuna de Jscrambler, Jack Trefon de Trefon Digital Consulting, i Luis Rodríguez Berzosa de Xygeni, organitzat per Alexandre Estrada.
Esperàvem que en general hi estiguessin d'acord. No ho van fer.
Risc d'IA agentiva: la premissa reconfortant que no es sosté
L'enquadrament anterior conté una paraula que fa més feina de la que hauria de fer: atacantNo n'hi ha cap. Se suposa que això facilita la situació.
En Pedro ho va desmuntar en un sol moviment.
«Ser un atacant o no és un concepte humà. El que fa que un atacant sigui un atacant és que té objectius diferents. I un agent desalineat també és quelcom que té un objectiu diferent.»
Accepta això, perquè desmunta la premissa de la majoria de converses sobre el risc d'IA agentiva, inclosa la descripció que vam escriure per al nostre propi esdeveniment. Si el que defineix un atacant són objectius divergents en lloc de malícia, aleshores "no hi ha cap atacant en aquesta història" és un consol que ningú es va guanyar. Estructuralment, és el mateix risc. El que falta és la intenció, i la intenció mai va ser el que els vostres controls detectaven. Detecten efectes. Sempre ho van fer.
Aquesta és també la raó per la qual el vocabulari de la indústria va canviar. OWASP Els 10 millors per a sol·licituds de LLM del 2026 va promoure l'excés d'agència del sisè al tercer lloc, cosa que no és tant un canvi d'opinió com el registre d'incidents que s'han posat al dia amb una arquitectura que ja estava desplegada.
Què demostra realment l'incident de Hugging Face
L'incident del juliol, en què una model de Frontier va atacar una tercera persona, es va llegir àmpliament com una història sobre una model que es va tornar deshonesta. Luis ho interpreta de manera diferent, i la seva versió situa la responsabilitat en un lloc incòmode.
«El problema no és el model de frontera. El model de frontera va fer el que se li havia indicat. El problema és el disseny de l'experiment.»
L'objectiu era indefinit. Les restriccions eren absents. I la zona de proves que havia de contenir-la tenia una finestra a Internet, a través d'una vulnerabilitat de falsificació de sol·licituds del costat del servidor a la memòria cau de paquets a la qual podia arribar l'agent. Cadascuna d'aquestes és un disseny decisió fet per una persona.
Això produeix la frase que hauria de canviar la manera com proveïu aquestes coses:
"Cal considerar els models de frontera com si fossin programari maliciós, perquè poden actuar de manera autònoma i prendre mesures"cisions que són maliciosos. No intencionadament, però al final són realment maliciosos.”
No com un insult al model. Com una postura de provisionament. No li dones a un programari maliciós un shell bash i esperes que l'objectiu estigui ben especificat.
La lectura que va fer en Pedro del mateix incident es basava més en el moment oportú que en el disseny:
"En el moment que veieu agents que es comuniquen a través de noms de carpetes en un servei que no haurien d'utilitzar, en aquell moment heu d'aturar aquests agents. No cal esperar que aquests agents aconsegueixin violar Hugging Face per decidir si això és maliciós o no."
També val la pena conservar un detall de la resposta. Els que van respondre van intentar utilitzar una eina d'agència comercial per analitzar els rastres i no van poder, perquè van arribar als límits de velocitat. L'atacant no tenia aquest sostre. "Hi havia una asimetria en el mateix atac".
L'argument real: limitar l'agent o recuperar-se més ràpidament?
Aquí és on el panell es va dividir, i hi ha un veritable desacord entre els professionals que s'han guanyat la seva posició.
En Pedro defensa la descomposició. Quinze anys d'impulsar l'aïllament dins del navegador li van ensenyar que no es pot imposar res en temps d'execució contra un monòlit. Divideix l'arquitectura en petites peces amb funcions específiques, i només llavors els controls i els punts de monitorització tenen un lloc on connectar-se. Els agents no són diferents.
«Crec que cal dividir-ho en agents molt específics que només estiguin destinats a tasques específiques. I no importa si acabes amb cinquanta agents. És millor que tenir-ne només un.»
En Jack argumenta el contrari, específicament per als agents de codificació. S'esperaria que una tecnologia en segon pla en una borsa de criptomonedes regulada produís la posició més restrictiva de la sala. Va produir la menor quantitat.
La seva analogia inicial no és en absolut un model d'amenaça:
«Estic veient un desplegament d'agent típic igual que ho faria amb una nova contractació, una persona nova que arriba. I aquesta persona pot ser impecable en l'execució, o podria cometre un error. No veig gaire diferència.»
Per als agents de programació específica, és tan estricte com qualsevol altre. En descriure un agent de revisió de només lectura que està construint actualment, va ser directe que la configuració comuna és indefensable: implementar-la en un sistema Linux estàndard amb accés bash "està obrint tot l'ecosistema d'amenaces". Però per als agents de codificació generals, la lògica s'inverteix, i sap que la posició és impopular:
«Com més poder tingui l'agent, més creatiu i més eficaç serà. Per tant, no és la indústria la que prospera a causa de les limitacions i la reducció de l'abast.»
Aleshores, què queda si no limites? Interruptors i, sobretot, instantànies basades en el temps: no impedeixen el radi de l'explosió, sinó que fan que la recuperació sigui barata i ràpida. Ho integra en ambre, un arnès d'agents C++ lliure de dependències que escriu en el seu temps lliure, amb instantànies al bucle (lloc del projecte).
I l'advertència sobre on acaba l'altre camí:
"Si comencem a emportar-nos-ho, només quedarà una eina, i aquest desenvolupador podrà encendre i apagar els llums."
En Luis ocupa la tercera posició, que no és ni restringir ni recuperar sinó contenir des de baix: suposar que l'agent finalment es comportarà com a programari maliciós, dissenyar l'arnès per limitar cada agent especialitzat i posar una capa d'aplicació a sota que es mantingui quan tot el que hi ha a sobre falla.
Tres enfocaments per al mateix problema
Tres posicions, cadascuna amb un cost. Cap d'elles és gratuïta i cap d'elles fa que l'agent sigui segur per si sola.
| Enfocament | Moviment central | Quant et costa |
|---|---|---|
| DescompondrePere Fortuna | Molts agents petits, cadascun amb permisos restringits, a més de la supervisió en temps d'execució que els atura abans d'hora. | Esforç de disseny inicial i més dificultats amb el treball de codificació obert |
| RecuperarJack Trefon | Mantingueu la capacitat, afegiu interruptors automàtics i instantànies basades en el temps perquè la reversió sigui econòmica. | Un radi d'explosió més ampli i una aposta per detectar-la i desfer-la a temps |
| Conté des de baixLuis Rodríguez Berzosa | Assumeix el comportament del programari maliciós, limita cada agent del cablejat i aplica'l a sota a l'estació de treball i a l'executor de CI. | Infraestructura i eines que la majoria de piles de punts finals encara no proporcionen |
Si les llegeixim una al costat de l'altra, el desacord és més estret del que sembla. Tots tres accepten que l'agent farà alguna cosa no intencionada. Difereixen sobre on van els diners: a l'arquitectura abans que passi, a la recuperació després que passi o a un pis per sota de totes dues.
Per què el mínim privilegi no es tradueix en risc d'IA agentiva
El privilegi mínim assumeix que coneixes la feina. Defineixes l'àmbit del permís per a la tasca.
Un agent trenca això silenciosament, perquè el seu límit de permisos es dibuixa en temps de configuració i la seva tasca arriba en temps d'execució. El que realment concedeixes és la unió de tot allò que se li pugui demanar que faci. Això no és el mínim privilegi; és el contrari, vestir-se amb la roba del mínim privilegi.
Luis va proposar un replantejament manllevat d'una idea més antiga que qualsevol d'aquestes:
«Penso en el mecanisme de canalització d'UNIX, que connecta eines simples per dur a terme una tasca complexa. Pots definir agents específics amb una configuració controlada, limitant el que pot fer aquest agent especialitzat. I els pots combinar per a gairebé qualsevol tasca.»
A més d'una segona idea de disseny que la majoria d'equips no han provat: embolicar les eines en lloc d'ampliar els permisos. No bash, que lliura tot el sistema, sinó un embolcall estret que és l'únic camí invocable, amb variants de només lectura que embolcallen les genèriques. L'agent obté una capacitat, no un shell.
També va deixar clar que l'obstacle no és el disseny, sinó el desplegament. Els nous controls en màquines de desenvolupador tenen una llarga història d'estar tractant-se d'una altra manera, i aquesta història no canvia perquè l'eina en qüestió és un agent.
I sobre on creu que acaba tot:
«Crec que al final tindrem agents autònoms que controlaran altres agents autònoms.»
El portàtil es va convertir en la joia de la corona, i el vostre EDR no se n'ha adonat
Un agent necessita accés permanent per ser útil. Un token que no caduca a mitja tasca, una credencial emmagatzemada a la memòria cau, drets d'inserció, accés al registre, una ruta activa cap al pipelineCadascun d'aquests és un requisit més que no pas un descuit, la qual cosa significa que com millor es feien les eines, més concentrada es tornava la màquina reveladora.
Els atacants van ser els primers a notar-ho. Com va dir en Pedro, no són ideòlegs:
«S'organitzen com petites empreses. Necessiten guanyar diners, així que es mouen cap a l'angle més rendible que poden trobar. I van veure ràpidament que hi havia diners per guanyar a les estacions de desenvolupament.»
Veiem com aquest canvi aterra als registres cada setmana. Resum de codi maliciós, on els recol·lectors de credencials ara busquen rutinàriament claus de proveïdors d'IA juntament amb les del núvol i el registre.
La seva llista de mitigacions no és gaire atractiva i funciona: elimina totes les claus que no cal que estiguin a la màquina, emparella les que queden amb un segon factor com ara OpenID Connect o una clau de maquinari perquè un token robat no sigui suficient per si sol i mou l'entorn fora de l'amfitrió on puguis, mitjançant contenidors de desenvolupament o IDE al núvol.
Aleshores, Luis va fer una observació que hauria de preocupar a qualsevol que assumeixi que la seva pila de punts finals cobreix això:
«Els EDR estan especialitzats en programari maliciós tradicional i no coneixen les eines agentives. I si funcionen, poden generar molts falsos positius, perquè l'agent fa coses que els patrons de detecció desconeixen a dia d'avui.»
Dos modes de fallada alhora: passa per alt allò que importa i marca allò que no. La seva resposta és aquella capa d'aplicació externa, situada al voltant de l'estació de treball del desenvolupador i l'executor de CI, per sota del cablejat, que delimita el que pot arribar un agent no autoritzat. Aquesta és la bretxa. Xígeni Shield es va crear, amb una política aplicada al punt final on realment es produeix la instal·lació.
En Jack ho va dir més clarament: no guardis els teus Bitcoins a la teva màquina de desenvolupament.
Tots tres van estar d'acord
Tres respostes diferents, una de mínim compartida.
- Inventari primer. «No pots protegir allò que no coneixes.» Tots els altres decision depèn de saber quins agents, habilitats i servidors MCP existeixen, i gairebé cap d'ells no se'n va declarar.
- Registra cada acció. En Jack i en Luis han arribat aquí des de direccions oposades. En Jack vol rastres perquè són com et recuperes i com madura una organització. En Luis els vol perquè sense ells no es pot reconstruir el radi de l'explosió posteriorment. Val la pena manllevar l'enquadrament d'en Jack: no té cap valor interrogar l'actor, humà o agent, només entendre prou bé el context per no repetir-lo.
- Allò que atura un agent ha de ser fora de l'agent. La supervisió en temps d'execució de Pedro, la capa d'aplicació de Luis, els interruptors automàtics i les instantànies de Jack. Mecanismes diferents, un principi.
En Jack va oferir un marc útil per veure on es troba la indústria. Recorda el primer correu electrònic brossa que va rebre, en què li deien que havia heretat una mina d'or a Nigèria. Aquest és un problema de maduresa, i la maduresa arriba després dels errors i no abans.
Què fer abans de divendres
Trieu un agent. Escriviu dues llistes: què se li permet fer i què se li va demanar realment que fes aquesta setmana.
La diferència entre aquestes llistes és el vostre radi d'explosió, i és la mesura més útil del risc d'IA agentiva que el vostre equip pot produir en una tarda. Triga una tarda, no necessita pressupost i resol l'argument anterior per a la vostra pròpia organització, perquè les tres posicions són realment tres respostes diferents a la pregunta de quina hauria de ser la diferència.
La majoria d'equips no ho han escrit mai.
L' hora completa està disponible per veure enrere, inclòs el punt de Jack sobre per què els requisits d'interacció humana a Europa fan que algunes defenses d'IA siguin inviables a la pràctica.
I si l'exercicicise retorna una resposta que no t'agrada, Xígeni descobreix tots els actius d'IA dels teus repositoris, inclosos els agents, les habilitats i els servidors MCP que ningú ha declarat, i mapeja el que pot assolir cadascun. Reserva una demostració or començar lliurement, i ho executarem al vostre.
FAQ
Quin és el radi d'explosió d'un agent d'IA?
Tot allò a què l'agent podria arribar si anés malament, a diferència del que se li va demanar que fes. Està definit pels permisos, les credencials i les eines disponibles en temps d'execució, no per la tasca. La diferència entre aquests dos és el que val la pena mesurar, i la majoria dels equips no l'han escrit mai.
Un agent que excedeix la seva tasca, és un incident de seguretat si mai ha excedit els seus permisos?
Aquest era el desacord central. La resposta de Pedro és efectivament sí, perquè un atacant es defineix per la divergència d'objectius en lloc de la malícia, i un agent desalineat ha divergit. La resposta de Jack s'acosta més al no: és un error operatiu com l'error d'un nouvingut, i la resposta correcta és el rastreig i la recuperació en lloc de restriccions més estrictes. Luis evita la qüestió assumint el pitjor dels casos des del principi i preguntant quina capa encara es manté quan passa.
Els agents de codificació haurien d'estar en un espai de proves?
Per a agents de tasques específiques i amb un perfil reduït, tots tres van dir que sí sense dubtar-ho: només lectura sempre que fos possible, sense bash, sense xarxa tret que fos necessari. Per als agents de codificació general, el panell es va dividir en tres direccions: en Pedro els descompondria, en Jack mantindria la capacitat i la instantània de manera agressiva, i en Luis afegiria una capa d'aplicació sota el sistema de control independentment del que l'agent pugui fer.
La meva EDR cobreix el risc d'IA agentiva?
Probablement no bé. Les eines de punt final actuals es basen en patrons tradicionals de programari maliciós i no modelen el comportament dels agents, de manera que tendeixen a passar per alt allò que importa i a marcar allò que no. La resposta de Luis va ser una capa d'aplicació externa dissenyada per a entorns de desenvolupador en lloc d'una EDR d'ús general.
Quina és la primera cosa que cal fer?
Crea l'inventari. Cada model, agent, habilitat i servidor MCP dels teus repositoris, i allò que cadascun pot assolir. És l'únic pas que han nomenat els tres membres del panell i l'únic del qual depenen tots els altres controls.







