Enginyeria d'arnès d'agents

Enginyeria d'arnès d'agents: el model no és la superfície d'atac, sinó l'arnès.

TL;DR: enginyeria d'arnès d'agents i la seva superfície d'atac oculta

L'enginyeria d'arnès d'agents és la pràctica de construir-ho tot al voltant d'un model d'IA (instruccions, eines, permisos, memòria i bucles de retroalimentació) que el converteix en un agent funcional. Aquest arnès, no el model, és on ara rau la major part del risc de seguretat real.

  • El canvi: Els equips van deixar d'afinar els indicadors i van començar a dissenyar arnesos. Agent = model + arnès.
  • El problema: L'arnès es troba en fitxers de text pla (regles, habilitats, configuracions MCP) que es revisen com a documentació, si és que es revisen.
  • L'evidència: La porta posterior del fitxer de regles i els CVE MCP reals mostren que els atacants ja l'apunten.
  • La solució: tracta l'arnès com a codi. Fes-ne un inventari, revisa'l i escaneja'l abans d'enviar-lo.

Tota conversa de seguretat sobre IA acaba acabant en el model. Es pot fer jailbreak? Tindrà al·lucinacions? El proveïdor està entrenant amb les nostres dades?

Preguntes vàlides. Però cada cop són més equivocades. Quan un agent d'IA elimina una taula de producció, obre una porta del darrere o envia per correu electrònic una llista de clients a un desconegut, rarament el model és el que ha fallat. El model ha fet exactament el que el seu arnès li permetia fer.

Agent = model + arnès

Durant l'últim any, la indústria ha canviat discretament el que significa construir amb IA. L'enginyeria ràpida va donar pas a l'enginyeria de context, i l'enginyeria de context va donar pas a alguna cosa més gran: enginyeria d'arnès d'agents.

La idea és simple. Un model per si sol és un motor de raonament sense mans. L'arnès és tot allò que li dóna mans i una feina: les instruccions que segueix, les eines que pot cridar, els permisos que conté, la memòria que conserva i les comprovacions que detecten els seus errors. El lloc web de Martin Fowler descriu l'enginyeria d'arnesos com la feina que els usuaris d'agents de codificació fan ara per fer que els agents siguin fiables, i una marc acadèmic publicat aquest any divideix el sistema en onze responsabilitats, des de l'accés a les eines i la memòria del projecte fins als permisos i la verificació.

Els resultats són reals. Els equips que practiquen l'enginyeria d'arnès d'agents informen que canviar només l'arnès, amb el mateix model a sota, pot canviar dràsticament els resultats d'un agent. Això planteja un punt incòmode per a qualsevol persona en seguretat: si l'arnès decideix com es comporta l'agent, l'arnès decideix com es pot abusar-ne. 

Prenguem una cosa tan ordinària com instal·lar una dependència. Un desenvolupador fa una pausa per comprovar el nom del paquet. Un agent amb l'eina adequada al seu equip simplement executa l'ordre i, si el paquet és maliciós, res del model l'aturarà. Això és exactament el que desglossem en aquest episodi de SafeDev Talks: què canvia quan els agents d'IA instal·len dependències pel seu compte, i per què l'enginyeria d'arnesos d'agents s'ha convertit discretament en un problema de la cadena de subministrament.

Quin aspecte té l'enginyeria d'arnès d'agents en un repositori

Obriu un repositori on els desenvolupadors utilitzin agents d'IA i l'arnès estigui allà mateix, en fitxers que probablement mai no heu escanejat:

  • Normes i fitxers d'instruccions (AGENTS.md, .cursorrules, Instruccions del copilot) que indiquen a l'agent com s'ha de comportar.
  • Fitxers d'habilitats aquest paquet de capacitats reutilitzables que l'agent carrega sota demanda.
  • Configuracions del servidor MCP que connecten l'agent a eines, bases de dades i API.
  • Indicacions del sistema i plantilles d'indicacions incrustat en el codi de l'aplicació.
  • Cablejat d'agent: a quines eines pot accedir un agent, quines dades pot recuperar i si hi ha una barrera de protecció entremig.

Tot és text sense format. Tot és commitjuntament amb el codi. I tot es revisa de la mateixa manera que es revisa la documentació: una ullada ràpida, una aprovació, una fusió. Tot i això, cadascun d'aquests fitxers pot reescriure silenciosament allò que s'indica a un agent que faci i allò que se li permet tocar.

Aquesta és la veritable conseqüència de l'enginyeria d'arnès d'agents: la configuració més potent del vostre programari ara és la menys revisada.

Els atacants ja s'han adonat

Això no és una preocupació teòrica. L'arnès té un historial d'incidents curt però revelador.

  • La porta del darrere del fitxer de regles. El març del 2025, uns investigadors van revelar un atac en què caràcters Unicode ocults dins d'un fitxer de regles indicaven als assistents de codificació d'IA que inserissin codi amb porta enrere, sense esmentar-ho a la seva resposta visible. Un revisor que llegia el fitxer no hi va veure res d'estrany. Ara està catalogat com a Estudi de cas de MITRE ATLAS AML.CS0041.
  • Eines MCP enverinades. Fins al 2025, els investigadors van demostrar repetidament que els agents confien implícitament en les descripcions de les eines, de manera que un servidor MCP maliciós pot dirigir un agent simplement descrivint-se a si mateix de la manera correcta. El mateix any, CVE-2025-6514 en un client MCP àmpliament descarregat permetia l'execució remota d'ordres en connectar-se a un servidor no fiable, qualificat amb un 9.6 a CVSS.
  • Excés d'agència. L' Els 10 millors de l'OWASP per a sol·licituds de LLM enumera l'agència excessiva com un risc principal: agents als quals se'ls concedeixen més eines, permisos o autonomia de la que requereix la tasca. Això no és un defecte del model. És un problema de disseny d'arnès.cisd'ions.

Fixeu-vos en el patró. Cap d'aquests atacs trenca el model. Trenquen l'arnès, i el model fa fidelment la resta.

Per què la vostra pila de seguretat no ho veu

Aquí ve la part incòmoda. La majoria d'organitzacions ja utilitzen bones eines d'AppSec, i gairebé res d'això s'ha creat per a aquesta capa.

L'anàlisi estàtica entén el codi, però no sap què és un model ni per què és important el text no fiable que entra en un indicador del sistema. L'anàlisi de composició inventaria els paquets, però no enumera els servidors MCP ni els fitxers d'habilitats. Els escàners secrets poden passar per alt una clau API que es troba en un fitxer de configuració d'agent. Cap d'aquestes eines és defectuosa. Simplement es van crear per a un món on la configuració no donava ordres.

Així doncs, l'enginyeria de l'arnès d'agents avança ràpidament i la seguretat revisa la part que pot veure: el model i el codi. L'arnès es troba entremig.

Cinc hàbits per assegurar l'arnès

L'enginyeria de l'arnès d'agents de seguretat no necessita un equip nou. Requereix uns quants hàbits que tractin l'arnès com el que és: intenció executable.

HàbitPer què importa?Què fer
1. Inventari de tots els arnesosNo pots assegurar-te agents que ningú no ha declarat.Trobeu tots els models, agents, servidors MCP, habilitats i indicacions als vostres repositoris, des del codi i els fitxers de configuració en lloc d'una enquesta.
2. Reviseu els fitxers de cablejat com ara el codiLes regles, les habilitats i les configuracions de MCP poden reescriure el que fa un agent, però es revisen com a documentació.Dóna'ls el mateix. pull request l'escrutini com a lògica d'aplicació, incloent-hi la comprovació de caràcters ocults.
3. Fixa el que carrega l'agentUn prompt o model al qual fa referència una etiqueta mutable es pot reorientar sense un canvi de codi.Fixa les sol·licituds i els models a versions immutables.
4. Posa una barana a cada picaEls documents recuperats, la sortida de l'eina i el contingut de l'usuari poden portar instruccions injectades al model.Col·loca una barana de protecció al camí allà on el contingut pugui arribar al model.
5. Mantingueu les credencials fora de l'arnèsLes claus de proveïdors d'IA als fitxers de sol·licitud i a les configuracions d'agents són una victòria fàcil per a un atacant.Elimina-les i continua escanejant els fitxers d'arnès per trobar secrets. És una solució fàcil.

Assegurar l'arnès, no només el model

Seguretat d'IA Xygeni comença on l'enginyeria d'arnès d'agents deixa la seva empremta: als vostres repositoris. Descobreix els actius d'IA a la vostra base de codi (models, agents, servidors MCP, habilitats, indicacions, guardrails, i les eines de codificació d'IA que s'utilitzen) a partir del codi, les dependències i els fitxers de configuració que aquestes eines deixen enrere.

A continuació, analitza els fitxers d'habilitats, els fitxers de regles i les configuracions MCP com a artefactes de seguretat, no com a documentació, i detecta riscos de classe d'injecció de prompts en el cablejat de l'agent, com ara contingut no fiable que arriba a un prompt del sistema o a un pica de recuperació sense barrera de protecció. L'escaneig de secrets de Xygeni marca les credencials del proveïdor d'IA als prompts i als fitxers de configuració de l'agent, i les dependències de la vostra pila d'IA reben la mateixa detecció de programari maliciós que tot, abans que existeixi una signatura.

FAQ

Què és l'enginyeria d'arnès d'agents?

L'enginyeria d'arnès d'agents és la disciplina de dissenyar l'entorn al voltant d'un model d'IA (instruccions, eines, permisos, memòria, context i bucles de verificació) perquè es comporti com un agent fiable. El model proporciona el raonament; el arnès decideix què pot veure i fer l'agent.

En què es diferencia l'enginyeria d'arnès d'agents de l'enginyeria de prompts?

L'enginyeria de prompts dóna forma a una sola instrucció. L'enginyeria d'arnès d'agents dóna forma a tot el sistema en què opera l'agent, a través de molts passos, eines i sessions. Un prompt és un fitxer del arnès.

Per què l'arnès és un risc per a la seguretat?

Perquè controla el que un agent pot fer i resideix en fitxers de text sense format que rarament es revisen com a artefactes de seguretat. Si comprometeu un fitxer de regles o una configuració MCP, controlareu l'agent sense tocar el model.

Qui hauria de ser el propietari de la seguretat del arnès d'agent?

Seguretat de les aplicacions, treballant amb els enginyers que creen i configuren agents. El cablejat forma part del programari que envieu, per la qual cosa pertany als mateixos processos de revisió, escaneig i inventari que la resta del codi.

sca-tools-software-composition-analyse-tools
Prioritzar, solucionar i protegir els riscos del programari
Obtén el teu compte gratuït.
No es requereix cap targeta de crèdit.

Assegura el desenvolupament i el lliurament del teu programari

amb el paquet de productes Xygeni