Seguretat dels agents d'IA

Seguretat dels agents d'IA: coneix cada agent, detecta el risc, protegeix el que instal·la

La seguretat dels agents d'IA ja no es tracta del que diu un model. Es tracta del que fa un agent: les eines que crida, les dades que llegeix, les credencials que conté i els paquets que instal·la pel seu compte.

I la majoria d'equips no poden respondre la primera pregunta: quins agents estem executant realment? Viuen en repositoris com a grafs LangChain, servidors MCP, SKILL.md fitxers i eines de codificació d'IA que els desenvolupadors individuals van configurar un divendres a la tarda. Ningú les va revisar i una habilitat maliciosa és només text pla

TL; DR

Seguretat d'agents d'IA en quatre passos: veure-ho, puntuar-ho, assegurar el bucle, protegir les instal·lacions

No podeu protegir agents que no podeu veure. La seguretat dels agents d'IA comença amb un inventari de tots els agents, servidors MCP, habilitats, models i eines de codificació d'IA del vostre codi.

  • Risc en la manera com es construeixen els agents: indicacions que concatenen l'entrada de l'usuari, agents que criden eines sense guardrails, credencials i habilitats amb privilegis excessius amb instruccions ocultes. La major part és visible al codi, abans del desplegament, i es correspon amb el OWASP Top 10 per a aplicacions agentives.
  • Seguretat dins del bucle: els agents de codificació necessiten seguretat dins del seu bucle, de manera que escanegen i corregeixen el que escriuen abans que sigui commitTed, no setmanes més tard en un bitllet.
  • Protegiu les instal·lacions: els agents també instal·len dependències. La detecció de programari maliciós que funciona abans que existeixi una signatura cobreix els paquets maliciosos, independentment de qui els instal·li, un desenvolupador o un agent.
  • Un flux de treball: Les troballes d'IA passen pel mateix triatge, tiquets i informes que la resta de troballes d'AppSec.

El primer pas: creeu un inventari de la IA als vostres repositoris, exporteu-lo com a AI-BOM i, a continuació, incorporeu el codi de l'agent nou a CI.

Per què la seguretat dels agents d'IA és un problema diferent

Una funció LLM retorna text i un humà decideix què fer-ne. Un agent tanca aquest bucle pel seu compte: planifica, crida eines, llegeix pàgines web, correus electrònics i documents, escriu fitxers i executa ordres. Cada capacitat que li doneu a un agent és una capacitat que un atacant pot prendre prestada.

L'OWASP va fer la mateixa distinció. El OWASP Top 10 per a aplicacions agentives 2026 (ASI01 a ASI10) es basa en el Els 10 millors de l'OWASP per a sol·licituds de LLM: la llista LLM cobreix el que diu un model; la llista agentiva cobreix el que fa un agent.

La majoria d'organitzacions actualment utilitzen dos tipus d'agents:

  • Agents que incorporeu a les vostres aplicacions: assistents de suport, copilots interns i fluxos de treball creats amb frameworks com LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel o LlamaIndex, sovint connectats a eines a través de Servidors MCP.
  • Agents de codificació d'IA que utilitzen els vostres desenvolupadors: Claude Code, Cursor, GitHub Copilot, Windsurf i altres, que escriuen codi, editen la configuració i afegeixen dependències.

La seguretat dels agents d'IA ha de cobrir ambdues coses, perquè totes dues actuen amb els vostres permisos.

Pas 1: inventariar tots els agents, servidors MCP i habilitats

La seguretat dels agents d'IA comença amb un tauler de preguntes, i els auditors ara pregunten: quina IA estem executant? Seguretat d'IA Xygeni ho respon des del codi font: codi, configuració, manifests i dependències.

Descobreix models, agents i servidors d'agents, marcs d'IA, servidors MCP i les seves eines, habilitats (SKILL.md, AGENTS.md), indicacions, guardrails, magatzems de vectors, conjunts de dades, punts finals d'inferència i les eines de codificació d'IA configurades als vostres repositoris. També mapeja com es connecten: quin agent utilitza quin model, executa quines eines i invoca quins servidors MCP.

El resultat és un inventari d'IA viu, exportable com a AI-BOM en format CycloneDX, amb un registre de governança per actiu que inclou un camp de categoria de risc de la Llei d'IA de la UE.

Vols veure quina IA ja hi ha al teu codi? Reserva una sessió amb un enginyer, i crearem l'inventari d'IA d'un dels vostres repositoris.

Pas 2: detectar els riscos en la manera com es construeixen els agents

La majoria de vulnerabilitats dels agents no són exòtiques. Són una indicació creada per concatenació de cadenes, un agent que crida a eines sense cap barrera de protecció d'entrada o una credencial amb molt més abast del que necessita l'agent. Totes deixen empremtes digitals al codi, de manera que es poden detectar a la CI abans del desplegament.

Riscos d'agents d'IA que podeu detectar al codi

Cada risc es correspon amb el Els 10 millors de l'OWASP per a sol·licituds de LLM o els seus companys agentius, de manera que les troballes parlen el mateix idioma que els vostres auditors.

RiscCom es veu en codiCartografia OWASP
Injecció ràpidaSol·licituds del sistema que concatenen contingut de l'usuari sense separació de rols, delimitadors o guardrailsLLM01
Injecció indirectaAgents que reclamen eines sense cap intervenció guardrails, o agents que ingereixen pàgines web, correus electrònics o documents recuperats sense sanejarLLM01
Gestió de la sortida no seguraArribada a la sortida del model eval o altres embornals perillosos, rastrejats a través de funcions i fitxersLLM05
Identitats d'agent amb sobreprivilegisAbús d'identitat no humanaCredencials estàtiques de llarga durada, credencials compartides sense restricció d'abast, servidors MCP o d'eines que s'executen amb privilegis elevatsASI03
Habilitats malicioses o amb errors tipogràficsCadena de subministrament d'habilitats d'agentsDirectives malicioses ocultes a SKILL.md or AGENTS.md, noms d'habilitats que suplanten habilitats o integracions conegudesLes 10 millors habilitats d'agent
Secrets en les indicacionsCredencials emmagatzemades dins dels fitxers de sol·licitudLLM07

Cada troballa porta la seva categoria OWASP LLM Top 10, a més de les etiquetes OWASP Agentic Applications i Agentic Skills on corresponguin, i els vectors d'atac de l'equip vermell implicats.

Les habilitats mereixen una atenció especial perquè una instrucció maliciosa en un fitxer d'habilitats és prosa, no codi, i cap signatura la pot veure. Una revisió d'IA opcional jutja la intenció dels fitxers d'instruccions d'agent i d'habilitats marcats amb una configuració determinista i versionada, de manera que el mateix fitxer sempre obté el mateix veredicte. Es pot executar en el vostre propi model autoallotjat, de manera que el codi i les indicacions no han de sortir del vostre entorn. Una puntuació de nivell d'habilitat fusiona aquests senyals en una sola resposta: segur, precaució o no instal·lar.

Aneu més enllà: mira la nostra sessió Radi de l'explosió: quan l'agent toca el que no vas demanar, sobre què passa quan els permisos d'un agent arriben més enllà de la seva tasca.

Pas 3: posar la seguretat dins del bucle de l'agent de codificació

Els agents de codificació d'IA escriuen i commit codi més ràpid del que ningú pot revisar-lo. Una troballa que arriba en un tiquet dues setmanes després rarament es corregeix. La correcció s'ha de produir mentre l'agent encara està treballant.

El servidor Xygeni MCP s'executa localment i funciona amb qualsevol agent de codificació d'IA que admeti MCP, independentment del model en què s'executi. L'agent pot escanejar el codi que acaba d'escriure, enumerar els nous problemes, obtenir veredictes de triatge d'IA i sol·licitar correccions per a SAST i SCA troballes. Itera fins que el canvi és net, abans que res sigui committed, amb les aprovacions que estableix el vostre equip.

Utilitza els mateixos motors, polítiques i regles de silenci que el vostre pipeline, de manera que l'agent i el vostre CI mai no es posin en desacord. Per als desenvolupadors que treballen al costat de l'agent, el Complements de l'IDE portar les mateixes troballes i correccions a l'editor.

Pas 4: protegeix el que instal·len els agents

Un agent de codificació d'IA pot afegir una dependència pel seu compte i no s'aturarà a comprovar si un paquet nou amb un nom familiar és legítim. Els atacants ho saben, i els registres de codi obert són on esperen.

Defensa contra programari maliciós marca paquets maliciosos abans que existeixi una signatura, sigui qui sigui que els instal·li, un desenvolupador o un agent. A la màquina del desenvolupador, Shield aplica la política abans que s'executi res: una edat mínima per als paquets nous, cobertura per a extensions i complements de l'IDE, bloqueig d'indicadors maliciosos i geografies de risc, i aïllament de punts finals quan cal contenir una màquina.

Vols aprofundir?

Un defecte en el controlador i el punt final exposat que hi arriba són un problema, amb un sol propietari. I si ja executeu una altra eina DAST, Xygeni importa els seus resultats a la mateixa vista de risc, sense demanar-vos que el substituïu.

Voleu veure les dues capes treballant juntes? Mira la nostra sessió Del codi a l'execució: per què SAST + DAST són essencials per a l'AppSec moderna, on veurem com es confirmen mútuament les troballes de codi i les proves en temps d'execució.

Un flux de treball, no una altra consola

La seguretat de l'agent d'IA falla quan es converteix en una eina separada amb la seva pròpia cua. A Xygeni, les troballes d'IA passen pel mateix embut. Triatge d'IA, tiquets i informes com la resta de les vostres troballes. La correcció per IA ofereix una guia de correcció contextual per a les deu categories de LLM d'OWASP i ASPM posa el risc d'IA al costat del codi, la dependència i pipeline risc des d'una perspectiva.

Seguretat i compliment dels agents d'IA

Els reguladors, auditors i clients demanen cada cop més un inventari de la IA que executeu i com es classifica el seu risc. El Llei d'IA de la UE i ISO / IEC 42001 tots dos empenyen en aquesta direcció, i un AI-BOM s'està convertint en un standard element en els qüestionaris de contractació pública.

Un inventari d'IA amb un camp de categoria de risc per actiu proporciona al vostre equip de governança la base de proves per a aquesta tasca. Dóna suport a la preparació per a la Llei d'IA de la UE; no és una avaluació de la conformitat i no substitueix la vostra revisió legal.

o equips mitjans és senzill:

  1. A tots pull request: Seguretat de l'API a CI al codi modificat, a més d'escanejos DAST incrementals.
  2. Abans commit: com una pre-commit porta en fitxers en stage.
  3. Cada nit o en la fusió: una exploració DAST completa.
  4. Abans de cada llançament important: Proves d'IA contra estadificació per validar l'endarreriment i confirmar que cada correcció ha tancat el forat.

L'escàner de seguretat de l'API s'executa a qualsevol lloc, inclosos els entorns amb espais reduïts, i informa a Xygeni SaaS o al vostre on-premiseplataforma s. Els resultats surten com a JSON, SARIF 2.1.0, CSV i Markdown per a pull request comentaris.

Proves de seguretat i compliment de l'API

Per als equips de la banca, les assegurances o el sector públic, les proves de seguretat de l'API també són una prova. Cada troballa porta etiquetes de compliment per a Article 32 del RGPD, PCI DSS 4.0 (requisits 3.4, 6.4.3, 7.1, 7.2 i 8) i NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), visible a la plataforma i a la sortida JSON i SARIF.

Si la vostra organització pertany a DORA or NIS2, les proves en temps d'execució us proporcionen evidència contínua entre les proves de penetració manuals que els vostres reguladors encara requereixen. 

Com implementar la seguretat d'agents d'IA en 7 passos

Aquí teniu la llista de comprovació pràctica, en l'ordre que fa que la seguretat dels agents d'IA funcioni més ràpidament en un equip de desenvolupament real.

  1. Descobreix

    Inventari de tots els actius d'IA dels vostres repositoris

    Escaneja tots els repositoris per a agents, servidors MCP, habilitats, models, indicacions i eines de codificació d'IA i exporta el resultat com a AI-BOM. Aquesta és la teva línia de base i la llista a partir de la qual es basen tots els altres passos.

  2. Classificar

    Assigna a cada agent un propietari i un nivell de risc

    Per a cada agent, registreu qui en és el propietari, a quines dades i eines pot accedir i la seva categoria de risc segons la Llei d'IA de la UE. Un agent que ningú no posseeix és un agent que ningú no arreglarà.

  3. Detectar

    Escaneja el codi de l'agent a CI a cada pull request

    Executa la detecció de riscos d'IA al costat dels altres escanejos. Comença en mode sense bloqueig per veure la línia de base i, a continuació, bloqueja les fusions en troballes crítiques un cop els equips hagin netejat.

  4. Crítica

    Revisa les habilitats abans que algú les instal·li

    Escaneja els fitxers d'instruccions d'habilitats i agents, com ara SKILL.md i AGENTS.md, activeu la revisió d'intencions d'IA i tracteu un veredicte de "no instal·lar" com una aturada definitiva.

  5. Restringir

    Permisos de l'agent de reducció

    Substituïu les credencials estàtiques de llarga durada per unes amb àmbit definit, deixeu de compartir credencials entre agents i no executeu mai servidors MCP o d'eines amb privilegis elevats que no necessiten.

  6. Correcció en el bucle

    Posa la seguretat dins del bucle de l'agent de codificació

    Connecteu els vostres agents de codificació d'IA a un servidor MCP de seguretat perquè escanegin i corregeixin el seu propi codi abans que sigui committed, amb les mateixes polítiques que la teva pipeline.

  7. Protegir

    Protegeix el que arriba a les màquines dels desenvolupadors

    Aplicar una edat mínima per als paquets nous, detectar paquets maliciosos abans que existeixi una signatura i cobrir les extensions i els complements de l'IDE, així com qui els instal·li, ja sigui un desenvolupador o un agent.

Llavors: encamina cada troballa al mateix flux de treball de triatge, incidències i informes que la resta de l'AppSec, de manera que el risc d'IA no acabi en una cua pròpia.

No pots aconseguir un agent que no has conegut mai

La seguretat dels agents d'IA no és un escàner més. Es tracta de saber quins agents executes, detectar el risc en com estan construïts, posar la seguretat dins del bucle de l'agent de codificació i protegir els agents que instal·len. Comença amb l'inventari: tot el demés en depèn.

Voleu veure tots els agents, servidors MCP i habilitats del vostre codi? Reserva una sessió amb un enginyer per crear l'inventari d'IA dels vostres repositoris i revisar-ne les conclusions. O bé comença gratis amb IA SAST, SCA, detecció de secrets, els complements de l'IDE i detecció de programari maliciós en paquets de codi obert. Sense targeta de crèdit.

Preguntes freqüents sobre la seguretat dels agents d'IA

En què es diferencia la seguretat dels agents d'IA de la seguretat de les LLM?

La seguretat de l'LLM tracta del que diu un model: dades filtrades, respostes manipulades, resultats no segurs. La seguretat dels agents d'IA tracta del que fa un agent amb eines, memòria, credencials i altres agents. És per això que l'OWASP publica un Top 10 separat per a aplicacions agentives (ASI01 a ASI10) a més del Top 10 de l'LLM.

Com puc trobar els agents d'IA i els servidors MCP de la meva organització?

Comença des del codi. Xygeni AI Security descobreix els agents, els servidors MCP, les habilitats, els models, les indicacions i les eines de codificació d'IA als teus repositoris, mapeja com es connecten i exporta el resultat com a AI-BOM en format CycloneDX. S'executa a CI al costat dels altres escanejos.

Pot una habilitat maliciosa o un servidor MCP comprometre els meus desenvolupadors?

Sí: les instruccions d'una habilitat són text sense format i un agent les seguirà amb els permisos del desenvolupador. Xygeni marca directives malicioses ocultes i noms d'habilitats que suplanten la identitat, pot jutjar la intenció d'una habilitat amb una revisió d'IA opcional i qualifica cada habilitat com a segura, precaució o no instal·lar. Defensa contra programari maliciós i Shield cobrir els paquets i les extensions que porten els agents.

sca-tools-software-composition-analyse-tools
Prioritzar, solucionar i protegir els riscos del programari
Obtén el teu compte gratuït.
No es requereix cap targeta de crèdit.

Assegura el desenvolupament i el lliurament del teu programari

amb el paquet de productes Xygeni