Què és la ciberseguretat de la IA?

La ciberseguretat de la IA és la pràctica de protegir la intel·ligència artificial com a part de la superfície d'atac: els models, conjunts de dades, agents, servidors MCP, indicacions i codi generat per IA dins del programari, a més de les noves tècniques d'atac que els ataquen. També cobreix la direcció inversa, utilitzant la IA per enfortir la defensa, però la primera direcció és la que crea exposició avui dia. Aquesta és la resposta curta a què és la ciberseguretat de la IA. Val la pena estar atent.cise sobre això, perquè el terme s'utilitza per a dues coses molt diferents, i comprar-ne una equivocada deixa l'altra descuidada.

Significat de la ciberseguretat per la IA, en dues direccions #

El significat de ciberseguretat de la IA es divideix en una línia simple: estàs protegint la IA o ella et protegeix a tu?

Assegurant la IA. La vostra organització es construeix amb IA i es desenvolupa mitjançant la IA. Això introdueix actius que ningú ha inventariat i modes d'error per als quals les eines convencionals mai no es van dissenyar: una indicació que accepta entrades no fiables, un agent amb més permisos dels que necessita la seva tasca, un conjunt de dades que contamina un model, un servidor MCP que ningú ha aprovat. Aquí és on es produeixen els incidents.

IA per a la seguretat. Aprenentatge automàtic aplicat a la detecció, el triatge, l'explicació i la remediació: reduir el soroll d'alerta, prioritzar les troballes explotables i escriure la solució. D'aquí prové l'eficiència.

La majoria de proveïdors i la majoria d'articles combinen els dos. El significat de ciberseguretat de la IA que importa operativament és que són programes separats amb propietaris separats. Un és un problema de superfície d'atac. L'altre és un problema de productivitat.

Què protegeix la ciberseguretat de la IA? #

Un inventari, abans d'un control. Cada element que hi ha a continuació és un actiu del qual ara és responsable un equip de seguretat.

• Models, ja sigui autoallotjat, ajustat o cridat a través d'una API de proveïdor
• Conjunts de dades utilitzat per a la formació, l'afinament, l'avaluació i la recuperació
• Agents i servidors d'agents que actuen de manera autònoma dins dels vostres sistemes
• Servidors MCP que exposen eines i dades a aquests agents
• Indicacions, fitxers d'habilitats, fitxers de regles i guardrails, la capa de configuració que regeix el comportament de la IA
• Punts finals d'inferència i les credencials que els arriben
• Assistents de codificació d'IA en ús als vostres equips i el codi que generen
• Dependències de la IA: els marcs de treball i els paquets que la teva pila d'IA incorpora

Fixeu-vos en com de poc d'això és codi d'aplicació. Això és precisEly, per què un SAST L'eina, un agent EDR i una eina de postura al núvol poden informar en verd mentre un agent en un ordinador portàtil exfiltra dades a través de la seva pròpia eina de correu electrònic.ols que heu connectat. Cap dels dos ho és el codi de l'aplicació, de manera que cap dels dos està cobert per les eines que ja executeu.

Els tres atacs que només existeixen gràcies a la IA #

Saber quina família estàs mirant t'indica on pertany el control, i aquí és on el significat de ciberseguretat de la IA deixa de ser abstracte.

La primera família té com a objectiu les instruccions del model. La injecció ràpida ha ocupat la primera posició en la Els 10 millors de l'OWASP per a sol·licituds de LLM des que la llista existia, per una raó senzilla: qualsevol punt on un model llegeixi text que no ha escrit és un punt d'entrada. La versió perillosa és indirecta. Ningú escriu l'atac, el model el recupera, des d'un tiquet de suport, una pàgina web, un pull request comentari o un document que algú ha penjat. El model no pot distingir les instruccions del contingut, de manera que segueix tots dos. Doneu eines a aquest model i la mateixa tècnica es converteix en injecció d'eines: canvieu el que l'agent creu que fa una eina i actuarà en contra vostra utilitzant les vostres pròpies credencials. L'excés d'agència és el multiplicador. Un agent que té un permís més ampli del que requereix la seva tasca és la diferència entre una molèstia i un incident.

La segona família es centra en la capa de configuració. Les indicacions, els fitxers de regles, els fitxers d'habilitats i les definicions del servidor MCP decideixen què fa la IA al vostre entorn, i cap d'ells és codi d'aplicació. La porta posterior del fitxer de regles va mostrar fins on arriba això: els caràcters Unicode d'amplada zero contenen instruccions que un revisor humà no pot veure físicament, l'assistent les obeeix i mai les esmenta a la seva resposta. La tècnica està catalogada a ATLAS DE MITRE com AML.CS0041. La mateixa capa conté rutinàriament les credencials del proveïdor en text sense format i atorga als assistents accés de lectura a molta més part del sistema de fitxers del que ningú pretenia. En agentic coding, Aquesta capa és el volant, i gairebé ningú la revisa.

La tercera família es centra en la cadena de subministrament d'IA. Els models, els conjunts de dades i els paquets que els envolten arriben de fora. L'"slopsquatting" és el cas més clar: els models de llenguatge inventen noms de paquets, els atacants els registren i l'agent instal·la el codi de l'atacant a petició. Una investigació presentada a l'USENIX Security 2025 va descobrir que el 19.7% dels paquets recomanats pels LLM no existeixen i que els noms al·lucinats es repeteixen amb prou freqüència com per ser explotats. Al costat d'això hi ha dades d'entrenament i recuperació enverinades, incrustacions que filtren el seu material font, servidors MCP no fiables connectats directament a un agent i marcs d'IA vulnerables incorporats com a dependències.

Sota tots tres hi ha la IA a l'ombra: els models, els agents, els assistents i Servidors MCP ja s'està executant sense aprovació, revisió ni inventari. És l'estat per defecte a la majoria d'organitzacions i és per això que el primer control sempre és una llista.

Què no ho és? #

No és governança de la IA. La governança respon a si s'ha d'utilitzar un model i sota quina política. La ciberseguretat de la IA respon a si el model, l'agent i el cablejat entre ells poden ser atacats.

No és un filtre davant d'un chatbot. El filtratge de peticions en temps d'execució és un control entre molts altres. No veu res sobre el servidor MCP a l'ordinador portàtil d'un desenvolupador, el fitxer de regles enverinades al repositori o les credencials en una configuració d'IA.

No està cobert pel que ja gestiones. La seguretat de les aplicacions tradicionals s'atura al repositori i no sap què és un model. Les eines de punt final observen el sistema operatiu i no entenen els paquets, els servidors MCP ni els assistents. Els atacs d'IA aterren en l'espai entre ells.

No es tracta només d'IA generativa. L'aprenentatge automàtic clàssic en frau, fixació de preus i puntuació de riscos també és un objectiu, mitjançant l'enverinament, l'evasió i l'extracció de models.

Els marcs que defineixen el camp #

Els 10 millors de l'OWASP per a sol·licituds de LLM: la taxonomia de treball per al risc d'aplicacions LLM i la que la majoria dels equips de seguretat assignen els resultats a la

OWASP Top 10 per a aplicacions agentives 2026: la llista complementària per a sistemes autònoms que utilitzen eines, publicada el desembre de 2025

Projecte de seguretat OWASP GenAI: l'esforç general, que inclou la seguretat de les dades, l'orientació del servidor MCP i els recursos d'equips vermells

NIST AI Risk Management Framework i el seu perfil d'IA generativa: el vocabulari de governança que els reguladors i els consells reconeixen

ATLAS DE MITRE: la base de coneixement de tècniques adversarials per a sistemes d'IA, amb casos d'estudi reals

Llei d'IA de la UE: el marc legal, incloses les tasques de documentació tècnica que un inventari d'IA us ajuda a satisfer

On començar #

Inventari. Trobeu tots els models, conjunts de dades, agents, servidors MCP i assistents d'IA que s'utilitzin, a partir del codi, les dependències i la configuració, en lloc d'una enquesta.

Mapeja les relacions. El risc rau en el cablejat: quin agent arriba a quina eina, quin conjunt de dades alimenta quin model.

Llegiu la capa de configuració. Tracteu les indicacions, els fitxers d'habilitats, els fitxers de regles i les definicions MCP com a artefactes de seguretat i reviseu-los com a codi.

Permisos d'abast. Doneu a cada agent la superfície d'eina més estreta i la mínima autonomia que li permeti la seva feina.

Aplicar-ho on s'executa. La major part del risc d'IA es troba a les màquines dels desenvolupadors, per la qual cosa la política s'ha d'aplicar al punt final, abans que s'executi un servidor no aprovat o un paquet maliciós.

Assegurant la IA que utilitzeu i la IA amb què creeu #

La resposta pràctica a què és la ciberseguretat per IA és que comença amb la visibilitat i acaba amb l'aplicació de la llei. Xygeni descobreix tots els actius d'IA del vostre dispositiu. SDLC, incloent-hi els models, agents, servidors MCP, conjunts de dades, fitxers d'habilitats i indicacions que ningú ha declarat, mapeja com es connecten i detecta els riscos específics: injecció d'indicacions i eines, instruccions malicioses en regles i fitxers d'habilitats, configuració MCP insegura, secrets en fitxers d'IA i dependències d'IA desordenades. Les troballes es corresponen amb el Top 10 d'OWASP per a aplicacions LLM i apunten al fitxer i la línia exactes. Una AI-BOM dóna als vostres auditors alguna cosa defensable, i la política s'aplica al punt final del desenvolupador, on realment s'executa la majoria del risc d'IA.

La mateixa intel·ligència s'aplica a les troballes dels escàners que ja teniu, de manera que la seguretat de la IA amplia la vostra pila en lloc de substituir-la. Vegeu a què estan connectats els vostres agents a Xígeni.

FAQ #