Mètriques de risc d'IA

Risc d'IA: les mètriques que us indiquen si la vostra estratègia d'IA agentiva està funcionant

TL; DR

Ara tots els consells pregunten sobre el risc de la IA, i la majoria dels equips de seguretat responen amb adjectius en lloc de números. Els marcs de governança us diuen què heu de governar. No us diuen què heu de comptar. Totes aquestes mètriques de risc d'IA provenen del mateix lloc: el codi que la vostra organització ja distribueix.

  • Una estratègia d'IA agentiva té tres capes, i només una d'elles és el model. Què escriu l'agent, a què està connectat l'agent i què extreu l'agent. La majoria de programes mesuren el primer i ignoren els altres dos.
  • El radi de l'explosió no és al model. Es troba al fitxer d'habilitats, a la configuració de l'MCP, a l'abast de l'eina i a les credencials sota les quals s'executa l'agent. Una avaluació de model neta i un agent amb sobreprivilegis coexisteixen còmodament.
  • Nou mètriques de risc d'IA, cadascuna un número en lloc d'un adjectiu. Actius d'IA no aprovats, rutes d'injecció ràpida que arriben a un embornal d'eines, secrets a .mcp/servers.json, dependències afegides per l'agent marcades abans que existís una signatura.
  • Si no podeu produir el número aquest trimestre, la mètrica no és el problema. L'inventari és. Comença amb tres recomptes, no amb un programa.

Què significa realment el risc d'IA quan ets tu qui envia el programari?

Pregunteu a deu persones què significa el risc de la IA i obtindreu deu respostes. Biaix de model. Al·lucinació. Fuita de dades. Exposició normativa. Desplaçament laboral. Tot real, tot digne d'atenció i cap d'ells responsible per un equip de seguretat un dimarts a la tarda.

Hi ha una versió més limitada de la pregunta que un equip de seguretat pot tenir: quina IA s'executa dins del programari que creem, a què pot arribar i què passa quan algú la manipula. Aquesta versió té una resposta, i la resposta es troba als vostres repositoris i pipelines en lloc d'un document de política.

Aquesta és la versió del risc d'IA de la qual tracta aquesta publicació. No perquè les preguntes de governança no importin, sinó perquè les preguntes de governança no es poden respondre fins que aquesta no es respongui. Un marc de treball us demana que feu un inventari dels vostres sistemes d'IA. No us diu que l'inventari es troba en un .mcp/servers.json fitxer que ningú ha obert des que va ser committed.

Per què la majoria de programes de risc d'IA mesuren alguna cosa incorrecta?

Tres patrons de fracàs, i la majoria d'organitzacions en executen com a mínim dos.

  • Mesurar l'adopció en lloc de l'exposició. «El 72% dels nostres desenvolupadors utilitzen eines d'IA» és una mètrica de productivitat que porta una insígnia de seguretat. No diu res sobre el que poden aconseguir aquestes eines.
  • Mesurar el model en lloc del sistema. L'elaboració d'un endpoint amb red-team respon a la pregunta de si es pot convèncer un model perquè digui alguna cosa que no hauria de dir. No respon al que passa després, perquè el radi de blast es troba a l'abast de l'eina, la credencial amb què s'executa l'agent i els fitxers de configuració que defineixen tots dos. Una avaluació neta del model i un agent amb privilegis excessius coexisteixen molt còmodament.
  • Mesurar allò que és fàcil de comptar. Nombre de polítiques d'IA publicades. Nombre de personal que ha completat la formació en IA. Aquestes xifres augmenten de manera fiable i no es correlacionen amb res.

L' NIST AI Risk Management Framework és explícit que la mesura és una de les seves quatre funcions bàsiques, juntament amb governar, cartografiar i gestionar. El marc està deliberadament basat en resultats en lloc de ser prescriptiu, cosa que és correcta per a un standard i poc útil un dimarts. Encara has de decidir què comptar.

Quines mètriques de risc de la IA realment et diuen alguna cosa?

Nou mètriques. Cadascuna és un número, cadascuna canvia quan canvia la teva exposició i cadascuna es pot generar a partir de codi en lloc d'una enquesta.

MètricPer què importa?D'on prové el número
01Total d'actius d'IA descoberts i el canvi des del mes passatNo es pot informar sobre el risc d'IA que no s'hagi comptat mai. La tendència importa més que el nombre absolut.Descobriment continu de models, marcs de treball, conjunts de dades, punts finals d'inferència, agents, servidors MCP, habilitats i eines de codificació d'IA
02Actius d'IA no aprovats com a percentatge del totalAquesta és la teva taxa d'IA a l'ombra. És la mètrica de risc d'IA més citada per a una junta.Estat d'aprovació rastrejat per actiu en funció de la vostra política
03Actius d'IA sense propietari identificatUn actiu que ningú posseeix és un actiu que ningú arreglarà. Normalment és el número més lleig del conjunt.Propietat registrada contra l'actiu
04Trajectes d'injecció ràpids que arriben a un embornal d'einesUna entrada no fiable que arribi a un indicador del sistema només importa si alguna cosa perillosa es troba a l'altre extrem.Detecció de riscos per IA assignada a Els 10 millors de l'OWASP per a sol·licituds de LLM
05Servidors MCP en ús i quants porten troballesLa configuració de l'MCP és on l'agent rep les ordres. També és on s'acumulen les credencials.Configuració del servidor MCP analitzada com a artefacte de seguretat
06Secrets trobats en fitxers de configuració d'IAUna investigació del 2026 va trobar més de 24,000 secrets en fitxers de configuració de MCP en un GitHub públic, amb més de 2,000 encara vàlids.Detecció de secrets a través del codi, les configuracions, els contenidors i pipelines
07Dependències afegides per l'agent marcades abans que existís una signatura públicaEls agents treuen paquets ràpidament i el nom que el vostre model va inventar és una superfície d'atac que es pot explotar.Alerta precoç de programari maliciós, detecció d'evidències seguida de validació per IA
08Proporció de troballes d'IA que són accessibles i estan en codi desenvolupat activamentSepara la feina endarrerida que mai eliminaràs de la feina que canvia la teva exposicióL'embut de priorització de la IA
09Percentatge d'autoritzat per agents pull requests fusionat amb una aprovació humanaLa mètrica de governança que demanarà un regulador i la que ningú fa un seguimentPull request anàlisi i portes d'aprovació

Si només en tries una, agafa la mètrica 02. La proporció d'actius d'IA no aprovats respecte al total d'actius d'IA és el nombre que sobreviu a la traducció d'un equip de seguretat a una auditoria. commitsamarreta, i es mou quan realment fas alguna cosa.

Què ha de cobrir una estratègia d'IA agentiva?

Tres capes. L'error que gairebé tothom comet és començar per la primera i aturar-se allà.

  1. Capa u: el que escriu l'agent. El codi generat té les mateixes classes de vulnerabilitat que el codi humà, i les investigacions que es remunten al 2022 han descobert sistemàticament que una part substancial dels programes generats per IA contenen defectes de seguretat. Aquesta capa és la més familiar, i és precisament per això que absorbeix tota l'atenció.
  2. Capa dos: allò a què està connectat l'agent. Fitxers d'habilitats, fitxers de regles, configuracions del servidor MCP, àmbits d'eines, la credencial sota la qual s'executa l'agent. Aquesta és la capa que determina fins a quin punt arriba un atac reeixit i és invisible per a qualsevol cosa que provi el model a través del seu punt final. ATLAS DE MITRE cataloga aquest terreny directament: l'estudi de cas Rules File Backdoor, AML.CS0041, descriu caràcters d'amplada zero en un fitxer de regles que converteixen la documentació en instruccions que un agent obeeix silenciosament. Un revisor que llegeix el pull request no veu res.
  3. Capa tres: allò que l'agent extreu. Dependències, models, conjunts de dades, eines externes. Una investigació presentada a USENIX Security el 2025 va generar 2.23 milions d'exemples de codi en 16 models i va descobrir que el 19.7% dels paquets recomanats no existien, cosa que va produir més de 205,000 noms únics i al·lucinats. Els atacants ja no necessiten comprometre un mantenidor. Registren el nom que el vostre agent va inventar i esperen.

Una estratègia d'IA agentiva que cobreix només la primera capa produeix un informe net i un perfil de risc d'IA sense canvis. Els 10 millors de l'OWASP per a sol·licituds de LLM reflecteix això en la seva pròpia estructura: l'agència excessiva es troba al capdamunt de la llista precissimplement perquè és un problema de cablejat, no un problema de model.

Com s'implementa això sense alentir els agents?

L'instint és controlar-ho tot. Falla perquè l'objectiu principal de l'agent és el rendiment, i un control que redueix a la meitat el rendiment s'elimina en un quart de la setmana.

Tres principis d'implementació que es mantenen:

  • Mesura contínuament, controla selectivament. Les nou mètriques de risc d'IA es poden recopilar en cada escaneig sense bloquejar res. Reserveu portes dures per al conjunt petit on l'error és irrecuperable: una dependència maliciosa, un secret en directe, un model no aprovat que gestiona dades regulades.
  • Poseu la seguretat on ja hi ha l'agent. Un agent connectat per MCP crida la plataforma de seguretat mentre genera, escaneja el que acaba d'escriure i itera sobre les correccions fins que el codi compleix els vostres llindars. No hi ha cap humà al bucle en aquesta etapa, i res per instal·lar on s'executa l'agent. Aquest és l'únic punt d'intervenció que s'escala amb el rendiment de l'agent en lloc de contra ell.
  • Mantingueu l'humà al pull request. Per a qualsevol cosa que arribi al codi de producció, una persona ho aprova. Això no és precaució, és la posició de disseny cap a la qual t'empeny la Llei d'IA de la UE de totes maneres, i és molt més barat integrar-la ara que modernitzar-la sota pressió d'auditoria. També és la mètrica 09, per la qual cosa val la pena fer un seguiment d'aquesta mètrica des del primer dia.
capapropietariInformes a
Què escriu l'agentCap d'AppSecCISO, mensualment
A què està connectat l'agentLíder de plataforma o DevOpsCISO, contínuament
Què aporta l'agentCap d'AppSecCISO, contínuament
La postura de risc de la IA reportadaCISOficina OConsell o auditoria commitsamarreta, trimestral

La fila que no s'assigna a la majoria d'organitzacions és la segona. Els fitxers de configuració es troben entre la seguretat de les aplicacions, que els tracta com a infraestructura, i l'enginyeria de la plataforma, que els tracta com a documentació. En aquest buit és on cauen els atacs interessants.

Com comenceu a mesurar el risc de la IA aquest trimestre?

No construeixis el programa complet. Produeix tres números. Compta els teus actius d'IA. Compta quants d'ells ningú ha aprovat. Compta quants secrets hi ha als fitxers de configuració d'IA. Aquests tres caben en una diapositiva; tots són defensables i seran pitjors del que espera qui els va demanar.

Aleshores, tria el que sigui pitjor i arregla'l abans de la propera reunió del consell. Això és un programa de riscos d'IA que funciona. Tota la resta és elaboració.

Les organitzacions que tindran dificultats amb el risc d'IA el 2027 no són les que es van moure ràpidament. Són les que van passar el 2026 escrivint polítiques d'IA i mai van comptar res. Una política que ningú pot comparar és un document. Les mètriques de risc d'IA són les que la converteixen en un control.

Veure els teus propis números. Connecteu un repositori i Xygeni us retornarà l'inventari d'IA, els actius no aprovats, els riscos assignats als marcs de treball que utilitzen els vostres auditors i una llista de materials d'IA que podeu exportar. Comença gratis or reservar una demostració.

FAQ

Quina diferència hi ha entre el risc de la IA i la seguretat de la IA?

La seguretat de la IA es basa principalment en el que fa un model: si es comporta com està previst, si els seus resultats són perjudicials, si es pot manipular per convertir-lo en alguna cosa que hauria de rebutjar. El risc de la IA, en un context de seguretat, es refereix al que pot arribar a aconseguir un sistema d'IA compromès o amb un mal comportament dins del vostre entorn. Els dos aspectes se superposen, però són propietat d'equips diferents i es mesuren amb instruments diferents. Un equip de seguretat pot actuar sobre el segon avui dia.

Quantes mètriques de risc d'IA hauríem d'informar a la junta?

De tres a cinc. Un tauler no pot actuar amb nou números, i una baralla amb nou tendeix a amagar el que importa. Informeu del recompte total d'actius d'IA, el percentatge no aprovat i una mètrica d'exposició, com ara troballes d'IA accessibles en desenvolupament actiu. Guardeu la resta per a la revisió operativa.

Necessitem una IA-BOM si encara no hi ha cap regulació que l'exigeixi?

Actualment, cap regulació obliga a tenir un IA-BOM, i és precisament per això que generar-ne un és barat ara mateix i car més endavant. Avui dia existeixen dos formats llegibles per màquina, i un auditor acceptarà qualsevol dels dos. El valor no és el compliment normatiu; és que produir el fitxer t'obliga a tenir l'inventari, i l'inventari és del que depèn cada mètrica de risc d'IA.

Els nostres desenvolupadors utilitzen eines d'IA que mai hem aprovat. Per on comencem?

Comptar abans de fer la policia. Anunciar una política contra eines que no podeu veure impulsa l'ús clandestí i destrueix la visibilitat que necessiteu. Executeu primer el descobriment, publiqueu la xifra internament sense atribució i utilitzeu-la per acordar una llista aprovada que reflecteixi el que la gent realment necessita. L'aplicació de la llei funciona molt millor quan segueix les proves que quan les precedeix.

sca-tools-software-composition-analyse-tools
Prioritzar, solucionar i protegir els riscos del programari
Obtén el teu compte gratuït.
No es requereix cap targeta de crèdit.

Assegura el desenvolupament i el lliurament del teu programari

amb el paquet de productes Xygeni