Marc de governança de l'IA

Construint un marc de governança de la IA: una estructura pràctica

TL; DR

Un document de polítiques no és un marc de governança de la IA. Un PDF que diu "utilitzem la IA de manera responsable" no té manera de demostrar quina IA s'està executant realment, qui la va aprovar o si es compleix la política. La governança necessita estructura sota les paraules.

Quatre funcions, manllevades d'un món real standard, mantenir unida una estructura. Els RMF d'IA del NIST Governar, Cartografiar, Mesurar, Gestionar és una estructura estable i citable: el govern estableix la política, el mapa crea l'inventari, mesura, avalua el risc, gestiona, aplica i remedia.

L'inventari és la funció que la majoria dels frameworks ometen i la que es trenca primer. No es pot governar, mesurar ni aplicar polítiques contra un actiu d'IA que ningú sap que existeix. La IA a l'ombra és una fallada de governança abans que de seguretat.

Standardet donen el vocabulari, no les eines. An Marc de governança de la IA basat en NIST AI RMF, ISO/IEC 42001 i la Llei d'IA de la UE obté el vocabulari del que un programa ha de demostrar. Cap d'ells et proporciona l'inventari, les proves o l'aplicació, aquesta és la part que les organitzacions encara han de construir.

La majoria de la "governança de la IA" que una empresa pot produir avui dia és un document. Un conjunt de principis, una llista d'eines aprovades, un paràgraf sobre l'ús responsable, signat pel departament legal i arxivat en un lloc on ningú el llegeixi dues vegades. Respon a la pregunta "què diem que fem", i no pot respondre a la pregunta que realment importa en una auditoria o un incident: quina IA està executant ara mateix, qui la va aprovar i com ho sabem. Aquesta bretxa, entre la política i la prova, és on la majoria dels esforços de governança de la IA fallen silenciosament. Una veritable Marc de governança de la IA és l'estructura que el tanca.

Per què un document polític per si sol no funciona

Una política d'IA responsable és necessària. No és suficient, i la raó és estructural, no es tracta de redactar una política millor.

Una política estableix la intenció. Diu que els desenvolupadors han d'utilitzar eines de codificació d'IA aprovades, que els models que gestionen dades personals necessiten una revisió de privadesa i que el codi generat per IA rep el mateix escrutini que el codi escrit per humans. Res d'això és aplicable sense alguna cosa a sota que pugui respondre tres preguntes a demanda:

  • Quina IA s'utilitza realment? No el que es va aprovar, sinó el que s'està executant: quins models, quins agents, quins servidors MCP, quins assistents de codificació d'IA, en quins repositoris, connectats a què.
  • La realitat coincideix amb la política? Un model no aprovat cridat silenciosament des d'un script, una clau API personal d'un desenvolupador en un fitxer de configuració, un servidor MCP que ningú ha revisat, aquestes són infraccions de polítiques que un document no pot detectar per si sol.
  • Ho pots demostrar, no només afirmar-ho? Quan un auditor, un regulador o un qüestionari de seguretat d'un client demana proves, "tenim una política" no és prova. Un inventari datat, una llista de materials d'IA signada i un conjunt de controls mapejats sí que ho són.

Sense aquests tres, un programa de governança és una declaració de valors. Amb ells, és un sistema que es pot auditar.

Les quatre funcions que tot marc de governança de la IA necessita

En lloc d'inventar una nova estructura, els marcs més duradors s'inspiren en una que ja és estable i àmpliament reconeguda: la NIST AI Risk Management Framework, construït al voltant de quatre funcions. Es tradueixen perfectament en un programa pràctic de governança de la IA.

functionEn la pràcticaPunt de fallada comú
GovernPolítica, rols i responsabilitat: qui aprova un cas d'ús d'IA, qui és el propietari del risc, què significa realment "ús acceptable"Escrit una vegada, mai operacionalitzat en un procés que algú segueixi diàriament
MapaUn inventari en directe de tots els actius d'IA: models, conjunts de dades, agents, servidors MCP i eines de codificació d'IA en ús real.Construït una vegada a partir d'una enquesta, obsolet en un mes, falta tot el que ningú va autodeclarar
MeasureAvaluació del risc per a cada actiu: exposició a injeccions ràpides, maneig de dades, procedència del model, debilitats de la configuracióAvaluat a l'entrada, mai reavaluat a mesura que l'actiu o la seva configuració canvien
GestionarActuació sobre el que troba la Mesura: remediació, aplicació i generació de proves per a auditors i reguladorsLes troballes s'acumulen en un full de càlcul sense propietari ni termini.

On la IA de l'ombra trenca el marc de treball

IA d'ombra, Els models, agents i eines de codificació d'IA que s'executen sense que la seguretat o la governança ho descobreixin no són un problema secundari. És la raó més comuna per la qual falla la funció Map, i quan Map falla, falla tot el marc de treball amb ell. Un desenvolupador connecta un model no aprovat a un script. Un servidor MCP s'afegeix a un projecte perquè ha resolt un problema ràpidament. Un assistent de codificació d'IA s'instal·la perquè era gratuït. Res d'això apareix en una enquesta, i un marc de governança que es basa en l'autoinforme sempre infravalorarà.

La solució no és una política més estricta que demani a la gent que s'autoinformi millor. És un descobriment que no depèn que ningú recordi informar de res, construït a partir del que les eines d'IA realment deixen enrere en el codi, la configuració i les dependències.

Com construir això realment, en ordre

Les quatre funcions descriuen el que necessita un marc de treball. Aquest és l'ordre que realment funciona quan es comença de zero o d'un document de política sense cap estructura subjacent.

1
Comença amb el descobriment, no amb la política
Escriure una política abans de saber què executa realment la IA és escriure regles per a un inventari que no tens. Executa primer el descobriment, fins i tot una primera passada aproximada, de manera que la política que segueix s'escrigui en funció de la realitat en lloc d'una conjectura.
2
Classifica el que trobis segons el risc real
No tots els models o agents necessiten el mateix escrutini. Ordena l'inventari per allò que toca dades sensibles, allò que està orientat al client i allò que encara és experimental, de manera que Measure tingui un punt de partida en lloc d'una llista plana i indiferenciada.
3
Escriu una política en funció del que realment tens
Ara Govern té alguna cosa a què respondre en lloc d'alguna cosa a endevinar. Una política escrita després del descobriment anomena les categories reals d'IA en ús i estableix regles que s'hi corresponen, en lloc de principis genèrics que ningú pot contrastar amb la realitat.
4
Assigna un propietari per gestionar abans que aparegui la primera troballa
Una troballa sense propietari roman en un full de càlcul indefinidament. Decideix qui ho posa remei, qui accepta el risc i qui aprova les proves abans que Measure produeixi el seu primer resultat, no després que ja hagi començat l'acumulació de treballs endarrerits.
5
Estableix una cadència de revisió, no un esdeveniment puntual
El descobriment, la classificació i l'avaluació de riscos decauen en el moment en què apareix un nou model o agent. Poseu una cadència recurrent a cada funció des del primer dia, de manera que el marc de treball descrigui la IA de l'organització tal com és ara, no com era a l'última auditoria.

Què Standardrealment et donen i el que no et donen

Un grapat de marcs i regulacions defineixen ara el vocabulari de la governança de la IA. Cap d'ells proporciona les eines; defineixen què ha de demostrar un programa, no com construir el sistema subjacent que ho demostra.

MarcQuè és realmentEstat
NIST AI RMFUn marc voluntari de gestió de riscos (Governar, Mapejar, Mesurar, Gestionar) més un perfil generatiu d'IA. Vocabulari, no certificació.Publicat, estable
ISO / IEC 42001El primer internacional standard per a un sistema de gestió d'IA. Certificable, a diferència del marc de treball del NISTPublicat el 2023, mercat de certificació actiu
Els 10 millors màsters en dret de l'OWASPUna llista de conscienciació desenvolupada per la comunitat dels riscos més crítics per a la sol·licitud d'LLM. No és una certificació.Publicat, estable, mantingut per la comunitat
Llei d'IA de la UELlei vinculant per a sistemes d'IA d'alt risc, que exigeix ​​documentació tècnica i gestió de riscos en virtut de l'article 11 i l'annex IVEn vigor; obligacions d'alt risc ajornades fins al desembre de 2027 (annex III) i a l'agost de 2028 (annex I) en el marc de l'Òmnibus Digital

Una nota específica sobre la Llei d'IA de la UE, perquè la data límit es cita incorrectament sovint: la Òmnibus digital, en vigor des del 27 de juliol de 2026, va ajornar la major part de les obligacions d'alt risc fins al desembre del 2027 i l'agost del 2028. Les obligacions de transparència de l'article 50 continuen vigents des de l'agost del 2026. Avançar cap a terminis posteriors ara continua sent la decisió correcta, un inventari d'IA i les proves que el sustenten triguen a mantenir-se, però no hi ha cap versió precisa d'això que digui que el temps ja s'ha esgotat.

Què han de fer realment les eines i el programari de governança de la IA

El terme "programari de governança d'IA" s'utilitza de manera general per descriure tot, des d'una wiki de gestió de polítiques fins a una plataforma de riscos completa. Sigui el que sigui que estiguis avaluant, ha de fer aquestes quatre coses o no governa res, sinó que documenta una intenció:

  • Descobreix sense dependre de l'autoinforme. Si l'única manera que un actiu d'IA entra a l'inventari és que algú ompli un formulari, l'inventari és erroni per definició. El descobriment a partir del codi, la configuració i les dependències detecta el que una enquesta passa per alt.
  • Produir una IA-BOM llegible per màquina. Una llista de materials d'IA en un format real, com ara ML-BOM de CycloneDX o el perfil d'IA de SPDX 3.0, és el que un auditor pot ingerir i verificar realment, no un full de càlcul exportat per a l'ocasió.
  • Mapeu els resultats a un marc de treball amb nom. Troballes de riscos que fan referència a Els 10 millors màsters en dret de l'OWASP o el NIST AI RMF són verificables. Una "puntuació de risc" vaga sense cap marc de treball al darrere no ho és.
  • Mantingueu-vos al dia, no en un punt en el temps. Un inventari o una avaluació de riscos del darrer cicle d'auditoria ja està desactualitzat el dia que s'afegeix un model nou. La governança és contínua o és un teatre amb una marca de temps.

Errors comuns que perjudiquen un marc de governança

  • Tractant la política com la línia de meta. Una política d'ús de la IA publicada sense cap mecanisme d'aplicació al darrere és un primer esborrany, no un programa.
  • Inventariar només allò que s'ha sol·licitat formalment. Les eines aprovades es controlen. Tot allò que un desenvolupador ha instal·lat per iniciativa pròpia no, i aquest sol ser el conjunt més gran.
  • Avaluacions de riscos puntuals. Un model revisat a l'inici i que mai es perd cap canvi de configuració, cap nova integració i cap nou servidor MCP connectat posteriorment.
  • No hi ha connexió entre l'evidència tècnica i la narrativa de compliment. Els equips de seguretat mantenen l'inventari. Els equips de compliment normatiu redacten l'informe. Quan aquests dos no parlen, l'informe és una conjectura.
  • Confondre una certificació amb un control. La certificació ISO/IEC 42001 i l'alineació amb OWASP són senyals forts, però descriuen la intenció i l'estructura. No substitueixen l'inventari real ni les proves que sol·licitarà una auditoria específica.

De la política a l'evidència

La majoria de polítiques de governança es redacten partint del supòsit que algú ja pot respondre a la pregunta "quina IA tenim realment?". A la pràctica, gairebé ningú ho pot fer. Seguretat d'IA Xygeni està dissenyat per tancar exactament aquesta bretxa: troba els models, agents, servidors MCP i eines de codificació d'IA que ja s'executen en una organització llegint el que deixen enrere al codi font i a la configuració, no demanant als desenvolupadors que ho informin. Aquest inventari alimenta un gràfic de relacions que mostra com cada actiu es connecta amb la resta de l'organització. SDLCi exporta com a fitxer llegible per màquina IA-BOM amb què els auditors poden treballar realment, alineats amb l'OWASP LLM Top 10 i el NIST AI RMF en lloc d'un sistema de puntuació propi. Com que el descobriment s'executa contínuament, l'inventari reflecteix el que és cert aquesta setmana, no el que era cert a l'última auditoria.

Res d'això substitueix la funció de Govern. Decidir qui és el propietari del risc de la IA, què s'aprova i què significa "ús acceptable" continua sent una qüestió de política i responsabilitat, una que una eina d'anàlisi no pot respondre per tu. El que fa és donar a aquesta política alguna cosa en què basar-se: proves en lloc d'una suposició. Si estàs sospesant això amb altres opcions de la teva llista, la nostra llista de comprovació per avaluar una empresa de seguretat d'IA camina pel mateix decisió per part del comprador, i la pàgina de preus té els detalls de com encaixa juntament amb un conjunt més ampli ASPM programa.

Preguntes freqüents: Creació d'un marc de governança de la IA

Quina diferència hi ha entre un marc de governança de la IA i una política de IA?

Una política és un document que declara la intenció, què s'aprova, què s'espera i qui n'és responsable. Un marc és l'estructura que fa que la política sigui aplicable i verificable: descobriment, avaluació de riscos, aplicació i proves. Una política sense un marc que la sustenti no es pot auditar en relació amb la realitat.

Cal la certificació ISO/IEC 42001 per tenir un programa de governança de la IA?

No. La certificació és opcional i indica maduresa per als clients i auditors, però pot i ha d'existir un programa de governança que funcioni, descobriment, avaluació de riscos i aplicació, abans de sol·licitar la certificació, no com a substitut d'aquesta.

Una IA-BOM compleix els requisits de la Llei d'IA de la UE?

No per si sol. L'article 11 i l'annex IV exigeixen documentació tècnica per a sistemes d'IA d'alt risc, i una AI-BOM és una prova sòlida que avala aquesta documentació, però la Llei no nomena una "AI-BOM" com un artefacte obligatori. Tracteu-la com a prova, no com una casella de verificació de compliment.

Quina és la bretxa més comuna en els programes de governança de la IA actualment?

Inventari. La majoria d'organitzacions poden generar una política més ràpidament que no pas una llista precisa i actualitzada de tots els models, agents i eines de codificació d'IA que s'utilitzen realment. Sense aquesta llista, totes les altres funcions del marc de treball treballen a partir d'informació incompleta.

Les eines de governança de la IA substitueixen la necessitat d'un equip de compliment normatiu o legal?

No. Les eines proporcionen l'evidència tècnica, el descobriment, la puntuació de riscos i la documentació preparada per a auditories que necessita un programa de compliment. Interpretació de les obligacions reglamentàries, establiment de polítiques i definició de l'acceptació de riscos.cisEls ions encara requereixen estructures de governança humana que una eina no substitueix.

sca-tools-software-composition-analyse-tools
Prioritzar, solucionar i protegir els riscos del programari
Obtén el teu compte gratuït.
No es requereix cap targeta de crèdit.

Assegura el desenvolupament i el lliurament del teu programari

amb el paquet de productes Xygeni