Gestione del rischio AI

Gestione del rischio nell'IA: due discipline, un unico inventario

TL; DR

"La gestione del rischio nell'IA" descrive due discipline opposte che condividono lo stesso nome. Gestire il rischio creato dall'IA non è la stessa cosa che utilizzare l'IA per gestire il rischio. La maggior parte delle organizzazioni fa una cosa, viene indottrinata all'altra e non redige report adeguati su nessuna delle due.

  • La gestione del rischio nell'ambito dell'IA generativa è prima di tutto un problema di scoperta, e solo in seguito un problema di governance. Non puoi governare un patrimonio che non hai mai contato e l'inventario spesso vive in un .mcp/servers.json file che nessuno ha aperto da quando è stato committed.
  • L'intelligenza artificiale per la gestione del rischio si guadagna un posto di lavoro in tre ambiti. Correlazione, spiegazione e volume. Non è bravo a decidere, ecco perché l'IA propone e qualcosa di deterministico verifica prima che chiunque lo veda.
  • Le due discipline convergono in un punto. L'intelligenza artificiale che utilizzi per gestire il rischio è essa stessa una risorsa di intelligenza artificiale, dotata di un modello, accesso agli strumenti e credenziali. Appartiene al tuo inventario.
  • Iniziate contando, non scrivendo politiche. Una polizza redatta prima della scoperta descrive un patrimonio immaginario. Tre numeri su una diapositiva battono un quadro che nessuno può verificare.

Perché "gestione del rischio dell'IA" ora ha due significati diversi?

Digitando la frase in un qualsiasi motore di ricerca, si ottengono due librerie completamente diverse come risultati.

Uno riguarda il rischio creato dall'IAModelli che si comportano in modo imprevedibile, agenti con più permessi di quanto previsto, codice generato che distribuisce difetti su larga scala, autorità di regolamentazione che chiedono cosa stai eseguendo. Chiamiamola gestione del rischio GenAI.

L'altro riguarda L'intelligenza artificiale come strumento della funzione di rischioModelli per la gestione degli avvisi, la sintesi dell'esposizione, la stesura di piani di bonifica e la spiegazione di un risultato a chi non legge le tracce di stack. Chiamiamola intelligenza artificiale per la gestione del rischio.

Condividono un nome, una voce di bilancio e spesso una diapositiva, ma non appartengono alla stessa disciplina. Una è difensiva e si chiede cosa potrebbe andare storto. L'altra è operativa e si chiede cosa possiamo smettere di fare manualmente. CISChiunque li confonda si ritrova con una politica di governance che non riduce il carico di lavoro e un programma di automazione di cui nessuno ha valutato i rischi.

Specificare la suddivisione non è pignoleria. È il modo più rapido per scoprire quale dei due progetti la tua organizzazione sta effettivamente finanziando.

Quali aspetti deve comprendere la gestione del rischio GenAI?

Tre strati, e solo uno di essi è il modello.

  • Ciò che scrive l'IA. Il codice generato presenta le stesse classi di vulnerabilità del codice scritto da esseri umani e viene generato più velocemente di quanto il processo di revisione possa gestirlo. Questo livello riceve quasi tutta l'attenzione perché è il più familiare.
  • A cosa è collegata l'IA. File delle competenze, file delle regole, configurazioni del server MCP, ambiti degli strumenti, le credenziali con cui viene eseguito un agente. Testo semplice, commitÈ strutturato come la documentazione, revisionato come la documentazione e definisce a cosa l'assistente è autorizzato ad accedere. Questo è il livello che decide fino a che punto si propaga un attacco riuscito ed è invisibile a qualsiasi cosa testi un modello attraverso il suo endpoint.
  • Ciò che l'IA rileva. Dipendenze, modelli, set di dati, strumenti esterni. Gli aggressori non hanno più bisogno di compromettere un manutentore quando possono registrare il nome del pacchetto inventato dal vostro agente. Una ricerca presentata all'USENIX Security nel 2025 ha generato 2.23 milioni di campioni di codice su 16 modelli e ha scoperto che il 19.7% dei pacchetti consigliati non esisteva, producendo oltre 205,000 nomi inventati unici.

Qualsiasi programma di gestione del rischio GenAI che copra solo il primo livello produce un report pulito e un profilo di rischio invariato. OWASP Top 10 per le domande di LLM è strutturato attorno a questa realtà: l'eccessiva agenzia si colloca vicino ai primi posticisSemplicemente perché si tratta di un problema di cablaggio piuttosto che di un problema di modello.

E tutti e tre i livelli dipendono da qualcosa di più banale di ognuno di essi. Bisogna sapere che tipo di IA si possiede. La fase di scoperta non è un passaggio preliminare alla gestione del rischio dell'IA di generazione, è il fondamento su cui si basa tutto il resto, ed è qui che la maggior parte dei programmi si blocca silenziosamente.

In cosa è effettivamente efficace l'intelligenza artificiale per la gestione del rischio?

Mettendo da parte il marketing, la risposta onesta è circoscritta ma preziosa. L'intelligenza artificiale nella gestione del rischio si guadagna un posto in tre ambiti lavorativi.

  • Correlazione. Sei strumenti producono sei versioni dello stesso risultato con sei diversi livelli di gravità. Decidere che si tratta dello stesso problema, nello stesso componente, con un'unica causa principale, è un lavoro di analisi di modelli tedioso che gli esseri umani svolgono lentamente e in modo incoerente.
  • Spiegazione. Il divario tra una scoperta e una soluzione risiede solitamente nella comprensione. Una spiegazione che indichi il percorso di sfruttamento, il componente interessato e il raggio d'azione trasforma un ticket che qualcuno chiude come "non risolvibile" in uno che qualcuno risolve effettivamente.
  • Volume. Quando un programmatore produce mille file in una settimana, la revisione smette di essere un controllo e diventa una coda. Nulla di umano può gestire una situazione del genere, e nessun numero di assunzioni può cambiarla.

Il limite dell'IA per la gestione del rischio è la capacità decisionale. Un modello che propone una soluzione non validata rappresenta un rischio mascherato da funzionalità. Il modello che si dimostra efficace è quello del ragionamento basato sull'IA abbinato all'analisi deterministica: l'IA propone una soluzione e un sistema non probabilistico ne verifica la conformità alle normative, la sfruttabilità e l'impatto di modifiche incompatibili prima che venga resa pubblica.

C'è un secondo vantaggio, meno evidente. La stessa intelligenza artificiale che analizza i risultati del tuo scanner può farlo anche per quelli di tutti gli altri. Se lo strato di intelligenza artificiale si integra con gli strumenti che hai già acquistato, anziché sostituirli, l'IA nella gestione del rischio diventa un'aggiunta al tuo stack anziché un progetto di migrazione, il che di solito fa la differenza tra un programma che inizia in questo trimestre e uno che inizia il prossimo anno.

Dove l'intelligenza artificiale commette errori nella gestione del rischio?

Tre modalità di guasto, tutte comuni.

  • Fiducia senza fondamento. Un riepilogo dei rischi generato dall'IA è ben scritto ma non cita alcuna fonte. Quando un revisore chiede come è stato prodotto un dato, "il modello lo ha stabilito" non è una risposta valida. Ogni risultato di un programma di gestione del rischio deve avere un percorso tracciabile che riconduca a una constatazione, a un file e a una riga.
  • Automazione senza cancello. La tentazione con un agente capace è quella di lasciarlo risolvere le cose. Per qualsiasi cosa che raggiunga il codice di produzione, una persona dovrebbe approvarlo al pull request. Questa non è timidezza; è la posizione che Legge dell'UE sull'IA ti spinge comunque verso, su una linea temporale scaglionata che è già cambiata una volta. Costruire il punto di approvazione ora costa un progettocisione. L'adeguamento sotto audit costa un trimestre.
  • Misurare l'adozione anziché l'esposizione. "Il nostro team utilizza quotidianamente l'IA per la gestione del rischio" è una statistica sull'utilizzo. Non dice nulla sul fatto che il rischio sia diminuito o meno.

In che modo convergono le due discipline?

Ecco la parte che quasi nessuno ha ancora in una diapositiva.

L'intelligenza artificiale che si utilizza per gestire il rischio è essa stessa una risorsa basata sull'intelligenza artificiale. Possiede uno o più modelli. Ha accesso agli strumenti. Legge il codice sorgente, i risultati e spesso anche i segreti. Funziona con credenziali. Può connettersi a un server MCP. Se il tuo inventario di gestione del rischio GenAI non lo include, il tuo inventario è errato e la lacuna risiede nel sistema con i privilegi più elevati che possiedi.

Ciò rende le due discipline un unico programma. L'IA di sicurezza va nello stesso inventario dell'IA installata dai tuoi sviluppatori. Ha uno stato di approvazione. Ha un proprietario nominato. È definita, registrata e controllata al momento dell'accesso. pull request esattamente come qualsiasi altra cosa con accesso in scrittura ai tuoi repository.

Le organizzazioni che considerano l'IA per la gestione del rischio come un semplice acquisto di uno strumento, anziché come una vera e propria implementazione, se ne accorgeranno durante il primo audit, e ne verrà fuori una conversazione spiacevole. Le organizzazioni che invece la considerano entrambe le cose, invece, avranno un unico inventario, un unico modello di rischio e un'unica risposta quando il consiglio di amministrazione interpella.

Come si presenta un modello operativo efficace per la gestione del rischio legato all'intelligenza artificiale?

Sei funzionalità, ognuna con un responsabile nominato e qualcosa che ne dimostri l'esecuzione.

CapacitàCosa copreChi ne è il proprietario?Ciò che lo dimostra
scoperta dell'intelligenza artificialeModelli, agenti, set di dati, server MCP, strumenti di programmazione, inclusa la tua IA di sicurezzaResponsabile della sicurezza delle applicazioniA inventario in tempo reale con uno stato di approvazione per ogni risorsa
Rilevamento del rischio tramite intelligenza artificialePercorsi di iniezione rapidi, limiti degli agenti non sicuri, competenze dannose e file di regoleResponsabile della sicurezza delle applicazioniRisultati mappati su quadri riconosciuti, con file e riga
Controllo della catena di approvvigionamentoDipendenze che l'IA acquisisce prima che esista una firmaResponsabile della sicurezza delle applicazioniVerdetto della proiezione per pacchetto, a settimana
Triage assistito dall'intelligenza artificialeCorrelazione, spiegazione e definizione delle priorità tra tutti gli strumentiOperazioni di sicurezzaRiduzione dei risultati che raggiungono uno sviluppatore
Porta umanaApprovazione su tutto ciò che raggiunge il codice di produzioneResponsabile della piattaforma o DevOpsPercentuale di autori agenti pull requests con l'approvazione di un responsabile umano
ReportisticaLa postura che va verso l'altoCISUfficioUna distinta base AI esportabile e tre numeri su cui un consiglio può agire

La riga che la gente dimentica è la prima, seconda clausola. La tua IA per la sicurezza appartiene al tuo inventario.

Come inizi?

Non con una polizza. Le polizze stipulate prima della scoperta descrivono un patrimonio immaginario.

Contate quanta IA è in esecuzione nel vostro software, inclusa quella introdotta dal vostro team di sicurezza. Pubblicate il numero internamente senza attribuirlo a nessuno, perché nominare le persone in questa fase spinge l'utilizzo nell'ombra e vanifica la visibilità appena acquisita. Quindi, concordate un elenco approvato che rispecchi le reali esigenze dei vostri team e limitate l'accesso a quel piccolo insieme di elementi che, in caso di problemi, non sono recuperabili: una dipendenza dannosa, una credenziale attiva, un modello non approvato che accede a dati protetti.

Le organizzazioni che avranno difficoltà nella gestione dei rischi legati all'IA nel 2027 non saranno quelle che si sono mosse in fretta, bensì quelle che hanno trascorso il 2026 a redigere politiche sull'IA senza mai fare i conti con i rischi.

Questa è la posizione Xygeni Il sistema è stato costruito attorno a: un unico inventario che comprende l'IA installata dai tuoi sviluppatori e l'IA introdotta dal tuo team di sicurezza, un unico modello di rischio applicato ai tuoi risultati e a quelli prodotti dagli altri tuoi strumenti, e una persona che approva tutto ciò che arriva al codice di produzione.

Due discipline, un unico inventario. Prima smetteranno di essere programmi separati con responsabili distinti, prima entrambi inizieranno a funzionare.

FAQ

La gestione del rischio legato all'IA è la stessa cosa della governance dell'IA?

La governance definisce le regole: chi può usare cosa, a quali condizioni e con quali autorizzazioni. La gestione del rischio dell'IA è il lavoro operativo che consiste nell'individuare cosa è effettivamente in esecuzione, misurare l'esposizione che crea e ridurla. La governance senza gestione del rischio produce una politica che nessuno può verificare. La gestione del rischio senza governance produce risultati su cui nessuno ha il potere di agire. La maggior parte delle organizzazioni ha molto più del primo caso che del secondo.

Possiamo utilizzare l'IA per la gestione del rischio prima di aver risolto il problema della gestione del rischio legato all'IA di generazione generale?

Sì, e la maggior parte dei team lo farà, perché la pressione operativa è immediata e quella di governance è trimestrale. La condizione è che si inventari l'IA di sicurezza fin dal primo giorno, invece di aggiungerla in seguito. Aggiungere una risorsa a un inventario è banale. Ricostruire diciotto mesi di accessi non documentati per un revisore non lo è.

A quale quadro di riferimento dovrebbe allinearsi un programma di gestione del rischio legato all'IA?

Migliori Quadro di gestione del rischio AI del NIST è il vocabolario più ampiamente accettato e le sue quattro funzioni di governare, mappare, misurare e gestire ti danno una struttura che un consiglio riconoscerà. Abbinalo al lavoro OWASP GenAI per il livello tecnico, poiché il NIST ti dice quali risultati devi raggiungere e OWASP ti dice come appaiono effettivamente gli attacchi. Nessuno dei due ti dirà cosa contare, che rimane a tua discrezionecisione.

L'intelligenza artificiale nella gestione del rischio riduce il numero di dipendenti?

Non nei team che lo usano bene. Cambia ciò su cui il team impiega la giornata. Correlazione, triage e spiegazione della prima bozza passano al modello e il tempo umano passa al decisIoni che hanno conseguenze: cosa viene bloccato, quale rischio viene accettato e da chi, e quali risultati minacciano effettivamente la produzione. Se il vostro business case si basa sulla riduzione del personale, il programma tende a essere giudicato in base al parametro sbagliato entro due trimestri.

sca-tools-software-strumenti-di-analisi-della-composizione
Dai priorità, risolvi e proteggi i rischi del tuo software
Crea il tuo account gratuito.
Nessuna carta di credito richiesta.

Proteggi lo sviluppo e la distribuzione del tuo software

con la suite di prodotti Xygeni