Il red teaming nell'ambito dell'intelligenza artificiale è la pratica di attaccare deliberatamente un sistema di IA, come un'applicazione LLM o un agente di IA, per scoprire come indurlo a comportarsi in modo anomalo prima che lo faccia un vero avversario.
- Cosa testa: Comportamento, non solo codice. Iniezione di prompt, jailbreak, fuga di dati, utilizzo di strumenti non sicuri e output dannosi.
- In cosa si differenzia dal penetration testing: L'obiettivo è probabilistico. Lo stesso input può produrre output diversi, quindi il test è ripetuto e di natura statistica.
- Metodologia di riferimento: La guida OWASP GenAI Red Teaming, pubblicata nel gennaio 2025.
- Il suo limite: Questo strumento individua le vulnerabilità sfruttabili in un sistema in esecuzione. Non indica quale intelligenza artificiale sia presente nel codice sorgente, né corregge la configurazione che ha reso possibile l'attacco.
Cos'è il Red Teaming basato sull'IA? La definizione #
Il software tradizionale fallisce in modi prevedibili. Se si fornisce a una funzione lo stesso input due volte, si ottiene lo stesso output, quindi è possibile testarla, correggerla e passare oltre. I modelli linguistici di grandi dimensioni non funzionano in questo modo. Rispondono al linguaggio naturale, possono essere influenzati e un'istruzione nascosta in una pagina web o in un documento può modificarne il comportamento.
Questo è il divario che il red teaming dell'IA colma. Un red team assume il punto di vista dell'avversario e cerca di far fare al sistema di IA qualcosa che non dovrebbe fare: rivelare il suo prompt di sistema, divulgare i dati dei clienti, chiamare uno strumento che non avrebbe mai dovuto chiamare o ignorare il guardrails hanno scritto i suoi sviluppatori. Ogni attacco riuscito diventa una scoperta su cui il team di ingegneri può agire.
Migliori Guida al Red Teaming di OWASP GenAI inquadra il red teaming basato sull'IA come un esercizio olisticocise in quattro aree: valutazione del modello, test di implementazione, valutazione dell'infrastruttura e analisi del comportamento in fase di esecuzione. In altre parole, non si tratta solo di ingannare un chatbot. Copre l'intero sistema in cui il modello è inserito.
Come funziona il red teaming basato sull'intelligenza artificiale #
Un tipico intervento di red teaming basato sull'intelligenza artificiale si articola in cinque fasi.
1. Definire l'ambito del sistema #
Definisci cosa viene testato: un assistente a contatto con il cliente, un copilota interno, un agente autonomo con accesso alla posta elettronica o a un database. L'ambito definisce quali danni sono rilevanti. Un bot di supporto che divulga la politica di rimborso è un fastidio; un agente che divulga le credenziali è un incidente.
2. Modella la minaccia #
Mappare la superficie di attacco: input dell'utente, documenti recuperati, strumenti connessi, server MCP, memoria e identità sotto le quali opera il sistema. Framework come ATLANTE MITRE catalogare tecniche avversarie reali contro i sistemi di intelligenza artificiale e aiutare i team a evitare di testare solo le ovvie.
3. attacco #
I membri del red team combinano la creatività manuale con il sondaggio automatizzato. Le tecniche più comuni includono:
- Iniezione diretta immediata: Istruzioni digitate direttamente nel campo di input per ignorare il prompt di sistema.
- Iniezione indiretta immediata: istruzioni inserite nel contenuto che il modello leggerà in seguito, come un file, un'e-mail o una pagina web.
- Jailbreak: giochi di ruolo, codifica o persuasione a più turni per aggirare le norme di sicurezza.
- Estrazione dati: indurre il modello a rivelare dati di addestramento, messaggi di sistema o informazioni di altri utenti.
- Abuso di strumenti e agenti: indirizzare un agente a chiamare strumenti con parametri dannosi o ad elevare i propri permessi.
4. Misurare #
Poiché i modelli non sono deterministici, un singolo successo dimostra poco e un singolo fallimento dimostra ancora meno. I team esperti eseguono ogni attacco più volte e riportano i tassi di successo, non gli aneddoti.
5. Riparare e ritestare #
I risultati vengono riportati al team di ingegneri: si procede a rendere più rigoroso il prompt di sistema, ad aggiungere un meccanismo di controllo per l'input o l'output, a ridurre i permessi dell'agente, a rimuovere uno strumento. Dopodiché, il test viene eseguito di nuovo, perché una soluzione per una specifica formulazione raramente risolve il problema per la successiva.
Red Teaming basato sull'IA vs. Penetration Testing #
I due condividono la stessa mentalità, ma mettono alla prova cose diverse.
| Dimensioni | Test di penetrazione | Red teaming dell'intelligenza artificiale |
|---|---|---|
| Obiettivo | Infrastruttura, applicazioni, API | Modello di comportamento e del sistema che lo circonda |
| Input di attacco | Exploit, payload, richieste malformate | Linguaggio naturale, documenti, conversazioni a più turni |
| Risultati | Deterministico: l'exploit funziona o non funziona | Probabilistico: percentuale di successo su molti tentativi |
| Risultati tipici | Errori di iniezione, configurazioni errate, autenticazione debole | Iniezione rapida, jailbreak, fuga di dati, agenzia eccessiva |
| Abilità | Sicurezza offensiva | Sicurezza offensiva, apprendimento automatico e linguistica |
Un programma completo necessita di entrambi. Un'applicazione LLM continua a funzionare su server e API che un penetration test dovrebbe coprire, e un penetration test senza errori non dice nulla sulla possibilità che il modello possa essere indotto a divulgare dati.
Perché il red teaming basato sull'IA è importante oggi #
Tre forze stanno spingendo il red teaming basato sull'intelligenza artificiale dai laboratori di ricerca ai programmi di sicurezza ordinari.
- L'IA viene implementata più velocemente rispetto alla fase di revisione. Ogni settimana gli sviluppatori aggiungono modelli, framework per agenti e server MCP alle applicazioni, spesso senza una verifica di sicurezza. Ognuno di questi elementi rappresenta un nuovo modo per il testo non attendibile di raggiungere un componente in grado di intervenire.
- Gli agenti alzano la posta in gioco. Un chatbot che si comporta in modo anomalo produce testi inappropriati. Un agente che si comporta in modo anomalo invia email, modifica record o esegue codice utilizzando l'identità della tua organizzazione.
- Gli enti regolatori si aspettano test contrapposti. Migliori Legge dell'UE sull'IA La legge impone ai fornitori di modelli di intelligenza artificiale generici con rischio sistemico di eseguire e documentare test avversari. La maggior parte delle organizzazioni che implementano l'IA non sono fornitori di modelli, quindi l'obbligo non si applica direttamente a loro, ma ha creato l'aspettativa che le implementazioni di IA più complesse vengano testate in questo modo.
I limiti del Red Teaming basato sull'IA #
Il red teaming basato sull'intelligenza artificiale è potente, ma arriva tardi. Testa un sistema già costruito e funzionante, il che lascia tre lacune.
Mette alla prova solo ciò che sai. Non è possibile effettuare un'analisi red team di un agente non dichiarato. Se uno sviluppatore ha collegato un server MCP a un repository il mese scorso, tale operazione rimane esclusa dall'ambito di ogni incarico finché qualcuno non la individua.
Individua il sintomo, non la causa. Un'iniezione di successo di solito risale a qualcosa nel codice o nella configurazione: contenuti non attendibili concatenati in un prompt di sistema, un punto di accesso per il recupero dati senza controlli, un agente a cui sono stati forniti più strumenti del necessario. Il team di attacco dimostra che l'attacco funziona; qualcuno deve ancora trovare la riga che lo ha permesso.
È periodico. Gli incontri si svolgono trimestralmente o prima del lancio. Il codice sorgente cambia quotidianamente.
Ecco perché i team maturi abbinano il red teaming dell'IA con controlli in una fase precedente del ciclo di vita: un inventario di ogni risorsa IA nella codebase e il rilevamento di configurazioni IA rischiose nel momento in cui committed, quindi il team rosso dedica il suo tempo ai problemi difficili piuttosto che riscoprire quelli evitabili.
Prima dell'arrivo del Red Team: proteggere il codice alla base della tua IA #
Il red teaming nell'ambito dell'IA verifica il comportamento di un sistema di intelligenza artificiale una volta avviato. Xygeni interviene in una fase precedente, intervenendo sul codice e sulla configurazione che determinano le capacità dell'IA fin dall'inizio.
Xygeni AI Security scopre le risorse AI nei tuoi repository, inclusi modelli, agenti, server MCP, competenze, prompt e guardrailsIl sistema analizza il codice sorgente e i file di configurazione lasciati dagli strumenti di intelligenza artificiale, eliminando qualsiasi dipendenza dalla dichiarazione esplicita da parte degli sviluppatori. Successivamente, rileva i rischi di iniezione di prompt in quel codice e in quella configurazione, mappandoli sulla OWASP Top 10 per le applicazioni LLM, e indica il file e la riga esatti. Il risultato: un quadro completo per il team di red teaming e un minor numero di vulnerabilità evitabili al momento del loro arrivo.
Programma una demo per visualizzare l'inventario dell'IA del proprio codice sorgente.
FAQ #
Il red teaming nell'ambito dell'IA consiste nell'attaccare intenzionalmente il proprio sistema di intelligenza artificiale, simulando le modalità di un vero avversario, al fine di scoprire come manipolarlo per far trapelare dati, ignorare le proprie regole o intraprendere azioni non sicure. Le vulnerabilità individuate vengono poi corrette prima che gli aggressori possano scoprirle.
Principalmente sì. Il red teaming LLM si concentra sui modelli linguistici e sulle applicazioni basate su di essi. Il termine red teaming AI è più ampio e comprende anche agenti, modelli multimodali e sistemi di apprendimento automatico classici come classificatori di immagini o modelli antifrode.
In parte. Gli strumenti automatizzati possono eseguire migliaia di schemi di attacco noti e misurare i tassi di successo, il che è essenziale per i test di regressione. Gli attacchi innovativi provengono ancora dalla creatività umana, quindi la maggior parte dei programmi combina entrambi gli approcci.
Nella maggior parte delle organizzazioni, questa funzione è affidata alla sicurezza delle applicazioni o al team di sicurezza offensiva, che collabora con gli ingegneri che sviluppano le funzionalità di intelligenza artificiale. Si tratta di una pratica di sicurezza applicata a una nuova tipologia di software, non di una funzione di intelligenza artificiale a sé stante.
