TL; DR #
A sicurità LLM hè a pratica di prutege l'applicazioni custruite nantu à grandi mudelli di lingua da attacchi chì sfruttanu cumu u mudellu interpreta a lingua, ciò chì hè cunnessu è ciò chì hè permessu di fà. Hè impurtante perchè un mudellu di lingua ùn pò micca separà in modu affidabile l'istruzzioni da i dati: tuttu ghjunghje in a listessa finestra di cuntestu, dunque qualsiasi testu chì u mudellu leghje hè potenzialmente un cumandamentu. U cambiamentu definitoriu in u 2026 hè chì l'ubbiettivu ùn hè più di custruisce un mudellu chì ùn pò esse ingannatu. Hè di custruisce una applicazione chì ferma cuntenuta quandu u mudellu hè ingannatu. Hè per quessa chì a disciplina si cuncentra nantu à u privilegiu, l'accessu à l'arnesi, a gestione di l'output è u raghju di blast piuttostu chè solu nantu à u filtraggio di prompt.
Chì ghjè a Sicurezza LLM? #
A sicurità LLM hè generalmente presentata cum'è un prublema di cuntenutu: un testu sbagliatu entra, un testu sbagliatu esce, dunque filtrate u testu. Quella descrizzione sopravvive finu à quandu ci vole à cunnette u mudellu à una basa di dati. A vera esposizione ùn hè micca ciò chì u mudellu leghje, hè ciò chì u mudellu pò ghjunghje.
Eccu u prublema strutturale. In una applicazione cunvinziunale, u codice è l'input sò separati da l'architettura stessa: u prugramma hè compilatu, l'input ghjunghje per mezu di un parametru, è u cunfine trà i dui hè impostu da u runtime. Un mudellu di lingua larga ùn hà micca un tale cunfine. U prompt di u sistema, u missaghju di l'utente, un documentu recuperatu, u cuntenutu di una pagina web, a risposta da un strumentu, è un email chì l'agente hè statu dumandatu di riassume ghjunghjenu tutti cum'è gettoni in a listessa finestra di cuntestu. U mudellu li pesa. Ùn l'autentica micca.
Cusì a definizione di travagliu: A sicurità LLM hè a disciplina di cuncepimentu, custruzzione è funziunamentu di l'applicazioni LLM in modu chì l'input micca fiduciale ùn pò micca causà azzioni micca autorizate, è in modu chì e cunsequenze sianu limitate quandu accade. Si estende nantu à u mudellu, u stratu di prompt, i dati chì u mudellu recupera, l'arnesi chì pò chjamà, l'output chì produce è l'identità sottu à a quale agisce.
Quella ultima clausula hè a parte chì e squadre sottovalutanu. Un LLM da per ellu pò pruduce una mala frase. Un LLM cunnessu à una basa di dati, una API di pagamentu è una shell pò pruduce una mala frase chì si esegue.
Significatu di a Sicurezza LLM, Spartitu in e so Parti #
A strada più chjara in u significatu di sicurezza LLM hè di separà e trè cose chì a ghjente cunfonde quandu utilizanu a frasa.
- Sicurezza di u mudellu. Proprietà di u mudellu stessu: ciò ch'ellu hà memorizatu, ciò ch'ellu rivelerà, cumu si cumporta sottu à una formulazione avversaria, è se i pesi chì state aduprendu sò quelli chì l'editore hà publicatu. In gran parte ereditatu se cunsumate un mudellu ospitatu, in gran parte vostru se fate una messa à puntu.
- Sicurezza di l'applicazioni. U cablaggio intornu à u mudellu: prompt di sistema, recuperu pipelines, definizioni di strumenti è funzioni, permessi di l'agenti, gestione di l'output è l'identità sottu à quale agisce u sistema. Hè quì chì si trovanu a maiò parte di l'incidenti veri, è hè u stratu chì una squadra cuntrolla in realtà.
- Sicurezza operativa. Ciò chì accade cù u tempu: monitoraghju, rilevazione di l'abusi, limiti di costu è di tarifa, risposta à l'incidenti, è u fattu chì una versione di u mudellu, un prompt di sistema, o un strumentu cunnessu ponu cambià senza chì nimu presenti un bigliettu.
Messu inseme, u significatu di sicurezza LLM chì a maiò parte di i praticanti cunvergenu hè questu: suppone chì u mudellu farà infine ciò chì un attaccante li hà dumandatu, è cuncepisce in modu chì questu sia sopravvivente. Micca "impedisce chì u mudellu sia manipulatu". Cuntene a manipulazione. Quell'inversione hè l'idea più utile in u campu, è hè ancu a tesi di l'attuale guida OWASP.
#
Chì prutege a sicurezza LLM? A superficia d'attaccu #
Capisce ciò chì hè a sicurezza LLM in pratica significa sapè in quale stratu si trova un certu risicu, perchè u cuntrollu si trova in u listessu stratu.
| Annunzio | Ciò chì cerca un attaccante | Induve u cuntrollu vive |
|---|---|---|
| u mudellu | Dati di furmazione memorizati, cumpurtamentu periculosu sottu à frasi avversarii, pesi manomessi | Selezzione di u mudellu, verificazione di a pruvenienza, valutazione prima di l'adozione |
| Suggerimenti è cuntestu | Iniezione di prompt diretta è indiretta, esposizione di cuntestu nascostu, estrazione di prompt di sistema | Isolamentu di u cuntestu, gestione di l'input, trattamentu di tuttu u testu recuperatu cum'è micca affidabile |
| Recuperazione è dati | Documenti avvelenati, manipulazione di l'incrustazione, esfiltrazione attraversu ciò chì u mudellu pò recuperà | Liste di permessi di fonte, cuntrolli d'ingestione, scopu d'accessu nantu à u magazinu di vettori |
| Strumenti è agenti | Agenzia eccessiva: fà chì u mudellu agisca, micca solu risponde | Scopi di strumenti cù privilegi minimi, identità per agente, appruvazione umana per azzioni irreversibili |
| radicali avrìanu pututu | Esecuzione à valle di u testu di u mudellu: codice, query, chjamate API, markup resu | Validazione di l'output è codificazione à ogni cunsumadore, senza mai fidà si di u testu generatu |
| Catena di furnimentu | Modelli, pacchetti, plugin è servitori MCP maliziosi chì entranu in a pila | Dipendenza è cuntrolli di l'artefatti, inventariu, pruvenienza |
| Docenti | Cunsumu illimitatu, esaurimentu di i costi, deriva silenziosa di a cunfigurazione | Limiti di tarifa è di budget, monitoraghju, revisione di cambiamenti nantu à i prompt è e cunfigurazioni |
A maiò parte di e squadre strumentanu prima u stratu di prompt, perchè hè quellu visibile. I strati chì trasformanu una risposta imbarazzante in un incidente sò strumenti è identità, è quelli sò a cunfigurazione, micca l'apprendimentu automaticu.
U Top 10 di l'OWASP LLM 2026: Ciò chì s'hè mossu è perchè hè impurtante #
U Prughjettu di Sicurezza OWASP GenAI hà publicatu u Top 10 per l'Applicazioni LLM 2026 in Aostu 2026, è hè a cosa più vicina chì u campu hà à una basa cumuna. L'edizione 2026 hè ancu a prima à valutà u votu di a cumunità contr'à un corpus d'incidenti veri piuttostu chè solu l'opinione di l'esperti.
Trè muvimenti valenu a pena di leghje cum'è signali piuttostu chè cum'è curiosità.
- L'iniezione pronta hè stata à u numeru unu. Micca perchè e difese anu fiascatu, ma perchè a causa principale hè architettonica. L'istruzzioni è i dati micca affidabili spartenu sempre una finestra di cuntestu, è ùn esiste micca una correzione cumpleta. Trattatela cum'è una cundizione permanente intornu à a quale cuncepisce, micca un bug chì aspetta una patch.
- L'agenzia eccessiva hè saltata da u sestu à u terzu postu. Questu hè u cambiamentu agenticu chì ghjunghje in u registru di l'incidenti. Quandu l'output di u mudellu esegue autonomamente cumandamenti, chjama API, o scrive in sistemi, una manipulazione smette di esse un prublema di cuntenutu è diventa un prublema di autorizazione.
- A gestione impropria di l'output hè cascata da u quintu à u decimu, è a fuga di prompt di u sistema hè stata allargata à l'esposizione di u cuntestu nascostu. U campu hà cessatu di trattà u testu di u mudellu cum'è a superficia di risicu primaria è hà cuminciatu à trattà tuttu ciò chì u mudellu pò ghjunghje cum'è a superficia di risicu.
Cumu funziona a sicurezza LLM in pratica? #
Sapè ciò chì hè a sicurità LLM hè una cosa. Eseguisce la hè quattru cicli di cuntrollu, è si mappanu nantu à a superficia d'attaccu sopra piuttostu chè nantu à una categuria di prudutti.
1. Inventariu: truvate a superficia LLM prima di assicuralla #
Ùn pudete micca guvernà ciò chì nimu hà dichjaratu. Modelli, chjave API, prompt è mudelli di prompt, definizioni di agenti, servitori MCP, recuperu pipelines, è l'arnesi di codificazione AI chì i vostri sviluppatori anu digià installatu. L'IA Ombra hè u statu nurmale, micca l'eccezzione, è l'inventariu hè sempre più grande di quellu chì a ghjente pò recità. Stu ciclu produce u AI-BOM, chì hè ciò chì un auditore dumanderà infine.
2. Vinculu: fate u raghju di l'esplosione chjucu prima di fà u mudellu intelligente #
U privilegiu minimu hè applicatu à l'arnesi, micca solu à l'utilizatori. Avè ogni strumentu limitatu à a capacità a più stretta chì face u travagliu. Dà à ogni agente a so propria identità invece di un contu di serviziu spartutu. Richiede l'approvazione umana per l'azzioni irreversibili. Trattate ogni risposta di u strumentu cum'è input micca fiduciale, perchè un attaccante chì cuntrolla un documentu chì l'agente recupera cuntrolla u testu chì u mudellu leghjerà cum'è istruzione. Stu ciclu hè induve l'agenzia eccessiva hè in realtà affrontata, è nunda di questu hè un travagliu di apprendimentu automaticu.
3. Test: valutazione avversaria cum'è criteriu di liberazione #
Strutture Squadra rossa di l'IA contr'à a cunfigurazione implementata, micca contr'à u mudellu in isolamentu: iniezione diretta è indiretta, esfiltrazione di dati per via di u recuperu, estrazione di prompt di sistema, catene di usu impropriu di strumenti è cunsumu illimitatu. I risultati sò tassi, micca exploit singuli, dunque l'output hè un inseme documentatu di cundizioni chì a squadra decide di accettà, mitigà o bluccà. Eseguitelu per versione, idealmente per pull request chì cambia un prompt, una definizione di strumentu o un permessu.
4. Osservate: supponete chì a cunfigurazione cambia #
Monitorate i tentativi d'iniezione, e sequenze anomale di chjama di strumenti, i mudelli di output chì suggerenu esfiltrazione è i picchi di cunsumu. Osservate a cunfigurazione stessa, perchè un prompt di sistema, un schedariu di regule o una cunfigurazione MCP ponu esse cambiati in un pull request chì i revisori leghjenu cum'è documentazione. Cunnette tuttu à un percorsu d'incidente cù un pruprietariu è un target di rollback.
A versione corta di a sicurità LLM: Truvate a superficia, riduce i privilegii, pruvate a modalità di fallimentu è osservate a cunfigurazione. U filtraggio di prompt si trova dentru à questu, è da per ellu hè u più debule di i quattru.
Induve finisce a sicurezza LLM è cumincianu altre discipline #
Vale a pena dichjarà lu chjaramente, perchè i termini sò usati in modu intercambiabile in u materiale di u venditore. A sicurità LLM copre u latu di l'usu: prompt, recuperu, agenti, accessu à l'arnesi è cumpurtamentu di u mudellu à l'inferenza. MLSecOps copre u latu di custruzzione è di furmazione: dati di furmazione, artefatti di mudellu, pipelines, è pruvenienza. AI security hè l'ombrellu sopra à tramindui. A sicurità di l'applicazione hè a disciplina da a quale tutti i trè ereditanu, è a ragione per a quale i risultati di LLM appartenenu à a listessa coda di priorità cum'è tuttu u restu piuttostu chè in un strumentu separatu chì nimu apre.
Cuminciate cù e dumande à quale pudete risponde sta settimana #
A maiò parte di i prugrammi di sicurezza LLM si stallanu nantu à a quistione sbagliata. E squadre discutenu quale approcciu di guardrail aduttà mentre nimu in a stanza ùn pò dì quanti agenti esistenu in a basa di codice, quali strumenti ognunu pò chjamà, o quale hà appruvatu u servitore MCP chì hè ghjuntu in un pull request quattru mesi fà è hè statu rivedutu cum'è ducumentazione. Queste ùn sò micca dumande di ricerca. Anu risposte, è e risposte sò in i vostri archivi avà.
Trè sò degne di risposta prima di tuttu. Quali prompt, definizioni di l'agenti è cunfigurazioni MCP stanu in u vostru codice. Ciò chì ognunu pò ghjunghje: quali strumenti, quali dati, a quale identità. È quale di questi permessi nimu ùn cuncederebbe s'ellu hè dumandatu direttamente, unu à a volta, in una riunione. A terza dumanda hè quella scomoda, perchè l'eccessiva agenzia ùn hè guasi mai un decisione. S'accumula, un cannocchiale convenientu à a volta, è hè avà u terzu risicu classificatu in u campu.
Xygeni risponde à i primi dui senza un'inchiesta. Scuperta cuntinua in i vostri repositori di ogni risorsa IA: mudelli, framework, datasets, endpoints di inferenza, agenti, servitori MCP, cumpetenze, prompt, guardrails, è l'arnesi di codificazione AI chì i vostri sviluppatori anu installatu senza dì à nimu. Un scanner AI dedicatu custruitu per i fallimenti specifichi di l'applicazioni LLM, iniezione di prompt, iniezione di strumenti, fuga di dati per recuperu, bypass di prompt di sistema è agenzia eccessiva, ognunu mappatu à l'OWASP LLM Top 10, l'Agentic Applications Top 10 è l'MCP Top 10, è puntatu à a linea esatta di codice chì crea l'esposizione. DevAI in l'IDE, bluccendu i cambiamenti periculosi prima di u pipeline esegue. Un AI-BOM prontu per l'audit, è unu vista di risicu prioritizzata trà i risultati di l'IA è i risultati di l'applicazione chì gestite digià.
A terza dumanda hè a toia à risponde. Riservate una dimostrazione è cuminciate cù u vostru propiu inventariu.
FAQ - Chì ghjè MLSecOps, in risposte brevi #
Prutegge l'applicazioni custruite nantu à grandi mudelli di lingua da attacchi chì utilizanu a lingua cum'è l'exploit. Siccomu u mudellu ùn pò micca distingue l'istruzzioni da i dati, qualsiasi testu ch'ellu leghje pò agisce cum'è un cumandamentu, dunque a difesa hè di limità ciò chì u mudellu hè permessu di fà piuttostu chè di vigilà ciò chì hè permessu di leghje.
A maiò parte di questu s'applica sempre, è a parte chì s'applica hè a parte chì cuntrullate. Eredite a sicurità di u mudellu di u fornitore, ma u prompt di u sistema, u recuperu pipeline, e definizioni di l'arnesi, i permessi di l'agente è a gestione di l'output sò tutti vostri. Hè quì chì l'incidenti si verificanu.
Micca cumpletamente, è l'edizione OWASP 2026 hè esplicita chì l'istruzzioni è i dati micca fidati spartenu sempre una finestra di cuntestu senza una correzione cumpleta. E mitigazioni riducenu a tarifa. U cuntinimentu riduce e cunsequenze, hè per quessa chì a cuncepzione di privilegi hè più impurtante chè u filtraggio.
Un sistema chì pò fà più azzioni, cù più permessi, più autonomamente di ciò chì u compitu richiede. OWASP cita trè cause principali: funzionalità eccessive, permessi eccessivi è autonomia eccessiva. Hè passatu da u sestu à u terzu postu in u 2026 perchè l'incidenti di pruduzzione si raggruppanu avà intornu à l'agenti chì eseguiscenu invece di risponde.
Attraversu a discendenza è l'integrità piuttostu chè a sola rilevazione. Pruvenienza di dati registrata, datasets hashed è firmati, cuntrollu d'accessu nantu à l'etichettatura è validazione avversaria prima di a prumuzione. L'avvelenamentu hè difficiule da individuà in u mudellu è assai più faciule da vinculà à a fonte.
