Minacce à a sicurità di l'IA

I 10 principali minacce di sicurezza di l'IA è cumu mappalli

TL; DR

E "minacce à a sicurità di l'IA" coprenu duie cose diverse: l'attacchi destinati à i sistemi di IA, è l'attacchi chì utilizanu l'IA cum'è arma. Anu bisognu di cuntrolli diversi, pruprietarii diversi è prove diverse, è a maiò parte di e liste li mischianu inseme, hè per quessa ch'elli sò cusì difficiuli d'agisce. I primi cinque quì sottu sò destinati à a vostra IA. I secondi cinque utilizanu l'IA contr'à a vostra catena di furnimentu.

  • E minacce à i sistemi di IA si trovanu soprattuttu in a cunfigurazione, micca in u mudellu. Scopu di u strumentu, l'autenticazione sottu à quale un agente funziona, un schedariu di regule, un .mcp/servers.json entrata. Nunda di questu hè accessibile da u puntu finale di u mudellu, hè per quessa chì u red-teaming solu torna pulitu.
  • L'attacchi guidati da l'IA ghjunghjenu soprattuttu per via di dipendenze, micca per via di u vostru perimetru. Nomi di pacchetti allucinati registrati da attaccanti, vermi autopropaganti chì utilizanu credenziali di sviluppatore, chjave di fornitore di IA cum'è ughjettivu.
  • Nove di e dece sò dumande nantu à cose specifiche. Quali servitori MCP, quali agenti, quale ambitu, quale credenziale, quale schedariu di regule, quale pacchettu. Un documentu di pulitica ùn risponde à nisuna di elle.
  • Ognunu di i dece sparte una precondizione. Ùn pudete micca difende un asset di IA chì ùn avete mai mappatu, ciò chì face di a scuperta u passu prima di i cuntrolli piuttostu chè quellu dopu.

Quali sò i dui tipi di minacce per a sicurezza di l'IA?

A maiò parte di e liste di minacce per a sicurezza di l'IA mischianu i dui, per quessa hè difficiule d'agisce.

  • Minacce per i sistemi di IA trattate a vostra IA cum'è u bersagliu. Qualchissia manipula un mudellu, avvelena l'istruzzioni ch'ellu seguita, o abusa di i permessi chì un agente hà ricevutu. U travagliu di u difensore hè di cuntinimentu: riduce ciò chì una IA cumprumessa pò ghjunghje.
  • Attacchi guidati da l'IA trattate l'IA cum'è u strumentu di l'attaccante. L'obiettivu hè u vostru software ordinariu: dipendenze, credenziali, sistemi di compilazione, sviluppatori. U travagliu di u difensore hè a rilevazione à velocità, perchè l'ecunumia di l'attaccu hè cambiata è u vulume hè aumentatu.

Anu bisognu di cuntrolli diversi, pruprietarii diversi è prove diverse. Una squadra chì hà messu in red team u so chatbot ùn hà fattu nunda per via di u slopsquatting. Una squadra cù un eccellente screening di e dipendenze pò ancu esse in esecuzione di un agente cù accessu di scrittura à i repositori di pruduzzione è senza limite di scopu. Tramindui sò minacce per a sicurezza di l'IA. Nè l'unu nè l'altru copre.

Minacce à i sistemi di IA: e cinque chì atterranu più spessu

01. Iniezione rapida chì ghjunghje à un pozzu di strumenti

U cuntenutu micca fidatu ghjunghje, hè concatenatu in un prompt di sistema, è l'agente à l'altra estremità pò invucà strumenti. U prompt ùn hè micca a vulnerabilità. U percorsu da un input micca fidatu à una capacità periculosa hè.

Hè per quessa chì u filtraggio prompt solu delude. Indurisce una estremità di una catena mentre a quistione interessante hè se una barriera di sicurezza si trova in qualchì locu trà l'input è a chjama di u strumentu. U OWASP Top 10 per l'applicazioni LLM mantene l'iniezione pronta in cima à a lista, ma l'assumiglia à un'agenzia eccessiva per questa ragione.

Cosa da circà: Input micca affidabile chì ghjunghje à un prompt di sistema, cuntestu di alimentazione di recuperu senza sanitizazione, è sink di strumenti raggiungibili senza guardrail in trà.

02. Regule maliziose è fugliali di cumpetenze

Un schedariu di regule hè testu chjaru. Hè commitdocumentazione cum'è quella è rivista cum'è quella, è dà struzzioni à l'assistente nantu à ciò chì deve fà. I caratteri di larghezza zero rendenu e linee invisibili in un pull request diff mentre ferma perfettamente leggibile per l'agente.

MITRE ATLAS cataloga questu cum'è Rules File Backdoor, studiu di casu AML.CS0041. U revisore appruva una cunvenzione di furmattazione. L'agente leghje una struzzione per impurtà da un pacchettu cuntrullatu da l'attaccante è ùn dì nunda à propositu.

Cosa da circà: schedari di regule, schedari di cumpetenze è mudelli di prompt analizati cum'è codice piuttostu chè prosa, cù rilevazione di caratteri invisibili.

03. Cunfigurazione di u servitore MCP periculosa

Cunfigurazione MCP hè induve un agente piglia i so ordini è induve e credenziali s'accumulanu. E duie metà sò un prublema. CVE-2025-6514, divulgatu in lugliu 2025, era una iniezione di cumandamenti di u sistema operatore critica in un ponte MCP largamente utilizatu, chì purtava un puntuatu CVSS di 9.6 è permetteva cumandamenti arbitrarii nantu à l'ospite di u cliente quandu si cunnette à un servitore micca affidabile.

A mità di e credenziali hè peghju perchè hè passiva. A ricerca in u 2026 hà trovu più di 24 000 sicreti situati in i fugliali di cunfigurazione MCP in GitHub publicu, cù più di 2 000 di elli sempre validi.

Cosa da circà: un inventariu di i servitori MCP in usu, e so versioni, i so strumenti dichjarati è a rilevazione di secreti chì funzionanu nantu à i fugliali di cunfigurazione.

04. Agenzia eccessiva

Un agente chì riceve un vastu scopu di strumenti è credenziali di longa durata hè una escalazione di privilegi permanenti in attesa di un trigger. Nunda ùn deve esse sfruttatu per chì questu faci male. Un agente cunfusu è unu cumprumessu facenu danni simili quandu tramindui anu accessu di scrittura chì ùn anu mai avutu bisognu.

Questu hè l'articulu menu glamour di a lista è u più cumunu. Hà ancu a suluzione a più economica, chì hè a riduzione di u scopu, è a suluzione hè raramente applicata perchè nimu ùn pussede a quistione.

Cosa da circà: quali agenti esistenu, ciò chì ognunu pò invucà, sottu à quale credenziali, è se qualchissia hà appruvatu quellu scopu.

05. Modelli avvelenati, insemi di dati è dipendenze di l'IA

A pila di l'IA hè custruita annantu à pacchetti ordinari è artefatti ospitati. I mudelli sò scaricati da hub publichi. I datasets sò estratti da induve vulete. Tramindui anu u listessu prublema di pruvenienza cum'è qualsiasi dipendenza, cù menu strumenti è assai menu scrutiniu.

Cosa da circà: mudelli, quadri è insemi di dati trattati cum'è cumpunenti di a catena di furnimentu, cù a listessa analisi di cumpusizione è a listessa Seguimentu CVE cum'è u restu di e vostre dipendenze.

Attacchi guidati da l'IA: i cinque chì rimodellanu a vostra catena di furnimentu

06. Accovacciamentu sdrucitu

Una ricerca presentata à USENIX Security in u 2025 hà generatu 2.23 milioni di esempi di codice in 16 mudelli è hà trovu chì u 19.7% di i pacchetti raccomandati ùn esistenu micca, pruducendu più di 205 000 nomi allucinati unichi. Circa u 43% di questi nomi si sò ripresentati in esecuzioni ripetute di u listessu prompt, ciò chì li rende cultivabili.

L'attaccanti ùn anu più bisognu di compromettere un mantenitore. Registranu u nome inventatu da u vostru agente è aspettanu l'installazione. U pacchettu ùn hà nè firma nè avvisu, perchè hè novu è nimu l'hà vistu prima.

Cosa da circà: screening di malware chì funziona nantu à u cumpurtamentu piuttostu chè a reputazione, applicatu à ogni dipendenza chì un agente aghjusta.

07. Vermi di a catena di furnimentu chì si propaganu da soli

lu Verme npm di settembre 2025 hà marcatu u puntu induve e macchine di sviluppu sò diventate u mecanismu di consegna piuttostu chè u bersagliu. U mudellu si hè ripetutu à scala finu à u 2026. Ogni credenziale di sviluppatore cumprumessa publica a prossima ronda di pacchetti cumprumessi, è u raghju di l'esplosione si cumpone invece di aghjunghje.

Cosa da circà: attività editoriale anomala, insolita commit mudelli, è usu di credenziali chì ùn currispondenu micca à u cumpurtamentu nurmale di u sviluppatore.

08. Targeting di credenziali di IA versu u statu naziunale

In marzu 2026, un pacchettu cù circa 100 milioni di scaricamenti settimanali hè statu cumprumessu per un periodu misuratu in ore, cù e chjave API di u fornitore di IA cum'è ughjettivu. A finestra era deliberatamente corta. Abbastanza longa per a raccolta, abbastanza corta per riduce a probabilità di rilevazione.

L'infurmazioni d'identità di l'IA sò avà un bersagliu di prima trinca in sè stessu, perchè compranu calculu, accessu è una identità plausibile. L'attacchi destinati à arrubà li sò aumentati bruscamente trà a fine di u 2025 è l'iniziu di u 2026.

Cosa da circà: Chjavi di u fornitore di IA trattate cum'è secreti cù a listessa rilevazione è revoca cum'è e credenziali cloud.

09. Malware creatu o piantatu cù un LLM

In u 2026, ci eranu casi documentati di un mudellu di linguaghju adupratu cum'è arma per piantà codice maliziosu in un flussu di travagliu di l'agente. L'impurtanza ùn hè micca chì u malware era novu. Hè chì l'auturità hà cessatu di esse un collu di buttiglia, è u vulume di codice maliziosu d'aspettu plausibile dispunibule per un attaccante hè aumentatu di cunsiguenza.

Cosa da circà: a dittizzioni chì ùn dipende micca da avè vistu u campione prima.

10. Revisione di u colapsu di capacità

Questu ùn hè micca un attaccu, hè per quessa ch'ellu hè l'ultimu è per quessa ch'ellu hè u più impurtante. Quandu un agente produce mille fugliali in una settimana, a revisione di u codice smette d'esse un cuntrollu è diventa una coda. Ogni altra minaccia in questa lista diventa più faciule quandu l'ultima verificazione umana hè sopraffatta.

Cosa da circà: risultati classificati per sfruttabilità piuttostu chè per gravità cruda, cusì u picculu numeru chì minaccia a pruduzzione ghjunge in realtà à un sviluppatore.

Deci minacce hè a carta. Ciò chì fà per ognuna piglia più tempu chè un articulu di blog, dunque avemu avutu a cunversazione currettamente. In questu episodiu di Cunferenze SafeDev, Jesús Cuadrado, CEO di Xygeni, si mette à pusà cù Atanas Nikolov, espertu DevSecOps è SSDLC capu tecnicu, nantu à malware polimorficu, iniezione rapida, manomissione di mudelli, è ciò chì si oppone veramente à elli. Nisuna forma, nisuna porta.

Perchè ùn pudete micca difende l'assi di l'IA chì ùn avete micca mappatu?

Leghjite torna i dece, è u schema hè difficiule da mancà. Nove di elli sò dumande nantu à cose specifiche: quali servitori MCP, quali agenti, quale ambitu, quale credenziale, quale schedariu di regule, quale pacchettu.

Nisuna di queste dumande pò esse risposta da un documentu di pulitica. Sò risposte da un inventariu, è a maiò parte di l'urganisazioni ùn ne anu unu. L'IA hè ghjunta per mezu di sviluppatori chì si sò mossi rapidamente, senza un bigliettu, un prucessu di appruvvisu o una entrata in u repositoriu chì si annunciava cum'è IA.

Cusì, a mappatura hè a precondizione piuttostu chè u primu passu. Un prugramma di minacce à a sicurità di l'IA chì principia cù i cuntrolli l'applicherà à l'IA chì cunnosce, chì hè un sottoinsieme chì ùn pò micca dimensionà. A scuperta deve vene prima: mudelli, framework, datasets, endpoints di inferenza, agenti, servitori MCP, cumpetenze, prompt è l'arnesi di codificazione IA chì i vostri sviluppatori utilizanu in realtà, cù e relazioni trà di elli, perchè un asset in isolamentu vi dice assai pocu è u risicu si cuncentra in a catena.

lu NIST AI Risk Management Framework mette a mappa prima di a misura è di a gestione per a listessa ragione. Hè a funzione menu interessante in u quadru è quella da a quale tuttu u restu dipende.

À quali minacce di sicurezza di l'IA duvete agisce prima?

Micca u più sofisticatu. U più accessibile.

  • Sta settimana: Cuntate i vostri servitori MCP è eseguite a rilevazione di secreti nantu à i so fugliali di cunfigurazione. A minaccia 03 hè u rapportu più altu di esposizione à sforzu in a lista, è guasi nimu hà guardatu.
  • Stu mese: Truvate i vostri agenti è scrivite ciò chì ognunu pò invucà è sottu à quale credenziali. Què risponde à a minaccia 04, chì hè a più cumuna è a più economica da riduce.
  • Stu trimestre: mette u screening di malware cumportamentale davanti à ogni dipendenza chì un agente aghjusta. Questu copre e minacce 06, 07 è 09 à tempu, perchè tutti i trè scunfighjanu i cuntrolli basati nantu à a reputazione essendu novi.

Tuttu u restu pò aspittà daretu à quelli trè, perchè tuttu u restu suppone chì sapete digià ciò chì avete.

L'urganisazioni chì gestiscenu bè e minacce di sicurezza di l'IA in u 2027 ùn saranu micca quelle cù e migliori valutazioni di mudelli. Saranu quelle chì puderanu risponde, ogni marti, ciò chì l'IA esegue in u so software è ciò chì hè permessu di ghjunghje. Questa hè a pusizione. Xygeni hè statu custruitu intornu à: a scuperta cuntinua di ogni risorsa IA in tutti i repositori è pipelines, u risicu valutatu secondu i quadri chì i vostri auditori ricunnoscenu digià, è u screening di a catena di furnimentu chì cattura ciò chì ùn hà ancu firma.

Deci minacce, duie categurie, una mappa sottu à tramindui.

FAQ

E minacce di sicurezza di l'IA sò veramente diverse da e minacce di sicurezza di l'applicazioni ordinarie?

In parte. E cunsequenze sò familiari: esecuzione di codice, furtu di credenziali, esposizione di dati. Ciò chì cambia hè u puntu d'entrata è a velocità. I ​​fugliali di cunfigurazione chì prima eranu inerti portanu avà struzzioni nantu à e quali qualcosa agisce, è u costu di un attaccante per pruduce codice maliziosu cunvincente hè diminuitu. I vostri cuntrolli esistenti sò sempre validi; ùn coprenu più tutta a superficia.

U red-teaming di i nostri mudelli affronta a maiò parte di ste minacce ?

Si tratta di una parte di unu di elli. U red-teaming risponde à a quistione di s'ellu si pò cunvince un mudellu à fà qualcosa ch'ellu duveria ricusà, ciò chì hè veramente utile. Ùn pò micca vede u scopu di u strumentu, a credenziale, u schedariu di e regule, o a cunfigurazione MCP, perchè nimu di questi ùn hè accessibile attraversu u puntu finale di u mudellu. Un rapportu red-team pulitu è ​​un agente periculosamente sovraprivilegiatu coesistenu senza cuntradizione.

Quale di queste minacce per a sicurezza di l'IA hè a più sottovalutata?

Agenzia eccessiva, per un margine largu. Ùn hà micca CVE, nisun exploit da dimustrà, è nisun venditore chì vende un pruduttu dedicatu per ellu, dunque ùn genera alcuna urgenza. Hè ancu a differenza trà un incidente cuntenutu è unu micca cuntenutu, perchè u scopu hè ciò chì determina quantu luntanu viaghja qualcosa dopu à u primu sbagliu.

Cumu l'attacchi guidati da l'IA cambianu ciò chì duvemu misurà?

Spostanu a metrica utile da a gravità à u tempu. Quandu i pacchetti maliziosi sò generati più velocemente di ciò chì e firme sò publicate, "quanti critichi sò aperti" importa menu chè "quantu prestu qualcosa di novu hè segnalatu". Misurate u distaccu trà una dipendenza chì entra in a vostra basa di codice è chì hè screnata, è u distaccu trà una scuperta chì hè stata sollevata è chì ghjunghje à un sviluppatore chì pò agisce.

sca-tools-software-strumenti-d'analisi-di-cumpusizione
Priorizà, rimedià è assicurà i vostri risichi di software
Uttene u vostru contu gratuitu.
Nisuna carta di creditu necessaria.

Assicurà u sviluppu è a consegna di u vostru software

cù a Suite di Prodotti Xygeni