Qu’est-ce que la sécurité de l’IA ? La sécurité de l’IA est la pratique consistant à protéger les modèles d’IA, les agents, les ensembles de données et l’infrastructure dont dépendent les logiciels, contre les risques propres à la manière dont les systèmes d’IA sont construits, entraînés et exécutés. Ce document traite de la découverte de toutes les ressources d'IA utilisées, de la détection des vulnérabilités spécifiques à l'IA telles que l'injection de paquets et les comportements non sécurisés des agents, ainsi que de la mise en œuvre de politiques visant à empêcher les actions dangereuses de l'IA avant qu'elles ne causent des dommages. C'est le concept fondamental de la sécurité de l'IA que le reste de cette entrée de glossaire développe.
Contrairement à la sécurité applicative traditionnelle, qui protège le code, les dépendances et l'infrastructure, la sécurité de l'IA protège une nouvelle catégorie d'actifs : les modèles, les invites, les agents et les protocoles de communication machine-à-machine qui les relient. À mesure que l'IA passe du statut de fonctionnalité à celui de composante essentielle de la chaîne de valeur logicielle, elle devient une couche de défense distincte et indispensable.
Sécurité IA : définition courte #
En termes plus simples, la signification de la sécurité de l'IA est la suivante : Sécuriser l'IA de la même manière que vous sécurisez déjà le code, mais pour un ensemble de composants et de comportements que les outils conventionnels n'ont jamais été conçus pour détecter.
Une méthode utile pour dissocier ce concept d'une source de confusion courante : La sécurité basée sur l'IA ne se résume pas à « l'IA dans la sécurité ». En matière de sécurité, l'IA utilise l'intelligence artificielle pour améliorer les pratiques de sécurité existantes, par exemple un modèle d'IA qui trie les vulnérabilités détectées. La sécurité de l'IA, en revanche, concerne la sécurisation de l'IA elle-même : les fichiers du modèle, les données d'entraînement, les agents, les invites et les serveurs qui permettent aux outils d'IA d'agir. Ces deux utilisations de l'IA sont valables, mais elles répondent à des problématiques différentes.
Pourquoi ça compte #
Les équipes de développement logiciel ont adopté des assistants de codage IA, des agents autonomes et bien d'autres choses encore. Protocole de contexte modèle (MCP) à un rythme qui a dépassé celui des outils censés les protéger. Voici quelques raisons qui expliquent la création d'une nouvelle surface d'attaque par cette évolution :
Les dépendances en IA peuvent être empoisonnées ou inventées. Les assistants de programmation IA recommandent parfois des paquets qui n'existent pas, une pratique connue sous le nom de slopsquatting, que les attaquants peuvent pré-enregistrer et utiliser à des fins malveillantes.
Le code généré par l'IA comporte son propre profil de risque. Une analyse comparative indépendante de la génération de code par IA a révélé qu'une part importante du code écrit par l'IA introduit des schémas de vulnérabilité communs, même lorsque le modèle sous-jacent est performant et bien entraîné.
Les agents et les serveurs MCP constituent une infrastructure nouvelle et largement non surveillée. Les agents peuvent lire des fichiers, appeler des outils et agir pour le compte d'un développeur. Si les instructions, les fichiers de règles ou les serveurs MCP connectés d'un agent sont manipulés, l'agent peut être retourné contre le système qu'il était censé protéger.
La configuration de l'IA constitue désormais une surface d'attaque. Les fichiers de compétences, les fichiers de règles et les modèles d'invites sont généralement considérés comme de la documentation et non comme des éléments importants pour la sécurité. Des attaquants ont déjà démontré que des instructions cachées dans ces fichiers peuvent amener un assistant IA à exécuter du code malveillant sans laisser de trace visible dans sa réponse.
Que couvre-t-il ? #
Un programme complet de sécurité IA couvre généralement trois fonctions :
1. Découverte (Inventaire IA) #
Avant toute chose, il faut la localiser. La sécurité de l'IA commence par la découverte continue de chaque ressource d'IA dans les référentiels d'une organisation. pipelines : modèles, frameworks d’IA, ensembles de données, points d’accès d’inférence, agents, outils de codage d’IA et les serveurs MCP auxquels ils se connectent. Cet inventaire est généralement exprimé sous la forme d’une nomenclature d’IA lisible par machine (AI-BOM), l’équivalent IA d’une nomenclature logicielle (SBOM).
2. Détection (risque lié à l'IA) #
Une fois les ressources d'IA identifiées, la sécurité de l'IA détecte les risques qui leur sont propres, notamment :
- Injection rapide et fuite rapide du système, où un contenu non fiable manipule le comportement d'un modèle d'IA
- Configuration MCP non sécurisée, où un outil ou un serveur connecté peut être empoisonné ou usurpé
- Agence excessive, où un agent est autorisé à agir au-delà de ses limites prévues sans contrôle humain
- Révélations de secrets dans les fichiers d'IA, lorsque des clés API ou des identifiants fuient via la configuration utilisée par les outils d'IA
- Dépendances IA vulnérables ou hallucinées, y compris le squatting
Ces catégories de risques correspondent à des cadres publiés et évalués par la communauté, notamment le Top 10 de l'OWASP pour les applications LLM.
3. Application (Guardrails) #
La dernière couche empêche les comportements dangereux de l'IA avant leur exécution : blocage de l'installation d'un package malveillantCela inclut la validation d'un fichier de compétences ou de règles avant sa validation, ainsi que l'interception d'une action d'agent qui enfreint la politique de sécurité. C'est à ce stade que la sécurité de l'IA passe de la simple visibilité à une défense active.
Principaux risques liés à la sécurité de l'IA, définis #
| Long | Ce que cela veut dire |
|---|---|
| Injection rapide | Des instructions malveillantes dissimulées dans le contenu traité par un modèle d'IA, l'amenant à agir à l'encontre de sa finalité. |
| Squatting | Les attaquants enregistrent de faux paquets dont les noms correspondent à ceux qu'un modèle d'IA est susceptible d'halluciner et de recommander |
| Risque MCP | Vulnérabilités des serveurs du protocole MCP (Model Context Protocol) permettant aux agents d'IA d'appeler des outils externes, notamment l'empoisonnement d'outils et l'accès non authentifié |
| Agence excessive | Un agent d'IA doté de plus d'autonomie ou d'accès que ce que sa tâche requiert |
| porte dérobée pour les fichiers de règles/compétences | Des caractères ou instructions cachés, insérés dans des fichiers de configuration, qui pilotent un assistant de programmation IA sans apparaître dans son résultat visible. |
| Nomenclature AI-BOM | Un inventaire lisible par machine des actifs d'IA d'une organisation, utilisé pour l'audit et la gestion des risques |
Cadres de sécurité de l'IA et Standards #
Elle s'appuie sur un petit ensemble de publications standardplutôt que la taxonomie d'un seul fournisseur :
- Top 10 de l'OWASP pour les candidatures au LLM (2025): la liste des risques liés aux applications d'IA la plus fréquemment citée, couvrant l'injection de vulnérabilités, la divulgation d'informations sensibles, les risques liés à la chaîne d'approvisionnement, et bien plus encore.
- Norme NIST SP 800-218A: lignes directrices pour des pratiques de développement logiciel sécurisées adaptées à l'IA générative et aux modèles de fondations à double usage.
- Gartner AI-SPM et AI TRiSM: catégories définies par les analystes pour la gestion de la posture de sécurité de l'IA et la discipline plus large de la gestion de la confiance, des risques et de la sécurité de l'IA.
Ensemble, ces éléments permettent aux organisations de disposer d'un vocabulaire commun pour définir ce que signifie réellement « IA sécurisée », au lieu de se fier uniquement à des définitions marketing.
Sécurité de l'IA vs. Termes associés #
- Sécurité de l'IA vs. Sécurité des applicationsAppSec sécurise le code applicatif et ses dépendances. Il sécurise les modèles d'IA, les agents et la configuration spécifique à l'IA que les outils AppSec n'ont pas été conçus pour inspecter.
- Sécurité de l'IA vs. Gouvernance de l'IALa gouvernance définit les politiques et les approbations requises par une organisation pour l'utilisation de l'IA. Elle veille à leur application concrète, tant au niveau du code que des agents.
- Sécurité de l'IA vs. MLSecOpsMLSecOps se concentre sur la sécurisation du cycle de vie de l'apprentissage automatique (entraînement, données, déploiement des modèles). Son champ d'application est plus vaste et s'étend aux agents, aux assistants de programmation et aux protocoles qui les connectent aux systèmes en production.
Comment Xygeni aborde la sécurité de l'IA
#
Xygéni Le produit AI Security applique ce même modèle de découverte, de détection et de mise en œuvre directement au cycle de vie du développement logiciel. Il construit en continu un inventaire d'IA à travers les référentiels, détecte les risques spécifiques à l'IA tels que l'injection de paquets et la configuration MCP non sécurisée, et associe chaque découverte au Top 10 OWASP pour les applications LLM. Ainsi, les équipes de sécurité et d'ingénierie travaillent à partir d'une seule nomenclature d'IA et d'une vue unifiée des risques, au lieu de deviner quelles IA sont déjà exécutées dans leur code.
QFP #
La sécurité de l'IA consiste à protéger les modèles d'IA, les agents, les données et l'infrastructure qui les relie contre les risques spécifiques liés à la manière dont les systèmes d'IA sont construits et fonctionnent.
Non. La cybersécurité est la discipline englobant tous les risques numériques. La sécurité de l'IA est un sous-ensemble spécialisé de la cybersécurité, axé sur les actifs et les modes de défaillance propres à l'IA, tels que l'injection de vulnérabilités ou les comportements non sécurisés des agents.
Toute organisation dont les développeurs utilisent des assistants de programmation IA, dont les produits intègrent des modèles d'IA ou dont les flux de travail incluent des agents autonomes et des serveurs MCP. Cela concerne désormais la plupart des équipes de développement logiciel, quelle que soit leur taille.
