D'Sécherheet vun KI-Agenten dréit sech net méi ëm dat, wat e Modell seet. Et geet ëm dat, wat en Agent mécht: d'Tools, déi e rufft, d'Donnéeën, déi e liest, d'Umeldungsinformatiounen, déi e späichert, an d'Paketen, déi e selwer installéiert.
An déi meescht Équipen kënnen déi éischt Fro net beäntweren: wéi eng Agenten hu mir eigentlech am Asaz? Si sinn a Repositories wéi LangChain Grafiken, MCP Serveren, SKILL.md Dateien an AI-Coding-Tools, déi eenzel Entwéckler e Freideg Nomëtteg konfiguréiert hunn. Keen huet se iwwerpréift, an eng béiswëlleg Fäegkeet ass just einfachen Text.
TL; DR
Sécherheet vun AI-Agenten a véier Schrëtt: et gesinn, et bewäerten, d'Loop sécheren, d'Installatioune schützen
Dir kënnt Agenten net sécheren, déi Dir net gesitt. KI-Agentensécherheet fänkt mat engem Inventar vun all Agent, MCP-Server, Fäegkeet, Modell an KI-Codéierungsinstrument an Ärem Code un.
- Risiken an der Aart a Weis wéi Agenten opgebaut ginn: Ufroen, déi Benotzereingabe verkettelen, Agenten, déi Tools opruffen, ouni guardrails, iwwerprivilegéiert Umeldungsinformatiounen a Fäegkeeten mat verstoppten Instruktiounen. De gréissten Deel dovun ass am Code sichtbar, virum Asaz, a gëtt op den OWASP Top 10 fir Agentic Uwendungen.
- Sécherheet am Kreeslaf: Programméierer brauchen Sécherheet an hirem Schleifen, dofir scannen a korrigéiere si dat wat se schreiwen ier et committed, net Wochen méi spéit an engem Ticket.
- Bewaacht d'Installatiounen: Agenten installéieren och Ofhängegkeeten. Malware-Detektioun, déi funktionéiert ier eng Signatur existéiert, deckt béiswëlleg Paketen of, wien se och ëmmer installéiert, en Entwéckler oder en Agent.
- Een Aarbechtsoflaf: KI-Befunde ginn duerch déiselwecht Triage, Ticketen a Rapporten wéi de Rescht vun Ären AppSec-Befunde.
Den éischte Schrëtt: erstellt en Inventar vun der KI an Äre Repositories, exportéiert se als AI-BOM, a gate dann den neien Agentencode am CI.
Firwat d'Sécherheet vun AI-Agenten e ganz anert Problem ass
Eng LLM-Funktioun gëtt Text zréck, an e Mënsch decidéiert, wat domat gemaach gëtt. En Agent mécht dëse Krees eleng zou: hie plangt, rufft Tools op, liest Websäiten, E-Maile an Dokumenter, schreift Dateien a féiert Befeeler aus. All Fäegkeet, déi Dir engem Agent gitt, ass eng Fäegkeet, déi en Ugräifer léine kann.
D'OWASP huet déiselwecht Ënnerscheedung gemaach. OWASP Top 10 fir Agenturapplikatiounen 2026 (ASI01 bis ASI10) baut op der OWASP Top 10 fir LLM-UmeldungenD'LLM-Lëscht deckt dat of, wat e Modell seet; d'Agentenlëscht deckt dat of, wat en Agent mécht.
Déi meescht Organisatiounen hunn elo zwou Zorte vun Agenten:
- Agenten, déi Dir an Är Applikatiounen integréiert: Supportassistenten, intern Copiloten a Workflows, déi mat Frameworks wéi LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel oder LlamaIndex gebaut goufen, dacks mat Tools verbonnen iwwer MCP-Serveren.
- KI-Codéierungsagenten, déi Är Entwéckler benotzen: Claude Code, Cursor, GitHub Copilot, Windsurf, an anerer, déi Code schreiwen, Konfiguratioun änneren an Ofhängegkeeten derbäisetzen.
D'Sécherheet vun KI-Agenten muss béid ofdecken, well béid mat Äre Permissiounen handelen.
Schrëtt 1: Inventar vun all Agent, MCP-Server a Fäegkeet
D'Sécherheet vun KI-Agenten fänkt mat engem Froebrett un, an d'Auditeurë froen elo: wéi eng KI benotze mir? Xygeni AI Sécherheet beäntwert et vun der Quell: Code, Konfiguratioun, Manifesten an Ofhängegkeeten.
Et entdeckt Modeller, Agenten an Agentenserver, KI-Frameworks, MCP-Serveren an hir Tools, Fäegkeeten (SKILL.md, AGENTS.md), Uweisungen, guardrails, Vektorspeicher, Datensätz, Inferenzendpunkten an d'KI-Codéierungstools, déi an Äre Repositories konfiguréiert sinn. Et kartéiert och, wéi se sech verbannen: wéi en Agent wéi e Modell benotzt, wéi eng Tools ausféiert a wéi eng MCP-Server oprufft.
D'Resultat ass en liewegen KI-Inventar, deen als AI-BOM am CycloneDX-Format exportéiert ka ginn, mat engem Governance-Opzeechnung pro Verméigen, deen e Risikokategoriefeld am Kader vun der EU-KI-Gesetz enthält.
Wëllt Dir gesinn, wat fir KI schonn an Ärem Code ass? Bucht eng Rendez-vous mat engem Ingenieur, an mir bauen den KI-Inventar vun engem vun Äre Repositories op.
Schrëtt 2: Erkennt d'Risiken an der Aart a Weis, wéi Agenten opgebaut sinn
Déi meescht Agenten-Schwachstelle sinn net exotesch. Si sinn eng Prompt, déi duerch String-Konkatenatioun opgebaut gëtt, en Agent, deen Tools oprufft, ouni Input-Schutzrail oder eng Umeldungsinformatioun mat vill méi Spillraum wéi den Agent brauch. Si all hannerloossen Fangerofdréck am Code, sou datt Dir se am CI erkennen kënnt, ier Dir se installéiert.
Risiken vun AI-Agenten, déi Dir am Code erkennen kënnt
All Risiko bezitt sech op de OWASP Top 10 fir LLM-Umeldungen oder seng Agentenbegleeder, sou datt d'Resultater déiselwecht Sprooch schwätzen wéi Är Auditeure.
| Risiko | Wéi et am Code ausgesäit | OWASP-Mapping |
|---|---|---|
| Séier Injektioun | Systemprompts, déi Benotzerinhalter ouni Rollentrennung, Trennzeechen oder ... zesummesetzen guardrails | Llm01 |
| Indirekt Injektioun | Tool-opruffend Agenten ouni Input guardrails, oder Agenten, déi Websäiten, E-Maile oder ofgeruff Dokumenter ouni Sanéierung ophuelen | Llm01 |
| Onsécher Ausgabbehandlung | Modellausgab erreecht eval oder aner geféierlech Sinks, déi iwwer Funktiounen a Dateien noverfollegt ginn | Llm05 |
| Iwwerprivilegéiert AgentenidentitéitenMëssbrauch vun net-mënschlecher Identitéit | Statesch laanglieweg Umeldungsinformatiounen, gedeelt Umeldungsinformatiounen ouni Ëmfangverengung, MCP- oder Toolserver déi mat erhéichte Privilegien lafen | ASI 03 |
| Béiswëlleg oder typosquatted FäegkeetenVersuergungskette fir Agentenkompetenzen | Verstoppte béiswëlleg Direktiven an SKILL.md or AGENTS.md, Fäegkeetsnimm, déi bekannt Fäegkeeten oder Integratiounen imitéieren | Agentesch Fäegkeeten Top 10 |
| Geheimnisser an den Ufroen | Umeldungsinformatiounen, déi a Promptdateien gespäichert sinn | Llm07 |
All Befund huet seng OWASP LLM Top 10 Kategorie, plus OWASP Agentic Applications an Agentic Skills Tags wou se zoutreffen, an déi involvéiert Attackvektoren vum rouden Team.
Fäegkeeten verdéngen besonnesch Opmierksamkeet, well eng béiswëlleg Instruktioun an enger Fäegkeetsdatei Prosa ass, kee Code, a keng Ënnerschrëft se ka gesinn. Eng Opt-in AI-Iwwerpréiwung beuerteelt d'Intentioun vu markéierte Fäegkeets- an Agenteninstruktiounsdateien mat engem versionéierten, deterministeschen Setup, sou datt déiselwecht Datei ëmmer datselwecht Uerteel kritt. Si kann op Ärem eegene selbstgehostete Modell lafen, sou datt Code a Prompts Är Ëmfeld net verloossen mussen. E Fäegkeetsniveau-Score verschmëlzt dës Signaler dann an eng Äntwert: sécher, virsiichteg oder net installéieren.
Go déif: kuckt eis Sessioun Explosiounsradius: Wann den Agent dat beréiert, wat Dir net gefrot hutt, iwwer wat geschitt wann d'Rechter vun engem Agent iwwer seng Aufgab erausgoen.
Schrëtt 3: Sécherheet an d'Schleif vum Programméieragent setzen
AI-Codéierungsagenten schreiwen an commit Code méi séier wéi iergendeen en iwwerpréife kann. E Befund, deen zwou Wochen méi spéit an engem Ticket ukënnt, gëtt selten korrigéiert. D'Reparatur muss geschéien, während den Agent nach schafft.
Den Xygeni MCP Server leeft lokal a funktionéiert mat all KI-Codéierungsagent, deen MCP ënnerstëtzt, egal op wéi engem Modell en leeft. Den Agent kann de Code scannen, deen e grad geschriwwen huet, déi nei Problemer opzielen, AI Triage-Uerteeler kréien a Reparaturen ufroen. SAST an SCA Resultater. Et iteréiert bis d'Ännerung propper ass, ier eppes gemaach gëtt committed, mat den Genehmegungen, déi Äert Team festleet.
Et benotzt déiselwecht Engines, Politiken a Stummregelen wéi Ären pipeline, sou datt den Agent an Äre CI sech ni net eens ginn. Fir d'Entwéckler, déi mam Agent zesumme schaffen, den IDE-Plugins déiselwecht Erkenntnisser a Korrekturen an den Editor bréngen.
Schrëtt 4: Schutz vun den installéierten Agenten
En AI-Codéierungsagent kann selwer eng Ofhängegkeet derbäisetzen, an et hält net op fir ze kontrolléieren ob e brandneit Pak mat engem bekannte Numm legitim ass. Attacker wëssen dat, an d'Open-Source-Registrierunge sinn do wou se waarden.
Malware-Verteidegung Markéiert béiswëlleg Paketen ier eng Signatur existéiert, wien se och ëmmer installéiert, en Entwéckler oder en Agent. Op der Maschinn vum Entwéckler, Shield setzt d'Politik duerch, ier eppes leeft: e Mindestalter fir nei Paketen, Ofdeckung fir IDE-Extensiounen a Plugins, Blockéierung vu béiswëllegen Indikatoren a riskanten Regiounen, an Endpunktisolatioun, wann eng Maschinn muss agegrenzt ginn.
Wëllt Dir méi déif goen?
E Feeler am Handler an den exposéierten Endpunkt, deen en erreecht, sinn ee Problem, mat engem Besëtzer. A wann Dir schonn en anert DAST-Tool benotzt, importéiert Xygeni seng Resultater an déiselwecht Risikoansicht, ouni Iech ze froen, et z'ersetzen.
Wëllt Dir béid Schichten zesumme gesinn? Kuckt eis Sessioun Vum Code bis zum Runtime: Firwat SAST + DAST sinn allebéid essentiell fir modern AppSec, wou mir duerchgoen, wéi Code-Resultater a Runtime-Tester sech géigesäiteg bestätegen.
Een Workflow, keng aner Konsol
D'Sécherheet vun KI-Agenten klappt net, wann et zu engem separaten Tool mat senger eegener Warteschlaang gëtt. An Xygeni ginn d'KI-Resultater duerch deeselwechten Trichter, KI-Triage, Ticketen a Rapporten, wéi de Rescht vun Äre Befunde. AI Remediation gëtt kontextbewosst Reparaturleitungen fir all zéng OWASP LLM Kategorien, an ASPM setzt KI-Risiko niewent Code, Ofhängegkeet a pipeline Risiko an enger Siicht.
Sécherheet a Konformitéit vun AI-Agenten
Reguléierungsautoritéiten, Auditeure a Clienten froen ëmmer méi no engem Inventar vun der KI, déi Dir benotzt, a wéi hire Risiko klasséiert ass. EU AI Act an ISO / IEC 42001 béid dréine sech an déi Richtung, an eng AI-BOM gëtt zu enger standard Element an de Beschaffungsfragebögen.
En KI-Inventar mat engem Risikokategoriefeld pro Verméigen gëtt Ärem Governance-Team d'Evidenzbasis fir dës Aarbecht. Et ënnerstëtzt d'Virbereedung op den EU-KI-Gesetz; et ass keng Konformitéitsbeurteilung an et ersetzt net Är juristesch Iwwerpréiwung.
oder mëttelgrouss Équipen ass einfach:
- Op all pull request: API-Sécherheet am CI um geännerte Code, plus inkrementell DAST-Scans.
- virun commit: wéi een pre-commit Gate op gestaffelte Dateien.
- All Nuecht oder beim Zesummeféiere: e komplette DAST-Scan.
- Virun all grousser Verëffentlechung: KI-Pentesting géint Staging fir de Réckstand ze validéieren an all Fix ze bestätegen, datt d'Lach geséchert gouf.
Den API Sécherheetsscanner leeft iwwerall, och am Raum mat Loftgap, a bericht un Xygeni SaaS oder Äre Benotzer. on-premises Plattform. Resultater ginn als JSON erausginn, SARIF 2.1.0, CSV, a Markdown fir pull request Kommentaren.
API Sécherheetstester a Konformitéit
Fir Équipen am Bankwesen, der Versécherung oder dem ëffentleche Secteur sinn API-Sécherheetstester och e Beweis. All Erkenntnisser hunn e Konformitéitslabel fir ... Artikel 32 vun der DSGVO, PCI DSS 4.0 (Ufuerderungen 3.4, 6.4.3, 7.1, 7.2 an 8) an NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), sichtbar an der Plattform an am JSON- an SARIF-Output.
Wann Är Organisatioun ënner Dora or 2, Runtime-Tester ginn Iech kontinuéierlech Beweiser tëscht de manuelle Pentests, déi Är Reguléierer nach ëmmer verlaangen.
Wéi een AI-Agenten-Sécherheet a 7 Schrëtt implementéiert
Hei ass déi praktesch Checklëscht, an der Reiefolleg, déi d'Sécherheet vun AI-Agenten am séiersten an engem richtegen Entwécklungsteam zum Lafen bréngt.
- entdeckt
Inventariséiert all KI-Asset an Äre Repositories
Scannt all Repositories no Agenten, MCP-Serveren, Fäegkeeten, Modeller, Prompts an AI-Codéierungstools a exportéiert d'Resultat als AI-BOM. Dëst ass Är Basislinn an d'Lëscht, vun där all zweete Schrëtt aus schafft.
- Klassifikatioun
Gitt all Agent en Eegentümer an e Risikoniveau
Fir all Agent, notéiert wiem en gehéiert, op wéi eng Donnéeën an Tools en zougräife kann, a seng Risikokategorie laut dem EU AI Act. En Agent, deen keen gehéiert, ass en Agent, deen keen reparéiere wäert.
- Detektéieren
Agentcode am CI op all Scannen pull request
Maacht d'KI-Risikodetektioun nieft Ären anere Scans. Start am Net-Blockéierungsmodus fir d'Basislinn ze gesinn, blockéiert dann d'Fusiounen op kritesche Befunde soubal d'Teams d'Saach opgeraumt hunn.
- iwwerpréiwen
Iwwerpréift Fäegkeeten ier iergendeen se installéiert
Scannt Fäegkeets- an Agenteninstruktiounsdateien wéi z.B.
SKILL.mdanAGENTS.md, d'KI-Intent-Iwwerpréiwung aktivéieren an en "net installéieren"-Uerteel als en haarde Stop behandelen. - Restriktioun
Agent-Rechter verklengeren
Ersetzt statesch laangfristeg Umeldungsinformatiounen duerch scoped Umeldungsinformatiounen, stoppt d'Deele vun Umeldungsinformatiounen tëscht Agenten a laaft ni MCP- oder Toolserver mat erhéichte Privilegien, déi se net brauchen.
- An der Loop fixéieren
Sécherheet an d'Schleif vum Programméieragent setzen
Verbënnt Är KI-Codéierungsagenten mat engem Sécherheets-MCP-Server, sou datt se hiren eegene Code scannen a korrigéieren, ier en ... committed, mat deene selwechte Politiken wéi Är pipeline.
- schützen
Bewaacht wat op Entwécklermaschinne lant
E Mindestalter fir nei Pakete soll erzwingt ginn, béiswëlleg Pakete sollen erkannt ginn, ier eng Signatur existéiert, an IDE-Extensiounen a Plugins solle ofdecken, egal wien se installéiert, egal ob en Entwéckler oder en Agent.
dann: Redakteriséiert all Befunde mam selwechte Triage-, Ticketing- a Reporting-Workflow wéi de Rescht vun Ärem AppSec, sou datt den KI-Risiko net an enger eegener Schlaang landt.
Dir kënnt keen Agent sécheren, deen Dir nach ni kennegeléiert hutt
Sécherheet vun KI-Agenten ass net nëmmen nach ee Scanner. Et geet drëm ze wëssen, wéi eng Agenten Dir lafe léisst, de Risiko an hirer Struktur ze erkennen, d'Sécherheet an de Schleife vum Programméieragent ze integréieren an ze schützen, wat Agenten installéieren. Fänkt mam Inventar un: alles anescht hänkt dovun of.
Wëllt Dir all Agent, MCP-Server a Fäegkeet an Ärem Code gesinn? Bucht eng Sessioun mat engem Ingenieur fir den KI-Inventar vun Äre Repositories opzebauen an seng Resultater ze iwwerpréiwen. Oder gratis ufänken mat AI SAST, SCA, Geheimnisserkennung, d'IDE-Plugins an d'Malware-Detektioun op Open-Source-Paketen. Keng Kreditkaart.
FAQs iwwer d'Sécherheet vun AI-Agenten
Wéi ënnerscheet sech d'Sécherheet vun AI-Agenten vun der Sécherheet vun LLM?
LLM-Sécherheet dréit sech ëm dat, wat e Modell seet: geleakt Daten, manipuléiert Äntwerten, onsécher Ausgab. KI-Agentensécherheet dréit sech ëm dat, wat en Agent mat Tools, Speicher, Umeldungsinformatiounen an aneren Agenten mécht. Dofir publizéiert OWASP eng separat Top 10 fir Agentesch Applikatiounen (ASI01 bis ASI10) nieft den LLM Top 10.
Wéi fannen ech d'KI-Agenten an d'MCP-Serveren a menger Organisatioun?
Fänkt mam Code un. Xygeni AI Security entdeckt d'Agenten, MCP-Serveren, Fäegkeeten, Modeller, Ufroen an AI-Codéierungsinstrumenter an Äre Repositories, kartéiert wéi se sech verbannen an exportéiert d'Resultat als AI-BOM am CycloneDX-Format. Et leeft am CI nieft Ären anere Scans.
Kann eng béiswëlleg Fäegkeet oder e MCP-Server meng Entwéckler a Gefor bréngen?
Jo: D'Instruktioune vun enger Fäegkeet sinn am Klartext, an en Agent wäert se mat den Erlaabnisser vum Entwéckler verfollegen. Xygeni markéiert verstoppte béiswëlleg Direktiven an Imitatioun vun Nimm vun de Fäegkeeten, kann d'Intentioun vun enger Fäegkeet mat enger Opt-in AI-Iwwerpréiwung beurteelen, a bewäert all Fäegkeet als sécher, virsiichteg oder net installéieren. Malware-Verteidegung an Shield d'Paketen an d'Extensiounen ofdecken, déi d'Agenten matbréngen.







