TL;DR: agentų valdymo blokų inžinerija ir jos paslėptas atakos paviršius
Agentų pritaikymo inžinerija – tai praktika, kai viskas (instrukcijos, įrankiai, leidimai, atmintis ir grįžtamojo ryšio ciklai) kuriama remiantis dirbtinio intelekto modeliu, kuris paverčia jį veikiančiu agentu. Būtent šis diržas, o ne modelis, dabar slypi didžiausioje tikrosios saugumo rizikos vietoje.
- Pamaina: Komandos nustojo derinti užduotis ir pradėjo projektuoti laidynus. Agentas = modelis + laidynas.
- Problema: Pakietėjimas yra paprasto teksto failuose (taisyklėse, įgūdžiuose, MCP konfigūracijose), kurie peržiūrimi kaip dokumentai, jei iš viso peržiūrimi.
- Įkalčiai: „Rules File Backdoor“ ir tikri MCP CVE rodo, kad užpuolikai jau taikosi į ją.
- Taisymas: Laikykite laidyną kaip kodą. Sudarykite jo inventorizaciją, peržiūrėkite ir nuskaitykite prieš išsiunčiant.
Kiekvienas pokalbis apie dirbtinio intelekto saugumą galiausiai atsiduria ties modeliu. Ar jį galima atrakinti? Ar jis haliucinuos? Ar paslaugų teikėjas mokosi dirbti su mūsų duomenimis?
Teisingi klausimai. Tačiau jie vis dažniau būna klaidingi. Kai dirbtinio intelekto agentas ištrina gamybos lentelę, atidaro slaptą anonsą arba el. paštu išsiunčia klientų sąrašą nepažįstamajam, retai kada nepavyksta sukurti modelio. Modelis padarė būtent tai, ką jam leido jo galimybės.
Agentas = modelis + diržas
Per pastaruosius metus pramonė tyliai pakeitė tai, ką reiškia kurti naudojant dirbtinį intelektą. Greitoji inžinerija užleido vietą kontekstinei inžinerijai, o kontekstinė inžinerija užleido vietą kažkam didesniam: agentų diržų inžinerija.
Idėja paprasta. Pats modelis yra mąstymo variklis be rankų. Diržai – tai viskas, kas jam suteikia rankas ir darbą: instrukcijos, kurias jis vykdo, įrankiai, kuriuos jis gali iškviesti, leidimai, kuriuos jis turi, atmintis, kurią jis saugo, ir patikrinimai, kurie aptinka jo klaidas. Martino Fowlerio svetainė apibūdina diržų inžineriją kaip darbą, kurį dabar atlieka kodavimo agentų naudotojai, kad agentai būtų patikimi, ir Šiais metais paskelbta akademinė sistema suskirsto sistemą į vienuolika atsakomybių – nuo prieigos prie įrankių ir projekto atminties iki leidimų ir tikrinimo.
Rezultatai yra realūs. Agentų apsaugos diržų inžineriją praktikuojančios komandos praneša, kad pakeitus tik diržus, kai apačioje yra tas pats modelis, agento rezultatai gali smarkiai pasikeisti. Tai kelia nemalonų klausimą visiems apsaugos darbuotojams: jei diržai lemia, kaip agentas elgsis, jie lemia, kaip jais galima piktnaudžiauti.
Paimkime tokį įprastą dalyką kaip priklausomybės diegimas. Kūrėjas stabteli, kad patikrintų paketo pavadinimą. Agentas, turintis tinkamą įrankį, tiesiog paleidžia komandą, ir jei paketas yra kenkėjiškas, niekas modelyje jo nesustabdys. Būtent tai ir aptarsime šioje „SafeDev Talks“ laidoje: Kas pasikeičia, kai DI agentai įdiegia priklausomybes savarankiškai ir kodėl agentų derinimo inžinerija tyliai tapo tiekimo grandinės problema.
Kaip saugykloje atrodo agentų valdymo inžinierius
Atidarykite saugyklą, kurioje kūrėjai naudoja dirbtinio intelekto agentus, ir visa reikalinga įranga yra čia pat, failuose, kurių tikriausiai niekada neskenavote:
- Taisyklių ir instrukcijų failai (
AGENTS.md,.cursorrules, „Copilot“ instrukcijos), kurios nurodo agentui, kaip elgtis. - Įgūdžių failai kad agentas įkelia pagal poreikį ir pakuoja pakartotinai naudojamas galimybes.
- MCP serverio konfigūracijos kurie jungia agentą prie įrankių, duomenų bazių ir API.
- Sistemos raginimai ir raginimų šablonai įterptas į programos kodą.
- Agento laidų: kokius įrankius agentas gali pasiekti, kokius duomenis jis gali gauti ir ar tarp jų yra apsauginis turėklas.
Visa tai yra paprastas tekstas. Visa tai yra commitkartu su kodu. Ir visa tai peržiūrima taip pat, kaip peržiūrima dokumentacija: greitas žvilgsnis, patvirtinimas, sujungimas. Tačiau kiekvienas iš šių failų gali tyliai perrašyti, ką agentui nurodoma daryti ir ką jam leidžiama liesti.
Tai yra tikroji agentų valdymo inžinerijos pasekmė: galingiausia jūsų programinės įrangos konfigūracija dabar peržiūrima rečiausiai.
Užpuolikai jau pastebėjo
Tai nėra teorinis klausimas. Diržo incidentų istorija trumpa, bet daug pasakojanti.
- Taisyklių failo galinės durys. 2025 m. kovo mėn. tyrėjai atskleidė ataką, kai taisyklių faile paslėpti Unicode simboliai nurodė dirbtinio intelekto kodavimo asistentams įterpti slaptą kodą, nepaminėdami to savo matomame atsakyme. Failą perskaitęs recenzentas nepastebėjo nieko neįprasto. Dabar jis kataloguojamas kaip MITRE ATLAS atvejo analizė AML.CS0041.
- Apsinuodiję MCP įrankiai. Iki 2025 m. tyrėjai ne kartą įrodė, kad agentai netiesiogiai pasitiki įrankių aprašymais, todėl kenkėjiškas MCP serveris gali valdyti agentą tiesiog teisingai aprašydamas save. Tais pačiais metais CVE-2025-6514 plačiai atsisiunčiamame MCP kliente leido nuotoliniu būdu vykdyti komandas prisijungiant prie nepatikimo serverio, CVSS įvertintas 9.6.
- Pernelyg didelė agentūra. Geriausios OWASP 10 geriausių LLM programų pernelyg didelę veiksmų laisvę įvardija kaip didžiausią riziką: agentams suteikiama daugiau įrankių, leidimų ar autonomijos, nei reikalauja užduotis. Tai nėra modelio trūkumas. Tai yra suvaržymo projektavimo decisjonų.
Atkreipkite dėmesį į dėsningumą. Nė viena iš šių atakų nesulaužo modelio. Jos sulaužo diržus, o modelis ištikimai atlieka visa kita.
Kodėl jūsų saugos paketas to nemato
Štai ir kebliausia dalis. Dauguma organizacijų jau naudoja gerus programėlių saugumo įrankius ir beveik nė vienas iš jų nebuvo sukurtas šiam sluoksniui.
Statinė analizė supranta kodą, bet nežino, kas yra modelis ar kodėl svarbus nepatikimas tekstas, patenkantis į sistemos raginimą. Sudėties analizė inventorizuoja paketus, bet neišvardija MCP serverių ar įgūdžių failų. Slapti skaitytuvai gali praleisti API raktą, esantį agento konfigūracijos faile. Nė vienas iš šių įrankių nėra ydingas. Jie tiesiog buvo sukurti pasauliui, kuriame konfigūracija neduoda nurodymų.
Taigi agentų valdymo blokų inžinerija vyksta greitai, o saugumo komanda peržiūri tą dalį, kurią gali matyti: modelį ir kodą. Valdymo blokas yra tarpinis variantas.
Penki įpročiai, kaip pritvirtinti diržus
Apsauginių agentų jungčių inžinerijai nereikia naujos komandos. Reikia kelių įpročių, kurie leistų jungtį traktuoti taip, kaip ji yra iš tikrųjų: vykdytiną.
| Įprotis | Kodėl tai svarbu | Ką daryti |
|---|---|---|
| 1. Suinventorizuokite kiekvieną diržą | Negalite samdyti niekieno nedeklaruotų agentų. | Raskite kiekvieną modelį, agentą, MCP serverį, įgūdį ir raginimą savo saugyklose, naudodamiesi pačiais kodo ir konfigūracijos failais, o ne apklausa. |
| 2. Peržiūrėkite laidų failus, pvz., kodą | Taisyklės, įgūdžiai ir MCP konfigūracijos gali perrašyti agento veiksmus, tačiau jos yra peržiūrimos kaip dokumentacija. | Duok jiems tą patį pull request tikrinimas kaip programos logika, įskaitant paslėptų simbolių patikrinimą. |
| 3. Prisekite, ką agentas įkelia | Raginimas arba modelis, į kurį nurodoma keičiama etiketė, gali būti peradresuojamas nekeičiant kodo. | Prisegti raginimus ir modelius prie nekintamų versijų. |
| 4. Ant kiekvienos kriauklės uždėkite apsauginį turėklą | Gauti dokumentai, įrankių išvestis ir vartotojo turinys gali nešti į modelį įterptas instrukcijas. | Pastatykite apsauginį turėklą take visur, kur tas turinys gali pasiekti modelį. |
| 5. Neleiskite įgaliojimų prie diržo | Dirbtinio intelekto teikėjo raktai raginimų failuose ir agentų konfigūracijose yra lengva pergalė užpuolikui. | Pašalinkite juos ir toliau nuskaitykite harness failus, ieškodami paslapčių. Tai lengva išspręsti. |
Diržo, o ne tik modelio, tvirtinimas
„Xygeni“ dirbtinio intelekto saugumas prasideda ten, kur agentų pritaikymo inžinerija palieka savo pėdsaką: jūsų saugyklose. Ji aptinka dirbtinio intelekto išteklius visoje jūsų kodo bazėje (modelius, agentus, MCP serverius, įgūdžius, raginimus, guardrailsir naudojamus dirbtinio intelekto kodavimo įrankius) iš kodo, priklausomybių ir konfigūracijos failų, kuriuos tie įrankiai palieka.
Tada jis analizuoja įgūdžių failus, taisyklių failus ir MCP konfigūracijas kaip saugumo artefaktus, o ne dokumentaciją, ir aptinka agento sujungimo metu kylančias rizikas, pvz., nepatikimą turinį, pasiekiantį sistemos raginimą, arba paieškos kriauklę be apsauginio turėklo. „Xygeni“ slaptų duomenų nuskaitymas pažymi dirbtinio intelekto teikėjo kredencialus raginimuose ir agento konfigūracijos failuose, o jūsų dirbtinio intelekto steko priklausomybės aptinkamos taip pat kenkėjiškų programų, kaip ir visos kitos, dar prieš atsirandant parašui.
DUK
Kas yra agentų pakinktų inžinerija?
Agentų derinimo inžinerija – tai disciplina, kurios metu aplinka kuriama remiantis dirbtinio intelekto modeliu (instrukcijos, įrankiai, leidimai, atmintis, kontekstas ir patvirtinimo ciklai), kad ji veiktų kaip patikimas agentas. Modelis pateikia samprotavimus; derinimas nusprendžia, ką agentas gali matyti ir daryti.
Kuo skiriasi agentų pakinktų inžinerija nuo greitosios inžinerijos?
Raginimų inžinerija formuoja vieną instrukciją. Agentų valdymo inžinerija formuoja visą sistemą, kurioje agentas veikia, per daugelį žingsnių, įrankių ir seansų. Raginimas yra vienas failas valdymo sistemoje.
Kodėl diržas kelia pavojų saugumui?
Nes jis kontroliuoja, ką agentas gali daryti, ir yra paprasto teksto failuose, kurie retai peržiūrimi kaip saugumo artefaktai. Pažeiskite taisyklių failą arba MCP konfigūraciją ir jūs valdote agentą neliesdami modelio.
Kas turėtų savo agentą naudoti apsaugos priemones?
Programų saugumas, bendradarbiaujant su inžinieriais, kurie kuria ir konfigūruoja agentus. Įrankių rinkinys yra jūsų pristatomos programinės įrangos dalis, todėl jam taikomi tie patys peržiūros, nuskaitymo ir inventorizacijos procesai kaip ir likusiam jūsų kodui.







