Agenttien valjaiden suunnittelu

Agenttien valjaiden suunnittelu: malli ei ole hyökkäyspinta, valjaat ovat

TL;DR: agenttien valjaiden suunnittelu ja sen piilotettu hyökkäyspinta

Agenttien valjasteiden suunnittelu on käytäntöä, jossa kaikki rakennetaan tekoälymallin ympärille (ohjeet, työkalut, käyttöoikeudet, muisti ja palautesilmukat), mikä muuttaa sen toimivaksi agentiksi. Suurin osa todellisesta turvallisuusriskistä piilee nyt valjaissa, ei mallissa.

  • Vaihto: tiimit lopettivat virityskehotteiden tekemisen ja aloittivat johdinsarjojen suunnittelun. Agentti = malli + johdinsarja.
  • Ongelma: Johtosarja sijaitsee selkokielisissä tiedostoissa (säännöt, taidot, MCP-konfiguraatiot), joita tarkistetaan kuten dokumentaatiota, jos ollenkaan.
  • Todisteet: Rules File Backdoor ja oikeat MCP CVE:t osoittavat, että hyökkääjät ovat jo kohdistaneet sen.
  • Korjaus: Käsittele johtosarjaa koodina. Inventoi se, tarkista se ja skannaa se ennen lähetystä.

Jokainen tekoälyyn liittyvä tietoturvakeskustelu päätyy lopulta malliin. Voiko sen jailbreakata? Voiko siitä tulla hallusinaatioita? Kouluttaako palveluntarjoaja dataamme?

Oikeita kysymyksiä. Mutta ne ovat yhä useammin vääriä. Kun tekoälyagentti poistaa tuotantotaulukon, työntää takaportin sisään tai lähettää sähköpostitse asiakasluettelon tuntemattomalle, malli harvoin epäonnistuu. Malli teki juuri sen, minkä sen valjaat mahdollistivat.

Agentti = malli + valjaat

Viimeisen vuoden aikana toimiala on hiljaisesti muuttanut sitä, mitä tekoälyn avulla rakentaminen tarkoittaa. Prompt engineering antoi tietä kontekstisuunnittelulle, ja kontekstisuunnittelu antoi tietä jollekin suuremmalle: agentin valjaiden suunnittelu.

Idea on yksinkertainen. Malli itsessään on päättelykone ilman käsiä. Valjaat ovat kaikki, mikä antaa sille kädet ja tehtävän: ohjeet, joita se noudattaa, työkalut, joita se voi kutsua, sen hallussa olevat käyttöoikeudet, sen säilyttämä muisti ja tarkistukset, jotka havaitsevat sen virheet. Martin Fowlerin sivusto kuvailee johdinsarjasuunnittelua työksi, jota koodausagenttien käyttäjät nyt tekevät agenttien luotettavuuden varmistamiseksi, ja tänä vuonna julkaistu akateeminen viitekehys jakaa valjaat yhteentoista vastuualueeseen työkalujen käyttöoikeuksista ja projektimuistista käyttöoikeuksiin ja varmentamiseen.

Tulokset ovat todellisia. Agenttien valjaiden suunnittelua harjoittavat tiimit raportoivat, että pelkän valjaiden vaihtaminen, kun alla on sama malli, voi muuttaa agentin tuloksia dramaattisesti. Tämä herättää epämukavan asian kenelle tahansa turvallisuusalalla: jos valjaat määräävät agentin käyttäytymisen, ne määräävät myös, miten niitä voidaan väärinkäyttää. 

Otetaanpa esimerkiksi riippuvuuden asentaminen. Kehittäjä pysähtyy tarkistamaan paketin nimen. Agentti, jolla on oikea työkalu käytössään, vain suorittaa komennon, ja jos paketti on haitallinen, mikään mallissa ei pysäytä sitä. Juuri tästä kerromme tässä SafeDev Talks -jaksossa: mikä muuttuu, kun tekoälyagentit asentavat riippuvuuksia yksinään, ja miksi agenttien valjaiden suunnittelusta on hiljaisesti tullut toimitusketjuongelma.

Miltä agenttien valjasteiden suunnittelu näyttää arkistossa

Avaa repositorio, jossa kehittäjät käyttävät tekoälyagentteja, ja valjaat ovat siellä, tiedostoissa, joita et ole luultavasti koskaan skannannut:

  • Säännöt ja ohjetiedostot (AGENTS.md, .cursorrules, Copilotin ohjeet), jotka kertovat agentille, miten käyttäytyä.
  • Taitotiedostot jotka pakkaavat uudelleenkäytettävät ominaisuudet, joita agentti lataa tarvittaessa.
  • MCP-palvelimen kokoonpanot jotka yhdistävät agentin työkaluihin, tietokantoihin ja API-rajapintoihin.
  • Järjestelmäkehotteet ja kehotemallit upotettu sovelluskoodiin.
  • Agentin johdotus: mihin työkaluihin agentti voi yltää, mitä tietoja se voi hakea ja onko niiden välissä kaide.

Kaikki se on pelkkää tekstiä. Kaikki se on commitkoodin rinnalla. Ja kaikki se tarkistetaan samalla tavalla kuin dokumentaatio: nopea vilkaisu, hyväksyntä, yhdistäminen. Silti jokainen näistä tiedostoista voi hiljaa kirjoittaa uudelleen, mitä agentille annetaan ohjeet ja mihin hän saa koskea.

Se on agenttien valjastuksen suunnittelun todellinen seuraus: ohjelmistosi tehokkainta kokoonpanoa tarkistetaan nyt vähiten.

Hyökkääjät ovat jo huomanneet

Tämä ei ole teoreettinen huolenaihe. Valjailla on lyhyt mutta paljastava tapahtumahistoria.

  • Sääntötiedoston takaovi. Maaliskuussa 2025 tutkijat paljastivat hyökkäyksen, jossa sääntötiedostoon piilotetut Unicode-merkit ohjeistivat tekoälykoodausavustajia lisäämään takaportin kautta avattua koodia mainitsematta sitä näkyvässä vastauksessaan. Tiedostoa lukenut tarkistaja ei havainnut mitään epätavallista. Se on nyt luetteloitu nimellä MITRE ATLAS -tapaustutkimus AML.CS0041.
  • Myrkytetyt MCP-työkalut. Vuoteen 2025 mennessä tutkijat osoittivat toistuvasti, että agentit luottavat työkalujen kuvauksiin implisiittisesti, joten haitallinen MCP-palvelin voi ohjata agenttia yksinkertaisesti kuvailemalla itsensä oikein. Samana vuonna CVE-2025-6514 laajalti ladatussa MCP-asiakasohjelmassa sallittiin komentojen etäsuorittaminen yhdistettäessä epäluotettavaan palvelimeen, jonka CVSS-luokitus oli 9.6.
  • Liiallinen toimijuus. OWASP Top 10 LLM-sovelluksissa listaa liiallisen toimijuuden suurimpana riskinä: agenteille myönnetään enemmän työkaluja, oikeuksia tai autonomiaa kuin tehtävä vaatii. Tämä ei ole mallivirhe. Se on valjaiden suunnittelun decisioni.

Huomaa kaava. Mikään näistä hyökkäyksistä ei rikkoa mallia. Ne rikkovat valjaat, ja malli tekee uskollisesti loput.

Miksi tietoturvapinosi ei näe sitä

Tässä tuleekin kiusallinen osuus. Useimmilla organisaatioilla on jo hyvät AppSec-työkalut, eikä juuri mitään niistä ole rakennettu tälle tasolle.

Staattinen analyysi ymmärtää koodia, mutta se ei tiedä, mikä malli on tai miksi järjestelmäkehotteeseen virtaava epäluotettava teksti on tärkeää. Koostumusanalyysi inventoi paketteja, mutta se ei luetteloi MCP-palvelimia tai taitotiedostoja. Salaiset skannerit saattavat missata agentin määritystiedostossa olevan API-avaimen. Mikään näistä työkaluista ei ole viallinen. Ne on yksinkertaisesti rakennettu maailmaan, jossa määritys ei anna käskyjä.

Joten agenttien valjastuksen suunnittelu etenee nopeasti, ja turvallisuus tarkistaa sen osan, jonka se näkee: mallin ja koodin. Valjastetusti toteutetaan tässä välissä.

Viisi tapaa valjaiden kiinnittämiseen

Turvallisuusagenttien valjastuksen suunnittelu ei tarvitse uutta tiimiä. Se tarvitsee muutamia tapoja, jotka kohtelevat valjastusta sellaisena kuin se on: suoritustarkoituksena.

TapaMiksi se on tärkeätäMitä tehdä
1. Inventoi jokainen valjaatEt voi hankkia agentteja, joita kukaan ei ole ilmoittanut.Löydä jokainen malli, agentti, MCP-palvelin, taito ja kehote tietovarastoistasi koodista ja määritystiedostoista itsestään kyselyn sijaan.
2. Tarkista johdinsarjatiedostot, kuten koodiSäännöt, taidot ja MCP-konfiguraatiot voivat kirjoittaa agentin toiminnan uudelleen, mutta niitä tarkastellaan kuin dokumentaatiota.Anna heille sama pull request tarkastelua sovelluslogiikkana, mukaan lukien piilotettujen merkkien tarkistukset.
3. Kiinnitä agentin lataamat tiedotMuokattavan otsikon viittaamaan kehotteeseen tai malliin voidaan osoittaa uudelleen ilman koodin muutosta.Kiinnitä kehotteita ja malleja muuttumattomiin versioihin.
4. Asenna kaide jokaiseen pesualtaaseenHaetut asiakirjat, työkalujen tulosteet ja käyttäjän sisältö voivat kaikki sisältää malliin injektoituja ohjeita.Aseta kaide polulle aina, kun sisältö yltää malliin.
5. Pidä tunnistetiedot poissa valjaistaKehotustiedostoissa ja agentin konfiguraatioissa olevat tekoälypalveluntarjoajan avaimet ovat hyökkääjälle helppo voitto.Poista ne ja jatka salaisuuksien etsimistä johtosarjatiedostoista. Se on helppo korjata.

Valjaiden kiinnittäminen, ei vain mallin

Xygeni-tekoälyn tietoturva alkaa siitä, mihin agenttien valjasteiden suunnittelu jättää jälkensä: repositorioistasi. Se löytää tekoälyresurssit koodikannastasi (mallit, agentit, MCP-palvelimet, taidot, kehotteet, guardrailsja käytössä olevat tekoälykoodaustyökalut) koodista, riippuvuuksista ja näiden työkalujen jälkeensä jättämistä asetustiedostoista.

Sitten se analysoi taitotiedostot, sääntötiedostot ja MCP-konfiguraatiot tietoturvaesteinä, ei dokumentaationa, ja havaitsee kehotteiden injektioluokan riskejä agenttien kytkennöissä, kuten epäluotettavan sisällön pääsyn järjestelmäkehotteeseen tai hakukohteen ilman kaidetta. Xygenin salaisuuksien skannaus merkitsee tekoälypalveluntarjoajan tunnistetiedot kehotteissa ja agenttien konfiguraatiotiedostoissa, ja tekoälypinon riippuvuudet saavat saman haittaohjelmien tunnistuksen kuin kaikki muukin, ennen kuin allekirjoitusta on olemassa.

FAQ

Mitä on agenttien valjaiden suunnittelu?

Agenttien valjasteiden suunnittelu on tieteenala, jossa suunnitellaan tekoälymallin ympärille ympäristö (ohjeet, työkalut, käyttöoikeudet, muisti, konteksti ja vahvistussilmukat) siten, että se toimii luotettavana agenttina. Malli tarjoaa päättelyn; valjasteet päättävät, mitä agentti voi nähdä ja tehdä.

Miten agenttivaljaiden suunnittelu eroaa prompt-suunnittelusta?

Kehotteen suunnittelu muokkaa yksittäistä käskyä. Agentin johtosarjan suunnittelu muokkaa koko järjestelmää, jossa agentti toimii, useiden vaiheiden, työkalujen ja istuntojen kautta. Kehote on yksi tiedosto johtosarjassa.

Miksi valjaat ovat turvallisuusriski?

Koska se hallitsee agentin oikeuksia ja sijaitsee selkokielisissä tiedostoissa, joita harvoin tarkastellaan tietoturvaesteinä. Vapauta sääntötiedosto tai MCP-kokoonpano ja hallitset agenttia koskematta malliin.

Kenen tulisi oman agentin hyödyntää turvallisuutta?

Sovellusturvallisuus, yhteistyö agentteja rakentavien ja konfiguroivien insinöörien kanssa. Johtosarja on osa toimittamaasi ohjelmistoa, joten se kuuluu samoihin tarkistus-, skannaus- ja inventointiprosesseihin kuin muu koodisi.

sca-työkalut-ohjelmisto-koostumusanalyysityökalut
Priorisoi, korjaa ja suojaa ohjelmistoriskisi
Hanki ilmainen tili.
Luottokorttia ei vaadita.

Turvaa ohjelmistokehityksesi ja -toimituksesi

Xygeni-tuotepaketin kanssa