Xygeni ENISE 2026 -tapahtumassa: tekoälykoodausagentin turvallisuus

Kuka päätti, että julkaisu julkaistaan? Tekoälykoodausagentin tietoturvaoppitunteja ENISE 2026:sta

TL; DR

Mitä ENISE 2026 opetti meille tekoälykoodausagenttien turvallisuudesta

Tekoäly kirjoittaa jo koodisi. Päätös siitä, mikä päätyy tuotantoon, on edelleen sinun.

  • Yksi lause riitti: GitHub-ongelman otsikkoon piilotettu kehote johti tekoälyn triage-agentin aloittamaan ketjun, joka päättyi Clinen luvaton julkaisu, koodausavustaja, jolla on yli viisi miljoonaa käyttäjää.
  • CVE-tapausta ei ollut mukana: Hyökkäys hyödynsi viittä puuttuvaa ohjausobjektia, ei klassista haavoittuvuutta, joten perinteisillä skannereilla ei ollut mitään merkittävää.
  • Pullonkaula on siirtynyt: Tekoäly kirjoittaa koodia ja löytää haavoittuvuuksia nopeasti. Koodin turvallinen integrointi ja löydösten todentaminen on nyt vaikein osuus.
  • Koodausagentit ovat osa toimitusketjuasi: Hyökkääjät kohdistavat toimintansa kaikkeen, myrkytettyihin pakettien nimiin, jopa kehittäjän kannettavan tietokoneen tekoälyavustajiin.

Ensimmäinen askel: vastaa neljään kysymykseen. Mitkä toimijat vaikuttavat kehitykseesi, mitä he voivat tuoda tullessaan ja mitä pipelinevoi suorittaa ja mitkä löydökset voi itse asiassa validoida.

Leónissa pidetyssä ENISE 2026 -tapahtumassa toimitusjohtajamme Jesús Cuadrado aloitti tekoälykoodausagenttien tietoturvaa käsittelevän puheensa tarinalla, ei tilastodialla. Tässä on mitä hän kertoi yleisölle ja neljä kysymystä, jotka hän esitti joka... CISO kanssa.

Yksi lause riitti

Aiemmin tänä vuonna tietoturvatutkija osoitti, että miljoonien kehittäjien käyttämästä koodausavustajasta voi julkaista väärennetyn version ilman hyökkäyshaavoittuvuutta, nollapäivähyökkäystä tai varastettua salasanaa. Riitti vain yhden lauseen GitHub-ongelman otsikossa.

Työkalu oli Cline, suosittu avoimen lähdekoodin koodausavustaja. Kuten monissa nykyajan projekteissa, myös sen tiimi oli automatisoinut osan työstään tekoälyn avulla: agentti luki jokaisen uuden GitHub-ongelman, luokitteli sen ja vastasi. Työnsä suorittamiseksi agentilla oli pääteyhteys, ja se suoritti kenen tahansa internetissä avaamia ongelmia. Tutkija Adnan Khan nimesi hyökkäysketjun nimellä "Clinejection", ja Simon Willison on... selkeä yhteenveto siitä, miten homma toimi.

 

Ketju katkesi viidestä kohdasta:

  1. Ulkoisesta tekstistä tuli ohjeita. Ongelman otsikko meni suoraan asiakaspalvelijan kehotteeseen, joten pyyntö työkalun asentamisesta näytti komennolta.
  2. Agentilla oli enemmän valtaa kuin se tarvitsi. Se oli siellä ongelmien triage-luokittelua varten, mutta se pystyi suorittamaan komentoja, joten se teki niin.
  3. Triage ja release jakoivat kätkön. Asennettu työkalu saastutti CI-välimuistin, ja julkaisutyönkulku peri sen.
  4. Julkaisuissa käytettiin pitkäikäistä tunnusta. Kun välimuisti oli myrkytetty, npm:n julkaisutunnus oli käden ulottuvilla.
  5. Kukaan ei hyväksynyt julkaisua. Mikään ei vaatinut ihmistä tarkistamaan versiota ennen sen lähettämistä.

Viikkoja myöhemmin joku käytti sitä hyväkseen ja julkaisi luvattoman version nimeltä cline@2.3.0. Se pysyi verkossa noin kahdeksan tuntia ja se asennettiin noin neljätuhatta kertaa. Tällä kertaa hyötykuorma asensi vain toisen tekoälyagentin. Se olisi voinut olla tunnistetietojen varastaja tai kiristyshaittaohjelma.

Huomatkaa, mitä siinä ei ollut: ei SQL-injektiota, ei CVE:tä, ei mitään, mitä perinteinen skanneri merkitsisi. Kuka siis päätti, että kyseinen versio voitaisiin julkaista?

Ei kukaan.

Viisi puuttuvaa ohjausobjektia ja mikä sulkee kunkin

Jokainen Clinejection-ketjun lenkki oli kontrolli, jota ei ollut olemassa. Mikään niistä ei vaatinut CVE:tä hyödyntääkseen.

Ketjun lenkkiMitä puuttuiSen sulkeva ohjain
1. Ongelman otsikkoEpäluotettava tekstiviesti meni suoraan asiakaspalvelijan kehotteeseenKäsittele kaikkea ulkoista syötettä epäluotettavana ja pidä se poissa agentin ohjeista.
2. Triage-agenttiTriage-agentti voisi suorittaa minkä tahansa komennonVähiten käyttöoikeuksia: anna jokaiselle agentille vain ne työkalut, joita sen tehtävä tarvitsee
3. Jaettu välimuistiTriage- ja julkaisutyönkulut käyttivät samaa välimuistiavaintaEristä työnkulut ja tarkista ne pipeline konfigurointi koodina
4. npm-tokenJulkaisut perustuivat pitkäikäiseen julkaisutunnukseenLyhytaikaiset, rajatut julkaisuvaltuudet
5. julkaisuEi ihmisen hyväksyntää tai varmennusta ennen julkaisuaVaadittu hyväksyntä ja allekirjoitettu alkuperä jokaiselle julkaisulle

Koodin kirjoittaminen ei ole enää pullonkaula

Cline ei ole poikkeus. Se on esikatselu. Tekoälykoodaajat kirjoittavat, asentavat ja commit koodia tahdissa, jolle mitään tarkistusprosessia ei ole suunniteltu, ja jopa tekoälylaboratoriot raportoivat integroivansa muutoksia nopeammin kuin heidän omat työkalunsa pystyvät käsittelemään.

Pullonkaula on siirtynyt. Koodin kirjoittaminen on halpaa. Sen turvallinen integrointi ei ole.

Haavoittuvuuksien löytäminen on halpaa. Sen tietäminen, mitkä niistä ovat todellisia, ei ole.

Tekoäly on myös erittäin hyvä haavoittuvuuksien löytämisessä. Se ei kuitenkaan pysty yksinään kertomaan, mitkä niistä ovat todellisia.

Curlin, miljardien laitteiden päällä toimivan kirjaston, ylläpitäjät tekivät tämän tuskallisen näkyväksi. Useimmat heidän saamistaan ​​tietoturvaraporteista eivät olleet todellisia haavoittuvuuksia, mutta jokainen niistä sitoi pienen vapaaehtoistiimin jäseniä tuntikausia. Tammikuussa 2026 Curl lopetti bug bounty -ohjelmansa, vedoten heikkolaatuisten, tekoälyn tuottamien raporttien tulvaan.

Sama ominaisuus, tekoälyllä toimiva etsintä, voi tuottaa satoja todellisia löydöksiä tai valtavan määrän kohinaa. Ero on siinä, kuka ne validoi ja mitä se maksaa.

Koodausagenttisi on nyt osa toimitusketjuasi

Hyökkääjät ovat tehneet loogisen johtopäätöksen: jos agentit kirjoittavat koodin, miksi hyökätä koodia vastaan? Hyökätä sen kirjoittajan kimppuun, joka sen kirjoittaa.

  • Slopsquatting. Tekoälyn luoman koodin tutkimus on osoittanut, että mallit suosittelevat säännöllisesti paketteja, joita ei ole olemassa, usein toistaen samoja keksittyjä nimiä. Hyökkääjän tarvitsee vain rekisteröidä yksi ja odottaa.
  • Tekoälyavustajat kääntyivät omistajiaan vastaan. Suosittuun Nx-koontityökaluun kohdistuneessa s1ngularity-hyökkäyksessä haittaohjelma etsi kehittäjän koneelta tekoälykoodausavustajia ja pyysi heitä löytämään salaisuuksia: .env-tiedostoja, SSH-avaimia ja pilvitokeneja. Uhrin oma tekoäly teki hyökkääjän työn.

Hyökkäyspinta ei ole enää vain koodisi. Se on kaikki, mikä kirjoittaa koodia puolestasi. Monet näistä riskeistä on nyt kartoitettu OWASP Top 10 LLM-sovelluksissa ja OWASP:n agenttisovellusten kymmenen parhaan joukossa, jotka selitämme oppaassamme OWASP Agetic AI Top 10.

Tekoälykoodaajan turvallisuus: neljä kysymystä jokaiselle CISO:n pitäisi pystyä vastaamaan

kysymyksiä tekoälykoodausagentin turvallisuudesta

Jesús muodosti kaiken tämän neljäksi kysymykseksi. Kokeile vastata niihin omassa organisaatiossasi:

  1. Mitkä toimijat ja mallit vaikuttavat kehitykseemme tänä päivänä? Ei niitä, jotka hyväksyit: niitä jotka ovat olemassa. IDE-assistentteja, GitHub-botteja, agentteja, jotka joku on asettanut säästääkseen aikaa.
  2. Mitä he voivat tuoda ohjelmistoomme? Keksityt paketit, syöttiriippuvuudet, IDE-laajennukset, MCP-palvelimet, malleja ladattu mistä tahansa.
  3. Mitä meidän pipelines suoritetaan, ja millä oikeuksilla? Clinessä jaettu välimuisti riitti julkaisutunnuksen saavuttamiseen.
  4. Kaikesta, mitä meille kerrotaan, mitkä löydökset voimme itse asiassa vahvistaa?

Neljäs kysymys on tärkeämpi kuin miltä näyttää: et voi luottaa agentin omaan yhteenvetoon siitä, mitä se teki. Tarvitset riippumatonta näyttöä.

Miten Xygeni vastaa niihin?

Katso mitä siellä on. Xygeni-tekoälyn tietoturva rakentaa luettelon repositorioissasi olevista malleista, agenteista, MCP-palvelimista ja tekoälykoodaustyökaluista, ja riskit on kartoitettu OWASP:n kymmenen parhaan LLM-sovellusten riskien mukaan. Et voi hallita sitä, minkä olemassaolosta et tiedä.

xygeni tekoälyn tietoturvainventaario - raph

Estä se, minkä ei pitäisi päästä sisään. Haittaohjelmien varhainen varoitus havaitsee haitalliset paketit ennen allekirjoituksen olemassaoloa, ja se sisältyy ilmaispakettiimme. Xygeni Shield estää haitalliset paketit kehittäjien työasemilla ennen niiden asentamista ja valvoo pakettien, IDE-laajennusten ja lisäosien vähimmäisikärajaa, sulkeen ikkunan, johon nämä hyökkäykset ovat riippuvaisia.

xygeni shield estetty paketti ide

Suojaa pipeline. CI/CD Tietoturvatarkistukset koskevat työnkulkuja, käyttöoikeuksia ja salaisuuksia, ja Build Security lisää allekirjoitettu SLSA todistuksia, jotta voit todistaa, että julkaisemasi on sitä, mitä rakensit. Juuri tämä epäonnistui Clinen tapauksessa.

Perustele väitteet todisteilla, älä mielipiteillä. Tässä kohtaa tekoäly lupaa eniten ja tekee useimmiten virheitä. Tulos, joka muuttuu joka kerta, ei voi toimia todisteena tilintarkastajalle tai porttina... pipelineXygenillä tekoäly ei siis päätä. Tekoälyn penetraatiotestauksessa oikeustieteen maisteri suunnittelee hyökkäyksen samalla tavalla kuin pentesteri, mutta deterministinen oraakkeli päättää, toimiko se, todellisen ja turvallisen signaalin perusteella. Jokainen tuomio on hyödynnettävissä, ei hyödynnettävissä tai epäselvä, ja jokaisella on uudelleenajettava todiste konseptista, jonka voit näyttää tilintarkastajalle tai hallituksellesi.

xygeni tekoälyn läpäisytestaus todistettu löydös

Tekoäly ehdottaa. Deterministinen moottori päättää. Sinä pidät todisteet.

Decisioni on yhä sinun

Jesús päätti aloitussanomansa. Clinen versio lähetettiin ilman kenenkään lupaa, ei siksi, että tiimi olisi ollut huolimaton, vaan koska kukaan ei ollut esittänyt oikeita kysymyksiä ajoissa. Juuri tähän tekoälykoodaajan turvallisuus tiivistyy: kysymysten esittäminen ennen kuin agentti lähettää jotain puolestasi.

Tekoäly kirjoittaa jo koodisi. Päätös siitä, mikä päätyy tuotantoon, on edelleen sinun.

Joten mihin neljästä kysymyksestä et osaa vastata tänään?

Vietimme kolme päivää osastolla 62 keskustellen turvallisuus- ja kehitystiimien kanssa juuri näistä kysymyksistä. Kiitos kaikille paikalla olleille.

Xygenin tiimi osastolla 62 ENISE 2026 -messuilla

Xygeni-tiimi ENISE 2026 -konferenssissa vasemmalta oikealle: Jesús Cuadrado, Marcos Martin, ja Agustín Sánchez Fonseca.

Haluatko nähdä, miten Xygeni vastaa niihin omassa ympäristössäsi? Aloita ilmaiseksi or varaa esittely.

UKK

Mitä on tekoälykoodausagentin tietoturva?

Tekoälykoodausagenttien tietoturva tarkoittaa käytäntöä, jolla hallitaan sitä, mitä tekoälykoodausavustajat ja -agentit voivat nähdä, asentaa, suorittaa ja julkaista ohjelmistokehityksen elinkaaressa. Se kattaa agentit itse, heidän tuomansa komponentit, pipelinemitä ne voivat laukaista ja mitä todisteita tarvitset niiden tuotoksiin luottamiseen.

Mikä oli Clinejection-hyökkäys?

Clinejection oli hyökkäysketju Cline-arkistoa vastaan, jossa GitHub-ongelman otsikkoon piilotettu kehote huijasi tekoälyagentin suorittamaan komentoja. Välimuistin myrkytyksen avulla hyökkääjä pääsi npm-julkaisutunnukseen ja julkaisi luvattoman version Clinestä, jota oli asennettu noin neljätuhatta kertaa.

Mitä on slopsquatting?

Slopsquatting on toimitusketjuhyökkäys, jossa hyökkääjä rekisteröi tekoälymallien keksimiä paketin nimiä. Kun kehittäjä tai koodausagentti asentaa hallucinated-paketin, he saavat sen sijaan hyökkääjän koodin.

Voiko tekoäly validoida tietoturvahavaintojaan itse?

Ei luotettavasti. Tekoäly voi löytää ja selittää haavoittuvuuksia, mutta sen tuloste voi muuttua ajojen välillä, mikä tekee siitä heikkoa todisteena. Turvallisempi lähestymistapa on antaa tekoälyn ehdottaa ja deterministisen moottorin päättää, jolloin sama syöte tuottaa aina saman, todennettavissa olevan tuloksen.

sca-työkalut-ohjelmisto-koostumusanalyysityökalut
Priorisoi, korjaa ja suojaa ohjelmistoriskisi
Hanki ilmainen tili.
Luottokorttia ei vaadita.

Turvaa ohjelmistokehityksesi ja -toimituksesi

Xygeni-tuotepaketin kanssa