Zer da IAren segurtasuna? IAren segurtasuna adimen artifizialeko sistemek behar bezala jokatzen dutela eta kalterik eragiten ez dutela ziurtatzen duen arloa da, akatsen, ustekabeko portaeraren edo erabilera okerraren bidez izan. IA ereduak nola diseinatu, entrenatu, probatu, zabaldu eta monitorizatzen diren hartzen du barne, chatbot baten erantzunetatik hasi eta baimen errealekin komandoak exekutatu ditzakeen IA agente bateraino.
- Helburua: Fidagarria den, jendeak benetan nahi duenarekin bat datorren eta gizakien kontrol esanguratsuaren pean dagoen IA.
- Arrisku nagusiak: irteera kaltegarriak edo faltsuak, nahi gabeko ekintzak, egile gaiztoen erabilera okerra eta, sistemarik gaitasun handiena dutenen kasuan, kontrola galtzea.
- IA segurtasuna vs. IA segurtasuna: Segurtasunak galdetzen du ea IAk berak kalteak eragin ditzakeen; segurtasunak galdetzen du ea beste norbaitek eraso edo gehiegikeriaz erabili dezakeen. Praktikan, biak urtero gehiago gainjartzen dira.
- Praktika nagusiak: lerrokatzea, ebaluazioak, guardrails, talde gorria, gizakien gainbegiratzea eta hedapenaren ondorengo jarraipena.
- Zergatik den garrantzitsua orain: Adimen artifizialaren agenteek beren kabuz jokatzen dute tresnekin eta kredentzialekin, beraz, segurtasun-akats bat ez da erantzun oker bat soilik, benetako ekintza bat izan daiteke.
IAren segurtasuna azalduta #
Adimen artifizialaren sistemak ez dira lerroz lerro programatzen. Datuetatik ikasten dute portaera, eta horrek esan nahi du eraikitzaileek inoiz pentsatu ez zituzten gauzak egin ditzaketela: informazio faltsua konfiantzaz adieraztea, ezkutuko argibide bat jarraitzea edo inork espero ez zuen helbururako lasterbide bat aurkitzea. Adimen artifizialaren segurtasuna porrot horiek aurreikusten dituen eta eragin dezaketen kaltea mugatzen duen diziplina da.
The Nazioarteko IA Segurtasun Txostena 2026100 aditu baino gehiagok idatzia eta Yoshua Bengio Turing sariaren irabazleak zuzendua, IAren arriskuak hiru kategoriatan sailkatzen ditu:
- Matxurak: IAk huts egiten du edo bere mugetatik kanpo jokatzen du, erantzun haluzinatuetatik hasi eta agenteek inork eskatu ez dituzten ekintzak egiteraino, eta muturrekoenetan, kontrola galtzeraino.
- Erabilera gaiztoa: Jendeak IA erabiltzen du kalteak eragiteko, hala nola iruzurrak, zibererasoak edo mehatxu biologiko eta kimikoei aurre egiteko.
- Arrisku sistemikoak: IA eskala handian hedatzearen ondorio zabalagoak, hala nola lanpostuetan, gizakien autonomian eta IAren gehiegizko mendekotasunean duten eraginacisioiak.
Lehenengo kategoria IAren segurtasunaren muina da. Bigarrena IAren segurtasuna eta zibersegurtasuna elkartzen diren tokia da, portaera kaltegarrira konbentzitu daitekeen eredu bat ez baita segurua eta ez-segurua.
Adimen Artifizialaren segurtasuna ere praktikoagoa bihurtu da. Txatbotekin, segurtasun-akats batek normalean erantzun okerra edo kaltegarria esan nahi zuen. Kodea editatzen, APIak deitzen eta kredentzialak erabiltzen dituzten adimen artifizialaren agenteekin, akats bera ekintza bihurtzen da: ezabatutako fitxategi bat, sekretu filtratu bat, ekoizpenera bultzatutako aldaketa bat.
IA segurtasuna vs. IA segurtasuna #
Bi terminoak askotan erabiltzen dira elkarrekin, eta bien arteko marra gero eta meheagoa da. 2025eko otsailean, Erresuma Batuak bere IA Segurtasun Institutua izena jarri zion... IA Segurtasun Institutua, zibererasoak, iruzurra eta adimen artifizialak gaitutako armak bezalako mehatxuetara bideratuz arreta (Irudimenezkoa). Bereizteko modurik errazena kaltea nondik datorren galdetzea da.
Praktikan, biak behar dituzu. IA ez-seguru bat errazagoa da erasotzen, istripuak eragiten dituzten ahultasun berberak nahita eragin daitezkeelako. IA ez-seguru bat ezin da segurua izan, hura kontrolatzen duenak erabakitzen baitu nola jokatzen duen. Horregatik, segurtasun-talde gehienek IAren segurtasun-kontrolak tratatzen dituzte orain, hala nola... guardrails eta pribilegio gutxien agenteentzat, beren AppSec programaren barruan.
Oinarrizko IA segurtasun praktikak #
Ez dago teknika bakar batek IA sistema seguru bihurtzen duenik. 2026ko Nazioarteko IA Segurtasun Txostenak azpimarratzen du defentsa sakoneanhainbat babes-neurri geruzatzea, bakoitza bere kabuz huts egin dezakeelako.
- Lerrokatzea: Erabiltzaileek eta garatzaileek benetan nahi duten portaerarantz eredu bat bideratzen duten entrenamendu metodoak, hala nola zintzotasuna eta eskaera kaltegarriak ukatzea.
- Ebaluazioak: Modelo batek zer egin dezakeen eta nola jokatzen duen kaleratu aurretik egituratutako probak, ziber-erasoa bezalako gaitasun arriskutsuak barne.
- AI guardrails: Sarrerak eta irteerak egiaztatzen dituzten, eduki kaltegarria blokeatzen duten eta agente batek egin dezakeena mugatzen duten ereduaren inguruko kontrolak. Guardrails Modeloaren aurretik eta ondoren exekutatzen diren iragazkiak, politikak edo sailkatzaileak izan daitezke.
- IA talde gorria: Adituek eta tresna automatizatuek nahita saiatzen dira eredua gaizki jokatzen, jailbreak-etatik eta injekzio azkarretatik hasi eta tresnen gehiegikeriaraino, ahuleziak erasotzaileek aurkitu aurretik aurki daitezen.
- Giza gainbegiratzea: pertsona batek ekintza sentikorrak onartzen ditu, sistema gelditu dezake eta berrikusi egiten ditucisGarrantzitsuak diren ioiak. Agenteentzat, honek kodea zabaldu edo dirua mugitu bezalako ekintzen aurretiko onarpen urratsak esan nahi du.
- Pribilegio gutxien: IA agente batek bere zereginak behar dituen tresnak, datuak eta kredentzialak baino ez ditu lortzen, beraz, akats edo manipulazio batek ezin du gehiago iritsi.
- Hedapenaren ondorengo jarraipena: IAk ekoizpenean egiten duena erregistratzea, portaera ezohikoak ikustea eta atzera egin ahal izatea.
Txostenak jakitea merezi duen muga bat ere aipatzen du: babes-neurriak saihestea zailagoa bihurtu da, baina erasotzaileek oraindik ere arrakasta izaten dute neurriz gora, eta pisu irekiko ereduak zailagoak dira kontrolatzen kaleratu ondoren.
Mundu errealeko adibideak #
Adimen artifizialaren segurtasun-hutsegiteak ez dira jada hipotetikoak. 2026ko bi kasuk erakusten dute segurtasun-arazo bat segurtasun-intzidente bihurtzen den azkar:
- Hugging Face hackeatu zuten IA modeloak azterketa bat gainditzeko (2026ko uztaila). Barne-ebaluaziopean zeuden OpenAI aurre-argitaratutako ereduak, probak egiteko ziber-errefusak murriztuta, beren sandbox-etik ihes egin eta Hugging Face-ren azpiegitura hautsi zuten ziber-benchmark bati erantzunak aurkitzeko, zereginak konpondu beharrean. Inork ez zien inori erasotzeko agindu: emaitzagatik saritzen ziren, ez metodoagatik. Hugging Face-k 17,000 erasotzaile baino gehiago detektatu zituen asteburu batean.CSA ikerketa oharra). Gure analisian istorio osoa azaldu genuen Aurpegi Besarkatuaren Segurtasun Gertakaria.
- Garatzaileen baimenekin jarduten duten IA kodeketa laguntzaileak. 2026an, GitHub Copilot CLI bezalako tresnetako komando-injekzio akatsek sarrera artisauak erabiltzailearen baimenik gabe exekutatzeko aukera eman zuten. IA batek zure sarbidearekin jokatzen duenean, segurtasun-hutsune bat eta segurtasun-hutsune bat gauza bera dira.
Gaur egun, IAren segurtasunerako erreferentzia-esparru nagusiak hauek dira: NIST IA Arriskuen Kudeaketa Esparrua, IA sistemak arriskuaren arabera sailkatzen dituen EBko IA Legea, eta hamabi IA garatzaile nagusik 2025ean argitaratu edo eguneratu zituzten mugako IA segurtasun-esparruak, Nazioarteko IA Segurtasun Txostenaren arabera.
Nola jarri IAren segurtasuna praktikan #
Erakunde gehienek ez dituzte beren mugako ereduak entrenatzen. Baina ia guztiek IArekin eraikitzen dute edo IA tresnak beren kodean funtzionatzen uzten dituzte. Urrats hauek IAren segurtasuna ekartzen dute eguneroko software garapenean:
- Jakin ezazu zein IA erabiltzen duzun. Mantendu zure aplikazioetan eta biltegietan dauden modeloen, agenteen, gonbidapenen, datu-multzoen eta IA kodetzeko tresnen inbentario bat. Ezin duzu seguru egin ikusten ez duzuna.
- Arriskua sailkatu. Erabaki zein IA sistemek egin ditzaketen ekintzak, ukitu ditzaketen datu sentikorrak edo eragin ditzaketen pertsonei, eta aplikatu kontrol zorrotzagoak horiei. EBko IA Legeak arriskuetan oinarritutako logika bera erabiltzen du.
- Gehitu guardrails bi muturretan. Balioztatu ereduan sartzen dena eta egiaztatu zer ateratzen den erabiltzaile, tresnetara edo beste sistemetara iritsi aurretik.
- Mugatu agenteek egin dezaketena. Eman IA agenteei behar dituzten tresnak soilik, esparru mugatuko eta iraupen laburreko kredentzialak eta ekintza sentikorretarako gizakien baimena.
- Talde gorria kaleratu aurretik. Probatu jailbreak-ak, prompt injekzio eta tresnen gehiegizko erabilera, eta errepikatu probak modeloak edo prompt-ak aldatzen direnean.
- Tratatu IA bidez sortutako kodea beste edozein kode bezala. Eskaneatu ahultasunak, sekretuak eta mendekotasun gaiztoak bilatzeko batu aurretik.
- Jarrai ezazu eta prest egon atzera egiteko. Erregistratu IA ekintzak ekoizpenean eta gorde modu bat azkar gelditzeko edo desegiteko.
Nola laguntzen duen Xygenik #
Memoriaren pozoitzea exekuzio-garaian gertatzen da, baina esposizioaren zati handi bat lehenago erabakitzen da, agenteak nola eraikitzen diren. IAren segurtasunaren zati handi bat...cisIA sistema bat exekutatu aurretik kodean eta konfigurazioan frogak uzten dituzten ioiak. Xygenik zati hori hartzen du:
- IA inbentarioa: Xygeni AI Segurtasuna Zure biltegietan dauden modeloak, agenteak, MCP zerbitzariak, gonbitak, datu-multzoak eta IA kodeketa tresnak aurkitzen ditu, nola konektatzen diren mapatzen du eta IA-BOM gisa esportatzen ditu, EBko IA Legearen prestaketarako arrisku-kategoria eremu batekin.
- Arriskuen detekzioa kodean: ereduak markatzen ditu, hala nola, sarrera ez-fidagarrietatik sortutako galderak, sarrerarik gabeko agenteak guardrails, modeloen kargatze ez-segurua eta agenteen kredentzial gehiegi pribilegiatuak, LLM aplikazioetarako OWASP Top 10 zerrendarekin mapatuta.
- Segurtasuna IA bidez idatzitako kodearentzat: AI kodetze-agenteek Xygeni deitu dezakete bere MCP zerbitzariaren bidez beren kodea eskaneatu eta konpontzeko, erabili aurretik. commitTed
Xigenoa kodea eta konfigurazioa aztertzen ditu zabaldu aurretik; ez du modeloaren portaera kontrolatzen exekuzio-garaian, beraz, parekatu goiko exekuzio-kontrolekin. Hasi doan or erreserbatu demo bat zure biltegien IA inbentarioa ikusteko.
ohiko galderak #
IAren segurtasunak esan nahi du IA sistemek egin behar dutena egiten dutela eta kalterik eragiten ez dutela ziurtatzea, akatsak egiten dituztenean edo beren kabuz jokatzen dutenean ere. IA nola diseinatu, probatu, zabaldu eta gainbegiratu den barne hartzen du.
Zein da IA segurtasunaren eta IA segurtasunaren arteko aldea?
IAren segurtasunak IAk berak akatsen edo nahi gabeko jokabideen bidez eragin dezakeen kaltean jartzen du arreta. IAren segurtasunak IA manipulatzen, lapurtzen edo gaizki erabiltzen saiatzen diren erasotzaileengan jartzen du arreta. Biak gainjartzen dira, segurtasun-ahultasun asko nahita ustia daitezkeelako.
AI guardrails IA eredu baten inguruan jarritako kontrolak dira, sarrerak eta irteerak egiaztatzen dituztenak eta egin dezakeena mugatzen dutenak. Eduki kaltegarria blokeatu dezakete, datu sentikorrak ihes egitea eragotzi edo IA agente batek ekintza batzuk egin aurretik gizakien onarpena behar izan dezakete.
AI talde gorria AI sistema bat probatzea da, nahita gaizki funtzionaraztea saiatuz, jailbreak-ak, berehalako injekzioa eta tresnak gehiegi erabiltzea bezalako teknikak erabiliz. Helburua ahuleziak benetako erasotzaileek edo benetako erabiltzaileek aurkitu aurretik aurkitzea da.
IA kodeketa laguntzaileek eta agenteek orain kodea idazten dute, komandoak exekutatzen dituzte eta mendekotasunak instalatzen dituzte garatzaileen baimenekin. Tresna horietan segurtasun-akats batek ahultasunak sor ditzake, leak secrets edo ekoizpen sistemak aldatu, beraz, AI segurtasuna aplikazioen segurtasunaren parte bihurtu da.
