Beth yw Diogelwch AI? Diogelwch AI yw'r arfer o amddiffyn y modelau, yr asiantau, y setiau data a'r seilwaith AI y mae meddalwedd yn dibynnu arnynt, rhag y risgiau sy'n unigryw i sut mae systemau AI yn cael eu hadeiladu, eu hyfforddi a'u rhedeg. Mae'n cwmpasu darganfod pob ased AI sy'n cael ei ddefnyddio, canfod gwendidau penodol i AI fel chwistrelliad prydlon ac ymddygiad asiantau ansicr, a gorfodi polisïau sy'n atal gweithredoedd AI anniogel cyn iddynt achosi niwed. Dyma'r diogelwch AI craidd sy'n golygu bod gweddill y cofnod geirfa hwn yn ei ddadbacio.
Yn wahanol i ddiogelwch cymwysiadau traddodiadol, sy'n amddiffyn cod, dibyniaethau a seilwaith, mae Diogelwch AI yn amddiffyn dosbarth newydd o asedau: modelau, awgrymiadau, asiantau a'r protocolau peiriant-i-beiriant sy'n eu cysylltu. Wrth i AI symud o nodwedd i'r gadwyn gyflenwi meddalwedd ei hun, mae wedi dod yn haen amddiffynnol angenrheidiol ac amlwg.
Ystyr Diogelwch AI: Y Diffiniad Byr #
Ar ei symlaf, ystyr diogelwch AI yw hyn: sicrhau AI yn y ffordd rydych chi eisoes yn diogelu cod, ond ar gyfer set o gydrannau ac ymddygiadau na chafodd offer confensiynol eu hadeiladu i'w gweld erioed.
Ffordd ddefnyddiol o wahanu'r cysyniad oddi wrth bwynt cyffredin o ddryswch: Nid yw Diogelwch AI yr un peth â “AI mewn diogelwch.” Mae AI mewn diogelwch yn cyfeirio at ddefnyddio deallusrwydd artiffisial i wella gwaith diogelwch presennol, er enghraifft model AI sy'n dosbarthu canfyddiadau bregusrwydd. Mae Diogelwch AI, i'r gwrthwyneb, yn cyfeirio at ddiogelu'r AI ei hun: y ffeiliau model, y data hyfforddi, yr asiantau, yr awgrymiadau, a'r gweinyddion sy'n gadael i offer AI weithredu. Mae'r ddau yn ddefnyddiau dilys o AI, ond maent yn ateb cwestiynau gwahanol.
Pam Mae'n Bwysig #
Mae timau meddalwedd wedi mabwysiadu cynorthwywyr codio AI, asiantau ymreolaethol, a'r Protocol Cyd-destun Model (MCP) ar gyflymder sydd wedi rhagori ar yr offer a fwriadwyd i'w diogelu. Ychydig o resymau pam y creodd y newid hwn arwyneb ymosod newydd:
Gellir gwenwyno neu ddyfeisio dibyniaethau AI. Weithiau mae cynorthwywyr codio AI yn argymell pecynnau nad ydynt yn bodoli, patrwm a elwir yn slopsquatting, y gall ymosodwyr eu cofrestru ymlaen llaw a'u harfogi.
Mae cod a gynhyrchir gan AI yn cario ei broffil risg ei hun. Mae meincnodi annibynnol o gynhyrchu cod AI wedi canfod bod cyfran sylweddol o god a ysgrifennwyd gan AI yn cyflwyno patrymau bregusrwydd cyffredin, hyd yn oed pan fydd y model sylfaenol yn abl ac wedi'i hyfforddi'n dda.
Mae asiantau a gweinyddion MCP yn seilwaith newydd, heb ei fonitro i raddau helaeth. Gall asiantau ddarllen ffeiliau, galw offer, a chymryd camau gweithredu ar ran datblygwr. Os caiff cyfarwyddiadau, ffeiliau rheolau, neu weinyddion MCP cysylltiedig asiant eu trin, gellir troi'r asiant yn erbyn y system yr oedd i fod i'w hamddiffyn.
Mae ffurfweddiad AI bellach yn arwyneb ymosod. Fel arfer, caiff ffeiliau sgiliau, ffeiliau rheolau, a thempledi annog eu trin fel dogfennaeth, nid fel arteffactau sy'n berthnasol i ddiogelwch. Mae ymosodwyr eisoes wedi dangos y gall cyfarwyddiadau cudd sydd wedi'u hymgorffori yn y ffeiliau hyn achosi i gynorthwyydd AI gynhyrchu cod cefndirol heb unrhyw olion gweladwy yn ei ymateb.
Beth Mae'n ei Gwmpasu #
Mae rhaglen Diogelwch AI gyflawn fel arfer yn cwmpasu tair swyddogaeth:
1. Darganfod (Rhestr Eiddo Deallusrwydd Artiffisial) #
Cyn y gellir sicrhau unrhyw beth, mae'n rhaid dod o hyd iddo. Mae Diogelwch AI yn dechrau gyda darganfyddiad parhaus o bob ased AI ar draws ystorfeydd sefydliad a pipelines: modelau, fframweithiau AI, setiau data, pwyntiau terfyn casgliad, asiantau, offer codio AI, a'r gweinyddion MCP y maent yn cysylltu â nhw. Mae'r rhestr eiddo hon fel arfer yn cael ei mynegi fel Bil Deunyddiau AI y gellir ei ddarllen gan beiriant (AI-BOM), sef cyfwerth AI â bil deunyddiau meddalwedd (SBOM).
2. Canfod (Risg AI) #
Unwaith y bydd asedau AI yn hysbys, mae Diogelwch AI yn canfod y risgiau sy'n benodol iddynt, gan gynnwys:
- Chwistrelliad prydlon a gollyngiad prydlon o'r system, lle mae cynnwys annibynadwy yn trin sut mae model AI yn ymddwyn
- Ffurfweddiad MCP anniogel, lle gellir gwenwyno neu ddynwared offeryn neu weinydd cysylltiedig
- Asiantaeth ormodol, lle caniateir i asiant weithredu y tu hwnt i'w ffiniau bwriadedig heb wiriad dynol
- Datgeliad cyfrinachau mewn ffeiliau AI, lle mae allweddi API neu gymwysterau yn gollwng trwy gyfluniad a ddefnyddir gan offer AI
- Dibyniaethau AI agored i niwed neu rithweledigaethol, gan gynnwys sgwatio'n slei
Mae'r categorïau risg hyn yn mapio i fframweithiau cyhoeddedig, a adolygwyd gan y gymuned, yn fwyaf nodedig 10 Uchaf OWASP ar gyfer Ceisiadau LLM.
3. Gorfodi (Guardrails) #
Mae'r haen olaf yn atal ymddygiad AI anniogel cyn iddo weithredu: rhwystro gosod pecyn maleisus, dilysu ffeil sgil neu reolau cyn y gellir ymddiried ynddi, neu ryng-gipio gweithred asiant sy'n torri polisi. Dyma lle mae Diogelwch AI yn symud o welededd i amddiffyn gweithredol.
Risgiau Diogelwch Allweddol AI, Wedi'u Diffinio #
| Term | Beth mae'n ei olygu |
|---|---|
| Chwistrelliad prydlon | Cyfarwyddiadau maleisus wedi'u cuddio mewn cynnwys y mae model AI yn ei brosesu, gan achosi iddo weithredu yn erbyn ei ddiben bwriadedig |
| Sgwatio'n Slops | Mae ymosodwyr sy'n cofrestru pecynnau ffug sy'n cyfateb i enwau model AI yn debygol o weld rhithweledigaethau ac argymell |
| Risg MCP | Bregusrwyddau yn y gweinyddion Protocol Cyd-destun Model sy'n gadael i asiantau AI alw offer allanol, gan gynnwys gwenwyno offer a mynediad heb ei ddilysu |
| Asiantaeth ormodol | Asiant AI a gafodd fwy o ymreolaeth neu fynediad nag sy'n ofynnol gan ei dasg |
| Drws cefn ffeiliau rheolau/sgiliau | Nodau neu gyfarwyddiadau cudd wedi'u plannu y tu mewn i ffeiliau ffurfweddu sy'n llywio cynorthwyydd codio AI heb ymddangos yn ei allbwn gweladwy |
| AI-BOM | Rhestr o asedau AI sefydliad y gellir eu darllen gan beiriant, a ddefnyddir ar gyfer archwilio a rheoli risg |
Fframweithiau Diogelwch AI a Standards #
Mae wedi'i angori i set fach o gyhoeddiadau standardyn hytrach na thacsonomeg unrhyw werthwr sengl:
- 10 Uchaf OWASP ar gyfer Ceisiadau LLM (2025): y rhestr o risgiau cymwysiadau AI y cyfeirir ati fwyaf eang, sy'n cwmpasu chwistrelliad prydlon, datgelu gwybodaeth sensitif, risg y gadwyn gyflenwi, a mwy.
- NIST SP 800-218A: canllawiau ar gyfer arferion datblygu meddalwedd diogel wedi'u haddasu ar gyfer AI cynhyrchiol a modelau sylfaen deuol-ddefnydd.
- AI-SPM ac AI TRiSM Gartner: categorïau a ddiffiniwyd gan ddadansoddwyr ar gyfer Rheoli Ystum Diogelwch AI a'r ddisgyblaeth ehangach o Reoli Ymddiriedaeth, Risg a Diogelwch AI.
Gyda'i gilydd, mae'r rhain yn rhoi geirfa gyffredin i sefydliadau ar gyfer beth mae "AI diogel" yn ei olygu mewn gwirionedd, yn hytrach na dibynnu ar ddiffiniadau marchnata yn unig.
Diogelwch AI vs. Termau Cysylltiedig #
- Diogelwch AI vs. AppSecMae AppSec yn diogelu cod y rhaglen a'i ddibyniaethau. Mae'n diogelu'r modelau AI, asiantau, a chyfluniad penodol i AI nad oedd offer AppSec wedi'u hadeiladu i'w harchwilio.
- Diogelwch AI yn erbyn Llywodraethu AIMae llywodraethu yn diffinio'r polisïau a'r cymeradwyaethau y mae sefydliad eu hangen ar gyfer defnyddio deallusrwydd artiffisial. Mae'n gorfodi ac yn gwirio bod y polisïau hynny'n berthnasol yn ymarferol, ar lefel y cod a'r asiant.
- Diogelwch AI yn erbyn MLSecOpsMae MLSecOps yn canolbwyntio ar ddiogelu cylch bywyd dysgu peirianyddol (hyfforddiant, data, defnyddio modelau). Mae'n ehangach, gan ymestyn i asiantau, cynorthwywyr codio, a'r protocolau sy'n eu cysylltu â systemau byw.
Sut mae Xygeni yn Ymdrin â Diogelwch AI
#
Xygeni's Mae cynnyrch Diogelwch AI yn defnyddio'r un model darganfod, canfod a gorfodi hwn yn uniongyrchol i gylchred bywyd datblygu meddalwedd. Mae'n adeiladu Rhestr Eiddo AI yn barhaus ar draws ystorfeydd, yn canfod risgiau penodol i AI fel chwistrelliad prydlon a ffurfweddiad MCP ansicr, ac yn mapio pob canfyddiad i'r 10 Uchaf OWASP ar gyfer Cymwysiadau LLM, felly mae timau diogelwch a pheirianneg yn gweithio o un AI-BOM ac un safbwynt risg yn lle dyfalu beth sydd eisoes yn rhedeg AI yn eu cod.
Cwestiynau Cyffredin #
Diogelwch AI yw amddiffyn modelau, asiantau, data a'r seilwaith sy'n eu cysylltu â AI, rhag risgiau sy'n benodol i sut mae systemau AI yn cael eu hadeiladu a'u gweithredu.
Na. Seiberddiogelwch yw'r ddisgyblaeth ymbarél sy'n cwmpasu'r holl risg ddigidol. Mae Diogelwch AI yn is-set arbenigol o seiberddiogelwch sy'n canolbwyntio ar asedau a dulliau methiant penodol i AI, fel chwistrelliad prydlon neu ymddygiad asiant ansicr.
Unrhyw sefydliad y mae ei ddatblygwyr yn defnyddio cynorthwywyr codio AI, y mae ei gynhyrchion yn ymgorffori modelau AI, neu y mae ei lifau gwaith yn cynnwys asiantau ymreolaethol a gweinyddion MCP. Mae hyn bellach yn cynnwys y rhan fwyaf o dimau meddalwedd, waeth beth fo'u maint.
