Ի՞նչ է արհեստական բանականության անվտանգությունը: Արհեստական բանականության անվտանգությունը արհեստական բանականության մոդելների, գործակալների, տվյալների հավաքածուների և ծրագրային ապահովման կողմից կախված ենթակառուցվածքների պաշտպանության պրակտիկա է՝ արհեստական բանականության համակարգերի կառուցման, մարզման և շահագործման հետ կապված յուրահատուկ ռիսկերից: Այն ներառում է օգտագործվող յուրաքանչյուր արհեստական բանականության ակտիվի հայտնաբերումը, արհեստական բանականությանը բնորոշ խոցելիությունների հայտնաբերումը, ինչպիսիք են արագ ներարկումը և անապահով գործակալի վարքագիծը, ինչպես նաև այնպիսի քաղաքականության կիրառումը, որը կանխում է արհեստական բանականության անապահով գործողությունները, նախքան դրանք վնաս կպատճառեն: Սա արհեստական բանականության անվտանգության հիմնական իմաստն է, որը բացահայտվում է այս բառարանի մնացած մասում:
Ի տարբերություն ավանդական կիրառական անվտանգության, որը պաշտպանում է կոդը, կախվածությունները և ենթակառուցվածքը, արհեստական բանականության անվտանգությունը պաշտպանում է ակտիվների նոր դաս՝ մոդելներ, հուշումներ, գործակալներ և դրանք կապող մեքենա-մեքենա արձանագրություններ: Քանի որ արհեստական բանականությունը որևէ գործառույթից անցնում է ծրագրային ապահովման մատակարարման շղթա, այն դարձել է պաշտպանության առանձին, անհրաժեշտ շերտ:
Արհեստական բանականության անվտանգության իմաստը. կարճ սահմանում #
Ամենապարզ ձևով, արհեստական բանականության անվտանգության իմաստը հետևյալն է. Արհեստական բանականության պաշտպանությունը այնպես, ինչպես դուք արդեն պաշտպանում եք կոդը, բայց այնպիսի բաղադրիչների և վարքագծերի համար, որոնց համար ավանդական գործիքները երբեք չեն նախագծվել։
Հասկացությունը շփոթության ընդհանուր կետից առանձնացնելու օգտակար միջոց. Արհեստական բանականության անվտանգությունը նույնը չէ, ինչ «արհեստական բանականությունը անվտանգության մեջ»։ Անվտանգության մեջ արհեստական բանականությունը վերաբերում է արհեստական բանականության օգտագործմանը՝ առկա անվտանգության աշխատանքները բարելավելու համար, օրինակ՝ արհեստական բանականության մոդել, որը տեսակավորում է խոցելիությունների հայտնաբերումները: Ի տարբերություն դրա, արհեստական բանականության անվտանգությունը վերաբերում է արհեստական բանականության անվտանգությանը՝ մոդելային ֆայլերը, մարզման տվյալները, գործակալները, հուշումները և սերվերները, որոնք թույլ են տալիս արհեստական բանականության գործիքներին գործողություններ ձեռնարկել: Երկուսն էլ արհեստական բանականության վավեր կիրառություններ են, բայց պատասխանում են տարբեր հարցերի:
Ինչու է դա կարևոր #
Ծրագրային ապահովման թիմերը կիրառել են արհեստական բանականության կոդավորման օգնականներ, ինքնավար գործակալներ և Մոդել համատեքստային արձանագրություն (ՄԿՊ) այնպիսի արագությամբ, որը գերազանցել է դրանք պաշտպանելու համար նախատեսված գործիքները: Այս տեղաշարժի պատճառով նոր հարձակման հարթակ ստեղծվեց մի քանի պատճառով.
Արհեստական ինտելեկտից կախվածությունները կարող են թունավորվել կամ հորինվել։ Արհեստական ինտելեկտի կոդավորման օգնականները երբեմն խորհուրդ են տալիս գոյություն չունեցող փաթեթներ, մի օրինաչափություն, որը հայտնի է որպես անփույթ նստեցում, որը հարձակվողները կարող են նախապես գրանցել և զենք դարձնել։
Արհեստական բանականության կողմից ստեղծված կոդն ունի իր սեփական ռիսկի պրոֆիլը։ Արհեստական ինտելեկտի կոդի ստեղծման անկախ համեմատական վերլուծությունը ցույց է տվել, որ արհեստական ինտելեկտի կողմից գրված կոդի զգալի մասը ներմուծում է խոցելիության տարածված օրինաչափություններ, նույնիսկ այն դեպքում, երբ հիմքում ընկած մոդելը կարողունակ է և լավ պատրաստված։
Գործակալներն ու MCP սերվերները նոր, մեծ մասամբ չմոնիթորավորված ենթակառուցվածքներ են։ Գործակալները կարող են կարդալ ֆայլեր, կանչել գործիքներ և գործողություններ ձեռնարկել մշակողի անունից: Եթե գործակալի հրահանգները, կանոնների ֆայլերը կամ միացված MCP սերվերները մանիպուլյացիայի են ենթարկվում, գործակալը կարող է դեմ դուրս գալ այն համակարգին, որը նախատեսված էր պաշտպանելու համար:
Արհեստական բանականության կոնֆիգուրացիան այժմ հարձակման մակերես է։ Հմտությունների ֆայլերը, կանոնների ֆայլերը և հուշումների ձևանմուշները սովորաբար դիտարկվում են որպես փաստաթղթեր, այլ ոչ թե որպես անվտանգության հետ կապված արտեֆակտներ: Հարձակվողներն արդեն ցույց են տվել, որ այս ֆայլերում ներկառուցված թաքնված հրահանգները կարող են ստիպել արհեստական ինտելեկտի օգնականին ստեղծել գաղտնի կոդ՝ առանց որևէ տեսանելի հետքի իր պատասխանում:
Ի՞նչ է այն ընդգրկում #
Արհեստական բանականության անվտանգության ամբողջական ծրագիրը սովորաբար ներառում է երեք գործառույթ՝
1. Հայտնաբերում (արհեստական ինվենտար) #
Նախքան որևէ բան պաշտպանելը, այն պետք է գտնվի։ Արհեստական բանականության անվտանգությունը սկսվում է կազմակերպության պահոցներում արհեստական բանականության յուրաքանչյուր ակտիվի անընդհատ հայտնաբերմամբ և pipelineներ՝ մոդելներ, արհեստական բանականության շրջանակներ, տվյալների հավաքածուներ, եզրակացության վերջնակետեր, գործակալներ, արհեստական բանականության կոդավորման գործիքներ և MCP սերվերներ, որոնց դրանք միանում են։ Այս գույքագրումը սովորաբար արտահայտվում է որպես մեքենայականորեն կարդացվող արհեստական բանականության նյութերի ցանկ (AI-BOM), որը ծրագրային ապահովման նյութերի ցանկի արհեստական բանականության համարժեքն է (SBOM).
2. Հայտնաբերում (արհեստական ինտելեկտի ռիսկ) #
Երբ արհեստական բանականության ակտիվները հայտնի են դառնում, AI Security-ն հայտնաբերում է դրանց բնորոշ ռիսկերը, այդ թվում՝
- Արագ ներարկում և համակարգում արագ արտահոսք, որտեղ անվստահելի բովանդակությունը մանիպուլացնում է արհեստական բանականության մոդելի վարքագիծը
- Անապահով MCP կարգավորում, որտեղ միացված գործիքը կամ սերվերը կարող է թունավորվել կամ կեղծվել
- Չափազանց ազատ կամք, որտեղ գործակալին թույլատրվում է գործել իր նախատեսված սահմաններից դուրս՝ առանց մարդկային հսկողության
- Գաղտնիքների բացահայտում արհեստական ինտելեկտի ֆայլերում, որտեղ API բանալիները կամ մուտքային տվյալները արտահոսում են արհեստական բանականության գործիքների կողմից օգտագործվող կոնֆիգուրացիայի միջոցով
- Խոցելի կամ հալյուցինացված արհեստական բանականության կախվածություններ, այդ թվում՝ անփույթ բնակություն
Այս ռիսկի կատեգորիաները համապատասխանում են հրապարակված, համայնքի կողմից վերանայված շրջանակներին, մասնավորապես՝ OWASP-ի LLM հավելվածների լավագույն 10-ին։
3. Կիրարկում (Guardrails) #
Վերջին շերտը կանխում է անվտանգ արհեստական ինտելեկտի վարքագիծը նախքան դրա կատարումը. վնասակար փաթեթի տեղադրման արգելափակում, հմտության կամ կանոնների ֆայլի ստուգում, նախքան դրա վստահելի դառնալը, կամ քաղաքականությունը խախտող գործակալի գործողությունը կասեցնելը: Ահա թե որտեղ է արհեստական բանականության անվտանգությունը անցնում տեսանելիությունից ակտիվ պաշտպանության:
Արհեստական բանականության անվտանգության հիմնական ռիսկերը, սահմանումներ #
| Ժամկետ | Ինչ է դա նշանակում |
|---|---|
| Արագ ներարկում | Արհեստական բանականության մոդելի կողմից մշակվող բովանդակության մեջ թաքնված վնասակար հրահանգներ, որոնք ստիպում են այն գործել իր նպատակին հակառակ։ |
| Ծալքավոր նստացույց | Հարձակվողները, որոնք գրանցում են կեղծ փաթեթներ, որոնք համապատասխանում են արհեստական ինտելեկտի մոդելի անուններին, հավանաբար կունենան հալյուցինացիաներ և կառաջարկեն… |
| MCP ռիսկ | Մոդելային համատեքստային արձանագրության սերվերների խոցելիություններ, որոնք թույլ են տալիս արհեստական բանականության գործակալներին զանգահարել արտաքին գործիքներ, ներառյալ գործիքների թունավորումը և չհաստատված մուտքը։ |
| Չափազանց ազատ կամք | Արհեստական բանականության գործակալին տրվել է ավելի շատ ինքնավարություն կամ մուտք, քան պահանջվում է իր առաջադրանքից |
| Կանոնների/հմտությունների ֆայլի հետին դուռ | Կարգավորման ֆայլերում տեղադրված թաքնված նիշեր կամ հրահանգներ, որոնք ուղղորդում են արհեստական բանականության կոդավորման օգնականին՝ առանց տեսանելի ելքային մասում հայտնվելու։ |
| AI-BOM | Կազմակերպության արհեստական բանականության ակտիվների մեքենայական ընթեռնելի գույքագրում, որն օգտագործվում է աուդիտի և ռիսկերի կառավարման համար։ |
Արհեստական բանականության անվտանգության շրջանակներ և Standards #
Այն հիմնված է հրատարակված նյութերի փոքր հավաքածուի վրա standards-ի փոխարեն որևէ առանձին վաճառողի տաքսոնոմիայի՝
- OWASP-ի լավագույն 10-յակը LLM դիմումների համար (2025)արհեստական բանականության կիրառման ռիսկերի ամենատարածված ցանկը, որը ներառում է արագ ներարկում, զգայուն տեղեկատվության բացահայտում, մատակարարման շղթայի ռիսկ և այլն։
- NIST SP 800-218A: Անվտանգ ծրագրային ապահովման մշակման պրակտիկայի ուղեցույց, որը հարմարեցված է գեներատիվ արհեստական բանականության և կրկնակի օգտագործման հիմքային մոդելների համար։
- Gartner-ի AI-SPM և AI TRiSMվերլուծաբանների կողմից սահմանված կատեգորիաներ արհեստական բանականության անվտանգության կեցվածքի կառավարման և արհեստական բանականության վստահության, ռիսկերի և անվտանգության կառավարման ավելի լայն ոլորտի համար։
Միասին, սրանք կազմակերպություններին տալիս են ընդհանուր բառապաշար այն մասին, թե իրականում ինչ է նշանակում «անվտանգ արհեստական բանականություն», այլ ոչ թե միայն մարքեթինգային սահմանումներին ապավինելու փոխարեն։
Արհեստական բանականության անվտանգությունն ընդդեմ հարակից տերմինների #
- Արհեստական բանականության անվտանգությունն ընդդեմ AppSec-իAppSec-ը պաշտպանում է հավելվածի կոդը և դրա կախվածությունները։ Այն պաշտպանում է արհեստական բանականության մոդելները, գործակալները և արհեստական բանականությանը հատուկ կոնֆիգուրացիաները, որոնց ստուգման համար AppSec գործիքները նախատեսված չեն։
- Արհեստական բանականության անվտանգությունն ընդդեմ արհեստական բանականության կառավարմանԿառավարումը սահմանում է կազմակերպության կողմից արհեստական բանականության օգտագործման համար անհրաժեշտ քաղաքականությունները և հաստատումները: Այն կիրառում և ստուգում է, որ այդ քաղաքականությունները գործնականում կիրառվում են՝ կոդի և գործակալի մակարդակով:
- Արհեստական բանականության անվտանգությունն ընդդեմ MLSecOps-իMLSecOps-ը կենտրոնանում է մեքենայական ուսուցման կենսական ցիկլի (ուսուցում, տվյալներ, մոդելի տեղակայում) անվտանգության վրա։ Այն ավելի լայն է, ընդգրկելով գործակալներին, կոդավորման օգնականներին և դրանք կենդանի համակարգերին կապող արձանագրությունները։
Ինչպես է Xygeni-ն մոտենում արհեստական բանականության անվտանգությանը
#
Քսիգենիի AI Security արտադրանքը նույն հայտնաբերման, հայտնաբերման և կիրառման մոդելը կիրառում է անմիջապես ծրագրային ապահովման մշակման կյանքի ցիկլի վրա: Այն անընդհատ կառուցում է AI գույքացուցակ տարբեր պահոցներում, հայտնաբերում է AI-ին հատուկ ռիսկերը, ինչպիսիք են արագ ներարկումը և անապահով MCP կոնֆիգուրացիան, և յուրաքանչյուր գտածո կապում է OWASP-ի լավագույն 10 LLM կիրառությունների հետ, որպեսզի անվտանգության և ճարտարագիտական թիմերը աշխատեն մեկ AI-BOM և մեկ ռիսկի տեսանկյունից՝ փոխարենը կռահելու, թե ինչ է AI-ն արդեն աշխատում իրենց կոդում:
ՀՏՀ #
Արհեստական ինտելեկտի անվտանգությունը արհեստական ինտելեկտի մոդելների, գործակալների, տվյալների և դրանք կապող ենթակառուցվածքների պաշտպանությունն է այն ռիսկերից, որոնք բնորոշ են արհեստական ինտելեկտի համակարգերի կառուցմանը և գործունեությանը։
Ոչ։ Կիբերանվտանգությունը բոլոր թվային ռիսկերը ներառող հովանոցային ոլորտ է։ Արհեստական բանականության անվտանգությունը կիբերանվտանգության մասնագիտացված ենթաբազմություն է, որը կենտրոնացած է արհեստական բանականությանը բնորոշ ակտիվների և խափանումների ռեժիմների վրա, ինչպիսիք են արագ ներարկումը կամ անապահով գործակալի վարքագիծը։
Ցանկացած կազմակերպություն, որի մշակողները օգտագործում են արհեստական բանականության կոդավորման օգնականներ, որի արտադրանքը ներառում է արհեստական բանականության մոդելներ, կամ որի աշխատանքային հոսքերը ներառում են ինքնավար գործակալներ և MCP սերվերներ: Սա այժմ ներառում է ծրագրային ապահովման թիմերի մեծ մասը՝ անկախ չափից:
