Անվտանգության թիմերի մեծ մասը կարող է մեկ շնչով անվանել իրենց AppSec փաթեթը. SAST, SCA, DAST, գաղտնիքների սկանավորում: Նույն թիմին խնդրեք անվանել իրենց արհեստական բանականության հավաքածուն, և պատասխանը սովորաբար լինում է ուսի թոթվել, մի քանի արագ գնված գործիքներ և «ծածկված»-ի իմաստի վերաբերյալ ընդհանուր բառապաշարի բացակայություն: AI TRiSM-ը գոյություն ունի հենց այդ բացը լրացնելու համար՝ անվտանգության և ռիսկերի կառավարման ղեկավարներին տալով արհեստական բանականությունը կառավարելու միասնական շրջանակ այնպես, ինչպես նրանք արդեն կառավարում են ծրագրերը:
Այս բառարանի գրառումը բացատրում է, թե ինչ է AI TRiSM-ը, դրա իմաստը հապավումի հետևում, դրա հիմնական սյուները և թե որտեղ է այն տեղավորվում իրական, գործող AI անվտանգության ծրագրի, այլ ոչ թե սլայդի մեջ։
AI TRiSM-ի իմաստը. պարզ սահմանում #
AI TRiSM-ը նշանակում է Արհեստական ինտելեկտի վստահության, ռիսկերի և անվտանգության կառավարումԴա շրջանակ է, որն ի սկզբանե ներկայացվել է Gartner-ի կողմից։, արհեստական բանականության համակարգերի հուսալիության, արդարության, հուսալիության և անվտանգության կառավարման համար՝ դրանց ողջ կյանքի ցիկլի ընթացքում՝ սկսած տվյալներից և մոդելներից, որոնց վրա դրանք կառուցվում են, մինչև արտադրության մեջ դրանք օգտագործող հավելվածներն ու գործակալները։
Արհեստական բանականության TRiSM-ի իմաստը լավագույնս կարելի է հասկանալ որպես անվտանգության թիմերին արդեն հայտնի օրինաչափության ընդլայնում: Ամպը բերեց CSPM-ին: Տվյալները բերեցին DSPM-ին: Արհեստական բանականությունը բերեց AI TRiSM-ին՝ նույն տրամաբանության վրա կառուցված հովանոցային կատեգորիա. դուք չեք կարող պաշտպանել կամ կառավարել այն, ինչ նախապես չեք հայտնաբերել, գնահատել և անընդհատ չեք վերահսկել, և արհեստական բանականության համակարգերը ներկայացնում են ռիսկեր, որոնց համար ավանդական AppSec-ը և ՏՏ կառավարումը երբեք չեն կառուցվել:
Ի՞նչ է այն փորձում լուծել։ #
Որպեսզի իսկապես պատասխանենք, թե ինչ է արհեստական բանականության TRiSM-ը, օգտակար է նայել այն խնդրին, որին այն արձագանքում է: Արհեստական բանականության համակարգերը ձախողվում են այնպես, որ դրանք լիովին չեն տեղավորվում... CVE տվյալների բազա։
- Մոդելը կարող է տեխնիկապես «անվտանգ» լինել և միևնույն ժամանակ առաջացնել կողմնակալ, անվստահելի կամ հալյուցինացված արդյունք։
- Մոդելը կարող է ճիշտ գործել թեստավորման ժամանակ և միևնույն ժամանակ աննկատելիորեն վնասվել թունավորված մարզման կամ վերականգնման տվյալների կողմից։
- Արհեստական ինտելեկտի գործակալը կարող է ունենալ վավեր լիազորագրեր և միևնույն ժամանակ կատարել գործողություններ, որոնք ոչ մի մարդ երբևէ չի հաստատել։
- Կատարյալ թարմացված հավելվածը դեռ կարող է արտահոսել զգայուն տվյալներ հուշման, համակարգային հաղորդագրության կամ չափազանց տարածված ֆայլի միջոցով, որը արհեստական ինտելեկտը երբեք չպետք է տեսներ։
Սրանցից ոչ մեկը չի համապատասխանում «գտնել կոդի խոցելի տողը, թարմացնել այն, արված է» հին մոդելին։ AI TRiSM-ը սահմանվել է նախապես։cisքանի որ արհեստական բանականության համակարգերում վստահությունը, ռիսկը և անվտանգությունը կարիք ունեին սեփական շրջանակի, որը մոդելին, տվյալներին և գործակալին կվերաբերվեր որպես կառավարման առաջին դասի օբյեկտներ, այլ ոչ թե դրանց շուրջ առկա կիրառման կողմնակի ազդեցություններ։
Արհեստական բանականության (AI) TRiSM-ի հիմնական սյուները #
Արհեստական բանականության TRiSM-ի (AI TRiSM) մեծ մասի մոտեցումները, ներառյալ Gartner-ի սեփական շրջանակը, դասակարգում են այս ոլորտը չորս փոխկապակցված սյուների շուրջ՝
- Բացատրելիություն և մոդելի մոնիթորինգհետևում է, թե ինչպես է մոդելը կատարում աշխատանքըcisիոնների, ժամանակի ընթացքում շեղման, շեղման և ճշգրտության նվազման դիտարկումը, ինչպես նաև արդյունքը բացատրելու կարողությունը, երբ ինչ-որ մեկը հարցնում է, թե ինչու է մոդելն ասել այն, ինչ ասել է։
- ModelOpsարտադրական մոդելների կյանքի ցիկլի կառավարում, ներառյալ տարբերակների մշակումը, մուտքի վերահսկողությունը և գործառնական կարգապահությունը՝ իմանալու, թե որ մոդելն է աշխատում որտեղ և ինչու։
- Արհեստական բանականության կիրառման անվտանգությունԱրհեստական բանականությանը հատուկ հարձակման մակերեսի պաշտպանություն, ներառյալ արագ ներարկումը, տվյալների և մոդելի թունավորումը, անապահով պլագինների և գործիքների ինտեգրացիաները և չարտոնված գործակալի վարքագիծը։
- Գաղտնիությանապահովել, որ արհեստական ինտելեկտի համակարգերը մարզելու, ճշգրտելու և հուշելու համար օգտագործվող տվյալները չարտահոսեն զգայուն կամ կարգավորվող տեղեկատվություն ո՛չ մոդելի մեջ, ո՛չ էլ դրա արձագանքների միջոցով։
Հասկանալ, թե ինչ է արհեստական բանականության TRiSM-ը գործնականում, նշանակում է ընդունել, որ այս չորս հիմնասյուները գործում են միայն միասին։ Մոդելը, որը լիովին բացատրելի է, բայց անապահով, դեռևս խնդիր է։ Անվտանգ մոդելը, որտեղ շեղումը կամ կողմնակալությունը տեսանելի չեն, դեռևս անկառավարելի է։ Արհեստական բանականության TRiSM-ի ներդրումն այն է, որ բոլոր չորս հիմնասյուները դիտարկվում են որպես մեկ կապակցված ոլորտ, այլ ոչ թե չորս առանձին թիմերի պատկանող չորս առանձին կուտակված խնդիրներ։
Ինչու է արհեստական բանականության TRiSM իմաստը տարածվում համապատասխանությունից այն կողմ #
Գայթակղիչ է AI TRiSM-ը նշել «այլ կառավարման նշման վանդակում», սակայն AI TRiSM-ի իմաստը գործնական է, այլ ոչ թե միայն կարգավորող։ AI TRiSM սկզբունքները որդեգրող կազմակերպությունները սովորաբար փորձում են պատասխանել երեք կոնկրետ հարցերի, որոնց ներկայումս չեն կարողանում պատասխանել.
- Ի՞նչ արհեստական բանականություն ունենք մենք իրականում։ Մոդելները, տվյալների հավաքածուները, գործակալները, MCP սերվերները և արհեստական բանականության կոդավորման գործիքները թիմերի միջև կուտակվում են ավելի արագ, քան որևէ մեկը հետևում է դրանց՝ ստեղծելով ստվերային արհեստական բանականություն նույն կերպ, ինչպես մի ժամանակ անում էր ստվերային տեղեկատվական տեխնոլոգիաները։
- Ի՞նչ է դա անում, և արդյո՞ք դա թույլատրված է։ Ավելորդ թույլտվություններ ունեցող կամ չհաստատված պլագին ունեցող գործակալը կարող է իրական գործողություններ ձեռնարկել, այլ ոչ թե պարզապես տեքստ ստեղծել, ինչը «չարտոնված վարքագծի» վտանգը շատ ավելի բարձր է դարձնում, քան սխալ պատասխան տվող չաթբոտի դեպքում։
- Կարո՞ղ ենք դա ապացուցել, երբ կանոնակարգը պահանջում է։ ԵՄ արհեստական բանականության մասին ակտի տեխնիկական փաստաթղթավորման պահանջները և ծրագրային ապահովման նյութերի ցանկի ընդհանուր պարտավորությունները, ինչպիսիք են շրջանակները, ավելի ու ավելի շատ են ակնկալում, որ կազմակերպությունները ցուցադրեն իրենց աշխատանքը, այլ ոչ թե պարզապես պնդեն, որ արհեստական բանականությունը «կառավարվում է»։
Ահա թե որտեղ է, որ արհեստական բանականության TRiSM իմաստը վերածվում է արհեստական բանականության TRiSM պրակտիկայի՝ նախ հայտնաբերումը, երկրորդ՝ ռիսկերի գնահատումը, երրորդ՝ կիրառումը, և այս ամենը անընդհատ, այլ ոչ թե որպես տարեկան աուդիտի իրականացում։cise.
Ինչպե՞ս է Xygeni-ն տեղավորվում արհեստական բանականության TRiSM պատկերում։ #
Արհեստական բանականությունը (AI TRiSM) մեծ հովանոց է, և ոչ մի գործիք առանձին չի ծածկում դրա բոլոր չորս հենասյուները։ Քսիգենի Հարմարեցումները հայտնաբերման և անվտանգության այն մասն են, որը շատ կազմակերպությունների համար բացակայում է՝ իմանալ, թե իրականում ինչ է արհեստական բանականությունը, և պաշտպանել այն, երբ այն գոյություն ունի։
Xygeni-ի արհեստական բանականության գույքագրումը անընդհատ հայտնաբերում է արհեստական բանականության ակտիվներ ամբողջ աշխարհում։ SDLC, մոդելներ, շրջանակներ, տվյալների հավաքածուներ, գործակալներ, MCP սերվերներ և արհեստական բանականության կոդավորման գործիքներ, և դրանք պատկերում է կենդանի հարաբերությունների գրաֆիկի մեջ, որը հենվում է AI-BOM որը համապատասխանության և անվտանգության թիմերին տալիս է ապացույցների հետքը, որը AI TRiSM-ը ենթադրում է, որ գոյություն ունի։ Այդ գույքագրումից բացի, Xygeni-ի արհեստական բանականության անվտանգությունը Գնահատում է յուրաքանչյուր ակտիվի ռիսկը (արագ ներարկում, անապահով MCP կոնֆիգուրացիաներ, զգայուն տվյալների ազդեցություն, վեկտորային և ներդրման թույլ կողմեր)՝ համապատասխանեցնելով դրանք OWASP-ի լավագույն 10-յակը LLM դիմումների համար, եւ DevAI քաղաքականությունը կիրառում է անմիջապես մշակողի վերջնակետի վրա՝ արգելափակելով անվտանգ գործակալի վարքագիծը նախքան դրա կատարումը: Եթե ձեր կազմակերպությունը փորձում է գործարկել արհեստական բանականություն (AI) TRiSM-ը, և «ինչ արհեստական բանականություն ունենք» հարցի անկեղծ պատասխանը դեռևս «մենք լիովին վստահ չենք» է, ապա այդ հայտնաբերման բացը հենց այն է, որը արժե առաջին հերթին փակել:
ՀՏՀ #
AI TRiSM-ը նշանակում է արհեստական բանականության վստահության, ռիսկերի և անվտանգության կառավարում (AI Trust, Risk and Security Management), որը արհեստական բանականության համակարգերի հուսալիության, ռիսկերի և անվտանգության կառավարման շրջանակ է ողջ կյանքի ցիկլի ընթացքում։
Այն օգտագործվում է կազմակերպություններին իրենց արհեստական բանականության ակտիվները հայտնաբերելու կառուցվածքային միջոց տրամադրելու, մոդելի վարքագիծը շեղումների և կողմնակալության առկայության վերահսկելու, արհեստական բանականությանը հատուկ հարձակման մակերեսները, ինչպիսիք են արագ ներարկումը և տվյալների թունավորումը, պաշտպանելու և արհեստական բանականության համակարգերով հոսող տվյալների գաղտնիությունը պաշտպանելու համար։
Ոչ, չնայած դրանք սերտորեն կապված են։ AI-SPM-ը (AI Security Posture Management) ընդհանուր առմամբ դիտվում է որպես անվտանգության վրա կենտրոնացած հատված, որը գտնվում է AI TRiSM-ի ավելի լայն շրջանակի ներսում, նման այն բանին, թե ինչպես է CSPM-ը գտնվում ավելի լայն ամպային կառավարման քննարկման մեջ։
Կազմակերպությունների մեծ մասում այն համատեղ ընդգրկում է անվտանգության, տվյալագիտության և համապատասխանության թիմերը, քանի որ ոչ մի թիմ միաժամանակ չի տիրապետում մոդելներին, դրանց հիմքում ընկած տվյալներին և դրանց շուրջ կարգավորող պարտավորություններին։
Քանի որ արհեստական բանականության ներդրումը գերազանցել է արհեստական բանականության կառավարմանը։ Մոդելները, գործակալները և արհեստական բանականության կոդավորման գործիքները այժմ ներդրված են ամբողջ աշխարհում։ SDLC, և այնպիսի կանոնակարգեր, ինչպիսին է ԵՄ արհեստական բանականության մասին օրենքը, սկսում են պահանջել այնպիսի փաստաթղթավորում և ռիսկերի տեսանելիություն, ինչպիսին արհեստական բանականության TRiSM-ը կառուցված է ապահովելու համար։
