Արհեստական բանականության անվտանգության ռիսկեր. Ինչ պետք է իմանան DevSecOps թիմերը՝ արհեստական բանականության համակարգերը պաշտպանելու համար
Արհեստական բանականության անվտանգության ռիսկերը այլևս չեն սահմանափակվում մոդելի վարքագծով կամ տվյալների գաղտնիությամբ։ Այսօր դրանք նաև ազդում են ծրագրային ապահովման գրման, վերանայման, կառուցման և առաքման եղանակի վրա։ Քանի որ արհեստական բանականության կոդավորման գործիքները, գործակալական արհեստական բանականության համակարգերը և արհեստական բանականության վրա հիմնված աշխատանքային հոսքերը մտնում են... SDLCDevSecOps թիմերը բախվում են նոր տեսակի ռիսկի՝ ավելի արագ կոդ, ավելի արագ ավտոմատացում և ավելի արագ սխալներ։
Սակայն սա չի նշանակում, որ թիմերը պետք է դանդաղեցնեն արհեստական բանականության ներդրումը։ Դրա փոխարեն, նրանց անհրաժեշտ են անվտանգության կառավարման միջոցներ, որոնք համապատասխանում են արհեստական բանականության աջակցությամբ մշակման արագությանը։ Այս ուղեցույցում մենք բացատրում ենք արհեստական բանականության անվտանգության ամենակարևոր ռիսկերը, թե ինչպես են դրանք դրսևորվում իրական ինժեներական աշխատանքային հոսքերում և ինչպես կարող են թիմերը նվազեցնել կոդի, կախվածությունների, գաղտնիքների ազդեցությունը։ pipelineներ, և գործակալներ։
Արհեստական բանականության կողմից սպառնալիքների լանդշաֆտի փոփոխության վերաբերյալ ավելի լայն պատկերի համար տե՛ս մեր ուղեցույցը։ AI կիբերանվտանգություն.
Որո՞նք են արհեստական բանականության անվտանգության ռիսկերը։
Արհեստական բանականության անվտանգության ռիսկերը թույլ կողմեր, սպառնալիքներ կամ ձախողման ռեժիմներ են, որոնք ի հայտ են գալիս, երբ արհեստական բանականությունը նախագծվում, մարզվում, ինտեգրվում կամ օգտագործվում է իրական համակարգերի ներսում: Այս ռիսկերը կարող են ազդել մոդելների, տվյալների, հուշումների, API-ների, կոդի վրա: pipelines-ը և դրանք կապող գործիքները։
NCSC ուղեցույց արհեստական բանականության և կիբերանվտանգության վերաբերյալ բացատրում է, որ կիբերանվտանգությունը անվտանգ և հուսալի արհեստական բանականության համակարգերի հիմնական պահանջն է։ Նմանապես, NIST AI ռիսկերի կառավարման շրջանակ կազմակերպություններին տալիս է կառուցվածք՝ կառավարելու արհեստական բանականության ռիսկերը կառավարման, չափման և գործնական վերահսկողության միջոցով։
DevSecOps թիմերի համար խնդիրն ավելի կոնկրետ է։ Արհեստական բանականությունն այժմ ծրագրային ապահովման մատակարարման շղթայի մի մասն է։ Այն գրում է կոդ, առաջարկում է կախվածություններ, ստեղծում է կոնֆիգուրացիա, կանչում է API-ներ և երբեմն գործում է ինքնուրույն։ Արդյունքում, արհեստական բանականության անվտանգության ռիսկերը պետք է կարգավորվեն ներսում։ SDLC, ոչ միայն մոդելի շերտում։
Ինչու են արհեստական բանականության անվտանգության ռիսկերը այժմ տարբեր
Ավանդական կիբերանվտանգության ռիսկերը սովորաբար առաջանում են մարդու կողմից գրված կոդից, խոցելի փաթեթներից, թույլ մուտքագրումներից կամ սխալ կարգավորված ենթակառուցվածքներից: Այդ ռիսկերը դեռևս գոյություն ունեն: Այնուամենայնիվ, արհեստական բանականությունը փոխում է դրանց հայտնվելու արագությունը և հայտնաբերման դժվարությունը:
Արհեստական բանականության կողմից ստեղծված կոդը կարող է ճիշտ թվալ, բայց դեռևս չանցնի թույլտվության ստուգումները: Արհեստական բանականության կոդավորման օգնականը կարող է առաջարկել խոցելի փաթեթ: Գործակալական աշխատանքային հոսքը կարող է կանչել սխալ գործիք, մուտք գործել սխալ ֆայլ կամ բացահայտել գաղտնիք գրանցամատյանում: Բացի այդ, արհեստական բանականության համակարգերը հաճախ կախված են համատեքստից, հուշումներից, միակցիչներից և արտաքին գործիքներից, ինչը ստեղծում է ավելի շատ տեղեր, որտեղ անվտանգությունը կարող է խափանվել:
OWASP-ի լավագույն 10-յակը LLM դիմումների համար ընդգծում է այնպիսի ռիսկեր, ինչպիսիք են արագ ներարկումը, զգայուն տեղեկատվության բացահայտումը, մատակարարման շղթայի հետ կապված խնդիրները և չափազանց գործակալական գործունեությունը: Այս կատեգորիաները օգտակար են, քանի որ դրանք կապում են արհեստական բանականության վարքագիծը իրական կիրառական անվտանգության խնդիրների հետ:
Այլ կերպ ասած, արհեստական բանականության անվտանգության ռիսկերը վերաբերում են ոչ միայն մոդելին, այլև մոդելի շուրջ ամբողջ համակարգին։
DevSecOps թիմերի համար արհեստական բանականության անվտանգության հիմնական ռիսկերը
Ստորև ներկայացված են այն ռիսկերը, որոնք առավել կարևոր են, երբ արհեստական բանականությունը օգտագործվում է մշակման, AppSec-ի և… CI/CD workflows.
1. Արհեստական բանականության կողմից ստեղծված կոդի խոցելիություններ
Արհեստական բանականության կոդավորման գործիքները կարող են ստեղծել աշխատող, բայց անվտանգ չլինող կոդ։ Օրինակ, դրանք կարող են ստեղծել SQL հարցումներ առանց պատշաճ պարամետրացման, բաց թողնել մուտքագրման վավերացումը կամ իրականացնել թույլ նույնականացման տրամաբանություն։
Սա տեղի է ունենում, քանի որ շատ արհեստական բանականության համակարգեր ստեղծում են հավանական կոդի ձևանմուշներ՝ հիմնվելով մարզման տվյալների վրա: Այնուամենայնիվ, հավանական կոդը միշտ չէ, որ անվտանգ կոդ է: Գործնականում մոդելը կարող է վերարտադրել անապահով օրինակներ, քանի որ դրանք տարածված են հանրային պահոցներում:
Ընդհանուր օրինակները ներառում են:
- SQL ներարկումը
- Cross-site scripting- ը
- Բացակայող լիազորագրերի ստուգումներ
- Սեսիայի թույլ կառավարում
- Անվտանգ դեսերիալիզացիա
- CSRF պաշտպանության բացակայություն
Հետևաբար, արհեստական բանականության կողմից ստեղծված կոդը պետք է համարվի անվստահելի մինչև դրա հաստատումը։ SAST, քաղաքականության ստուգումներ և վերանայում։
Ներքին հղման առաջարկ. կապեք այս բաժինը ձեր գրառման հետ AI SAST.
2. Մատակարարման շղթայի և կախվածության ռիսկերը
Արհեստական բանականության գործիքները ոչ միայն կոդ են ստեղծում։ Դրանք նաև առաջարկում են փաթեթներ, տարբերակներ, սկրիպտներ և տեղադրման հրամաններ։ Սա ստեղծում է ուղիղ ուղի՝ արհեստական բանականության առաջարկություններից մինչև ծրագրային ապահովման մատակարարման շղթայի ռիսկը։
Օրինակ, արհեստական բանականության գործիքը կարող է առաջարկել.
- Հնացած փաթեթ
- Տպագրական սխալ կախվածություն
- Հալյուցինացված փաթեթի անուն
- Կասկածելի տեղադրման սկրիպտներով փաթեթ
- Գրադարան, որը խոցելի է, բայց դեռևս լայնորեն օգտագործվում է
Ավելին, հարձակվողները կարող են շահագործել այս վարքագիծը՝ գրանցելով փաթեթների անուններ, որոնք, հավանաբար, կհորինեն արհեստական բանականության գործիքները: Այս ռիսկը հաճախ անվանում են անփույթ նստեցում: Այն մոդելի հալյուցինացիան վերածում է փաթեթների մատակարարման շղթայի հարձակման:
Այս ռիսկը նվազեցնելու համար թիմերը պետք է SCA, վնասակար ծրագրերի հայտնաբերում, կախվածության քաղաքականության կիրառում և հասանելիության վերլուծություն: Նրանք պետք է նաև օգտագործեն շահագործման ազդանշաններ, ինչպիսիք են՝ EPSS և ակտիվ շահագործման հետախուզական տվյալներ CISՀայտնի շահագործված խոցելիությունների կատալոգ.
3. Գաղտնիքների բացահայտում արհեստական բանականության աշխատանքային հոսքերում
Գաղտնիքների բացահայտումը արհեստական բանականության անվտանգության ամենաարդյունավետ ռիսկերից մեկն է: Մշակողները հաճախ համատեքստ են տեղադրում արհեստական բանականության գործիքների մեջ: Այդ համատեքստը կարող է ներառել API բանալիներ, տոկեններ, հավատարմագրեր, URL-ներ կամ ներքին կարգավորումներ:
Բացի այդ, արհեստական բանականության կողմից ստեղծված կոդը կարող է ներառել իրական տեսք ունեցող տեղապահներ, կամ, ավելի վատը, գաղտնիքները հետ պատճենել սկզբնական ֆայլերի մեջ, pipeline սկրիպտներ կամ գրանցամատյաններ: Երբ գաղտնիքները մտնում են Git-ի պատմության մեջ կամ CI/CD գրանցամատյաններում դրանք կարող են շահագործելի մնալ բնօրինակից երկար ժամանակ անց commit.
Ընդհանուր ազդեցության կետերը ներառում են.
- Պատմության արագացում
- Ստեղծված կոդ
- գնալ commits
- CI/CD տեղեկամատյանները
- IaC Ֆայլեր
- Կոնտեյների պատկերներ
- Համատեղ աշխատանքային տարածքներ
Այս պատճառով թիմերը պետք է համատեղեն IDE մակարդակի սկանավորումը, pre-commit ստուգումներ, պահոցի պատմության սկանավորում, CI/CD գրանցամատյանի սկանավորում և ավտոմատ չեղարկում։
Ներքին հղման առաջարկ. կապեք այս բաժինը ձեր գաղտնի անվտանգության արտադրանքի կամ դրան առնչվող բովանդակության հետ։
4. Արհեստական ինտելեկտի գործակալի և գործիքների չարաշահում
Գործակալական AI ներմուծում է ռիսկի նոր շերտ, քանի որ գործակալները ոչ միայն առաջարկում են գործողություններ, այլև կարող են ձեռնարկել գործողություններ։
Արհեստական բանականության գործակալը կարող է գործարկել shell հրամաններ, խմբագրել ֆայլեր, զանգահարել API-ներ, բացել pull requests, փոփոխել CI աշխատանքային հոսքերը կամ փոխազդել ամպային ծառայությունների հետ: Չնայած սա ստեղծում է արտադրողականության հսկայական աճ, այն նաև մեծացնում է սխալների առաջացման շառավիղը:
Հիմնական ռիսկերը ներառում են.
- Անապահով shell-ի կատարում
- API բանալիներ, որոնց թույլատրությունները չափազանց շատ են
- Կոդի չարտոնված փոփոխություններ
- MCP կամ API միակցիչի սխալ կարգավորում
- Գործիքների կանչեր հաստատված շրջանակից դուրս
- Միջավայրի հասանելիություն՝ առաջադրանքի պահանջներից այն կողմ
OWASP LLM-ի «Լավագույն 10» կատեգորիան չափազանց մեծ գործակալության համար հատկապես արդիական է այստեղ։ Եթե գործակալն ունի չափազանց մեծ մուտքի հնարավորություն, վատ հրահանգը, արագ ներարկումը կամ վնասված գործիքը կարող են վերածվել իրական անվտանգության իրադարձության։
5. CI/CD և Pipeline Ռիսկերի
Արհեստական բանականության կողմից ստեղծված կոդը վերջապես հասնում է pipelineԱյդ պահին ռիսկը սկզբնական կոդից տեղափոխվում է կառուցվածքների, արտեֆակտների, գաղտնիքների, կախվածությունների և տեղակայման աշխատանքային հոսքերի մեջ։
Օրինակ, արհեստական բանականության օգնությամբ կատարված փոփոխությունը կարող է.
- Ավելացնել անվտանգ կառուցման քայլ
- Փոփոխել GitHub գործողությունների աշխատանքային հոսքը
- Տեղադրման ընթացքում վնասակար փաթեթ հանեք
- Տպեք գաղտնիքները կառուցման գրանցամատյաններում
- Անջատեք անվտանգության կառավարումը
- Տեղակայման տրամաբանության փոփոխություն
Հետեւաբար, CI/CD Անվտանգությունը դառնում է կարևորագույն բանականության ներդրման համար։ Pipeline guardrails պետք է կանխի անվտանգ չլինող մոդելները, նախքան դրանք արտադրության մեջ մտնելը։ Ավելի խորը համատեքստի համար տե՛ս մեր բովանդակությունը CI/CD անվտանգություն և software supply chain security.
6. Տվյալների արտահոսք և արագ ներարկում
Արագ ներարկումը արհեստական բանականության անվտանգության ամենահայտնի ռիսկերից մեկն է, սակայն այն հաճախ սխալ է հասկացվում։ Սա միայն չաթբոտի խնդիր չէ։ Այն կարող է ազդել ցանկացած արհեստական բանականության աշխատանքային հոսքի վրա, որը ընդունում է արտաքին մուտքային տվյալներ և այնուհետև օգտագործում է այդ մուտքային տվյալները գործողությունները ուղղորդելու համար։
Օրինակ՝ չարամիտ խնդրի նկարագրությունը, README ֆայլը, աջակցության տոմսը կամ կախվածության փաստաթղթավորման էջը կարող են պարունակել թաքնված հրահանգներ: Եթե արհեստական բանականության գործակալը կարդա այդ բովանդակությունը և հետևի դրան, հարձակվողը կարող է ազդել գործիքների կանչերի, կոդի փոփոխությունների կամ տվյալների հասանելիության վրա:
Տվյալների արտահոսքը կարող է տեղի ունենալ նմանատիպ ձևերով։ Մոդելը կարող է բացահայտել զգայուն համատեքստ, ամփոփել անձնական ֆայլերը կամ ուղարկել գաղտնի տվյալներ արտաքին ծառայություններին։ Հետևաբար, արհեստական բանականության համակարգերը կարիք ունեն արագ զտման, ելքային տվյալների վերահսկման, գործիքային սահմանափակումների և հստակ սահմանների, թե որ տվյալներին կարող են մուտք գործել։
Արհեստական բանականության անվտանգության ռիսկերը ամբողջ աշխարհում SDLC
Արհեստական բանականության անվտանգության ռիսկերը ի հայտ են գալիս ծրագրային ապահովման կյանքի ցիկլի տարբեր փուլերում։ Հիմնականը յուրաքանչյուր փուլի, այլ ոչ թե միայն վերջնական կիրառման պաշտպանությունն է։
| SDLC Փուլ | Արհեստական բանականության անվտանգության ռիսկ | Օրինակ | Առաջարկվող վերահսկողություն |
|---|---|---|---|
| IDE | Անվտանգ արհեստական բանականության կողմից ստեղծված կոդ | Արհեստական ինտելեկտի կոդավորման օգնականը առաջարկում է անապահով նույնականացման տրամաբանություն։ | Իրական ժամանակում SAST և անվտանգ կոդավորման հետադարձ կապ։ |
| Commit | Գաղտնիքների բացահայտում | Գեներացված կոդում հայտնվում է թոքեն կամ commit պատմությունը. | Գաղտնիքների հայտնաբերում, pre-commit չեկեր և ավտոմատ չեղարկում։ |
| Pull Request | Քաղաքականության շրջանցում | Ստեղծված կոդը փոխում է մուտքի վերահսկման կանոնները առանց վերանայման։ | PR guardrails և քաղաքականության կիրառումը։ |
| կառուցել | Վնասակար կախվածություն | Արհեստական բանականության կողմից առաջարկված փաթեթը պարունակում է կասկածելի տեղադրման վարքագիծ։ | SCA, վնասակար ծրագրերի հայտնաբերում և կախվածության քաղաքականության ստուգումներ։ |
| CI/CD | Pipeline մանիպուլյացիա | Գործակալը փոփոխում է աշխատանքային հոսքի ֆայլերը կամ տեղակայման սկրիպտները։ | CI/CD անվտանգության ստուգումներ և անոմալիաների հայտնաբերում։ |
| Runtime | Արագ ներարկում կամ տվյալների արտահոսք | Արտաքին մուտքագրումը ստիպում է արհեստական բանականության աշխատանքային հոսքին բացահայտել զգայուն համատեքստ։ | Արագ վերահսկողություն, մուտքի սահմանափակումներ և մոնիթորինգ։ |
Արհեստական բանականության անվտանգության ռիսկերն ընդդեմ ավանդական կիբերանվտանգության ռիսկերի
Ավանդական կիբերանվտանգությունը դեռևս կարևոր է։ Այնուամենայնիվ, արհեստական բանականությունը ավելացնում է վարքագծի նոր մոդելներ, որոնք պահանջում են տարբեր վերահսկողություն։
| Մակերես | Ավանդական կիբերանվտանգության ռիսկ | Արհեստական բանականության անվտանգության ռիսկ |
|---|---|---|
| Կոդ | Մարդու կողմից գրված խոցելիություններ։ | Արհեստական բանականության կողմից ստեղծված անապահով օրինաչափություններ՝ ավելի բարձր արագությամբ։ |
| Կախվածություններ | Հայտնի խոցելի փաթեթներ։ | Հալյուցինացիաներով, չարամիտ կամ անվտանգ արհեստական բանականության կողմից առաջարկվող փաթեթներ։ |
| Secrets | Հավատարմագրերը պատահաբար commitմշակողների կողմից մշակված: | Գաղտնիքները պատճենվել են հուշումների, գեներացված կոդի կամ գրանցամատյանների մեջ։ |
| Գործիքներ | Մշակողի գործիքների ձեռքով չարաշահում։ | Ինքնավար գործակալները չարաշահում են գործիքները կամ API-ները։ |
| Pipelines | Սխալ կազմաձևված է CI/CD workflows. | Գործակալի կողմից ստեղծված աշխատանքային հոսքի փոփոխություններ կամ անվտանգ ավտոմատացում։ |
Իրական աշխարհում արհեստական բանականության անվտանգության ռիսկերի օրինակներ
Արհեստական բանականության անվտանգության ռիսկը տեսական չէ։ Մի շարք հանրային շրջանակներ և հետազոտական աշխատանքներ այժմ ավելի պաշտոնապես են հետևում այս հարցերին։
MIT արհեստական բանականության ռիսկերի պահոց Կատալոգավորում է արհեստական բանականության ավելի քան 1,700 ռիսկ՝ տարբեր պատճառներով և ոլորտներով: Միևնույն ժամանակ, OWASP-ը տրամադրում է գործնական կատեգորիաներ իրավագիտության մագիստրոսական ծրագրերի կիրառման ռիսկերի համար, ներառյալ արագ ներարկումը, զգայուն տեղեկատվության բացահայտումը, մատակարարման շղթայի խոցելիությունները և չափազանց գործակալական գործունեությունը:
DevSecOps թիմերի համար ամենահամապատասխան օրինակները հաճախ հանդիպում են ծրագրային ապահովման մատակարարման մեջ.
- Արհեստական բանականության գործիքներ, որոնք ենթադրում են խոցելի կոդ
- Արհեստական բանականության գործակալները փոփոխում են աշխատանքային ֆայլերը
- Արհեստական բանականության կողմից ստեղծված կախվածությունները, որոնք ստեղծում են մատակարարման շղթայի ազդեցություն
- Գաղտնիքների արտահոսք հուշումների, գրանցամատյանների կամ commits
- Գործակալական աշխատանքային հոսքեր, որոնք կանչում են գործիքներ հաստատված շրջանակից դուրս
Ամփոփելով՝ արհեստական բանականության անվտանգության ռիսկերը շատ ավելի լուրջ են դառնում, երբ արհեստական բանականության համակարգերը կարող են դիպչել կոդին, լիազորագրերին, փաթեթներին, pipelineկամ ենթակառուցվածքներ։
Ինչպես գործնականում մեղմել արհեստական բանականության անվտանգության ռիսկերը
Արհեստական բանականության անվտանգության ռիսկերը նվազեցնելու լավագույն միջոցը արհեստական բանականության օգնությամբ զարգացումը դիտարկելն է որպես… SDLCԴա նշանակում է վաղ սկանավորում, հաճախակի ստուգում և քաղաքականությունների կիրառում այնտեղ, որտեղ մշակողները իրականում աշխատում են։
1. Սկանավորեք արհեստական բանականության կողմից ստեղծված կոդը IDE-ում
Մշակողները պետք է տեսնեն անվտանգության հետադարձ կապ, երբ գրում կամ ընդունում են արհեստական բանականության կողմից ստեղծված կոդը։ Սա նվազեցնում է համատեքստի փոփոխությունը և օգնում է շտկել խնդիրները, նախքան դրանք կհասնեն Git-ին։
Օգտագործեք.
- SAST IDE-ում
- Ներկառուցված խոցելիության բացատրություններ
- Անվտանգ շտկման առաջարկներ
- Քաղաքականությանը համապատասխան շտկում
Սա հատկապես կարևոր է արհեստական բանականության կոդավորման օգնականների համար, որտեղ անվտանգ չլինող առաջարկները կարող են արագ ներթափանցել կոդի բազա։
2. Կառուցումից առաջ ստուգեք կախվածությունները
Արհեստական բանականության կողմից առաջարկվող կախվածությունները պետք է ստուգվեն նախքան դրանց տեղադրումը կամ առաքումը: Հետևաբար, թիմերը պետք է կիրառեն կախվածության վերահսկողությունը մշակման ընթացքում և CI/CD.
Օգտագործեք.
- SCA
- Չարամիտ ծրագրերի հայտնաբերում
- Տիպոսքվաթինգի հայտնաբերում
- EPSS գնահատական
- Հասանելիության վերլուծություն
- Քաղաքականության վրա հիմնված արգելափակում
Սա օգնում է առաջնահերթություն տալ այն փաթեթներին, որոնք ներկայացնում են իրական ռիսկ, այլ ոչ թե միայն տեսական ռիսկ։
3. Գաղտնիքների ավտոմատ հայտնաբերում և չեղարկում
Գաղտնիքների սկանավորումը պետք է ընդգրկի ոչ միայն սկզբնական կոդը։ Արհեստական բանականության աջակցությամբ աշխատանքային հոսքերը կարող են բացահայտել մուտքային տվյալները բազմաթիվ վայրերում։
Օգտագործեք.
- Pre-commit սկան
- Պահեստի պատմության սկանավորում
- Pipeline գրանցամատյանի սկանավորում
- IaC սկան
- Կոնտեյների պատկերի սկանավորում
- Ավտոմատացված չեղարկում
Արդյունքում, թիմերը կրճատում են ազդեցության և զսպման միջև ընկած ժամանակը։
4. Կիրառել Guardrails in CI/CD
Guardrails պետք է որոշի, թե արդյոք փոփոխությունը բավականաչափ անվտանգ է շարունակելու համար: Հաշվետվությունը օգտակար է, բայց արգելափակումը անհրաժեշտ է կրիտիկական ռիսկի դեպքում:
Guardrails պետք է ծածկի.
- Նոր կարևորագույն խոցելիություններ
- Secrets
- Վնասակար կախվածություններ
- Անամրացված կամ անվստահելի փաթեթներ
- Անվտանգ աշխատանքային հոսքի փոփոխություններ
- Պակաս SBOMs
- Քաղաքականության խախտում
Բացի այդ, թիմերը պետք է սկսեն միայն հաշվետվությունների ռեժիմից, երբ անհրաժեշտ է, ապա անցնեն բլոկավորման՝ վստահության աճի հետ մեկտեղ։
5. Գործնական գործիքների վարքագծի մոնիթորինգ
Գործակալական արհեստական բանականության համակարգերը կարիք ունեն դիտարկելիության: Եթե գործակալը կարող է խմբագրել ֆայլեր, գործարկել կառուցվածքներ կամ կանչել API-ներ, թիմերը պետք է իմանան, թե ինչ է արել, երբ է արել և արդյոք այդ գործողությունը սպասելի էր:
Monitor:
- Գործիքային զանգեր
- Աշխատանքային հոսքի ֆայլի փոփոխություններ
- Պահեստում գրելու գործունեություն
- Ցանցային ուղղություններ
- Գաղտնիքների հասանելիություն
- Pull request ստեղծում
- Pipeline տատանումները
Առանց այս տեսանելիության, գործակալի ինքնավարությանը դժվար է վստահել։
Որտեղ Xygeni-ն օգնում է նվազեցնել արհեստական բանականության անվտանգության ռիսկերը
Xygeni-ն կենտրոնանում է արհեստական բանականության աջակցությամբ մշակման ապահովման վրա՝ ծրագրային ապահովման ամբողջական մատակարարման շղթայում: Արհեստական բանականության ռիսկը որպես առանձին կատեգորիա դիտարկելու փոխարեն, այն կապում է կոդը, կախվածությունները, գաղտնիքները, pipelineև բիզնես համատեքստը։
Օրինակ `
- SAST օգնում է վաղ հայտնաբերել անապահով արհեստական բանականության կողմից ստեղծված կոդը։
- SCA ստուգում է կախվածությունները և հայտնաբերում վնասակար փաթեթները։
- Գաղտնիքների անվտանգություն հայտնաբերում է բացված հավատարմագրերը պահոցներում և pipelines.
- CI/CD Անվտանգություն կիրառում է քաղաքականությունը՝ նախքան անվտանգ փոփոխությունների իրականացումը։
- Անոմալիայի հայտնաբերում բացահայտում է անսովոր վարքագիծ մշակման և մատակարարման աշխատանքային հոսքերում։
- ASPM համադրում է արդյունքները մեկ ռիսկի տեսանկյունից, որպեսզի թիմերը կարողանան առաջնահերթություն տալ կարևորագույններին։
Սա կարևոր է, քանի որ արհեստական բանականության անվտանգության ռիսկերը բնույթով խաչաձև են։ Խոցելի կախվածությունը, բաց տոկենը և անապահով աշխատանքային հոսքի փոփոխությունը կարող են առանձին թվալ կետային գործիքների տեսանկյունից։ Այնուամենայնիվ, միասին դրանք կարող են ներկայացնել շատ ավելի մեծ հարձակման ուղի։
Արհեստական բանականության անվտանգության ռիսկերի կառավարման շրջանակներ, որոնք պետք է իմանալ
Մի քանի շրջանակներ օգնում են թիմերին կառուցել իրենց աշխատանքը։
NIST AI ռիսկերի կառավարման շրջանակ օգնում է կազմակերպություններին քարտեզագրել, չափել, կառավարել և կառավարել արհեստական բանականության ռիսկերը։ Այն օգտակար է ղեկավարության, համապատասխանության և ռիսկերի ծրագրերի համար։
OWASP-ի լավագույն 10-յակը LLM դիմումների համար Ավելի գործնական է AppSec թիմերի համար, քանի որ այն ուղղակիորեն կապված է տեխնիկական ռիսկերի հետ, ինչպիսիք են արագ ներարկումը, զգայուն տվյալների ազդեցությունը, մատակարարման շղթայի խոցելիությունները և չափազանց գործակալական գործունեությունը։
NCSC արհեստական բանականության և կիբերանվտանգության ուղեցույց օգտակար է անվտանգության ոլորտի ղեկավարների համար, ովքեր պետք է հասկանան, թե ինչպես է արհեստական բանականությունը փոխում կազմակերպչական կիբերռիսկը։
Այս ռեսուրսները միասին ցույց են տալիս մեկ հստակ կետ. արհեստական բանականության անվտանգությունը պետք է կառավարվի մարդկանց, գործընթացների, համակարգերի և ծրագրային ապահովման մատակարարման աշխատանքային հոսքերի միջոցով։
Ստուգաթերթիկ. Ինչպես նվազեցնել արհեստական բանականության անվտանգության ռիսկերը
Օգտագործեք այս ստուգաթերթիկը որպես գործնական մեկնարկային կետ։
| Վերահսկիչ տարածք | Ինչ անել | Ինչու է դա կարևոր |
|---|---|---|
| AI-ի կողմից ստեղծված կոդը | Վազում SAST IDE-ում, PR-ում և CI/CD pipeline. | Կանխում է անապահով կոդի արտադրություն հասնելը։ |
| Կախվածություններ | օգտագործում SCA, վնասակար ծրագրերի հայտնաբերում, EPSS և հասանելիություն։ | Արգելափակում է արհեստական բանականության կողմից առաջարկվող ռիսկային փաթեթները։ |
| Secrets | Տվյալների հաջորդաբար ընթերցումը commitներ, գրանցամատյաններ, պատմություն, IaC, և տարաներ։ | Նվազեցնում է հավատարմագրերի բացահայտումը և չարաշահումը։ |
| CI/CD | Պարտադրել pipeline guardrails և քաղաքականության դարպասներ։ | Կանխում է անվտանգ չլինող կառուցվածքները և տեղակայումները։ |
| Գործակալական գործիքներ | Հետևեք գործիքների կանչերին, API-ի մուտքին և աշխատանքային հոսքի փոփոխություններին։ | Սահմանափակում է չափազանց ազատ կամքը և անսպասելի վարքագիծը։ |
| Ռիսկի կառավարում | օգտագործում ASPM շերտերի միջև արդյունքները համեմատելու համար։ | Օգնում է թիմերին կենտրոնանալ իրական բիզնես ռիսկի վրա։ |
Հիմնական տուփեր
- Արհեստական բանականության անվտանգության ռիսկերը այժմ ազդում են կոդի, կախվածությունների, գաղտնիքների վրա, pipelineներ, և գործակալներ։
- Ավանդական AppSec գործիքները դեռևս անհրաժեշտ են, բայց դրանք պետք է աշխատեն ավելի վաղ և ավելի մանրամասն։
- Արհեստական բանականության կողմից ստեղծված կոդը պետք է համարվի անվստահելի մինչև վավերացումը։
- Արհեստական բանականության գործակալի աշխատանքային հոսքերը անհրաժեշտ են guardrails, թույլտվություններ և դիտարկելիություն։
- DevSecOps թիմերին անհրաժեշտ է միասնական տեսանելիություն ամբողջ տարածքում։ SDLC արհեստական բանականության ռիսկերը արդյունավետ կառավարելու համար։
Հաճախակի տրվող հարցեր. Արհեստական բանականության անվտանգության ռիսկեր
Որո՞նք են արհեստական բանականության անվտանգության ռիսկերը։
Արհեստական բանականության անվտանգության ռիսկերը սպառնալիքներ կամ թույլ կողմեր են, որոնք ի հայտ են գալիս, երբ արհեստական բանականության համակարգերը կառուցվում, ինտեգրվում կամ օգտագործվում են։ Դրանք կարող են ազդել մոդելների, տվյալների, հուշումների, կոդի, կախվածությունների, API-ների և այլնի վրա։ pipelines.
Որո՞նք են DevSecOps թիմերի համար արհեստական բանականության անվտանգության ամենամեծ ռիսկերը։
Ամենամեծ ռիսկերից են արհեստական բանականության կողմից ստեղծված անապահով կոդը, խոցելի կախվածությունները, գաղտնիքների բացահայտումը, արագ ներարկումը, գործակալների չափազանց մեծ թույլտվությունները և անապահով... CI/CD ավտոմատացում:
Ինչո՞ւ են արհեստական բանականության անվտանգության ռիսկերը տարբերվում ավանդական կիբերանվտանգության ռիսկերից։
Արհեստական բանականության համակարգերը կարող են ստեղծել կոդ, առաջարկել կախվածություններ, կանչել գործիքներ և գործել ինքնուրույն։ Արդյունքում, ռիսկերը ի հայտ են գալիս ավելի արագ և ավելի շատ շերտերում։ SDLC.
Ինչպե՞ս կարող են թիմերը նվազեցնել արհեստական բանականության անվտանգության ռիսկերը։
Թիմերը կարող են նվազեցնել ռիսկը՝ սկանավորելով արհեստական բանականության կողմից ստեղծված կոդը, ստուգելով կախվածությունները, հայտնաբերելով գաղտնիքները, կիրառելով կանոնները։ CI/CD guardrails, գործակալի վարքագծի մոնիթորինգ և արդյունքների համեմատում ASPM.
Արդյո՞ք արհեստական բանականության կողմից ստեղծված կոդը անվտանգ է։
Արհեստական բանականության կողմից ստեղծված կոդը լռելյայնորեն անվտանգ չէ։ Այն պետք է վերանայվի, սկանավորվի, փորձարկվի և վավերացվի նախքան արտադրության մեջ մտնելը։
Վերջնական մտքեր. Արհեստական բանականության անվտանգության ռիսկերը անհրաժեշտ են SDLC-Մակարդակի կառավարում
Արհեստական բանականությունը փոխում է ծրագրային ռիսկերի արագությունն ու ձևը։ Այն օգնում է թիմերին ավելի արագ կառուցել, բայց նաև ներմուծում է նոր եղանակներ, որոնցով անապահով կոդը, բացահայտված գաղտնիքները, անապահով կախվածությունները և ռիսկային ավտոմատացումը կարող են մուտք գործել մատակարարման շղթա։
Հետևաբար, արհեստական բանականության անվտանգությունը չի կարող կարգավորվել միայն մոդելային կառավարման կամ քաղաքականության փաստաթղթերի միջոցով։ Այն պահանջում է գործնական վերահսկողություն ներսում։ SDLCIDE-ի հետադարձ կապ, SAST, SCA, գաղտնիքների հայտնաբերում, CI/CD guardrails, անոմալիաների հայտնաբերում և ASPM- մակարդակի հարաբերակցություն։
Արհեստական բանականության անվտանգության ռիսկերը լավ կառավարող թիմերը չեն լինի այն թիմերը, որոնք կխոչընդոտեն արհեստական բանականության ներդրումը։ Նրանք կլինեն այն թիմերը, որոնք կկառուցեն դրա շուրջ անհրաժեշտ անվտանգության շերտը։
