ხელოვნური ინტელექტის უსაფრთხოების რისკები: რა უნდა იცოდნენ DevSecOps გუნდებმა ხელოვნური ინტელექტის სისტემების დასაცავად
ხელოვნური ინტელექტის უსაფრთხოების რისკები აღარ შემოიფარგლება მხოლოდ მოდელის ქცევით ან მონაცემთა კონფიდენციალურობით. დღეს ისინი ასევე გავლენას ახდენენ პროგრამული უზრუნველყოფის დაწერის, განხილვის, შექმნისა და მიწოდების წესზე. რადგან ხელოვნური ინტელექტის კოდირების ინსტრუმენტები, აგენტური ხელოვნური ინტელექტის სისტემები და ხელოვნურ ინტელექტზე დაფუძნებული სამუშაო პროცესები შემოდის... SDLCDevSecOps გუნდები ახალი სახის რისკის წინაშე დგანან: უფრო სწრაფი კოდი, უფრო სწრაფი ავტომატიზაცია და უფრო სწრაფი შეცდომები.
თუმცა, ეს არ ნიშნავს, რომ გუნდებმა უნდა შეანელონ ხელოვნური ინტელექტის დანერგვა. ამის ნაცვლად, მათ სჭირდებათ უსაფრთხოების კონტროლი, რომელიც შეესაბამება ხელოვნური ინტელექტით დახმარებული განვითარების სიჩქარეს. ამ სახელმძღვანელოში ჩვენ ავხსნით ხელოვნური ინტელექტის უსაფრთხოების ყველაზე მნიშვნელოვან რისკებს, თუ როგორ ვლინდება ისინი რეალურ საინჟინრო სამუშაო პროცესებში და როგორ შეუძლიათ გუნდებს შეამცირონ კოდზე, დამოკიდებულებებზე, საიდუმლოებებზე ზემოქმედების დონე. pipelineს, და აგენტები.
უფრო ფართო მიმოხილვისთვის, თუ როგორ ცვლის ხელოვნური ინტელექტი საფრთხეების ლანდშაფტს, იხილეთ ჩვენი სახელმძღვანელო AI კიბერუსაფრთხოება.
რა არის ხელოვნური ინტელექტის უსაფრთხოების რისკები?
ხელოვნური ინტელექტის უსაფრთხოების რისკები არის სისუსტეები, საფრთხეები ან წარუმატებლობის რეჟიმები, რომლებიც ჩნდება ხელოვნური ინტელექტის რეალურ სისტემებში შექმნის, გაწვრთნის, ინტეგრირების ან გამოყენების დროს. ამ რისკებმა შეიძლება გავლენა მოახდინოს მოდელებზე, მონაცემებზე, მოთხოვნებზე, API-ებზე, კოდზე და pipelines და მათ დამაკავშირებელი ინსტრუმენტები.
ის NCSC-ის სახელმძღვანელო ხელოვნური ინტელექტისა და კიბერუსაფრთხოების შესახებ განმარტავს, რომ კიბერუსაფრთხოება უსაფრთხო და საიმედო ხელოვნური ინტელექტის სისტემების ძირითადი მოთხოვნაა. ანალოგიურად, NIST ხელოვნური ინტელექტის რისკების მართვის ჩარჩო ორგანიზაციებს აძლევს სტრუქტურას, რათა მართონ ხელოვნური ინტელექტის რისკები მმართველობის, გაზომვისა და პრაქტიკული კონტროლის გზით.
DevSecOps გუნდებისთვის პრობლემა უფრო სპეციფიკურია. ხელოვნური ინტელექტი ახლა პროგრამული უზრუნველყოფის მიწოდების ჯაჭვის ნაწილია. ის წერს კოდს, გვთავაზობს დამოკიდებულებებს, ქმნის კონფიგურაციას, იძახებს API-ებს და ზოგჯერ ავტონომიურად მოქმედებს. შედეგად, ხელოვნური ინტელექტის უსაფრთხოების რისკები უნდა დამუშავდეს... SDLC, არა მხოლოდ მოდელის ფენაზე.
რატომ არის ხელოვნური ინტელექტის უსაფრთხოების რისკები განსხვავებული ახლა
ტრადიციული კიბერუსაფრთხოების რისკები, როგორც წესი, ადამიანის მიერ დაწერილი კოდიდან, დაუცველი პაკეტებიდან, სუსტი ავტორიზაციის მონაცემებიდან ან არასწორად კონფიგურირებული ინფრასტრუქტურიდან მომდინარეობს. ეს რისკები კვლავ არსებობს. თუმცა, ხელოვნური ინტელექტი ცვლის მათ გამოჩენის სისწრაფეს და მათი აღმოჩენის სირთულეს.
ხელოვნური ინტელექტის მიერ გენერირებული კოდი შეიძლება სწორად გამოიყურებოდეს, მაგრამ მაინც ვერ გაიაროს ავტორიზაციის შემოწმება. ხელოვნური ინტელექტის კოდირების ასისტენტმა შეიძლება გამოავლინოს დაუცველი პაკეტი. აგენტის სამუშაო პროცესმა შეიძლება გამოიძახოს არასწორი ინსტრუმენტი, მიიღოს წვდომა არასწორ ფაილზე ან გამოავლინოს საიდუმლო ჟურნალში. გარდა ამისა, ხელოვნური ინტელექტის სისტემები ხშირად დამოკიდებულია კონტექსტზე, მოთხოვნებზე, კონექტორებსა და გარე ინსტრუმენტებზე, რაც ქმნის მეტ ადგილს, სადაც უსაფრთხოება შეიძლება გაუმართავი იყოს.
ის OWASP-ის ტოპ 10 LLM აპლიკაციებისთვის ხაზს უსვამს ისეთ რისკებს, როგორიცაა სწრაფი ინექცია, მგრძნობიარე ინფორმაციის გამჟღავნება, მიწოდების ჯაჭვთან დაკავშირებული პრობლემები და გადაჭარბებული აგენტობა. ეს კატეგორიები სასარგებლოა, რადგან ისინი ხელოვნური ინტელექტის ქცევას რეალურ აპლიკაციის უსაფრთხოების პრობლემებთან აკავშირებენ.
სხვა სიტყვებით რომ ვთქვათ, ხელოვნური ინტელექტის უსაფრთხოების რისკები მხოლოდ მოდელს არ ეხება. ისინი მოდელის გარშემო არსებულ მთელ სისტემას ეხება.
DevSecOps გუნდებისთვის ხელოვნური ინტელექტის უსაფრთხოების ძირითადი რისკები
ქვემოთ მოცემულია რისკები, რომლებიც ყველაზე მნიშვნელოვანია, როდესაც ხელოვნური ინტელექტი გამოიყენება დეველოპმენტში, AppSec-სა და... CI/CD workflows.
1. ხელოვნური ინტელექტის მიერ გენერირებული კოდის დაუცველობა
ხელოვნური ინტელექტის კოდირების ინსტრუმენტებს შეუძლიათ ისეთი კოდის გენერირება, რომელიც მუშაობს, მაგრამ უსაფრთხო არ არის. მაგალითად, მათ შეიძლება შექმნან SQL მოთხოვნები სათანადო პარამეტრიზაციის გარეშე, გამოტოვონ შეყვანის ვალიდაცია ან დანერგონ სუსტი ავტორიზაციის ლოგიკა.
ეს იმიტომ ხდება, რომ ხელოვნური ინტელექტის მრავალი სისტემა სასწავლო მონაცემების საფუძველზე სავარაუდო კოდის შაბლონებს წარმოქმნის. თუმცა, სავარაუდო კოდი ყოველთვის უსაფრთხო კოდი არ არის. პრაქტიკაში, მოდელმა შეიძლება დაუცველი მაგალითები გაამრავლოს, რადგან ისინი საჯარო საცავებში გავრცელებულია.
საერთო მაგალითები მოიცავს:
- SQL ინექცია
- ჯვრის-საიტი სკრიპტირება
- ავტორიზაციის შემოწმებების ნაკლებობა
- სუსტი სესიის დამუშავება
- სახიფათო დესერიალიზაცია
- CSRF დაცვა აკლია
ამიტომ, ხელოვნური ინტელექტის მიერ გენერირებული კოდი უნდა ჩაითვალოს არასანდოდ მანამ, სანამ არ დამტკიცდება. SAST, პოლიტიკის შემოწმება და მიმოხილვა.
შიდა ბმულის შემოთავაზება: დააკავშირეთ ეს განყოფილება თქვენს პოსტთან AI SAST.
2. მიწოდების ჯაჭვი და დამოკიდებულების რისკები
ხელოვნური ინტელექტის ინსტრუმენტები არა მხოლოდ კოდს წარმოქმნიან. ისინი ასევე გვთავაზობენ პაკეტებს, ვერსიებს, სკრიპტებს და ინსტალაციის ბრძანებებს. ეს ქმნის პირდაპირ გზას ხელოვნური ინტელექტის რეკომენდაციებიდან პროგრამული უზრუნველყოფის მიწოდების ჯაჭვის რისკამდე.
მაგალითად, ხელოვნური ინტელექტის ინსტრუმენტმა შეიძლება შემოგვთავაზოს:
- მოძველებული პაკეტი
- ტიპოსკუთრებული დამოკიდებულება
- ჰალუცინირებული პაკეტის სახელი
- საეჭვო ინსტალაციის სკრიპტების შემცველი პაკეტი
- ბიბლიოთეკა, რომელიც დაუცველია, მაგრამ მაინც ფართოდ გამოიყენება
გარდა ამისა, თავდამსხმელებს შეუძლიათ ამ ქცევის გამოყენება იმ პაკეტების სახელების რეგისტრაციით, რომლებსაც ხელოვნური ინტელექტის ინსტრუმენტები სავარაუდოდ გამოიგონებენ. ამ რისკს ხშირად უყურადღებობის დაკმაყოფილებას უწოდებენ. ის მოდელის ჰალუცინაციებს პაკეტების მიწოდების ჯაჭვის შეტევად აქცევს.
ამ რისკის შესამცირებლად, გუნდებს სჭირდებათ SCA, მავნე პროგრამების აღმოჩენა, დამოკიდებულების პოლიტიკის აღსრულება და ხელმისაწვდომობის ანალიზი. მათ ასევე უნდა გამოიყენონ ექსპლუატაციის სიგნალები, როგორიცაა EPSS და აქტიური ექსპლუატაციის შესახებ დაზვერვა CISცნობილი ექსპლუატირებული დაუცველობების კატალოგი.
3. საიდუმლოებების გამჟღავნება ხელოვნური ინტელექტის სამუშაო პროცესებში
საიდუმლოებების გამჟღავნება ხელოვნური ინტელექტის უსაფრთხოების ერთ-ერთი ყველაზე პრაქტიკული რისკია. დეველოპერები ხშირად კონტექსტს ათავსებენ ხელოვნური ინტელექტის ინსტრუმენტებში. ეს კონტექსტი შეიძლება მოიცავდეს API გასაღებებს, ტოკენებს, ავტორიზაციის მონაცემებს, URL-ებს ან შიდა კონფიგურაციას.
გარდა ამისა, ხელოვნური ინტელექტის მიერ გენერირებულ კოდში შეიძლება შედიოდეს რეალურის მსგავსი ჩანაცვლებითი ველები, ან უარესი, საიდუმლოებები უკან, საწყის ფაილებში დააკოპიროთ. pipeline სკრიპტები ან ჟურნალები. როგორც კი საიდუმლოებები შევა Git-ის ისტორიაში ან CI/CD ჟურნალები, მათ შეუძლიათ ექსპლუატაციაში ყოფნა ორიგინალის შემდეგ დიდი ხნის შემდეგაც კი commit.
ექსპოზიციის საერთო წერტილები მოიცავს:
- სწრაფი ისტორია
- გენერირებული კოდი
- წასვლა commits
- CI/CD ჟურნალი
- IaC ფაილი
- კონტეინერის სურათები
- საერთო სამუშაო ადგილები
ამ მიზეზით, გუნდებმა უნდა გააერთიანონ IDE დონის სკანირება, pre-commit შემოწმებები, საცავის ისტორიის სკანირება, CI/CD ჟურნალის სკანირება და ავტომატური გაუქმება.
შიდა ბმულის შემოთავაზება: დააკავშირეთ ეს განყოფილება თქვენს საიდუმლო უსაფრთხოების პროდუქტთან ან მასთან დაკავშირებულ კონტენტთან.
4. ხელოვნური ინტელექტის აგენტისა და ხელსაწყოს ბოროტად გამოყენება
აგენტური AI რისკის ახალ ფენას ქმნის, რადგან აგენტები არა მხოლოდ ქმედებებს გვთავაზობენ. მათ შეუძლიათ ქმედებების განხორციელება.
ხელოვნური ინტელექტის აგენტს შეუძლია shell ბრძანებების გაშვება, ფაილების რედაქტირება, API-ების გამოძახება, გახსნა pull requests, CI სამუშაო პროცესების შეცვლა ან ღრუბლოვან სერვისებთან ურთიერთქმედება. მიუხედავად იმისა, რომ ეს უზარმაზარ პროდუქტიულობას ზრდის, ის ასევე ზრდის შეცდომების დაშვების რადიუსს.
ძირითადი რისკები მოიცავს:
- არაუსაფრთხო shell-ის შესრულება
- ზედმეტად ნებართვიანი API გასაღებები
- კოდის არაავტორიზებული ცვლილებები
- MCP ან API კონექტორის არასწორი კონფიგურაცია
- ხელსაწყოს გამოძახებები დამტკიცებული ფარგლების გარეთ
- გარემოზე წვდომა დავალების მოთხოვნებს მიღმა
განსაკუთრებით აქტუალურია OWASP LLM-ის ტოპ 10 კატეგორია გადაჭარბებული აგენტობისთვის. თუ აგენტს ძალიან დიდი წვდომა აქვს, არასწორი ინსტრუქცია, სწრაფი ინექცია ან კომპრომეტირებული ინსტრუმენტი შეიძლება რეალურ უსაფრთხოების მოვლენად იქცეს.
5. CI/CD მდე Pipeline რისკები
ხელოვნური ინტელექტის მიერ გენერირებული კოდი საბოლოოდ აღწევს pipelineამ ეტაპზე, რისკი საწყისი კოდიდან გადადის აწყობებში, არტეფაქტებში, საიდუმლოებებში, დამოკიდებულებებსა და განლაგების სამუშაო პროცესებში.
მაგალითად, ხელოვნური ინტელექტის დახმარებით განხორციელებული ცვლილება შეიძლება:
- დაამატეთ სახიფათო აწყობის ნაბიჯი
- GitHub Actions-ის სამუშაო პროცესის შეცვლა
- ინსტალაციის დროს მავნე პაკეტის ამოღება
- საიდუმლოებების დაბეჭდვა შექმნის ჟურნალებში
- უსაფრთხოების კონტროლის გამორთვა
- განლაგების ლოგიკის შეცვლა
შესაბამისად, CI/CD უსაფრთხოება ხელოვნური ინტელექტის დანერგვისთვის აუცილებელი ხდება. Pipeline guardrails უნდა დაბლოკოს სახიფათო ნიმუშები, სანამ ისინი წარმოებაში მოხვდებიან. უფრო დეტალური კონტექსტისთვის იხილეთ ჩვენი კონტენტი CI/CD უსაფრთხოების მდე software supply chain security.
6. მონაცემთა გაჟონვა და სწრაფი ინექცია
სწრაფი ინექცია ხელოვნური ინტელექტის უსაფრთხოების ერთ-ერთი ყველაზე ცნობილი რისკია, თუმცა ხშირად არასწორად არის გაგებული. ეს მხოლოდ ჩატბოტის პრობლემა არ არის. მას შეუძლია გავლენა მოახდინოს ნებისმიერ ხელოვნურ ინტელექტზე, რომელიც იღებს გარე შეტყობინებებს და შემდეგ იყენებს ამ შეყვანას ქმედებების წარმართვისთვის.
მაგალითად, მავნე პრობლემის აღწერა, README ფაილი, დახმარების ბილეთი ან დამოკიდებულების დოკუმენტაციის გვერდი შეიძლება შეიცავდეს დაფარულ ინსტრუქციებს. თუ ხელოვნური ინტელექტის აგენტი წაიკითხავს ამ კონტენტს და მიჰყვება მას, თავდამსხმელმა შეიძლება გავლენა მოახდინოს ინსტრუმენტის გამოძახებებზე, კოდის ცვლილებებზე ან მონაცემებზე წვდომაზე.
მონაცემთა გაჟონვა შეიძლება მსგავსი გზებით მოხდეს. მოდელმა შეიძლება გამოავლინოს მგრძნობიარე კონტექსტი, შეაჯამოს პირადი ფაილები ან გაუგზავნოს კონფიდენციალური მონაცემები გარე სერვისებს. ამიტომ, ხელოვნური ინტელექტის სისტემებს სჭირდებათ სწრაფი ფილტრაცია, გამომავალი მონაცემების კონტროლი, ხელსაწყოების შეზღუდვები და მკაფიო საზღვრები იმის შესახებ, თუ რა მონაცემებზე შეუძლიათ წვდომა.
ხელოვნური ინტელექტის უსაფრთხოების რისკები მთელ მსოფლიოში SDLC
ხელოვნური ინტელექტის უსაფრთხოების რისკები პროგრამული უზრუნველყოფის სასიცოცხლო ციკლის სხვადასხვა ეტაპზე ჩნდება. მთავარია თითოეული ეტაპის დაცვა და არა მხოლოდ საბოლოო აპლიკაციის.
| SDLC სტაჟირება | ხელოვნური ინტელექტის უსაფრთხოების რისკი | მაგალითი | რეკომენდებული კონტროლი |
|---|---|---|---|
| IDE | ხელოვნური ინტელექტის მიერ გენერირებული სახიფათო კოდი | ხელოვნური ინტელექტის კოდირების ასისტენტი არასაიმედო ავთენტიფიკაციის ლოგიკას გვთავაზობს. | Real-time SAST და უსაფრთხო კოდირების უკუკავშირი. |
| Commit | საიდუმლოებების გამჟღავნება | გენერირებულ კოდში ჩნდება ტოკენი ან commit ისტორია. | საიდუმლოებების აღმოჩენა, pre-commit ჩეკები და ავტომატური გაუქმება. |
| Pull Request | პოლიტიკის გვერდის ავლა | გენერირებული კოდი ცვლის წვდომის კონტროლის წესებს განხილვის გარეშე. | PR guardrails და პოლიტიკის აღსრულება. |
| აღნაგობა | მავნე დამოკიდებულება | ხელოვნური ინტელექტის მიერ შემოთავაზებულ პაკეტს ინსტალაციის საეჭვო ქცევა აქვს. | SCA, მავნე პროგრამების აღმოჩენა და დამოკიდებულების პოლიტიკის შემოწმება. |
| CI/CD | Pipeline მანიპულირება | აგენტი ცვლის სამუშაო პროცესის ფაილებს ან განლაგების სკრიპტებს. | CI/CD უსაფრთხოების შემოწმება და ანომალიების აღმოჩენა. |
| Runtime | სწრაფი ინექცია ან მონაცემთა გაჟონვა | გარე შეყვანა იწვევს იმას, რომ ხელოვნური ინტელექტის სამუშაო პროცესი ავლენს მგრძნობიარე კონტექსტს. | სწრაფი კონტროლი, წვდომის შეზღუდვები და მონიტორინგი. |
ხელოვნური ინტელექტის უსაფრთხოების რისკები ტრადიციული კიბერუსაფრთხოების რისკების წინააღმდეგ
ტრადიციული კიბერუსაფრთხოება კვლავ მნიშვნელოვანია. თუმცა, ხელოვნური ინტელექტი ამატებს ახალ ქცევის ნიმუშებს, რომლებიც განსხვავებულ კონტროლს მოითხოვს.
| ფართობი | ტრადიციული კიბერუსაფრთხოების რისკი | ხელოვნური ინტელექტის უსაფრთხოების რისკი |
|---|---|---|
| კოდი | ადამიანის მიერ დაწერილი დაუცველობები. | ხელოვნური ინტელექტის მიერ გენერირებული დაუცველი შაბლონები უფრო მაღალი სიჩქარით. |
| დამოკიდებულება | ცნობილი დაუცველი პაკეტები. | ჰალუცინირებული, მავნე ან არაუსაფრთხო ხელოვნური ინტელექტის მიერ შემოთავაზებული პაკეტები. |
| Secrets | შემთხვევით მიღებული ავტორიზაციის მონაცემები commitდეველოპერების მიერ შემუშავებული. | საიდუმლოებები, რომლებიც კოპირებულია მოთხოვნებში, გენერირებულ კოდში ან ჟურნალებში. |
| ინსტრუმენტები | დეველოპერის ხელსაწყოების ხელით ბოროტად გამოყენება. | ავტონომიური აგენტები არასწორად იყენებენ ინსტრუმენტებს ან API-ებს. |
| Pipelines | არასწორად კონფიგურირებული CI/CD workflows. | აგენტის მიერ გენერირებული სამუშაო პროცესის ცვლილებები ან სახიფათო ავტომატიზაცია. |
ხელოვნური ინტელექტის უსაფრთხოების რისკების რეალური მაგალითები
ხელოვნური ინტელექტის უსაფრთხოების რისკი თეორიული არ არის. ამჟამად, რამდენიმე საჯარო ჩარჩო და კვლევითი ძალისხმევა ამ საკითხებს უფრო ფორმალურად აკვირდება.
ის MIT-ის ხელოვნური ინტელექტის რისკების საცავი სხვადასხვა მიზეზისა და სფეროს მიხედვით ხელოვნური ინტელექტის 1,700-ზე მეტ რისკს აკატალოგებს. ამავდროულად, OWASP LLM-ის გამოყენების რისკების პრაქტიკულ კატეგორიებს გვთავაზობს, მათ შორის სწრაფ ინექციას, მგრძნობიარე ინფორმაციის გამჟღავნებას, მიწოდების ჯაჭვის დაუცველობას და ზედმეტ აგენტობას.
DevSecOps გუნდებისთვის ყველაზე რელევანტური მაგალითები ხშირად პროგრამული უზრუნველყოფის მიწოდებაში ჩნდება:
- ხელოვნური ინტელექტის ინსტრუმენტები დაუცველ კოდზე მიუთითებს, რაც მათზე მიუთითებს.
- ხელოვნური ინტელექტის აგენტები ცვლიან სამუშაო პროცესის ფაილებს
- ხელოვნური ინტელექტის მიერ გენერირებული დამოკიდებულებები მიწოდების ჯაჭვის ზემოქმედებას იწვევს
- საიდუმლოებების გაჟონვა მოთხოვნების, ჟურნალების ან commits
- აგენტის სამუშაო პროცესები, რომლებიც აგზავნიან ინსტრუმენტებს დამტკიცებული ფარგლების მიღმა
მოკლედ, ხელოვნური ინტელექტის უსაფრთხოების რისკები გაცილებით სერიოზული ხდება, როდესაც ხელოვნური ინტელექტის სისტემებს შეუძლიათ კოდთან, რწმუნებათა სიგელებთან, პაკეტებთან შეხება. pipelineს, ან ინფრასტრუქტურა.
როგორ შევამციროთ ხელოვნური ინტელექტის უსაფრთხოების რისკები პრაქტიკაში
ხელოვნური ინტელექტის უსაფრთხოების რისკების შემცირების საუკეთესო გზაა ხელოვნური ინტელექტით დახმარებული განვითარების, როგორც... SDLCეს ნიშნავს ადრეულ სკანირებას, ხშირ დადასტურებას და პოლიტიკის აღსრულებას იქ, სადაც დეველოპერები რეალურად მუშაობენ.
1. ხელოვნური ინტელექტის მიერ გენერირებული კოდის სკანირება IDE-ში
დეველოპერებმა უნდა ნახონ უსაფრთხოების უკუკავშირი ხელოვნური ინტელექტის მიერ გენერირებული კოდის წერის ან მიღებისას. ეს ამცირებს კონტექსტის გადართვას და ეხმარება პრობლემების მოგვარებაში, სანამ ისინი Git-მდე მიაღწევენ.
გამოყენება:
- SAST IDE-ში
- დაუცველობის ხაზში არსებული ახსნა-განმარტებები
- უსაფრთხო შეკეთების შემოთავაზებები
- პოლიტიკის გათვალისწინებით კორექტირება
ეს განსაკუთრებით მნიშვნელოვანია ხელოვნური ინტელექტის კოდირების ასისტენტებისთვის, სადაც სახიფათო შემოთავაზებები შეიძლება სწრაფად შევიდეს კოდის ბაზაში.
2. დამოკიდებულებების შემოწმება აწყობამდე
ხელოვნური ინტელექტის მიერ შემოთავაზებული დამოკიდებულებები უნდა გადამოწმდეს მათ ინსტალაციამდე ან გაგზავნამდე. ამიტომ, გუნდებმა უნდა გააძლიერონ დამოკიდებულების კონტროლი შემუშავების დროს და CI/CD.
გამოყენება:
- SCA
- მავნე პროგრამების გამოვლენა
- ტიპოსკვატინგი
- EPSS ქულების მინიჭება
- ხელმისაწვდომობის ანალიზი
- პოლიტიკაზე დაფუძნებული დაბლოკვა
ეს ხელს უწყობს იმ პაკეტების პრიორიტეტულობის განსაზღვრას, რომლებიც რეალურ რისკს წარმოადგენს და არა მხოლოდ თეორიულ რისკს.
3. საიდუმლოებების ავტომატური აღმოჩენა და გაუქმება
საიდუმლოებების სკანირება მხოლოდ საწყისი კოდის გარდა სხვა საკითხებსაც უნდა მოიცავდეს. ხელოვნური ინტელექტის დახმარებით მიმდინარე სამუშაო პროცესებს შეუძლიათ ავტორიზაციის მონაცემების გამჟღავნება მრავალ ადგილას.
გამოყენება:
- Pre-commit სკანირების
- საცავის ისტორიის სკანირება
- Pipeline ჟურნალის სკანირება
- IaC სკანირების
- კონტეინერის გამოსახულების სკანირება
- ავტომატური გაუქმება
შედეგად, გუნდები ამცირებენ ზემოქმედებასა და შეკავებას შორის დროს.
4. აღსრულება Guardrails in CI/CD
Guardrails უნდა გადაწყვიტოს, საკმარისად უსაფრთხოა თუ არა ცვლილება გასაგრძელებლად. ანგარიშგება სასარგებლოა, მაგრამ კრიტიკული რისკის შემთხვევაში დაბლოკვა აუცილებელია.
Guardrails უნდა დაფაროს:
- ახალი კრიტიკული დაუცველობები
- Secrets
- მავნე დამოკიდებულებები
- დაუმაგრებელი ან არასანდო პაკეტები
- სახიფათო სამუშაო პროცესის ცვლილებები
- დაკარგული SBOMs
- პოლიტიკის დარღვევა
გარდა ამისა, გუნდებმა საჭიროების შემთხვევაში მხოლოდ ანგარიშის რეჟიმით უნდა დაიწყონ, შემდეგ კი თავდაჯერებულობის ზრდასთან ერთად ბლოკირებაზე გადავიდნენ.
5. აგენტის ხელსაწყოს ქცევის მონიტორინგი
აგენტური ხელოვნური ინტელექტის სისტემებს დაკვირვებადობა სჭირდებათ. თუ აგენტს შეუძლია ფაილების რედაქტირება, ბილდების გააქტიურება ან API-ების გამოძახება, გუნდებმა უნდა იცოდნენ, რა გააკეთა მან, როდის გააკეთა ეს და იყო თუ არა ეს ქმედება მოსალოდნელი.
მონიტორი:
- ხელსაწყოების გამოძახებები
- სამუშაო პროცესის ფაილის ცვლილებები
- რეპოზიტორიაში ჩაწერის აქტივობა
- ქსელის მიმართულებები
- საიდუმლო წვდომის
- Pull request შექმნა
- Pipeline იწვევს
ამ ხილვადობის გარეშე, აგენტის ავტონომიის ნდობა ძნელი ხდება.
სად ეხმარება Xygeni ხელოვნური ინტელექტის უსაფრთხოების რისკების შემცირებას
Xygeni ფოკუსირებულია ხელოვნური ინტელექტით უზრუნველყოფილი განვითარების უზრუნველყოფაზე პროგრამული უზრუნველყოფის მიწოდების მთელ ჯაჭვში. ხელოვნური ინტელექტის რისკის ცალკე კატეგორიად განხილვის ნაცვლად, ის აკავშირებს კოდს, დამოკიდებულებებს, საიდუმლოებებს და pipelineდა ბიზნეს კონტექსტი.
მაგალითად:
- SAST ხელს უწყობს ხელოვნური ინტელექტის მიერ გენერირებული დაუცველი კოდის ადრეულ ეტაპზე აღმოჩენას.
- SCA ამოწმებს დამოკიდებულებებს და აღმოაჩენს მავნე პაკეტებს.
- საიდუმლოებები უსაფრთხოება აღმოაჩენს გამოვლენილ ავტორიზაციის მონაცემებს საცავებში და pipelines.
- CI/CD უსაფრთხოება ახორციელებს პოლიტიკის აღსრულებას სახიფათო ცვლილებების განხორციელებამდე.
- ანომალიის გამოვლენა ავლენს უჩვეულო ქცევას შემუშავებისა და მიწოდების სამუშაო პროცესებში.
- ASPM აკავშირებს დასკვნებს ერთიან რისკ-ხედვაში, რათა გუნდებმა შეძლონ მნიშვნელოვანის პრიორიტეტების განსაზღვრა.
ეს მნიშვნელოვანია, რადგან ხელოვნური ინტელექტის უსაფრთხოების რისკები თავისი ბუნებით მრავალშრიანია. დაუცველი დამოკიდებულება, დაუცველი ტოკენი და არაუსაფრთხო სამუშაო პროცესის ცვლილება შეიძლება წერტილოვანი ინსტრუმენტების მიხედვით ცალ-ცალკე გამოიყურებოდეს. თუმცა, ერთად მათ შეუძლიათ წარმოადგინონ გაცილებით დიდი შეტევის გზა.
ხელოვნური ინტელექტის უსაფრთხოების რისკების მართვის ჩარჩოები, რომლებიც უნდა იცოდეთ
რამდენიმე ჩარჩო გუნდებს სამუშაოს სტრუქტურირებაში ეხმარება.
ის NIST ხელოვნური ინტელექტის რისკების მართვის ჩარჩო ეხმარება ორგანიზაციებს ხელოვნური ინტელექტის რისკების რუკაზე დატანაში, გაზომვაში, მართვასა და მართვაში. ის სასარგებლოა ლიდერობისთვის, შესაბამისობისა და რისკების პროგრამებისთვის.
ის OWASP-ის ტოპ 10 LLM აპლიკაციებისთვის უფრო პრაქტიკულია AppSec გუნდებისთვის, რადგან ის პირდაპირ კავშირშია ტექნიკურ რისკებთან, როგორიცაა სწრაფი ინექცია, მგრძნობიარე მონაცემების ზემოქმედება, მიწოდების ჯაჭვის დაუცველობა და გადაჭარბებული აგენტობა.
ის NCSC-ის ხელოვნური ინტელექტისა და კიბერუსაფრთხოების სახელმძღვანელო სასარგებლოა უსაფრთხოების ლიდერებისთვის, რომლებსაც სჭირდებათ იმის გაგება, თუ როგორ ცვლის ხელოვნური ინტელექტი ორგანიზაციულ კიბერრისკებს.
ეს რესურსები ერთად ერთ ნათელ საკითხს აჩვენებს: ხელოვნური ინტელექტის უსაფრთხოება უნდა იმართებოდეს ადამიანების, პროცესების, სისტემებისა და პროგრამული უზრუნველყოფის მიწოდების სამუშაო პროცესების მეშვეობით.
საკონტროლო სია: როგორ შევამციროთ ხელოვნური ინტელექტის უსაფრთხოების რისკები
გამოიყენეთ ეს საკონტროლო სია, როგორც პრაქტიკული საწყისი წერტილი.
| კონტროლის არე | რა უნდა ვქნა | რატომ აქვს მნიშვნელობა |
|---|---|---|
| AI-ის მიერ გენერირებული კოდი | გასაშვებად SAST IDE-ში, PR-ში და CI/CD pipeline. | ხელს უშლის დაუცველი კოდის წარმოებაში მოხვედრას. |
| დამოკიდებულება | გამოყენება SCA, მავნე პროგრამების აღმოჩენა, EPSS და ხელმისაწვდომობა. | ბლოკავს ხელოვნური ინტელექტის მიერ შემოთავაზებულ სარისკო პაკეტებს. |
| Secrets | სკანირების commits, ჟურნალები, ისტორია, IaC, და კონტეინერები. | ამცირებს რწმუნებათა სიგელების ხილვადობას და ბოროტად გამოყენებას. |
| CI/CD | აღსრულება pipeline guardrails და პოლიტიკის კარიბჭეები. | აჩერებს სახიფათო აწყობებსა და განლაგებებს. |
| აგენტური ინსტრუმენტები | აკონტროლეთ ხელსაწყოების გამოძახებები, API წვდომა და სამუშაო პროცესის ცვლილებები. | ზღუდავს ზედმეტ თვითნებობას და მოულოდნელ ქცევას. |
| რისკის მართვა | გამოყენება ASPM ფენებს შორის დასკვნების კორელაციისთვის. | ეხმარება გუნდებს რეალურ ბიზნეს რისკებზე ფოკუსირებაში. |
ძირითადი Takeaways
- ხელოვნური ინტელექტის უსაფრთხოების რისკები ახლა გავლენას ახდენს კოდზე, დამოკიდებულებებზე, საიდუმლოებებზე, pipelineს, და აგენტები.
- ტრადიციული AppSec ინსტრუმენტები კვლავ საჭიროა, მაგრამ ისინი უფრო ადრე და უფრო მეტი კონტექსტით უნდა იმუშაონ.
- ხელოვნური ინტელექტის მიერ გენერირებული კოდი უნდა განიხილებოდეს, როგორც არასანდო, სანამ არ დადასტურდება.
- ხელოვნური ინტელექტის აგენტის სამუშაო პროცესები საჭიროა guardrails, ნებართვები და დაკვირვებადობა.
- DevSecOps გუნდებს სჭირდებათ ერთიანი ხილვადობა მთელს მსოფლიოში. SDLC ხელოვნური ინტელექტის რისკების ეფექტურად მართვისთვის.
ხშირად დასმული კითხვები: ხელოვნური ინტელექტის უსაფრთხოების რისკები
რა არის ხელოვნური ინტელექტის უსაფრთხოების რისკები?
ხელოვნური ინტელექტის უსაფრთხოების რისკები არის საფრთხეები ან სისუსტეები, რომლებიც წარმოიქმნება ხელოვნური ინტელექტის სისტემების აგების, ინტეგრაციის ან გამოყენების დროს. მათ შეუძლიათ გავლენა მოახდინონ მოდელებზე, მონაცემებზე, მოთხოვნებზე, კოდზე, დამოკიდებულებებზე, API-ებზე და pipelines.
რა არის ხელოვნური ინტელექტის უსაფრთხოების ყველაზე დიდი რისკები DevSecOps გუნდებისთვის?
ყველაზე დიდ რისკებს შორისაა ხელოვნური ინტელექტის მიერ გენერირებული დაუცველი კოდი, დაუცველი დამოკიდებულებები, საიდუმლოებების გამჟღავნება, სწრაფი ინექცია, აგენტის ზედმეტად დიდი ნებართვები და სახიფათო... CI/CD ავტომატიზაცია.
რატომ განსხვავდება ხელოვნური ინტელექტის უსაფრთხოების რისკები ტრადიციული კიბერუსაფრთხოების რისკებისგან?
ხელოვნური ინტელექტის სისტემებს შეუძლიათ კოდის გენერირება, დამოკიდებულებების შეთავაზება, ინსტრუმენტების გამოძახება და ავტონომიურად მოქმედება. შედეგად, რისკები უფრო სწრაფად და უფრო მეტ ფენაში ჩნდება. SDLC.
როგორ შეუძლიათ გუნდებს ხელოვნური ინტელექტის უსაფრთხოების რისკების შემცირება?
გუნდებს შეუძლიათ რისკის შემცირება ხელოვნური ინტელექტის მიერ გენერირებული კოდის სკანირებით, დამოკიდებულებების დადასტურებით, საიდუმლოებების აღმოჩენით და წესების აღსრულებით. CI/CD guardrails, აგენტის ქცევის მონიტორინგი და დასკვნების კორელაცია ASPM.
უსაფრთხოა თუ არა ხელოვნური ინტელექტის მიერ გენერირებული კოდი?
ხელოვნური ინტელექტის მიერ გენერირებული კოდი ნაგულისხმევად უსაფრთხო არ არის. წარმოებაში მოხვედრამდე ის უნდა გადაიხედოს, დასკანირდეს, შემოწმდეს და დადასტურდეს.
დასკვნითი მოსაზრებები: ხელოვნური ინტელექტის უსაფრთხოების რისკები საჭიროა SDLC- დონის კონტროლი
ხელოვნური ინტელექტი ცვლის პროგრამული უზრუნველყოფის რისკის სიჩქარესა და ფორმას. ის ეხმარება გუნდებს უფრო სწრაფად შექმნან, მაგრამ ასევე ნერგავს ახალ გზებს დაუცველი კოდის, გამოვლენილი საიდუმლოებების, სახიფათო დამოკიდებულებებისა და სარისკო ავტომატიზაციის მიწოდების ჯაჭვში შესაღწევად.
ამიტომ, ხელოვნური ინტელექტის უსაფრთხოება მხოლოდ მოდელის მმართველობით ან პოლიტიკის დოკუმენტებით ვერ მოგვარდება. მას პრაქტიკული კონტროლი სჭირდება. SDLC: IDE-ს უკუკავშირი, SAST, SCA, საიდუმლოებების აღმოჩენა, CI/CD guardrails, ანომალიების აღმოჩენა და ASPM- დონის კორელაცია.
ხელოვნური ინტელექტის უსაფრთხოების რისკებს კარგად მართავენ გუნდები, რომლებიც არ დაბლოკავენ ხელოვნური ინტელექტის დანერგვას. ისინი შექმნიან მის გარშემო სწორ უსაფრთხოების ფენას.
