TL; DR #
GenAI უსაფრთხოება არის ორგანიზაციის მიერ შექმნილი გენერაციული ხელოვნური ინტელექტის და მის მიერ თავის პროგრამულ უზრუნველყოფაში ინტეგრირებული გენერაციული ხელოვნური ინტელექტის დაცვის პრაქტიკა: მოდელები, მოთხოვნები, აგენტები, უნარების ფაილები, MCP სერვერები და ხელოვნური ინტელექტის კოდირების ასისტენტები, რომლებიც ახლა განვითარების სასიცოცხლო ციკლშია განთავსებული. ის სამი მოძრაობით მუშაობს: აღმოაჩინოს, თუ რომელი ხელოვნური ინტელექტის აქტივები არსებობს, აღმოაჩინოს მათთვის დამახასიათებელი რისკები და გაატაროს პოლიტიკა მანამ, სანამ ეს რისკები წარმოებამდე მიაღწევს.
რა არის GenAI უსაფრთხოება? #
პროგრამული უზრუნველყოფა ადრე ადამიანების მიერ იწერებოდა და მასზე კოდის საშუალებით თავდასხმას ახდენდნენ. ამ წინადადების ორივე ნაწილი სამ წელზე ნაკლებ დროში შეიცვალა.
დეველოპერები ახლა ასისტენტის მიერ შედგენილ კოდს აგზავნიან, აგენტის მიერ შემოთავაზებულ დამოკიდებულებებს იღებენ და ინსტრუმენტების დაკავშირებას კონფიგურაციის ფაილებთან, რომლებსაც არავინ განიხილავს, როგორც უსაფრთხოების არტეფაქტებს. ამავდროულად, თავად აპლიკაციები ნერგავენ მოდელებს, მოძიებას pipelineდა აგენტები, რომლებიც ინსტრუქციებს არასანდო ტექსტიდან იღებენ. ამგვარად, გუნდი, რომელიც სვამს კითხვას, თუ რა არის GenAI უსაფრთხოება, სინამდვილეში ერთდროულად ორ კითხვას სვამს: როგორ დავიცვათ ხელოვნური ინტელექტი, რომელსაც ჩვენი დეველოპერები იყენებენ და როგორ დავიცვათ ჩვენს პროდუქტებში შემავალი ხელოვნური ინტელექტი?
GenAI უსაფრთხოება ორივე პრობლემას პასუხობს. ეს არის დისციპლინა, რომელიც გულისხმობს რისკების აღმოჩენას, შეფასებას და კონტროლს გენერაციულ და აგენტურ ხელოვნური ინტელექტის კომპონენტებში პროგრამული უზრუნველყოფის შემუშავების სასიცოცხლო ციკლის ფარგლებში, მოდელიდან და MCP სერვერიდან დეველოპერის მანქანამდე.
განსხვავება, რომელიც მნიშვნელოვანია: ტრადიციული სკანერი ეძებს დაუცველ ფუნქციას. GenAI უსაფრთხოება ეძებს წესების ფაილს, რომელიც ჩუმად აძლევს ასისტენტს მითითებას, მიაღწიოს იქ, სადაც არ უნდა მოხვდეს, აგენტს, რომელსაც მინიჭებული აქვს მეტი უფლებამოსილება, ვიდრე მის ამოცანას სჭირდება, ან თავდამსხმელის მიერ კონტროლირებადი შინაარსიდან შედგენილ მოთხოვნას. იგივე სასიცოცხლო ციკლი, განსხვავებული ჩავარდნის რეჟიმი. რა არის აპლიკაციის უსაფრთხოება?
GenAI უსაფრთხოების მნიშვნელობა: რას მოიცავს ტერმინი სინამდვილეში #
GenAI-ის უსაფრთხოების მნიშვნელობა გამყიდველის მასალაში ფართოვდება, ამიტომ საზღვრების დადგენაში გვეხმარება. ტერმინი მოიცავს ზემოქმედების ოთხ ტიპს:
- ხელოვნური ინტელექტი, რომელსაც თქვენი დეველოპერები იყენებენ. კოდირების ასისტენტები, აგენტები, MCP სერვერები და მათი მართვის კონფიგურაციის ფაილები. სწორედ აქ იძენენ ორგანიზაციების უმეტესობა პირველად გამოცდილებას, როგორც წესი, შესყიდვების გარეშე.cisიონი
- თქვენს პროდუქტში არსებული ხელოვნური ინტელექტი. მოდელები, მინიშნებები, მოძიება pipelines, აგენტის გაყვანილობა და guardrails მათი შეზღუდვას ნიშნავდა.
- კოდი, რომელსაც ხელოვნური ინტელექტი ქმნის. გენერირებული კოდი შეიცავს მისი სასწავლო მონაცემების დაუცველობის ნიმუშებს. 2025 წლის ხელოვნური ინტელექტის თაობა Code Security ანგარიში80 დავალების შესრულებისას 100-ზე მეტი მოდელის ტესტირების შედეგად აღმოჩნდა, რომ ხელოვნური ინტელექტის მიერ გენერირებული ნიმუშების 45%-ში OWASP-ის 10 საუკეთესო დაუცველობა დაუყოვნებლივ იყო წარმოდგენილი.
- მიწოდების ჯაჭვის ხელოვნური ინტელექტი ერთვება საქმეში. მოდელის მიერ შემოთავაზებული დამოკიდებულებები, მათ შორის პაკეტის სახელები, რომლებიც არ არსებობს მანამ, სანამ თავდამსხმელი მათ არ დაარეგისტრირებს.
რას არ მოიცავს: თქვენს მიერ არგაწვრთნილი საბაზისო მოდელის შიდა უსაფრთხოებას და კლასიკურ მანქანურ სწავლებას. pipeline, რომელიც ქვემოთ აღწერილ მომიჯნავე დისციპლინებს მიეკუთვნება.
რატომ გახდა GenAI უსაფრთხოება დამოუკიდებელი დისციპლინა #
რადგან შეტევის ზედაპირი აღარ იყო კოდი. უნარების ფაილი, წესების ფაილი, MCP სერვერის კონფიგურაცია: უბრალო ტექსტი, commitდოკუმენტაციის მსგავსად დამუშავებული, დოკუმენტაციის მსგავსად განხილული. თითოეული მათგანი ჩუმად განსაზღვრავს, თუ რა დავალებას აძლევს ხელოვნური ინტელექტის ასისტენტს და რაზე წვდომა აქვს მას. მათ წასაკითხად არ შექმნილა სტატიკური ანალიზატორი, რადგან ბოლო დრომდე არცერთ მათგანს არ გააჩნდა ასეთი დიდი ავტორიტეტი.
ექსპოზიცია ასევე თითქმის უნივერსალურს წარმოადგენს. GitHub-ის 2024 წლის დეველოპერების კვლევამ აჩვენა, რომ 97%-ზე მეტი enterprise რესპონდენტებმა სამსახურში ხელოვნური ინტელექტის კოდირების ინსტრუმენტები გამოიყენეს, მაშინ როცა ფორმალური მმართველობა მნიშვნელოვნად ჩამორჩა. საინჟინრო ორგანიზაციების უმეტესობას უკვე აქვს გენერაციული ხელოვნური ინტელექტი განვითარების სასიცოცხლო ციკლში. შედარებით ცოტას აქვს მისი ინვენტარი. → ხელოვნური ინტელექტის უსაფრთხოება: ფაილები, რომლებსაც არავინ ამოწმებს.
როგორ მუშაობს GenAI უსაფრთხოება: აღმოჩენა, აღმოჩენა, აღსრულება #
პროგრამების უმეტესობა შუა ფენიდან იწყება, რადგან უსაფრთხოების ინსტრუმენტებით ყოველთვის ხდებოდა აღმოჩენა. ეს იშვიათად მუშაობს. თქვენ არ შეგიძლიათ რისკის შეფასება იმ აქტივებზე, რომლებიც ინვენტარიზებული არ გაქვთ და დაუმტკიცებელი ხელოვნური ინტელექტის ინსტრუმენტები უფრო ნორმაა, ვიდრე გამონაკლისი. აღმოჩენა არ არის წინასწარი ნაბიჯი, ის დანარჩენი ორის წინაპირობაა.
რა არ არის GenAI Security? მიმდებარე ტერმინები #
ესენი ურთიერთშემცვლელად გამოიყენება, რაც შესყიდვებთან დაკავშირებულ მოლაპარაკებებს აბნევს.
- აპლიკაციის უსაფრთხოება (AppSec) იცავს აპლიკაციას: კოდი, დამოკიდებულებები, კონფიგურაცია, pipelines, გაშვების დრო. GenAI უსაფრთხოება მას აფართოებს და არა ცვლის.
- AI უსაფრთხოება არის უფრო ფართო ქოლგა, რომელიც მოიცავს კლასიკურ მანქანური სწავლების სისტემებს, რომლებიც არ არის გენერაციული.
- ხელოვნური ინტელექტი-SPM არის ხელოვნური ინტელექტის აქტივების პოზის მართვა, ხელოვნური ინტელექტის ანალოგური ASPMეს GenAI უსაფრთხოების კომპონენტია და არა მისი სინონიმი.
- MLSecOps მოდელზე აკეთებს აქცენტს pipeline: მონაცემთა წარმომავლობა, მოდელის წარმომავლობა, განლაგების მთლიანობა.
- LLM უსაფრთხოება როგორც წესი, ნიშნავს მხოლოდ მოდელს და მის მოთხოვნებს, უფრო ვიწრო სფეროს, რომელიც გამორიცხავს აგენტებს, ინსტრუმენტებს და განვითარების გარემოს.
ისინი ფენები არიან და არა კონკურენტები. ორგანიზაცია, რომელიც ცალკე კონსოლის შეძენით პასუხობს GenAI-ის უსაფრთხოებას, როგორც წესი, ქმნის აღმოჩენების მეოთხე რიგს, რომელსაც არავინ ახარისხებს. სასარგებლო ვერსია ხელოვნური ინტელექტის რისკს ყველა სხვა აღმოჩენასთან აკავშირებს, ამიტომ ერთი პრიორიტეტული რიგი წარმართავს სამუშაოს.
ჩარჩოები, რომლებიც ქმნიან GenAI-ის უსაფრთხოების პრინციპს რისკის მნიშვნელობაში #
ჩარჩო შეაფასეთ გამოცემის სტატუსით და არა იმით, თუ რამდენად თანამედროვედ ჟღერს.
რეგულაციის თვალსაზრისით, გულწრფელი ჩარჩო ვიწროა. ევროკავშირის ხელოვნური ინტელექტის შესახებ კანონის ტექნიკური დოკუმენტაციის მოვალეობები და კიბერმდგრადობის შესახებ კანონის SBOM ვალდებულებები ქმნის რეალური მტკიცებულებების მოთხოვნებს და ხელოვნური ინტელექტის ინვენტარი ხელს უწყობს მათ დაკმაყოფილებას. არცერთი არ ასახელებს ხელოვნური ინტელექტის მქონე პირთათვის განკუთვნილ დოკუმენტს (AI-BOM). ნებისმიერი, ვინც აცხადებს, რომ რეგულაცია ამას მოითხოვს, ტექსტს წინ უსწრებს.
განმარტებიდან პროგრამამდე #
GenAI-ის მიერ პრომპული ინექციის უსაფრთხოების მნიშვნელობის ცოდნა არ არის იგივე, რაც იმის ცოდნა, შეიცავს თუ არა თქვენი საკუთარი საცავები მისკენ მიმავალ გზას.
ეს ხარვეზი პროგნოზირებადი თანმიმდევრობით ივსება. აღმოაჩინეთ ყველა ხელოვნური ინტელექტის აქტივი საცავებში, pipelineდა დეველოპერის გარემო, მათ შორის ისეთებიც, რომლებიც არავის განუცხადებია. შეაფასეთ ისინი რეალური შეტევის გზებით და არა ნედლი სიმძიმით, რათა რიგი საკმარისად მოკლე დარჩეს მოქმედებისთვის. შემდეგ კი გაატარეთ პოლიტიკა იმ წერტილში, სადაც სხვაგვარად შესრულდებოდა სახიფათო პაკეტი, მოდელი ან ინსტრუმენტი.
Xygeni ამ თანმიმდევრობას ერთ პლატფორმად და ერთ რისკის მოდელად აერთიანებს, თქვენს მიერ უკვე მართული აპლიკაციის დასკვნებთან ერთად. დაგეგმეთ დემო ვერსია თქვენი საკუთარი ხელოვნური ინვენტარის სანახავად
კითხვა-პასუხი #
თქვენი ორგანიზაციის მიერ გამოყენებული და შექმნილი გენერაციული ხელოვნური ინტელექტის დაცვა: იმის ცოდნა, თუ რომელი ხელოვნური ინტელექტის აქტივები არსებობს, მათთვის დამახასიათებელი რისკების დადგენა და სახიფათო აქტივების შეჩერება მათ გაშვებამდე.
რომ მოთხოვნები, უნარების ფაილები, წესების ფაილები და MCP კონფიგურაციები განიხილება როგორც უსაფრთხოების არტეფაქტები და არა როგორც დოკუმენტაცია და რომ ხელოვნური ინტელექტის მიერ გენერირებული კოდი დამოწმებულია მანამ, სანამ ის მიაღწევს pipeline ვიდრე შემდეგ.
არა. ორგანიზაციების უმეტესობა გენერაციულ ხელოვნურ ინტელექტთან კონტაქტს დეველოპერების მეშვეობით იძენს დიდი ხნით ადრე, სანამ ხელოვნური ინტელექტის ფუნქციას გამოუშვებენ.
კონფიგურაციის ფენა, რომელიც არეგულირებს ხელოვნური ინტელექტის ქცევას. A SAST ძრავა კითხულობს კოდს. ის არ კითხულობს წესების ფაილს, რომელიც ასისტენტს ეუბნება, რა დაწეროს, ან MCP სერვერის განმარტებას, რომელიც აგენტს ეუბნება, თუ რაზე შეიძლება მიაღწიოს.
პრაქტიკაში, აპლიკაციის უსაფრთხოების მფლობელი ნებისმიერი პირი. აქტივები ინახება საცავებსა და დეველოპერულ გარემოში, ამიტომ მათი ცალკე ფუნქციად დაყოფა, რისკის შემცირების ნაცვლად, მეორე დაგროვილ მასალას წარმოქმნის.
