რა არის აგენტის ხელოვნური ინტელექტის უსაფრთხოება?

TL; DR #

აგენტური ხელოვნური ინტელექტის უსაფრთხოება გულისხმობს ისეთი ხელოვნური ინტელექტის სისტემების დაცვის პრაქტიკას, რომლებიც მოქმედებენ და არა პასუხობენ: აგენტები, რომლებიც გეგმავენ რამდენიმე ეტაპს, ინახავენ მეხსიერებას, იძახებენ ინსტრუმენტებს MCP-ის მსგავსი პროტოკოლების მეშვეობით და მოქმედებენ თქვენი პროგრამული უზრუნველყოფისა და თქვენი განვითარების სასიცოცხლო ციკლის ფარგლებში დელეგირებული ავტორიზაციის მონაცემებით. ეს სწრაფი დონის უსაფრთხოების სუპერნაკრებია, რადგან წარუმატებლობის რეჟიმი აღარ არის ცუდი პასუხი. ეს არის თქვენი ორგანიზაციის იდენტობის ფარგლებში განხორციელებული გაუთვალისწინებელი ქმედება.

ვის ეკუთვნის ის: აპლიკაციის უსაფრთხოება, იდენტობასთან მუშაობა. არ არის ცალკე ხელოვნური ინტელექტის ფუნქცია.

რა განასხვავებს მას: ჩატბოტს ოთხი თვისება აკლია. ავტონომია, ინსტრუმენტებზე წვდომა, მუდმივი მეხსიერება და დელეგირებული იდენტობა.

საცნობარო ტაქსონომია: OWASP-ის ტოპ 10 აგენტური აპლიკაციებისთვის 2026, ASI01-დან ASI10-მდე, გამოქვეყნდა 2025 წლის დეკემბერში.

სად არის რეალურად რისკი: ძირითადად იდენტობა, მიწოდების ჯაჭვი და შესრულება და არა თავად მოდელი.

რა არის აგენტის ხელოვნური ინტელექტის უსაფრთხოება? #

მოდელი, რომელიც რაღაცას არასწორად წერს, სირცხვილია. აგენტი, რომელიც რაღაცას არასწორად წერს shell ბრძანებაში, pull request ან წარმოების მონაცემთა ბაზა ინციდენტია.

ეს ერთადერთი ცვლილება, ტექსტის გენერირებიდან მოქმედებაზე გადასვლამდე, ამ დისციპლინის არსებობის მთავარი მიზეზია. ნებისმიერი, ვინც კითხულობს, თუ რა არის აგენტური ხელოვნური ინტელექტის უსაფრთხოება, როგორც წესი, კონკრეტულ მომენტზე რეაგირებს: ვიღაცამ შენიშნა, რომ საინჟინრო ორგანიზაციის ასისტენტს ახლა აქვს სერთიფიკატები, ინსტრუმენტებზე წვდომა, მუდმივი მეხსიერება და ავტონომია, რომ ისინი ერთმანეთთან ადამიანის გარეშე დააკავშიროს.

აგენტის ხელოვნური ინტელექტის უსაფრთხოება არის პრაქტიკის ერთობლიობა, რომელიც ამ შესაძლებლობას თქვენს მიერ არჩეულ საზღვრებში ინარჩუნებს. ის მოიცავს, თუ რომელ ინსტრუმენტებზე შეუძლია აგენტს წვდომა, რა იდენტობით მოქმედებს, რას იმახსოვრებს სესიებს შორის, რომელ სხვა აგენტებს ენდობა და რა ხდება იმ მომენტში, როდესაც ის შეუქცევადი რამის შესრულებას ცდილობს. → რა არის აგენტი? SDLC?

აგენტური ხელოვნური ინტელექტის უსაფრთხოების მნიშვნელობა: რისკის შემქმნელი ოთხი თვისება #

აგენტის ხელოვნური ინტელექტის უსაფრთხოების მნიშვნელობა კონკრეტული ხდება, როდესაც დააკვირდებით, რა აქვს აგენტს ისეთს, რაც არ აქვს ჩატბოტს. ოთხი თვისება, რომელთაგან თითოეული არღვევს კონტროლს, რომელზეც აპლიკაციის უსაფრთხოება წლების განმავლობაში იყო დამოკიდებული.

ათი რისკი: OWASP-ის ტოპ 10 აგენტური აპლიკაციებისთვის #

საცნობარო ტაქსონომია არის OWASP-ის ტოპ 10 აგენტური აპლიკაციებისთვის 2026 წელს, გამოქვეყნდა 2025 წლის 9 დეკემბერს, OWASP-ის აგენტური უსაფრთხოების ინიციატივა 100-ზე მეტი კონტრიბუტორით. ის ავსებს LLM-ის ტოპ 10-ეულს და არა ცვლის მას, რადგან აგენტების უმეტესობა ასევე LLM-ის აპლიკანტები არიან და ამ რისკებსაც მემკვიდრეობით იღებენ.

ყურადღება მიაქციეთ სიის ფორმას. მხოლოდ ორი ან სამი ჩანაწერი ეხება მოდელს. დანარჩენი ეხება იდენტობას, მიწოდების ჯაჭვს, შესრულებას და ნდობის პრობლემებს, სწორედ ამიტომ, აგენტური ხელოვნური ინტელექტის უსაფრთხოება ეკუთვნის იმ გუნდს, რომელიც უკვე ფლობს მას. განაცხადის უსაფრთხოება ვიდრე ცალკე ხელოვნური ინტელექტის ფუნქციაში.

რა არის აგენტის ხელოვნური ინტელექტის უსაფრთხოება პრაქტიკაში? ექვსი კონტროლი #

ჩარჩოები აღწერს რისკს. ეს არის კონტროლის მექანიზმები, რომლებიც ამცირებს მას იმ თანმიმდევრობით, რომლითაც გუნდების უმეტესობას შეუძლია მათი გამოყენება.

• ინვენტარიზაცია გაუკეთეთ რეალურად მომუშავე აგენტებსა და MCP სერვერებს. არა დამტკიცებული სია, არამედ რეალური. დაუმტკიცებელი აგენტის ხელსაწყოები ნორმაა და არა გამონაკლისი და თქვენ არ შეგიძლიათ შეაფასოთ ის, რაც ვერ იპოვეთ.
• დაათვალიერეთ ხელსაწყოს ზედაპირი თითოეული აგენტისთვის. ყველაზე ნაკლები პრივილეგია ვრცელდება ინსტრუმენტებზე და არა მხოლოდ მომხმარებლებზე. გადაჭარბებული მოქმედების უნარი ძირითადად მოხერხებულობის გზით მიიღწევა და არა თავდასხმით.
• გადახედეთ კონფიგურაციას, მაგალითად, კოდს. უნარების ფაილები, წესების ფაილები და MCP სერვერის განმარტებები ავტორიტეტული ინსტრუქციებია. MITRE ATLAS დოკუმენტურად აღწერს წესების ფაილის უკანა კარი როგორც რეალური შემთხვევის შესწავლა და არა როგორც აზროვნების ექსპერიმენტი.
• ცალკე იდენტიფიკაცია თითოეული აგენტისთვის. თუ აუდიტის ჟურნალი ვერ გეტყვით, რომელმა აგენტმა განახორციელა ქმედება, თქვენი ინციდენტზე რეაგირება არქეოლოგიით იწყება.
• აღსრულება ინსტალაციისა და შესრულების დროს. იმ მომენტიდან, როდესაც მავნე პაკეტი ან დაუმტკიცებელი MCP სერვერი გაეშვება დეველოპერის მანქანაზე, დაბლოკვა იაფია. → დამოკიდებულების firewall ბოლო წერტილში
• შეინარჩუნეთ კვალი, რომელიც ინციდენტს გადაურჩება. გემების წარმომავლობა, ანომალიების აღმოჩენა pipelines და ბოლო წერტილები, რომლებიც დაკავშირებულია იმ იდენტურობასთან, რომელმაც ის წარმოქმნა.

ამ აგენტების მიერ შექმნილ კოდს იგივე შემოწმება სჭირდება, რასაც თავად აგენტები. 2025 GenAI Code Security ანგარიშში, რომელიც 80 დავალების ფარგლებში 100-ზე მეტ მოდელს მოიცავს, აღმოჩნდა, რომ ხელოვნური ინტელექტის მიერ გენერირებული ნიმუშების 45%-ში OWASP-ის ტოპ 10 დაუცველობა ავტომატურად იყო წარმოდგენილი. გენერირების სიჩქარე უსაფრთხოებას ნაგულისხმევად არ გულისხმობს. → როგორ ამოწმებს DevAI IDE-ში გენერირებულ კოდს

რა არ არის აგენტური ხელოვნური ინტელექტის უსაფრთხოება? სად არის საზღვრები #

ტერმინები ერთმანეთს ემთხვევა და შესყიდვებთან დაკავშირებული საუბრები ამის გამო ზარალდება.

• GenAI უსაფრთხოება არის მშობელი დისციპლინა: ყველა გენერაციული ხელოვნური ინტელექტი თქვენს პროგრამულ უზრუნველყოფაში და მის გარშემო. აგენტური ხელოვნური ინტელექტის უსაფრთხოება მისი ყველაზე მნიშვნელოვანი ქვესიმრავლეა, რომელიც მოიცავს მოქმედ სისტემებს.
• LLM უსაფრთხოება მოიცავს მოდელს და მის მოთხოვნებს. აუცილებელი და არასაკმარისი იმ მომენტში, როდესაც მოდელი ინსტრუმენტებს იძენს.
• MCP-ის უსაფრთხოება კიდევ უფრო ვიწროა: პროტოკოლის ფენა, რომელიც აგენტს გარე სისტემებთან აკავშირებს. OWASP MCP ტოპ 10 მოიცავს მას და ბეტა ვერსიად რჩება, ამიტომ ჩათვალეთ ის ახალ ვერსიად და არა დასრულებულად.
• ხელოვნური ინტელექტი-SPM არის პოზიციის მართვა ხელოვნური ინტელექტის აქტივებზე, რაც ანალოგია ASPMის პასუხობს არსებულ კითხვას და არა იმას, რისი გაკეთებაც აგენტს შეუძლია.
• იდენტობისა და წვდომის მართვა ამის რეალური ნაწილი ეკუთვნის, თუმცა ტრადიციული IAM გულისხმობს ადამიანს ან მომსახურებას და არა არადეტერმინისტულ აქტორს, რომელიც თავად გადაწყვეტს საკუთარ შემდეგ ნაბიჯს.

ჩარჩოები, რომლებზეც დაყრდნობა ღირს #

ჩარჩო შეაფასეთ გამოცემის სტატუსით და არა იმით, თუ რამდენად თანამედროვედ ჟღერს.

რეგულაციასთან დაკავშირებით, იყავით წინასწარcisე. ევროკავშირის AI აქტი გარკვეულ სისტემებს აკისრებს დოკუმენტაციისა და ზედამხედველობის მოვალეობებს, ხოლო აგენტების ინვენტარი მათ დასადასტურებლად მტკიცებულებებს წარმოადგენს. ამჟამად არცერთი რეგულაცია არ ასახელებს აგენტების ხელოვნური ინტელექტის უსაფრთხოებას სავალდებულო კონტროლად და საპირისპიროს მტკიცება იწვევს შესყიდვების ციკლში არასასურველი კორექტირების შეტანას.

განმარტებიდან პროგრამამდე #

აგენტის ხელოვნური ინტელექტის უსაფრთხოების მნიშვნელობას მნიშვნელობა მხოლოდ მას შემდეგ აქვს, რაც ის იმ აგენტების, ხელსაწყოებისა და იდენტობების სიად იქცევა, რომელთა ნახვაც რეალურად შეგიძლიათ.

ეს არის სამუშაოს თანმიმდევრობა. აღმოაჩინეთ უკვე არსებული აგენტები, MCP სერვერები, უნარების ფაილები და ხელოვნური ინტელექტის აქტივები, მათ შორის გამოუცხადებელი. შეაფასეთ ისინი რეალური შეტევის გზებით და არა უხეში სიმძიმით. შემდეგ კი გაატარეთ პოლიტიკა იმ წერტილში, სადაც სხვაგვარად გაშვებული იქნებოდა სახიფათო პაკეტი, მოდელი ან ინსტრუმენტი.

Xygeni მოიცავს ამ სამ მოძრაობას კოდის მასშტაბით, pipeline და საბოლოო წერტილი, ერთ რისკის მოდელში, თქვენს მიერ უკვე მართული აპლიკაციის დასკვნებთან ერთად. დაგეგმეთ დემო ვერსია რომ ნახოთ თქვენი საკუთარი აგენტი და ხელოვნური ინვენტარი.

კითხვა-პასუხი #