მოდელის ექსტრაქციის შეტევა

მოდელის ექსტრაქციის შეტევა: რატომ არის ინვენტარი პირველ ადგილზე

TL; DR

რა არის მოდელის ექსტრაქციის შეტევა და რატომ არის ინვენტარი პირველ ადგილზე

მოდელის ამოღების შეტევა თქვენი ხელოვნური ინტელექტის კოპირებას ახდენს საკუთარი API-ის მეშვეობით. არანაირი დარღვევა, არანაირი მოპარული წონა, არანაირი მავნე პროგრამა.

  • როგორ მუშაობს: მოდელის ამოღების შეტევა (ასევე ცნობილი როგორც მოდელის მოპარვა ან მოდელის ქურდობა) მასშტაბურ მოთხოვნას უგზავნის ინფერენციის საბოლოო წერტილს და პასუხებზე კლონს ავარჯიშებს. თქვენს ჟურნალებში თავდამსხმელი სერიოზულ კლიენტად გამოიყურება.
  • სად ზის: OWASP მოდელის ექსტრაქციას კლასიფიცირებს შემდეგნაირად: LLM10:2025 შეუზღუდავი მოხმარება და მის შემარბილებელ ღონისძიებებს შორის ცენტრალიზებულ მოდელის ინვენტარს ასახელებს.
  • რატომ უშვებს დაცვას შეცდომას: სიჩქარის ლიმიტები, ავთენტიფიკაცია და მონიტორინგი მხოლოდ იმ საბოლოო წერტილებს იცავს, რომელთა შესახებაც იცით. ​​Shadow AI საბოლოო წერტილებს ეს შეზღუდვები არ გააჩნიათ.

პირველი დაცვა: თქვენი კოდის მიერ გამოვლენილი ყველა მოდელის, აგენტისა და ინფერენციის საბოლოო წერტილის ხელოვნური ინვენტარი, რომელიც წყაროდან მის გაგზავნამდეა აღმოჩენილი. თქვენ არ შეგიძლიათ დაიცვათ ინვენტარიზებული ინფერენციის საბოლოო წერტილები.

თქვენი მოდელი შეიძლება მოიპარონ ისე, რომ არავინ შეეხოს თქვენს სერვერებს

თქვენმა გუნდმა თვეები დახარჯა საკუთრების მონაცემებზე დაფუძნებული მოდელის დახვეწაზე. ის API-ს უკან დგას, რომელიც დღეში ათასობით მოთხოვნას პასუხობს. ახლა წარმოიდგინეთ, რომ კონკურენტი თავისი ღირებულების უმეტეს ნაწილს ამ API ზარების ფასად აღადგენს.

ეს მოდელის ამოღების შეტევაა. არავინ არღვევს თქვენს ინფრასტრუქტურას და არ იტვირთავს თქვენს წონებს. თავდამსხმელი უბრალოდ სვამს თქვენი მოდელისთვის საკმარისად კარგად შერჩეულ კითხვებს, იწერს პასუხებს და ამზადებს ასლს.

გუნდების უმეტესობა ამ რისკს სიჩქარის შეზღუდვებით, ავთენტიფიკაციითა და გამომავალი მონაცემების მონიტორინგით პასუხობს. ეს კონტროლი მუშაობს. თუმცა, მათ ერთი საერთო წერტილი აქვთ: ისინი მხოლოდ იმ დასკვნის საბოლოო წერტილებს იცავენ, რომელთა არსებობის შესახებაც იცით. ​​ამ სახელმძღვანელოში ჩვენ ავხსნით, თუ რა არის მოდელის ამოღების შეტევა, როგორ მუშაობს მოდელის მოპარვა პრაქტიკაში და რატომ იწყება ყველა დაცვა ინვენტარით.

რა არის მოდელის ექსტრაქციის შეტევა?

მოდელის ამოღების შეტევა არის შეტევა, რომლის დროსაც მოწინააღმდეგე ახდენს მანქანური სწავლების მოდელის ფუნქციური ასლის რეკონსტრუქციას მასზე მოთხოვნების გაგზავნით და მისი გამომავალი მონაცემების შესწავლით. ეს ასევე ცნობილია, როგორც მოდელის მოპარვა ან მოდელის ქურდობა. თავდამსხმელს არასდროს სჭირდება ორიგინალური წონა, სასწავლო მონაცემები ან საწყისი კოდი: საჯარო ინტერფეისი საკმარისია.

იდეა ახალი არ არის. მკვლევრებმა ის კომერციული პროგნოზირების API-ების წინააღმდეგ 2016 წელს აჩვენეს (ტრამერი და სხვ., USENIX Security). 2024 წელს, Google DeepMind-ის გუნდმა საჯარო API-ის მეშვეობით აღადგინა საწარმოო ენის მოდელის ნაწილი (კარლინი და სხვ.). მიტრე ატლასი აკონტროლებს იმავე ქცევას, რასაც მოწინააღმდეგის ტექნიკა ხელოვნური ინტელექტის სისტემების წინააღმდეგ.

LLM აპლიკაციებისთვის, OWASP მოდელის ქურდობას აერთიანებს LLM10:2025 შეუზღუდავი მოხმარებაის აღწერს ორ ვარიანტს: ექსტრაქციას შემუშავებული API მოთხოვნების მეშვეობით და ფუნქციურ რეპლიკაციას, სადაც სამიზნე მოდელი წარმოქმნის სინთეზურ მონაცემებს კონკურენტი მოდელის დასახვეწად.

მოდელის ექსტრაქციის შეტევა: ძირითადი ტერმინები

ერთი და იგივე საფრთხეს რამდენიმე სახელი აქვს. აი, რას ნიშნავს თითოეული მათგანი და სად ემთხვევა ისინი ერთმანეთს.

ვადაᲠას ნიშნავს
მოდელის ამოღების შეტევამოდელის ქცევის ხელახლა შექმნა მისი მოთხოვნის პასუხებიდან
მოდელის მოპარვა / მოდელის მოპარვაგავრცელებული სინონიმები; მოდელის ქურდობა ასევე მოიცავს წონის ფაილების პირდაპირ ქურდობას.
ფუნქციური მოდელის რეპლიკაციასამიზნის გამომავალი მონაცემების გამოყენება, როგორც შემცვლელი მოდელის სასწავლო მონაცემები
ჩრდილის მოდელითავდამსხმელის კლონი, გაწვრთნილი სამიზნის იმიტაციაზე

როგორ მუშაობს მოდელის ექსტრაქციის შეტევა

მოდელის ამოღების ყველა შეტევა ერთსა და იმავე ციკლს მიჰყვება: იპოვეთ საბოლოო წერტილი, დააინსტალირეთ მასზე მოთხოვნა მასშტაბურად, დაამუშავეთ ასლი.

  1. იპოვეთ ბოლო წერტილი. თავდამსხმელი პოულობს ინფერენციის API-ს: ჩატის ბექენდს, კლასიფიკაციის სერვისს, ჩასმის საბოლოო წერტილს და შიდა მოდელს, რომელსაც პარტნიორს შეუძლია მიწვდეს.
  2. შეადგინეთ შეკითხვები. შეყვანები შეირჩევა მოდელის დე-ს დასაფარად.cisიონური სივრცის ეფექტურად გამოყენება, ზოგჯერ სწრაფ ინექციასთან ერთად, უფრო დეტალური პასუხების მისაღებად.
  3. მოსავლის აღება. ეტიკეტები, სანდოობის ქულები, ლოგისტიკური მონაცემები ან სრული ტექსტის შევსება - ყველა ეს ინფორმაცია გაჟონავს. რაც უფრო მდიდარია პასუხი, მით უფრო სწრაფია ქურდობა.
  4. გაწვრთნეთ შემცვლელი. შეგროვებული შეყვანის და გამოყვანის წყვილები ხდება ჩრდილის მოდელის სავარჯიშო ნაკრები, რომელიც ორიგინალის იმიტაციას ახდენს.
  5. კლონის ექსპლუატაცია. ასლი გამოიყენება ლიცენზირების ხარჯების თავიდან ასაცილებლად, პირდაპირი კონკურენციისთვის ან მოწინააღმდეგეების შეტევების ოფლაინ რეჟიმში გასამეორებლად, სანამ ისინი რეალურ მოდელზე განხორციელდება.

მოდელის მოპარვის დაფიქსირება რთულდება იმით, რომ ყველა მოთხოვნა ლეგიტიმურია. სიგნალი ხმის მოცულობაშია, ნიმუშშია და, რაც მთავარია, იმაში, თუ სად ხვდება მოთხოვნები.

რატომ ვერ ხერხდება ჩვეულებრივი თავდაცვა: ინვენტარის დეფიციტი

ის standard მოდელის ექსტრაქციის შეტევის წინააღმდეგ რჩევები საკმაოდ გონივრულია: გამომძახებლების ავთენტიფიკაცია, სიჩქარის შეზღუდვა და შენელება, პასუხებიდან სანდოობის ქულების მოხსნა, წყლის ნიშნის გამომავალი მონაცემების დამატება და ანომალიური შეკითხვის ნიმუშების დაკვირვება. თითოეული კონტროლი გამოიყენება თითოეულ საბოლოო წერტილზე. სწორედ აქ იშლება ყველაფერი.

ხელოვნური ინტელექტი ახლა კოდის ბაზებში უფრო სწრაფად შედის, ვიდრე უსაფრთხოების ჯგუფები მის თვალყურის დევნებას ახერხებენ. დეველოპერი LLM SDK-ს მიკროსერვისში აერთებს. მონაცემთა გუნდი შიდა ინსტრუმენტისთვის დახვეწილ მოდელს ავლენს. აგენტის ჩარჩო საკუთარ სერვისულ ფენას ამუშავებს. არცერთი მათგანი არ გადის განხილვის რიგში და ბევრი მათგანი არასდროს ჩნდება API კარიბჭეში ან სპეციფიკაციის ფაილში.

შედეგად ვიღებთ ჩრდილოვან ხელოვნურ ინტელექტს: მოდელები, აგენტები და დასკვნის საბოლოო წერტილები, რომლებიც არსებობს წარმოებაში, მაგრამ არავის სიაში არ არიან. საბოლოო წერტილი, რომლის შესახებაც არავინ იცის, არ იღებს სიჩქარის შეზღუდვას, არ ავთენტიფიკაციის მიმოხილვას და არ აკონტროლებს. მოდელის ამოღების შეტევისთვის, ეს იდეალური სამიზნეა.

OWASP-იც იგივეს ამბობს. LLM10-ის შემამსუბუქებელ ზომებს შორის, ის ML მოდელების ცენტრალიზებული ინვენტარის შენარჩუნებას გვირჩევს. ლოგიკა მარტივია: თქვენ არ შეგიძლიათ დაიცვათ დასკვნითი წერტილები, რომლებიც ინვენტარიზებული არ გაქვთ.

ინვენტარიზაცია პირველ რიგში: აღმოაჩინეთ ყველა საბოლოო წერტილი, შემდეგ დაიცავით იგი

სასარგებლო ხელოვნური ინვენტარი თითოეული აქტივისთვის ოთხ კითხვას პასუხობს: რა არის ის, სად არის დეკლარირებული, რას უკავშირდება და რა იცავს მას.

ინვენტარიზაციის შესახებ კითხვარატომ არის მნიშვნელოვანი მოდელის ამოღების წინააღმდეგ ბრძოლა
რომელი მოდელები და დასკვნის საბოლოო წერტილები არსებობს?ყველა დაურეგისტრირებელი საბოლოო წერტილი დაუცველი ექსტრაქციის სამიზნეა.
სად არიან ისინი გამოცხადებული კოდში?საკუთრება: ვიღაცამ უნდა გამოასწოროს დაკარგული კონტროლი
რა მონაცემები და ინსტრუმენტებია დაკავშირებული?მგრძნობიარე მონაცემებზე გაწვრთნილი მოდელი მოპარვაზე მეტს ღირს
რომელი guardrails და კონტროლი გამოიყენება?აჩვენებს დაფარვის ხარვეზებს, სანამ თავდამსხმელი მათ იპოვის

ამ ინვენტარის შესაქმნელად საუკეთესო ადგილი საწყისი კოდია. კოდი არის ის ადგილი, სადაც საბოლოო წერტილი იბადება, ამიტომ საცავში ხელოვნური ინტელექტის აქტივების აღმოჩენა მათ წარმოებამდე პოულობს. ის ასევე აკავშირებს თითოეულ აქტივს პროექტთან, ა. commitდა გუნდი, რომელიც სიას მოქმედებად აქცევს.

კიდევ ორი ​​ჩვევა ხურავს ციკლს. ინვენტარის ექსპორტი ხელოვნური ინტელექტის მასალების ჩამონათვალის სახით (AI-BOM), რათა მმართველობისა და აუდიტის ჯგუფებმა ერთი და იგივე სურათი დაინახონ. და ხელახლა დაასკანირეთ ყველა ცვლილება, რადგან ინვენტარი მხოლოდ მისი ბოლო განახლების ხარისხით არის კარგი.

როგორ ავსებს Xygeni ხარვეზს მოდელის ექსტრაქციის შეტევის დაწყებამდე

Xygeni AI უსაფრთხოება ხელოვნური ინვენტარის ინვენტარს პირდაპირ საწყისი კოდიდან აშენებს. ის აღმოაჩენს ხელოვნური ინტელექტის მოდელებს, აგენტებს, ხელოვნური ინტელექტის ჩარჩოებს, MCP სერვერებსა და ინსტრუმენტებს, მოთხოვნებს, guardrails, ვექტორული საცავები, მონაცემთა ნაკრებები, ინფერენციის საბოლოო წერტილები და ხელოვნური ინტელექტის კოდირების ინსტრუმენტები თქვენს საცავებში, მათ შორის მოდელის ფაილები, როგორიცაა .onnx, .pt მდე .pklურთიერთობებიც რუკაზეა დატანილი: რომელი აგენტი რომელ მოდელს იყენებს, რომელ ინსტრუმენტებს ასრულებს და რომელ მონაცემთა ნაკრებებზე ვარჯიშობს.

ხელოვნური ინტელექტის აქტივების ინვენტარში თითოეული აქტივი აჩვენებს მის მოდელებსა და პროვაიდერებს, დაკავშირებულ მონაცემთა წყაროებს PII ფლაგებით, დამცავი ბარილების დაფარვას და მმართველობის ველებს, როგორიცაა ევროკავშირის ხელოვნური ინტელექტის აქტის რისკის კატეგორია. ხელოვნური ინტელექტის გრაფიკის ხედი აჩვენებს, თუ როგორ უკავშირდება აგენტები, მოდელები, ხელსაწყოები და მონაცემთა ნაკრებები. ერთი დაწკაპუნებით ექსპორტირდება CycloneDX 1.6 ML-BOM, თქვენი... SBOM და CBOM.

ინვენტარიდან დაცვამდე:

  • რისკის აღმოჩენა OWASP-თან მიმაგრებულია. დეტექტორის პაკეტები მოიცავს OWASP LLM-ის ათივე ტოპ 10 კატეგორიას, მათ შორის LLM10 შეუზღუდავ მოხმარებას, ამიტომ ყველა დასკვნა თქვენი აუდიტორების მიერ გამოყენებულ ენაზე საუბრობს.
  • კოდში შემოწმებულია საბოლოო წერტილის კონტროლი. Xygeni API-ის უსაფრთხოება კოდიდან და სპეციფიკაციებიდან აღმოაჩენს API-ის საბოლოო წერტილებს და აღნიშნავს არაავთენტიფიცირებულ საბოლოო წერტილებს, სიჩქარის შეზღუდვის არარსებობას და სპეციფიკაციიდან გადახრილ დაჩრდილულ API-ებს.
  • დასტური გაშვებულ აპლიკაციაზე. Xygeni AI Pentesting ამოწმებს განლაგებულ აპლიკაციას და ადასტურებს, თუ რომელი სისუსტეებია ექსპლუატაციაში გამოსაყენებელი.
  • სწრაფად გამოასწორეთ. ხელოვნური ინტელექტის ტრიაჟი პრიორიტეტს ანიჭებს ხელოვნური ინტელექტის დასკვნებს, ხოლო ხელოვნური ინტელექტის აღდგენა OWASP-ის LLM-ის ათივე კატეგორიის გამოსწორების რეკომენდაციებს ქმნის.

ეს ყველაფერი სტატიკური სკანირების სახით მუშაობს CI/CD ან ლოკალურად, SaaS-ით, on-premise და ჰაერის ხარვეზებით უზრუნველყოფილი ვარიანტები. გუნდებს, რომლებსაც სემანტიკური მიმოხილვის ეტაპი შიდა დონეზე სჭირდებათ, შეუძლიათ მისი თვითჰოსტინგის მოდელზე გაშვება.

მოდელის ამოღების შეტევის პრევენციის საკონტროლო სია მოდელის ამოღების შეტევის პრევენციის შესახებ

რვა კონტროლი, თანმიმდევრობით. პირველი ორი დანარჩენ ექვსს შესაძლებელს ხდის.

  1. ინვენტარიწყაროს კოდიდან ყველა მოდელის, აგენტისა და დასკვნის საბოლოო წერტილის ინვენტარიზაცია და მისი ყოველ ჯერზე განახლება. commit.
  2. საკუთრებისინვენტარში თითოეულ ხელოვნური ინტელექტის აქტივს მიანიჭეთ მფლობელი.
  3. აუტენტიფიკაციაავტორიზაციის მოთხოვნა ყველა დასკვნის საბოლოო წერტილზე, მათ შორის შიდა წერტილებზეც.
  4. განაკვეთის შეზღუდვადააწესეთ ტარიფის ლიმიტები, კვოტები და ტაიმაუტები თითოეული აბონენტისთვის.
  5. გამომავალი მინიმიზაციადააბრუნეთ საჭირო მინიმალური შედეგი: ჩამოაგდეთ სანდოობის ქულები და ლოგისტიკური მონაცემები იქ, სადაც მომხმარებლებს ისინი არ სჭირდებათ.
  6. მონიტორინგისისტემატური ზონდირების მიზნით, აკონტროლეთ მოთხოვნების მოცულობა და ნიმუშები.
  7. watermarkingგაითვალისწინეთ მაღალი ღირებულების მქონე საკუთრების მქონე მოდელების წყლის ნიშნის შედეგები.
  8. მმართველობაAI-BOM-ის ექსპორტი მმართველობისა და აუდიტისთვის და დასკვნების OWASP LLM10-თან შესაბამისობაში მოყვანა.

იპოვეთ თქვენი დასკვნის საბოლოო წერტილები თავდამსხმელებამდე

მოდელის ამოღების შეტევას მხოლოდ ერთი ბოლო წერტილი სჭირდება, რომელიც დაგავიწყდათ. გაარკვიეთ, თუ რა ხელოვნურ ინტელექტს იყენებს სინამდვილეში თქვენი კოდი: ნახეთ, როგორ აშენებს Xygeni AI Security თქვენს ხელოვნური ინვენტარს, or წიგნის დემო.

კითხვა-პასუხი

რა განსხვავებაა მოდელის ექსტრაქციის შეტევასა და მოდელის ინვერსიას შორის?

მოდელის ექსტრაქციის შეტევა თავად მოდელს კოპირებს: მის ქცევას და...cisიონური ლოგიკა. მოდელის ინვერსია მიზნად ისახავს სასწავლო მონაცემებს და ცდილობს მოდელისგან მიღებული ინფორმაციის რეკონსტრუქციას. ორივე შემთხვევაში მოთხოვნაზე წვდომა ბოროტად გამოიყენება, თუმცა ექსტრაქცია ინტელექტუალურ საკუთრებას იპარავს, ინვერსია კი კერძო მონაცემებს ავრცელებს.

შეუძლია თუ არა მოდელის ექსტრაქციის შეტევას LLM-ების სამიზნე აუდიტორია, თუ მხოლოდ კლასიკური ML მოდელების?

ორივე. ადრეული კვლევები მიზნად ისახავდა პროგნოზირების API-ების უკან მდგომ კლასიფიკატორებს. დღეს OWASP მოდელის ექსტრაქციას და ფუნქციონალური მოდელის რეპლიკაციას LLM რისკებად ასახელებს LLM10:2025 შეუზღუდავი მოხმარების მიხედვით, სადაც თავდამსხმელი იყენებს LLM-ის საკუთარ შედეგებს შემცვლელის დასაზუსტებლად.

როგორ გავიგო, ჩემი დასკვნის რომელი საბოლოო წერტილებია მოდელის ქურდობის მსხვერპლი?

დაიწყეთ საწყისი კოდიდან აგებული ინვენტარით: თქვენი აპლიკაციების მიერ გამოცხადებული ყველა მოდელი, აგენტი და ინფერენციის საბოლოო წერტილი. შემდეგ შეამოწმეთ თითოეული მათგანი ავთენტიფიკაციაზე, სიჩქარის შეზღუდვასა და გამომავალი ექსპოზიციაზე. Xygeni AI Security აღმოაჩენს AI აქტივებს თქვენს საცავებში და ექსპორტს უკეთებს მათ AI-BOM-ის სახით, ხოლო Xygeni API Security აღნიშნავს საბოლოო წერტილებს, რომლებსაც არ აქვთ ავთენტიფიკაცია ან სიჩქარის შეზღუდვა.

sca-tools-software-composition-analysis-tools
თქვენი პროგრამული უზრუნველყოფის რისკების პრიორიტეტიზაცია, გამოსწორება და დაცვა
მიიღეთ თქვენი უფასო ანგარიში.
საკრედიტო ბარათი არ არის საჭირო.

უზრუნველყავით თქვენი პროგრამული უზრუნველყოფის შემუშავება და მიწოდება

Xygeni Product Suite-თან ერთად