TL؛ DR
ما هو هجوم استخراج النموذج، ولماذا تأتي إدارة المخزون أولاً؟
هجوم استخراج النموذج ينسخ نظام الذكاء الاصطناعي الخاص بك عبر واجهة برمجة التطبيقات الخاصة به. لا اختراق، لا سرقة بيانات، لا برامج ضارة.
- كيف يعمل: هجوم استخراج النموذج (ويُسمى أيضاً سرقة النموذج) يستعلم عن نقطة نهاية الاستدلال على نطاق واسع، ثم يُدرّب نسخةً مُستنسخةً على الإجابات. في سجلاتك، يبدو المهاجم وكأنه عميلٌ مُستهلكٌ كبيرٌ للبيانات.
- مكان وجوده: يصنف مشروع OWASP استخراج النماذج تحت فئة LLM10:2025 الاستهلاك غير المحدود ويدرج جردًا مركزيًا للنماذج ضمن إجراءات التخفيف الخاصة به.
- لماذا تفشل الدفاعات؟ لا تحمي حدود معدل الوصول والمصادقة والمراقبة إلا نقاط النهاية التي تعرفها. أما نقاط نهاية الذكاء الاصطناعي الخفي فلا تحصل على أي منها.
الدفاع الأول: جردٌ للذكاء الاصطناعي يشمل جميع النماذج والوكلاء ونقاط الاستدلال التي يكشف عنها الكود الخاص بك، ويتم اكتشافه من المصدر قبل نشره. لا يمكنك حماية نقاط الاستدلال التي لم تقم بجردها.
يمكن سرقة نموذجك دون أن يمس أحد خوادمك.
أمضى فريقك شهورًا في تحسين نموذج يعتمد على بيانات خاصة. هذا النموذج موجود خلف واجهة برمجة تطبيقات (API) تستجيب لآلاف الطلبات يوميًا. تخيّل الآن أن منافسًا يعيد بناء معظم قيمته مقابل تكلفة استدعاءات واجهة برمجة التطبيقات هذه.
هذا هجوم لاستخراج النموذج. لا أحد يخترق بنيتك التحتية أو يقوم بتنزيل بياناتك. ببساطة، يطرح المهاجم على نموذجك عددًا كافيًا من الأسئلة المختارة بعناية، ويسجل الإجابات، ثم يدرب نسخة منه.
تُعالج معظم الفرق هذا الخطر بفرض حدود على معدل الطلبات، والتحقق من الهوية، ومراقبة المخرجات. هذه الضوابط فعّالة، لكنها تشترك في نقطة ضعف واحدة: فهي تحمي فقط نقاط نهاية الاستدلال المعروفة. في هذا الدليل، نشرح ماهية هجوم استخراج النماذج، وكيفية سرقة النماذج عمليًا، ولماذا يبدأ كل نظام دفاعي بجرد شامل.
ما هو هجوم استخراج النموذج؟
هجوم استخلاص النموذج هو هجوم يقوم فيه المهاجم بإعادة بناء نسخة وظيفية من نموذج التعلم الآلي عن طريق إرسال استعلامات إليه والتعلم من مخرجاته. يُعرف هذا الهجوم أيضًا بسرقة النموذج. لا يحتاج المهاجم أبدًا إلى الأوزان الأصلية أو بيانات التدريب أو شفرة المصدر، فالواجهة العامة كافية.
الفكرة ليست جديدة. فقد أظهرها الباحثون في مقارنة مع واجهات برمجة تطبيقات التنبؤ التجارية في عام 2016 (ترامير وآخرون، أمن USENIXفي عام 2024، استعاد فريق في جوجل ديب مايند جزءًا من نموذج لغة إنتاجي من خلال واجهة برمجة التطبيقات العامة الخاصة به (API).كارليني وآخرون). ميتري أطلس يتتبع نفس السلوك الذي تتبعه تقنية الخصم ضد أنظمة الذكاء الاصطناعي.
بالنسبة لتطبيقات ماجستير القانون، يدمج مشروع OWASP سرقة النماذج في LLM10:2025 الاستهلاك غير المحدوديصف هذا النص نوعين مختلفين: الاستخراج عبر استعلامات API المصممة، والتكرار الوظيفي، حيث يقوم النموذج المستهدف بإنشاء بيانات اصطناعية لضبط نموذج منافس.
هجوم استخراج النموذج: المصطلحات الرئيسية
يُعرف هذا التهديد نفسه بعدة أسماء. إليكم معنى كل اسم، وأوجه التشابه بينها.
| مصطلح | ماذا تعني |
|---|---|
| هجوم استخراج النموذج | إعادة بناء سلوك النموذج من استجابات الاستعلام الخاصة به |
| سرقة النماذج / سرقة النماذج | المرادفات الشائعة؛ يشمل سرقة النماذج أيضًا السرقة المباشرة لملفات الوزن |
| تكرار النموذج الوظيفي | استخدام مخرجات الهدف كبيانات تدريب لنموذج بديل |
| نموذج الظل | نسخة المهاجم المستنسخة، المدربة على تقليد الهدف |
كيف يعمل هجوم استخراج النموذج
تتبع جميع هجمات استخراج النماذج نفس الحلقة: العثور على نقطة نهاية، والاستعلام عنها على نطاق واسع، وتدريب نسخة منها.
- ابحث عن نقطة النهاية. يحدد المهاجم واجهة برمجة تطبيقات الاستدلال: واجهة خلفية للدردشة، وخدمة تصنيف، ونقطة نهاية للتضمينات، ونموذج داخلي يمكن للشريك الوصول إليه.
- صمم الاستعلامات. يتم اختيار المدخلات لتغطية تفاصيل النموذجcisيتم استخدام مساحة الأيونات بكفاءة، وأحيانًا يتم دمجها مع الحقن الفوري للحصول على إجابات أكثر ثراءً.
- اجمع النتائج. تُعدّ التصنيفات، ودرجات الثقة، واللوغاريتمات، وإكمال النصوص الكاملة، جميعها عوامل تُسرّب المعلومات. وكلما كانت الاستجابة أكثر ثراءً، زادت سرعة السرقة.
- درّب البديل. تصبح أزواج المدخلات والمخرجات المجمعة مجموعة تدريب لنموذج ظلي يحاكي النموذج الأصلي.
- استغل النسخة المستنسخة. تُستخدم النسخة لتجنب تكاليف الترخيص، أو المنافسة بشكل مباشر، أو التدرب على الهجمات العدائية دون اتصال بالإنترنت قبل إطلاقها على النموذج الحقيقي.
ما يجعل كشف سرقة النماذج أمراً صعباً هو أن كل طلب منها مشروع. تكمن الدلالة في حجم الطلبات ونمطها، وقبل كل شيء، في وجهة وصولها.
لماذا تفشل وسائل الدفاع المعتادة: فجوة المخزون
استخدم standard النصائح المُقدمة ضد هجمات استخراج النماذج سليمة: التحقق من هوية المُستدعين، وتحديد معدل الطلبات والتحكم فيه، وتقليص درجات الثقة في الاستجابات، ووضع علامات مائية على المُخرجات، ومراقبة أنماط الاستعلامات الشاذة. يتم تطبيق كل إجراء تحكم على كل نقطة نهاية. وهنا تحديدًا تكمن المشكلة.
تتغلغل تقنيات الذكاء الاصطناعي الآن في قواعد البيانات البرمجية بوتيرة أسرع من قدرة فرق الأمن على تتبعها. يقوم مطور بدمج حزمة تطوير البرمجيات الخاصة بإدارة دورة حياة البرمجيات في خدمة مصغرة. ويُتيح فريق البيانات نموذجًا مُحسَّنًا لأداة داخلية. ويُنشئ إطار عمل الوكلاء طبقة خدمة خاصة به. لا تخضع أي من هذه العمليات للمراجعة، ولا يظهر الكثير منها أبدًا في بوابة واجهة برمجة التطبيقات أو ملف المواصفات.
والنتيجة هي الذكاء الاصطناعي الخفي: نماذج ووكلاء ونقاط نهاية للاستدلال موجودة في بيئة الإنتاج ولكنها غير مدرجة في أي قائمة. نقطة نهاية لا يعرفها أحد لا تخضع لأي قيود على معدل الطلبات، ولا لمراجعة المصادقة، ولا للمراقبة. إنها هدف مثالي لهجوم استخراج النماذج.
يشير مشروع OWASP إلى نفس الاتجاه. ومن بين إجراءات التخفيف التي يقدمها لتحدي LLM10، يوصي المشروع بالحفاظ على جرد مركزي لنماذج التعلم الآلي. والمنطق بسيط: لا يمكنك حماية نقاط نهاية الاستدلال التي لم تقم بجردها.
ابدأ بجرد جميع نقاط النهاية: اكتشف كل نقطة نهاية، ثم قم بحمايتها.
يجيب جرد الذكاء الاصطناعي المفيد على أربعة أسئلة لكل أصل: ما هو، وأين تم الإعلان عنه، وما الذي يتصل به، وما الذي يحميه.
| سؤال الجرد | لماذا يُعد ذلك مهمًا في عملية استخراج النموذج؟ |
|---|---|
| ما هي النماذج ونقاط الاستدلال الموجودة؟ | كل نقطة نهاية غير مدرجة هي هدف استخراج غير محمي |
| أين يتم تعريفها في الكود؟ | الملكية: يجب على شخص ما إصلاح عنصر التحكم المفقود |
| ما هي البيانات والأدوات المتصلة؟ | إن النموذج المدرب على بيانات حساسة يكون أكثر قيمة للسرقة. |
| التي guardrails وهل تنطبق الضوابط؟ | يكشف عن ثغرات التغطية قبل أن يكتشفها المهاجم |
أفضل مكان لبناء هذا المخزون هو في شفرة المصدر. فالشفرة هي المكان الذي تُنشأ فيه نقطة النهاية، لذا فإن اكتشاف أصول الذكاء الاصطناعي في المستودع يعثر عليها قبل وصولها إلى مرحلة الإنتاج. كما أنها تربط كل أصل بمشروع، وهو commitوفريق، وهو ما يحول القائمة إلى عمل.
هناك عادتان إضافيتان تُكملان هذه العملية. الأولى هي تصدير المخزون كقائمة مواد مُولّدة بالذكاء الاصطناعي (AI-BOM) لكي ترى فرق الحوكمة والتدقيق الصورة نفسها. والثانية هي إعادة المسح عند كل تغيير، لأن جودة المخزون تعتمد على آخر تحديث له.
كيف يسد برنامج Xygeni الثغرة قبل بدء هجوم استخراج النموذج
شركة زيجيني للأمن الذكي يقوم ببناء مخزون الذكاء الاصطناعي مباشرةً من شفرة المصدر. ويكتشف نماذج الذكاء الاصطناعي، والوكلاء، وأطر عمل الذكاء الاصطناعي، وخوادم وأدوات MCP، والمطالبات. guardrailsمخازن المتجهات، ومجموعات البيانات، ونقاط نهاية الاستدلال، وأدوات ترميز الذكاء الاصطناعي عبر مستودعاتك، بما في ذلك ملفات النماذج مثل .onnx, .pt و .pklيتم رسم العلاقات أيضًا: أي وكيل يستخدم أي نموذج، وأي الأدوات التي ينفذها، وأي مجموعات البيانات التي يتدرب عليها.
يعرض كل أصل في قائمة أصول الذكاء الاصطناعي نماذجه ومزوديه، ومصادر البيانات المتصلة به مع علامات معلومات التعريف الشخصية، وتغطية الضوابط، وحقول الحوكمة مثل فئة مخاطر قانون الذكاء الاصطناعي للاتحاد الأوروبي. توضح طريقة عرض مخطط الذكاء الاصطناعي كيفية اتصال الوكلاء والنماذج والأدوات ومجموعات البيانات. بنقرة واحدة، يمكنك تصدير قائمة مكونات التعلم الآلي CycloneDX 1.6، بجوار حسابك. SBOM وCBOM.
من الجرد إلى الحماية:
- تم ربط اكتشاف المخاطر بمشروع OWASP. تغطي حزم الكشف جميع فئات OWASP LLM العشر الأولى، بما في ذلك LLM10 الاستهلاك غير المحدود، لذا فإن كل نتيجة تتحدث اللغة التي يستخدمها المدققون لديك.
- تم التحقق من عناصر التحكم في نقطة النهاية في الكود. أمان واجهة برمجة تطبيقات Xygeni يكتشف نقاط نهاية واجهة برمجة التطبيقات من التعليمات البرمجية والمواصفات ويشير إلى نقاط النهاية غير المصادق عليها، وحدود المعدل المفقودة، وواجهات برمجة التطبيقات الظلية التي انحرفت عن المواصفات.
- إثبات ذلك من خلال تطبيق التشغيل. يقوم برنامج Xygeni AI Pentesting باختبار التطبيق المنشور وإثبات نقاط الضعف التي يمكن استغلالها.
- أصلحها بسرعة. يقوم نظام فرز الذكاء الاصطناعي بترتيب نتائج الذكاء الاصطناعي حسب الأولوية، بينما يقوم نظام معالجة الذكاء الاصطناعي بإنشاء إرشادات إصلاح لجميع فئات OWASP LLM العشر.
يتم تشغيل كل ذلك كمسح ثابت في CI/CD أو محلياً، باستخدام البرمجيات كخدمة (SaaS)، on-premise وخيارات معزولة عن الشبكة. يمكن للفرق التي تحتاج إلى بقاء مرحلة المراجعة الدلالية داخل الشركة تشغيلها على نموذج استضافة ذاتية.
قائمة التحقق من منع هجمات استخراج النماذج
ثمانية عناصر تحكم، بالترتيب. العنصران الأولان يجعلان العناصر الستة الأخرى ممكنة.
- المعرضقم بجرد كل نموذج ووكيل ونقطة نهاية استدلال من شفرة المصدر، واحرص على تحديثها باستمرار. commit.
- امتلاكقم بتعيين مالك لكل أصل من أصول الذكاء الاصطناعي في المخزون.
- التحقّق من المُستخدم يتطلب الأمر مصادقة على كل نقطة نهاية استدلال، بما في ذلك النقاط الداخلية.
- الحد من معدلقم بتطبيق حدود المعدل والحصص وفترات انتهاء المهلة لكل متصل.
- تقليل المخرجاتأعد الحد الأدنى من المخرجات المطلوبة: احذف درجات الثقة واللوغاريتمات حيث لا يحتاجها المستخدمون.
- مراقبةمراقبة حجم الاستعلامات وأنماطها لإجراء فحص منهجي.
- بالماءضع في اعتبارك وضع علامات مائية على مخرجات النماذج الاحتكارية عالية القيمة.
- الحكمقم بتصدير قائمة مكونات الذكاء الاصطناعي لأغراض الحوكمة والتدقيق، وقم بربط النتائج بـ OWASP LLM10.
اكتشف نقاط نهاية الاستدلال الخاصة بك قبل أن يكتشفها المهاجمون
لا يتطلب هجوم استخراج النموذج سوى نقطة نهاية واحدة أغفلتها. اكتشف نوع الذكاء الاصطناعي الذي يستخدمه برنامجك فعليًا: تعرف على كيفية قيام Xygeni AI Security ببناء مخزون الذكاء الاصطناعي الخاص بك، or كتاب التجريبي.
الأسئلة الشائعة
ما الفرق بين هجوم استخراج النموذج وهجوم عكس النموذج؟
يقوم هجوم استخراج النموذج بنسخ النموذج نفسه: سلوكه وخصائصه.cisمنطق الأيونات. يستهدف عكس النموذج بيانات التدريب، محاولاً إعادة بناء السجلات الحساسة التي تعلم منها النموذج. كلاهما يسيء استخدام الوصول إلى الاستعلام، لكن الاستخراج يسرق الملكية الفكرية بينما يكشف العكس عن بيانات خاصة.
هل يمكن لهجوم استخراج النموذج أن يستهدف نماذج التعلم الآلي منخفضة المستوى، أم فقط نماذج التعلم الآلي الكلاسيكية؟
كلاهما. استهدفت الأبحاث المبكرة المصنفات الكامنة وراء واجهات برمجة تطبيقات التنبؤ. واليوم، تُدرج OWASP استخراج النموذج وتكرار النموذج الوظيفي ضمن مخاطر LLM بموجب معيار LLM10:2025 الاستهلاك غير المحدود، حيث يستخدم المهاجم مخرجات LLM نفسها لضبط بديل لها.
كيف أعرف أي من نقاط نهاية الاستدلال الخاصة بي معرضة لسرقة النماذج؟
ابدأ بجرد مُنشأ من شفرة المصدر: كل نموذج، ووكيل، ونقطة نهاية استدلال تُعلن عنها تطبيقاتك. ثم تحقق من كل منها للتأكد من المصادقة، وحدود المعدل، وكشف المخرجات. يكتشف Xygeni AI Security أصول الذكاء الاصطناعي عبر مستودعاتك ويُصدّرها كقائمة مكونات الذكاء الاصطناعي (AI-BOM)، ويُشير Xygeni API Security إلى نقاط النهاية التي تفتقر إلى المصادقة أو حدود المعدل.
