ما هو الأمن السيبراني القائم على الذكاء الاصطناعي؟

الأمن السيبراني القائم على الذكاء الاصطناعي هو ممارسة تأمين الذكاء الاصطناعي كجزء من نقاط الضعف في نظامك: النماذج، ومجموعات البيانات، والوكلاء، وخوادم MCP، والمطالبات، والتعليمات البرمجية المولدة بواسطة الذكاء الاصطناعي داخل برامجك، بالإضافة إلى أساليب الهجوم الجديدة التي تستهدفها. كما يشمل الاتجاه المعاكس، أي استخدام الذكاء الاصطناعي لتعزيز الدفاع، لكن الاتجاه الأول هو الأكثر عرضة للاختراق اليوم. هذه هي الإجابة المختصرة على سؤال ما هو الأمن السيبراني القائم على الذكاء الاصطناعي. من المهم أن تكون مستعدًاcisانتبه لذلك، لأن المصطلح يُستخدم لشيئين مختلفين تمامًا، وشراء الشيء الخطأ يترك الآخر دون حماية.

معنى الأمن السيبراني للذكاء الاصطناعي، في اتجاهين #

ينقسم معنى الأمن السيبراني للذكاء الاصطناعي على خط بسيط: هل تحمي الذكاء الاصطناعي، أم أنك محمي من قبله؟

تأمين الذكاء الاصطناعي. تعتمد مؤسستكم على الذكاء الاصطناعي في البناء والتطوير. وهذا يُدخل أصولاً لم يتم حصرها، وأنماط فشل لم تُصمم الأدوات التقليدية للتعامل معها: مثل نافذة منبثقة تقبل مدخلات غير موثوقة، أو وكيل يتمتع بصلاحيات تفوق احتياجات مهمته، أو مجموعة بيانات تُفسد نموذجاً، أو خادم MCP لم تتم الموافقة عليه. هنا تكمن المشكلة.

الذكاء الاصطناعي لأغراض الأمن. تطبيق التعلم الآلي على الكشف والتصنيف والتفسير والمعالجة: تقليل التنبيهات غير الضرورية، وتحديد أولويات النتائج القابلة للاستغلال، وكتابة الحلول. من هنا تنبع الكفاءة.

معظم البائعين ومعظم المقالات يدمجون بينهما. لكن المعنى المهم عمليًا في مجال الأمن السيبراني للذكاء الاصطناعي هو أنهما برنامجان منفصلان بمالكين مختلفين. أحدهما يمثل مشكلة في نقاط الضعف الأمنية، والآخر يمثل مشكلة في الإنتاجية.

ما الذي يحميه الأمن السيبراني للذكاء الاصطناعي؟ #

جرد قبل عملية الرقابة. كل عنصر أدناه يمثل أصلاً أصبح فريق الأمن مسؤولاً عنه الآن.

• الموديلات سواء كانت مستضافة ذاتيًا، أو مضبوطة بدقة، أو يتم استدعاؤها من خلال واجهة برمجة تطبيقات الموفر
• قواعد البيانات تُستخدم للتدريب والضبط الدقيق والتقييم والاسترجاع
• الوكلاء وخوادم الوكلاء التي تعمل بشكل مستقل داخل أنظمتك
• خوادم MCP التي تكشف الأدوات والبيانات لهؤلاء العملاء
• المطالبات، وملفات المهارات، وملفات القواعد و guardrailsطبقة التكوين التي تحكم سلوك الذكاء الاصطناعي
• نقاط نهاية الاستدلال والمؤهلات التي تصل إليهم
• مساعدو ترميز الذكاء الاصطناعي قيد الاستخدام عبر فرقك، والرمز الذي يقومون بإنشائه
• الاعتمادات على الذكاء الاصطناعي: الأطر والحزم التي تستخدمها مجموعة أدوات الذكاء الاصطناعي الخاصة بك

لاحظ قلة كمية كود التطبيق في ذلك. هذا ما قبلcisإيلي لماذا SAST يمكن لأداة، وعميل EDR، وأداة فحص حالة السحابة أن تُبلغ جميعها عن حالة جيدة بينما يقوم عميل على جهاز كمبيوتر محمول بتسريب البيانات عبر أداة البريد الإلكتروني الخاصة به التي قمت بتوصيلها. لا يُعد أي منهما رمز تطبيق، لذا فهما غير مشمولين بالأدوات التي تستخدمها حاليًا.

الهجمات الثلاث التي لا وجود لها إلا بسبب الذكاء الاصطناعي #

إن معرفة أي عائلة تنظر إليها تخبرك أين يكمن التحكم، وهنا يتوقف معنى الأمن السيبراني للذكاء الاصطناعي عن كونه مجرد فكرة مجردة.

تستهدف العائلة الأولى تعليمات النموذج. احتلت الحقنة الفورية المرتبة الأولى في قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانون منذ وجود القائمة، ولسبب بسيط: أي نقطة يقرأ فيها النموذج نصًا لم يكتبه بنفسه تُعد مدخلًا للهجوم. والنسخة الخطيرة هي غير المباشرة. لا أحد يكتب الهجوم، بل يسترجعه النموذج من تذكرة دعم، أو صفحة ويب، أو... pull request تعليق أو مستند قام شخص ما بتحميله. لا يستطيع النموذج التمييز بين التعليمات والمحتوى، لذا فهو يتبع كليهما. بمنح هذا النموذج أدوات، تتحول التقنية نفسها إلى حقن أدوات: غيّر ما يعتقده الوكيل أن الأداة تفعله، وسوف تتصرف ضدك باستخدام بيانات اعتمادك. الإفراط في منح الصلاحيات هو العامل المضاعف. إن امتلاك الوكيل صلاحيات أوسع مما تتطلبه مهمته هو الفرق بين مجرد إزعاج وحادثة.

تستهدف المجموعة الثانية طبقة التكوين. تُحدد المطالبات وملفات القواعد وملفات المهارات وتعريفات خادم MCP ما يفعله الذكاء الاصطناعي في بيئتك، ولا يُعد أي منها جزءًا من شفرة التطبيق. وقد أظهرت ثغرة ملف القواعد مدى انتشار هذه الثغرة: إذ تحمل أحرف يونيكود عديمة العرض تعليمات لا يستطيع المراجع البشري رؤيتها، ويُطيعها المساعد، ولا يُشير إليها أبدًا في رده. هذه التقنية مُفهرسة في ميتري أطلس كما هو الحال في AML.CS0041. تحتفظ الطبقة نفسها بشكل روتيني ببيانات اعتماد الموفر كنص عادي وتمنح المساعدين إمكانية الوصول للقراءة إلى مساحة أكبر بكثير من نظام الملفات مما كان مقصودًا. الترميز الوكيل, هذه الطبقة هي بمثابة عجلة القيادة، ولا يكاد أحد يراجعها.

تستهدف المجموعة الثالثة سلسلة توريد الذكاء الاصطناعي. تصل النماذج ومجموعات البيانات والحزم البرمجية المرتبطة بها من مصادر خارجية. يُعدّ الاستيلاء العشوائي على أسماء الحزم البرمجية أوضح مثال على ذلك: إذ تقوم نماذج اللغة بابتكار أسماء حزم برمجية، ثم يقوم المهاجمون بتسجيلها، ويقوم النظام بتثبيت شفرة المهاجم بناءً على طلبه. وقد كشفت دراسة عُرضت في مؤتمر USENIX Security 2025 أن 19.7% من الحزم التي توصي بها نماذج اللغة غير موجودة، وأن الأسماء المُختلقة تتكرر بشكل كافٍ لاستغلالها. إلى جانب ذلك، توجد بيانات تدريب واسترجاع مُلوثة، وبيانات مُضمّنة تُسرّب موادها المصدرية، وخوادم MCP غير موثوقة مُتصلة مباشرةً بالنظام، وأُطر عمل ذكاء اصطناعي ضعيفة مُدمجة كاعتمادات.

يكمن تحت كل هذه العناصر الثلاثة ذكاء اصطناعي خفي: النماذج، والعملاء، والمساعدون، و خوادم MCP يتم تشغيلها بالفعل دون موافقة أو مراجعة أو جرد. هذا هو الوضع الافتراضي في معظم المؤسسات، ولهذا السبب تكون أول عملية تحكم دائمًا عبارة عن قائمة.

ما الذي ليس كذلك؟ #

إنها ليست حوكمة للذكاء الاصطناعي. تُجيب الحوكمة على سؤال ما إذا كان ينبغي استخدام نموذج معين وتحت أي سياسة. أما الأمن السيبراني للذكاء الاصطناعي فيُجيب على سؤال ما إذا كان النموذج والوكيل والربط بينهما عرضة للهجوم.

إنه ليس فلترًا أمام برنامج الدردشة الآلي. يُعدّ تصفية المطالبات أثناء التشغيل أحد عناصر التحكم العديدة. فهو لا يرى أي شيء عن خادم MCP على جهاز الكمبيوتر المحمول الخاص بالمطور، أو ملف القواعد المعطوب في المستودع، أو بيانات الاعتماد في تكوين الذكاء الاصطناعي.

هذا الأمر غير مشمول بما تقوم بتشغيله بالفعل. تتوقف حماية التطبيقات التقليدية عند المستودع ولا تُدرك ماهية النموذج. تراقب أدوات نقاط النهاية نظام التشغيل ولا تفهم الحزم أو خوادم MCP أو المساعدين. تقع هجمات الذكاء الاصطناعي في الفجوة بينهما.

الأمر لا يقتصر فقط على الذكاء الاصطناعي التوليدي. يُعد التعلم الآلي الكلاسيكي في الاحتيال والتسعير وتقييم المخاطر هدفًا أيضًا، من خلال التسميم والتهرب واستخراج النماذج.

الأطر التي تحدد هذا المجال #

قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانونالتصنيف العملي لمخاطر تطبيقات ماجستير القانون، وهو التصنيف الذي تعتمد عليه معظم فرق الأمن في ربط النتائج.

قائمة OWASP لأهم 10 ثغرات أمنية في تطبيقات الوكلاء لعام 2026القائمة المصاحبة للأنظمة المستقلة التي تستخدم الأدوات، والتي نُشرت في ديسمبر 2025

مشروع OWASP GenAI للأمن: الجهد الشامل، بما في ذلك أمن البيانات، وإرشادات خادم MCP، وموارد فريق الهجوم الأحمر

إطار عمل NIST AI لإدارة المخاطر وملف تعريف الذكاء الاصطناعي التوليدي الخاص به: مفردات الحوكمة التي تعترف بها الجهات التنظيمية ومجالس الإدارة

ميتري أطلس: قاعدة معارف التقنيات الخصومية لأنظمة الذكاء الاصطناعي، مع دراسات حالة واقعية

قانون الاتحاد الأوروبي للذكاء الاصطناعيالإطار القانوني، بما في ذلك واجبات التوثيق الفني التي يساعدك جرد الذكاء الاصطناعي على الوفاء بها: الإطار القانوني، بما في ذلك واجبات التوثيق الفني التي يساعدك جرد الذكاء الاصطناعي على الوفاء بها

من أين أبدا #

المخزون. اعثر على كل نموذج ومجموعة بيانات ووكيل وخادم MCP ومساعد ذكاء اصطناعي قيد الاستخدام، من خلال التعليمات البرمجية والتبعيات والتكوين بدلاً من إجراء مسح.

رسم خريطة للعلاقات. يكمن الخطر في البنية التحتية: أي وكيل يصل إلى أي أداة، وأي مجموعة بيانات تغذي أي نموذج.

اقرأ طبقة التكوين. تعامل مع المطالبات وملفات المهارات وملفات القواعد وتعريفات MCP كعناصر أمنية وقم بمراجعتها مثل التعليمات البرمجية.

أذونات النطاق. امنح كل وكيل أضيق نطاق للأدوات وأقل قدر من الاستقلالية التي تسمح بها وظيفته.

فرض تطبيقها في مكان تشغيلها. تتركز معظم مخاطر الذكاء الاصطناعي على أجهزة المطورين، لذلك يجب تطبيق السياسة عند نقطة النهاية، قبل تنفيذ خادم غير معتمد أو حزمة ضارة.

تأمين الذكاء الاصطناعي الذي تستخدمه والذكاء الاصطناعي الذي تقوم ببنائه #

الإجابة العملية على سؤال ما هو الأمن السيبراني القائم على الذكاء الاصطناعي هي أنه يبدأ بالرؤية وينتهي بالتنفيذ. يكتشف Xygeni كل أصول الذكاء الاصطناعي في نظامك SDLCيشمل ذلك النماذج، والوكلاء، وخوادم MCP، ومجموعات البيانات، وملفات المهارات، والمطالبات غير المُعلنة، ويرسم خريطة لكيفية اتصالها، ويكشف المخاطر الخاصة بها: حقن المطالبات والأدوات، والتعليمات الخبيثة في القواعد وملفات المهارات، وتكوين MCP غير الآمن، والأسرار في ملفات الذكاء الاصطناعي، وتوابع الذكاء الاصطناعي المُستغلة. تتوافق النتائج مع قائمة OWASP لأهم 10 مخاطر لتطبيقات إدارة دورة حياة التطبيقات، وتُشير إلى الملف والسطر المُحددين. يوفر AI-BOM للمدققين أداةً قابلةً للدفاع، ويتم تطبيق السياسة على مستوى المطور، حيث تتركز معظم مخاطر الذكاء الاصطناعي.

ينطبق نفس الذكاء على نتائج الماسحات الضوئية التي تمتلكها بالفعل، لذا فإنّ أمن الذكاء الاصطناعي يُوسّع نطاق نظامك الأمني ​​بدلاً من استبداله. تعرّف على الأجهزة التي تتصل بها برامجك الأمنية على زيجيني.

الأسئلة الشائعة #