TL؛ DR
يشمل مصطلح "التهديدات الأمنية للذكاء الاصطناعي" أمرين مختلفين: الهجمات التي تستهدف أنظمة الذكاء الاصطناعي، والهجمات التي تستخدم الذكاء الاصطناعي كسلاح. تتطلب هذه القوائم ضوابط مختلفة، ومالكين مختلفين، وأدلة مختلفة، ومعظمها يخلط بينها، وهذا ما يجعل اتخاذ الإجراءات بناءً عليها صعباً للغاية. تستهدف القوائم الخمس الأولى أدناه نظام الذكاء الاصطناعي الخاص بك، بينما تستخدم القوائم الخمس الثانية الذكاء الاصطناعي ضد سلسلة التوريد الخاصة بك.
- تكمن التهديدات التي تواجه أنظمة الذكاء الاصطناعي في الغالب في التكوين، وليس في النموذج. نطاق الأداة، بيانات الاعتماد التي يعمل بها الوكيل، ملف القواعد، و
.mcp/servers.jsonالمدخل. لا يمكن الوصول إلى أي منها من نقطة نهاية النموذج، ولهذا السبب فإن فريق الهجوم وحده يعود نظيفًا. - تصل الهجمات التي تعتمد على الذكاء الاصطناعي في الغالب من خلال التبعيات، وليس من خلال محيطك. أسماء حزم وهمية مسجلة من قبل المهاجمين، وديدان ذاتية الانتشار تستخدم بيانات اعتماد المطورين، ومفاتيح موفر الذكاء الاصطناعي كهدف.
- تسعة من الأسئلة العشرة تتعلق بأمور محددة. أي خوادم MCP، وأي وكلاء، وأي نطاق، وأي بيانات اعتماد، وأي ملف قواعد، وأي حزمة. لا تجيب وثيقة السياسة على أي من هذه الأسئلة.
- يشترك كل واحد من العشرة في شرط مسبق. لا يمكنك الدفاع عن أصل ذكاء اصطناعي لم تقم برسم خريطته من قبل، مما يجعل الاكتشاف الخطوة التي تسبق الضوابط بدلاً من الخطوة التي تليها.
ما هما نوعا التهديدات الأمنية للذكاء الاصطناعي؟
معظم قوائم التهديدات الأمنية للذكاء الاصطناعي تخلط بين الاثنين، وهذا هو السبب في صعوبة اتخاذ إجراءات بشأنها.
- التهديدات التي تواجه أنظمة الذكاء الاصطناعي تعامل مع نظام الذكاء الاصطناعي الخاص بك كهدف. يقوم شخص ما بالتلاعب بنموذج، أو تسميم التعليمات التي يتبعها، أو إساءة استخدام الصلاحيات الممنوحة له. مهمة المدافع هي الاحتواء: الحد من ما يمكن أن يصل إليه نظام الذكاء الاصطناعي المخترق.
- الهجمات التي تعتمد على الذكاء الاصطناعي اعتبر الذكاء الاصطناعي أداةً في يد المهاجم. الهدف هو برامجك العادية: التبعيات، وبيانات الاعتماد، وأنظمة البناء، والمطورون. مهمة المدافع هي الكشف السريع، لأن اقتصاديات الهجوم قد تغيرت وزاد حجمه.
يحتاجون إلى ضوابط مختلفة، ومالكين مختلفين، وأدلة مختلفة. فريقٌ قام باختبار برنامج الدردشة الآلي الخاص به لم يفعل شيئًا حيال الاستيلاء غير المصرح به على أسماء النطاقات. فريقٌ يتمتع بفحص ممتاز للتبعيات قد لا يزال يُشغّل برنامجًا يتمتع بصلاحيات كتابة على مستودعات الإنتاج دون أي قيود على نطاق عمله. كلاهما يُشكّل تهديدًا لأمن الذكاء الاصطناعي، ولا يُغطي أيٌّ منهما الآخر.
التهديدات التي تواجه أنظمة الذكاء الاصطناعي: أكثر خمسة تهديدات شيوعًا
01. حقن فوري يصل إلى حوض الأدوات
يصل محتوى غير موثوق به، ويُدمج في موجه النظام، ويستطيع البرنامج على الطرف الآخر استدعاء الأدوات. ليس الموجه هو الثغرة الأمنية، بل المسار من المدخلات غير الموثوقة إلى القدرة الخطيرة.
لهذا السبب، فإنّ التصفية الفورية وحدها مخيبة للآمال. فهي تُقوّي أحد طرفي سلسلة العمليات، بينما يكمن السؤال المهم في ما إذا كان هناك أي حاجز وقائي بين المدخلات واستدعاء الأداة. قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانون يُبقي الحقن الفوري على رأس القائمة، ولكنه يقرنه بإفراط في استخدام السلطة لهذا السبب تحديداً.
ما الذي تبحث عنه: وصول مدخلات غير موثوقة إلى موجه النظام، واسترجاع سياق التغذية دون تنظيف، ومصارف أدوات يمكن الوصول إليها دون وجود حاجز وقائي بينها.
02. قواعد وملفات مهارات خبيثة
ملف القواعد عبارة عن نص عادي. commitيُشبه هذا النظام الوثائق، ويُراجعها، ويُرشد المساعد إلى ما يجب فعله. تجعل الأحرف ذات العرض الصفري الأسطر غير مرئية في pull request الفرق مع الحفاظ على وضوحه التام للوكيل.
ميتري أطلس يُصنّف هذا كباب خلفي لملف القواعد، دراسة حالة AML.CS0041. يُوافق المُراجع على اتفاقية التنسيق. يقرأ البرنامج تعليماتٍ لاستيراد البيانات من حزمة يتحكم بها المُهاجم دون الإفصاح عن أي شيءٍ بشأنها.
ما الذي تبحث عنه: تم تحليل ملفات القواعد وملفات المهارات وقوالب التوجيهات كشفرة بدلاً من نثر، مع الكشف عن الأحرف غير المرئية.
03. تكوين خادم MCP غير آمن
تكوين MCP هذا هو المكان الذي يتلقى فيه العميل أوامره وتتراكم فيه بيانات الاعتماد. كلا الجزأين يمثل مشكلة. CVE-2025-6514، الذي تم الكشف عنه في يوليو 2025، كان ثغرة أمنية خطيرة تسمح بحقن أوامر نظام التشغيل في جسر MCP واسع الاستخدام، وحصل على درجة خطورة 9.6 وفقًا لمعيار CVSS، مما يسمح بتنفيذ أوامر عشوائية على جهاز العميل عند الاتصال بخادم غير موثوق به.
يُعدّ جانب بيانات الاعتماد أسوأ لأنه سلبي. فقد كشفت دراسة أجريت عام 2026 عن وجود أكثر من 24,000 سرّ في ملفات تكوين MCP على منصة GitHub العامة، ولا يزال أكثر من 2,000 منها صالحًا.
ما الذي تبحث عنه: قائمة بخوادم MCP المستخدمة، وإصداراتها، وأدواتها المعلنة، واكتشاف الأسرار الذي يتم تشغيله على ملفات التكوين.
04. الوكالة المفرطة
يُشكّل العميل الذي مُنح صلاحيات واسعة وبيانات اعتماد طويلة الأمد ثغرةً أمنيةً قائمةً بانتظار أي فرصة لتصعيد الامتيازات. لا يشترط استغلال أي ثغرة حتى يُلحق الضرر. فالعميل المُربك والعميل المُخترق يُلحقان ضررًا مماثلًا عندما يمتلك كلاهما صلاحية الكتابة التي لم يكونا بحاجة إليها.
هذا هو العنصر الأقل جاذبية في القائمة والأكثر شيوعًا. كما أن حله هو الأرخص، وهو تقليص نطاق السؤال، ونادرًا ما يُطبّق هذا الحل لأن السؤال ليس ملكًا لأحد.
ما الذي تبحث عنه: ما هي الجهات الفاعلة الموجودة، وما الذي يمكن لكل منها استدعاؤه، وبموجب أي مؤهلات اعتماد، وما إذا كان أي شخص قد وافق على هذا النطاق.
05. النماذج المسمومة، ومجموعات البيانات، والاعتماد على الذكاء الاصطناعي
تعتمد بنية الذكاء الاصطناعي على حزم برمجية عادية وموارد مستضافة. يتم تنزيل النماذج من منصات عامة، بينما تُستقى مجموعات البيانات من مصادر متعددة. ويعاني كلا النظامين من مشكلة تتبع المصدر نفسها التي تعاني منها أي تبعية، مع أدوات أقل وفحص أقل بكثير.
ما الذي تبحث عنه: يتم التعامل مع النماذج والأطر ومجموعات البيانات كمكونات لسلسلة التوريد، مع نفس تحليل التركيب ونفس تتبع الثغرات الأمنية (CVE) مثل باقي تبعياتك.
الهجمات المدعومة بالذكاء الاصطناعي: خمسة أنواع تعيد تشكيل سلسلة التوريد الخاصة بك
06. القرفصاء غير المنظم
أظهرت الأبحاث التي عُرضت في مؤتمر USENIX Security عام 2025 أن 2.23 مليون عينة برمجية موزعة على 16 نموذجًا، وأن 19.7% من الحزم الموصى بها غير موجودة، مما أدى إلى ظهور أكثر من 205,000 اسم وهمي فريد. وتكرر حوالي 43% من هذه الأسماء في عمليات تشغيل متكررة لنفس موجه الأوامر، مما يجعلها قابلة للاستغلال.
لم يعد المهاجمون بحاجة إلى اختراق مسؤول الصيانة. يقومون بتسجيل الاسم الذي ابتكره وكيلك وينتظرون التثبيت. لا تحتوي الحزمة على توقيع أو إشعار، لأنها جديدة ولم يسبق لأحد رؤيتها.
ما الذي تبحث عنه: فحص البرامج الضارة الذي يعتمد على السلوك بدلاً من السمعة، ويتم تطبيقه على كل تبعية يضيفها الوكيل.
07. ديدان سلسلة التوريد ذاتية التكاثر
استخدم سبتمبر 2025 npm worm شكّل ذلك نقطة تحوّلٍ في أجهزة المطورين، حيث أصبحت هي آلية التوزيع لا الهدف. وتكرر هذا النمط على نطاق واسع حتى عام 2026. فكل بيانات اعتماد مطور مخترقة تنشر الدفعة التالية من الحزم المخترقة، ويتضاعف نطاق التأثير بدلاً من أن يزداد.
ما الذي تبحث عنه: نشاط نشر غير طبيعي، غير معتاد commit أنماط، واستخدام بيانات الاعتماد التي لا تتطابق مع السلوك الطبيعي للمطور.
08. استهداف الدول القومية لبيانات اعتماد الذكاء الاصطناعي
في مارس 2026، تم اختراق حزمة برمجية يبلغ عدد تنزيلاتها الأسبوعية حوالي 100 مليون تنزيل لفترة تُقاس بالساعات، وكان الهدف هو الحصول على مفاتيح واجهة برمجة التطبيقات (API) الخاصة بمزود الذكاء الاصطناعي. وقد تم اختيار هذه الفترة الزمنية لتكون قصيرة عمدًا، فهي كافية لجمع البيانات، وقصيرة بما يكفي لتقليل احتمالية اكتشاف الاختراق.
أصبحت بيانات اعتماد الذكاء الاصطناعي هدفاً رئيسياً بحد ذاتها، لأنها تتيح الحصول على موارد حاسوبية وإمكانية الوصول وهوية موثوقة. وقد ارتفعت الهجمات التي تهدف إلى سرقتها بشكل حاد بين أواخر عام 2025 وأوائل عام 2026.
ما الذي تبحث عنه: يتم التعامل مع مفاتيح مزود الذكاء الاصطناعي كأسرار بنفس طريقة الكشف والإلغاء التي يتم بها التعامل مع بيانات اعتماد السحابة.
09. برامج ضارة تم تصميمها أو زرعها باستخدام برنامج إدارة التعلم الآلي
بحلول عام 2026، وُثِّقت حالاتٌ استُخدم فيها نموذج لغوي كسلاح لزرع برمجيات خبيثة داخل سير عمل أحد الوكلاء. لا تكمن الأهمية في كون البرمجيات الخبيثة جديدة، بل في أن تحديد هوية المُنشئ لم يعد عائقًا، وبالتالي ازداد حجم البرمجيات الخبيثة التي تبدو مقنعة والمتاحة للمهاجم.
ما الذي تبحث عنه: كشف وهذا لا يعتمد على رؤية العينة من قبل.
10. مراجعة انهيار القدرة
هذا ليس هجومًا، ولهذا السبب هو الأخير، ولهذا السبب هو الأهم. عندما يُنتج برنامج ما ألف ملف في أسبوع، تتوقف مراجعة التعليمات البرمجية عن كونها إجراءً رقابيًا، وتتحول إلى مجرد قائمة انتظار. كل تهديد آخر في هذه القائمة يصبح أسهل عندما يُصبح آخر فحص بشري مُرهقًا.
ما الذي تبحث عنه: تم تصنيف النتائج حسب قابلية الاستغلال بدلاً من الخطورة المطلقة، وبالتالي فإن العدد القليل الذي يهدد الإنتاج يصل بالفعل إلى المطور.
تُشكّل عشرة تهديدات خريطةً. ويستغرق التعامل مع كلٍّ منها وقتًا أطول من مجرد منشور مدونة، لذا أجرينا نقاشًا مستفيضًا حولها. في هذه الحلقة من محادثات SafeDevيجلس خيسوس كوادرادو، الرئيس التنفيذي لشركة Xygeni، مع أتاناس نيكولوف، خبير DevSecOps وSSDLC قائد الفريق التقني، يتحدث عن البرمجيات الخبيثة متعددة الأشكال، والحقن الفوري، والتلاعب بالنماذج، وما الذي يصمد أمامها فعلياً. لا نموذج، لا بوابة.
لماذا لا تستطيع حماية أصول الذكاء الاصطناعي التي لم تقم بتحديد مواقعها؟
اقرأ الأسئلة العشرة مرة أخرى، وستجد النمط واضحاً. تسعة منها أسئلة حول أمور محددة: أي خوادم MCP، وأي وكلاء، وأي نطاق، وأي بيانات اعتماد، وأي ملف قواعد، وأي حزمة.
لا يمكن الإجابة عن أي من هذه الأسئلة من خلال وثيقة سياسة. بل تُجاب من خلال جرد، ومعظم المؤسسات لا تملك جردًا. وصل الذكاء الاصطناعي عبر مطورين يعملون بسرعة، دون طلب رسمي، أو عملية شراء، أو حتى إدخال في مستودع البيانات يُعرّف نفسه كذكاء اصطناعي.
هذا يجعل رسم الخرائط شرطًا مسبقًا وليس الخطوة الأولى. فبرنامج التهديدات الأمنية للذكاء الاصطناعي الذي يبدأ بالضوابط سيطبقها على الذكاء الاصطناعي الذي يعرفه، وهو جزء لا يمكن تحديد حجمه. يجب أن تأتي مرحلة الاكتشاف أولًا: النماذج، والأطر، ومجموعات البيانات، ونقاط نهاية الاستدلال، والوكلاء، وخوادم MCP، والمهارات، والمطالبات، وأدوات برمجة الذكاء الاصطناعي التي يستخدمها مطورو البرامج لديك فعليًا، مع العلاقات فيما بينها، لأن أي أصل بمعزل عن غيره لا يُخبرك إلا بالقليل، ويتركز الخطر في سلسلة التفاعلات.
استخدم إطار عمل NIST AI لإدارة المخاطر يُفضّل تطبيق الخرائط على القياس والإدارة لنفس السبب. إنها الوظيفة الأقل أهمية في الإطار، ومع ذلك يعتمد عليها كل شيء آخر.
ما هي التهديدات الأمنية المتعلقة بالذكاء الاصطناعي التي يجب عليك اتخاذ إجراء بشأنها أولاً؟
ليست الأكثر تطوراً، بل الأكثر سهولة في الوصول إليها.
- هذا الاسبوع: احسب عدد خوادم MCP الخاصة بك، وقم بتشغيل برامج كشف الأسرار على ملفات تكوينها. يُعدّ التهديد رقم 03 الأعلى من حيث نسبة التعرض للجهد المبذول في القائمة، ومع ذلك لم يقم أحد تقريبًا بالبحث عنه.
- هذا الشهر: حدد عملاءك ودوّن ما يمكن لكل منهم فعله وبموجب أي صلاحيات. هذا يعالج التهديد رقم 04، وهو الأكثر شيوعًا والأقل تكلفة في الحد منه.
- هذا الربع: ضع فحصًا سلوكيًا للبرمجيات الخبيثة أمام كل تبعية يضيفها الوكيل. هذا يغطي التهديدات 06 و07 و09 في آن واحد، لأن جميعها تتجاوز الفحوصات القائمة على السمعة لكونها جديدة.
كل شيء آخر يمكن أن ينتظر خلف هؤلاء الثلاثة، لأن كل شيء آخر يفترض أنك تعرف بالفعل ما لديك.
لن تكون المؤسسات التي ستتعامل بكفاءة مع تهديدات أمن الذكاء الاصطناعي في عام 2027 هي تلك التي تمتلك أفضل تقييمات النماذج، بل ستكون تلك التي تستطيع الإجابة، في أي يوم ثلاثاء، عن نوع الذكاء الاصطناعي المُستخدم في برامجها وما هو نطاق صلاحياته. هذا هو الوضع. زيجيني تم بناؤه حول: الاكتشاف المستمر لكل أصول الذكاء الاصطناعي عبر المستودعات و pipelines، يتم تقييم المخاطر وفقًا للأطر التي يتعرف عليها مدققو الحسابات لديك بالفعل، وفحص سلسلة التوريد الذي يكتشف ما ليس له توقيع بعد.
عشرة تهديدات، فئتان، وخريطة واحدة لكل منهما.
الأسئلة الشائعة
هل تختلف التهديدات الأمنية المتعلقة بالذكاء الاصطناعي حقاً عن التهديدات الأمنية العادية للتطبيقات؟
جزئيًا. العواقب معروفة: تنفيذ التعليمات البرمجية، وسرقة بيانات الاعتماد، وكشف البيانات. ما يتغير هو نقطة الدخول وسرعتها. ملفات التكوين التي كانت خاملة سابقًا تحمل الآن تعليمات يتم تنفيذها، وقد انخفضت تكلفة إنتاج المهاجم لتعليمات برمجية خبيثة مقنعة. لا تزال ضوابطك الحالية سارية، لكنها لم تعد تغطي كامل نطاق الحماية.
هل يُعالج اختبار نماذجنا من قبل فرق الاختراق معظم هذه التهديدات؟
يُعالج هذا جزءًا من إحدى هذه المشكلات. يُجيب فريق الاختراق الأحمر على سؤال ما إذا كان بالإمكان إقناع نموذج ما برفض أمرٍ ما، وهو أمرٌ مفيدٌ حقًا. لا يستطيع الفريق الأحمر رؤية نطاق الأداة، أو بيانات الاعتماد، أو ملف القواعد، أو إعدادات MCP، لأن أيًا منها غير قابل للوصول إليه عبر نقطة نهاية النموذج. يتعايش تقرير فريق الاختراق الأحمر النظيف مع وكيل يتمتع بصلاحيات مفرطة بشكلٍ خطير دون أي تناقض.
أي من هذه التهديدات الأمنية المتعلقة بالذكاء الاصطناعي يتم التقليل من شأنها بشكل أكبر؟
إنها تتمتع بقدرة فائقة على التأثير، بفارق شاسع. فهي تفتقر إلى أي ثغرة أمنية مُثبتة (CVE)، ولا يوجد استغلال لها يُمكن إثباته، ولا يوجد مُورّد يُسوّق منتجًا مُخصصًا لها، لذا فهي لا تُثير أي شعور بالإلحاح. كما أنها تُشكّل الفرق بين حادثة مُنحصرة وأخرى غير مُنحصرة، لأن النطاق هو ما يُحدد مدى انتشار أي شيء بعد الخطأ الأول.
كيف تُغير الهجمات التي يقودها الذكاء الاصطناعي ما يجب علينا قياسه؟
يُحوّلون المقياس المفيد من الخطورة إلى الوقت. فعندما تُنشأ الحزم الخبيثة بوتيرة أسرع من نشر التوقيعات، يصبح "عدد المشكلات الحرجة المفتوحة" أقل أهمية من "سرعة الإبلاغ عن أي شيء جديد". قِس الفجوة الزمنية بين دخول تبعية ما إلى قاعدة التعليمات البرمجية الخاصة بك وفحصها، والفجوة الزمنية بين الإبلاغ عن المشكلة ووصولها إلى مطوّر قادر على اتخاذ الإجراء اللازم.
