TL؛ DR
كل مجلس إدارة يسأل الآن عن مخاطر الذكاء الاصطناعي، ومعظم فرق الأمن تجيب بالصفات بدلاً من الأرقام. تحدد أطر الحوكمة ما يجب إدارته، لكنها لا تحدد ما يجب حسابه. وتأتي جميع مقاييس مخاطر الذكاء الاصطناعي هذه من مصدر واحد: الشفرة البرمجية التي تستخدمها مؤسستك بالفعل.
- تتكون استراتيجية الذكاء الاصطناعي الوكيل من ثلاث طبقات، وواحدة منها فقط هي النموذج. ما يكتبه الوكيل، وما هو مبرمج عليه الوكيل، وما يسترجعه الوكيل. تقيس معظم البرامج الأول وتتجاهل الاثنين الآخرين.
- نصف قطر الانفجار غير موجود في النموذج. يكمن ذلك في ملف المهارات، وتكوين MCP، ونطاق الأداة، وبيانات الاعتماد التي يعمل بها الوكيل. يتعايش تقييم النموذج النظيف مع وكيل يتمتع بصلاحيات زائدة بسلاسة.
- تسعة مقاييس لمخاطر الذكاء الاصطناعي، كل منها عبارة عن رقم وليس صفة. أصول الذكاء الاصطناعي غير المعتمدة، ومسارات الحقن السريع التي تصل إلى مستودع الأدوات، والأسرار في
.mcp/servers.json، التبعيات المضافة بواسطة الوكيل تم وضع علامة عليها قبل وجود التوقيع. - إذا لم تتمكن من تحقيق الرقم المطلوب هذا الربع، فإن المشكلة ليست في المقياس. الجرد هو. ابدأ بثلاث عمليات جرد، وليس ببرنامج.
ماذا يعني مصطلح "مخاطر الذكاء الاصطناعي" فعلياً عندما تكون أنت من يقوم بشحن البرنامج؟
اسأل عشرة أشخاص عن معنى مخاطر الذكاء الاصطناعي، وستحصل على عشر إجابات. تحيز النموذج. الهلوسة. تسريب البيانات. التعرض للمساءلة التنظيمية. فقدان الوظائف. كلها أمور حقيقية، وكلها تستحق الاهتمام، ولا يمكن لفريق أمني الإجابة عن أي منها ظهر يوم ثلاثاء.
هناك نسخة أضيق من السؤال يمكن لفريق الأمن أن يتولاها فعلياً: ما هي تقنيات الذكاء الاصطناعي التي تعمل داخل البرامج التي نبنيها، وما الذي يمكنها الوصول إليه، وماذا يحدث عندما يتلاعب بها شخص ما. يحتوي هذا الإصدار على إجابة، والإجابة موجودة في مستودعاتك و pipelineبدلاً من ذلك، في وثيقة سياسة.
هذا هو نوع مخاطر الذكاء الاصطناعي الذي تتناوله هذه المقالة. ليس لأن مسائل الحوكمة غير مهمة، بل لأن الإجابة على مسائل الحوكمة لا يمكن أن تتم قبل الإجابة على هذا السؤال. يطلب منك إطار العمل حصر أنظمة الذكاء الاصطناعي لديك، لكنه لا يخبرك بأن هذا الحصر موجود في مكان ما. .mcp/servers.json ملف لم يفتحه أحد منذ ذلك الحين commitتيد.
لماذا تقيس معظم برامج إدارة المخاطر القائمة على الذكاء الاصطناعي الشيء الخطأ؟
ثلاثة أنماط للفشل، ومعظم المنظمات تطبق اثنين منها على الأقل.
- قياس التبني بدلاً من التعرض. إنّ عبارة "72% من مطوّرينا يستخدمون أدوات الذكاء الاصطناعي" هي مقياس إنتاجية مُغلّف بشعار أمني، ولا تُخبرك شيئاً عن إمكانيات هذه الأدوات.
- قياس النموذج بدلاً من النظام. يُجيب اختبار نقطة النهاية من قِبل فريق الهجوم الأحمر على سؤال ما إذا كان بالإمكان إقناع نموذج ما بقول شيء لا ينبغي له قوله. لكنه لا يُجيب على سؤال ما سيحدث لاحقًا، لأن نطاق التأثير يكمن في نطاق الأداة، وبيانات الاعتماد التي يعمل بها الوكيل، وملفات التكوين التي تُحدد كليهما. يتعايش تقييم نموذج نظيف مع وكيل يتمتع بصلاحيات مفرطة بسلاسة تامة.
- قياس ما يسهل عده. عدد سياسات الذكاء الاصطناعي المنشورة. عدد الموظفين الذين أكملوا تدريباً على الذكاء الاصطناعي. هذه الأرقام ترتفع باستمرار ولا ترتبط بأي شيء.
استخدم إطار عمل NIST AI لإدارة المخاطر يُوضح هذا الإطار أن القياس هو إحدى وظائفه الأساسية الأربع، إلى جانب الحوكمة والتخطيط والإدارة. وهو إطار قائم على النتائج بدلاً من كونه توجيهيًا، وهذا صحيح بالنسبة لـ standard وغير مفيد يوم الثلاثاء. لا يزال عليك أن تقرر ما الذي يجب حسابه.
ما هي مقاييس مخاطر الذكاء الاصطناعي التي تخبرك بشيء ما فعلاً؟
تسعة مقاييس. كل منها عبارة عن رقم، وكل منها يتغير عندما يتغير تعرضك، ويمكن إنتاج كل منها من خلال التعليمات البرمجية بدلاً من الاستبيان.
| متري | لماذا يهم | من أين يأتي هذا الرقم |
|---|---|---|
| 01إجمالي الأصول المكتشفة من الذكاء الاصطناعي، والتغيير منذ الشهر الماضي | لا يمكنك الإبلاغ عن مخاطر الذكاء الاصطناعي التي لم تقم بحسابها. فالاتجاه أهم من العدد المطلق. | الاكتشاف المستمر من النماذج، والأطر، ومجموعات البيانات، ونقاط نهاية الاستدلال، والوكلاء، وخوادم MCP، والمهارات، وأدوات برمجة الذكاء الاصطناعي |
| 02نسبة الأصول غير المعتمدة من الذكاء الاصطناعي من إجمالي الأصول | هذا هو معدل الذكاء الاصطناعي الخفي الخاص بك. وهو المقياس الأكثر قابلية للاستشهاد به لتقييم مخاطر الذكاء الاصطناعي بالنسبة لمجلس الإدارة | يتم تتبع حالة الموافقة لكل أصل وفقًا لسياستك |
| 03أصول الذكاء الاصطناعي بدون مالك مُسمى | الأصل الذي لا يملكه أحد هو أصل لن يصلحه أحد. عادةً ما يكون الرقم الأقبح في المجموعة | تتبع الملكية مقابل الأصل |
| 04مسارات حقن سريعة تصل إلى مستودع الأدوات | لا تُشكل المدخلات غير الموثوقة التي تصل إلى موجه النظام مشكلة إلا إذا كان هناك شيء خطير في الطرف الآخر. | تم ربط اكتشاف المخاطر بواسطة الذكاء الاصطناعي بـ قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانون |
| 05خوادم MCP قيد الاستخدام، وعدد الخوادم التي تحمل نتائج البحث. | يُعد تكوين MCP هو المكان الذي يتلقى فيه الوكيل أوامره. وهو أيضًا المكان الذي تتراكم فيه بيانات الاعتماد | تم تحليل تكوين خادم MCP كأداة أمنية. |
| 06أسرار موجودة في ملفات تكوين الذكاء الاصطناعي | كشفت الأبحاث التي أجريت عام 2026 عن وجود أكثر من 24,000 سرّ في ملفات تكوين MCP على منصة GitHub العامة، مع بقاء أكثر من 2,000 منها صالحة. | كشف الأسرار عبر التعليمات البرمجية، والتكوينات، والحاويات، و pipelines |
| 07تم وضع علامة على التبعيات التي أضافها الوكيل قبل وجود توقيع عام. | يقوم العملاء بسحب الحزم بسرعة، والاسم الذي ابتكره نموذجك يمثل سطح هجوم قابل للاستغلال. | الإنذار المبكر بالبرامج الضارة، الكشف عن الأدلة متبوعًا بالتحقق باستخدام الذكاء الاصطناعي |
| 08نسبة نتائج الذكاء الاصطناعي التي يمكن الوصول إليها والتي يتم تطويرها بنشاط | يفصل هذا بين الأعمال المتراكمة التي لن تتمكن من إنجازها أبدًا والعمل الذي يغير من مستوى تعرضك للمساءلة | قمع تحديد أولويات الذكاء الاصطناعي |
| 09نسبة المؤلفين بواسطة وكلاء pull requests تم دمجها مع موافقة بشرية | المقياس الذي سيطلبه المنظم للحوكمة، والمقياس الذي لا يتتبعه أحد | Pull request تحليل وبوابات الموافقة |
إذا اخترتَ معيارًا واحدًا فقط، فاختر المعيار الثاني. نسبة الأصول غير المعتمدة إلى إجمالي أصول الذكاء الاصطناعي هي النسبة التي تبقى بعد تحويلها من فريق الأمن إلى عملية التدقيق. commitتي شيرت، ويتحرك عندما تفعل شيئًا ما بالفعل.
ما الذي يجب أن تغطيه استراتيجية الذكاء الاصطناعي الفاعل؟
ثلاث طبقات. الخطأ الذي يقع فيه معظم الناس هو البدء بالطبقة الأولى والتوقف عندها.
- الطبقة الأولى: ما يكتبه الوكيل. يحمل الكود المُولّد نفس فئات الثغرات الأمنية الموجودة في الكود البشري، وقد أظهرت الأبحاث التي تعود إلى عام 2022 باستمرار أن نسبة كبيرة من البرامج المُولّدة بواسطة الذكاء الاصطناعي تحتوي على ثغرات أمنية. هذه الطبقة هي الأكثر شيوعًا، ولهذا السبب تحديدًا تستحوذ على كل هذا الاهتمام.
- الطبقة الثانية: ما الذي تم توصيل الوكيل به. ملفات المهارات، وملفات القواعد، وإعدادات خادم MCP، ونطاقات الأدوات، وبيانات الاعتماد التي يعمل بها الوكيل. هذه هي الطبقة التي تحدد مدى انتشار الهجوم الناجح، وهي غير مرئية لأي شيء يختبر النموذج من خلال نقطة النهاية الخاصة به. ميتري أطلس يُفصّل هذا الأمر بشكل مباشر: دراسة حالة "الباب الخلفي لملف القواعد"، AML.CS0041، تصف الأحرف عديمة العرض في ملف القواعد التي تحوّل الوثائق إلى تعليمات ينفذها الوكيل بصمت. يقوم المراجع بقراءة pull request لا يرى شيئاً.
- الطبقة الثالثة: ما يجلبه الوكيل. التبعيات، والنماذج، ومجموعات البيانات، والأدوات الخارجية. كشف بحثٌ عُرض في مؤتمر USENIX Security عام 2025 عن وجود 2.23 مليون عينة برمجية موزعة على 16 نموذجًا، ووجد أن 19.7% من الحزم الموصى بها غير موجودة، مما أدى إلى ظهور أكثر من 205,000 اسم وهمي فريد. لم يعد المهاجمون بحاجة إلى اختراق جهة الصيانة، بل يسجلون الاسم الذي ابتكره برنامجك وينتظرون.
تُنتج استراتيجية الذكاء الاصطناعي الوكيلة التي تغطي الطبقة الأولى فقط تقريرًا واضحًا وملفًا تعريفيًا لمخاطر الذكاء الاصطناعي دون تغيير. قائمة OWASP لأهم 10 مخاطر لتطبيقات ماجستير القانون وينعكس هذا في بنيته الخاصة: فالسلطة المفرطة تحتل أعلى قائمة الأولوياتcisلأنها مشكلة في الأسلاك، وليست مشكلة في الطراز.
كيف يمكنك تطبيق ذلك دون إبطاء عمل العملاء؟
الغريزة هي فرض قيود على كل شيء. لكن هذا يفشل لأن الهدف الأساسي من هذا النظام هو زيادة الإنتاجية، وأي إجراء تحكم يقلل الإنتاجية إلى النصف يُزال في غضون ثلاثة أشهر.
ثلاثة مبادئ تنفيذية لا تزال قائمة:
- قم بالقياس بشكل مستمر، وقم بالبوابة بشكل انتقائي. يمكن جمع جميع مقاييس مخاطر الذكاء الاصطناعي التسعة في كل عملية مسح دون حظر أي شيء. خصص البوابات الأمنية الصارمة لمجموعة صغيرة من الحالات التي يكون فيها الفشل غير قابل للإصلاح: مثل وجود تبعية خبيثة، أو سر مكشوف، أو نموذج غير معتمد يتعامل مع بيانات خاضعة للتنظيم.
- ضع الأمن حيث يوجد العميل بالفعل. يتصل وكيل عبر بروتوكول MCP بمنصة الأمان أثناء قيامه بإنشاء وفحص ما كتبه، ثم يُجري تعديلات متكررة على الإصلاحات حتى يفي الكود بالمعايير المطلوبة. لا يوجد تدخل بشري في هذه المرحلة، ولا حاجة لتثبيت أي شيء على جهاز الوكيل. هذه هي نقطة التدخل الوحيدة التي تتناسب مع إنتاجية الوكيل بدلاً من أن تتناسب عكسياً معها.
- أبقِ العنصر البشري في المقام الأول. pull request. أي شيء يصل إلى مرحلة الإنتاج يتطلب موافقة شخص مختص. هذا ليس من باب الحذر، بل هو النهج التصميمي الذي يفرضه قانون الذكاء الاصطناعي في الاتحاد الأوروبي، وهو أقل تكلفة بكثير من تعديله لاحقًا تحت ضغط التدقيق. كما أنه المعيار رقم 09، ولذلك من المهم تتبعه منذ البداية.
الصف الثاني هو الصف الذي يبقى دون تخصيص في معظم المؤسسات. تقع ملفات التكوين بين أمن التطبيقات، الذي يتعامل معها كبنية تحتية، وهندسة المنصات، التي تتعامل معها كوثائق. هذه الفجوة هي التي تستغلها الهجمات الخطيرة.
كيف تبدأ بقياس مخاطر الذكاء الاصطناعي هذا الربع؟
لا تُنشئ البرنامج كاملاً. قدّم ثلاثة أرقام فقط. احسب أصول الذكاء الاصطناعي لديك. احسب عدد الأصول التي لم يوافق عليها أحد. احسب عدد الأسرار الموجودة في ملفات تكوين الذكاء الاصطناعي. هذه الأرقام الثلاثة تتسع في شريحة واحدة؛ جميعها قابلة للدفاع، وستكون أسوأ مما يتوقعه من طلبها.
ثم اختر أسوأها وقم بإصلاحها قبل اجتماع مجلس الإدارة القادم. هذا هو برنامج إدارة مخاطر الذكاء الاصطناعي الفعال. أما ما عدا ذلك فهو مجرد تفصيل.
المنظمات التي ستواجه صعوبات في التعامل مع مخاطر الذكاء الاصطناعي عام 2027 ليست تلك التي تحركت بسرعة، بل تلك التي أمضت عام 2026 في وضع سياسات الذكاء الاصطناعي دون تقييمها. فالسياسة التي لا يمكن قياسها تبقى مجرد وثيقة، بينما مقاييس مخاطر الذكاء الاصطناعي هي ما يحولها إلى أداة فعّالة للتحكم.
اطلع على أرقامك الخاصة. قم بتوصيل مستودع وستقوم Xygeni بإرجاع مخزون الذكاء الاصطناعي الخاص بك، والأصول غير المعتمدة، والمخاطر المرتبطة بالأطر التي يستخدمها المدققون لديك، وقائمة مكونات الذكاء الاصطناعي التي يمكنك تصديرها. ابدأ مجانًا or كتاب التجريبي.
الأسئلة الشائعة
ما الفرق بين مخاطر الذكاء الاصطناعي وسلامة الذكاء الاصطناعي؟
تتعلق سلامة الذكاء الاصطناعي في المقام الأول بوظائف النموذج: هل يتصرف كما هو مُصمم له، وهل مخرجاته ضارة، وهل يمكن التلاعب به ليرفض ما ينبغي. أما مخاطر الذكاء الاصطناعي، في سياق الأمن السيبراني، فتتعلق بما يمكن أن يصل إليه نظام ذكاء اصطناعي مُخترق أو مُختل داخل بيئتك. يتداخل هذان المفهومان، لكنهما يقعان ضمن اختصاص فرق مختلفة ويتم قياسهما بأدوات مختلفة. ويمكن لفريق الأمن اتخاذ إجراءات بشأن المخاطر في الوقت الراهن.
كم عدد مقاييس مخاطر الذكاء الاصطناعي التي يجب أن نبلغ بها مجلس الإدارة؟
من ثلاثة إلى خمسة. لا يمكن لمجلس الإدارة اتخاذ قرار بناءً على تسعة أرقام، وعرض تسعة أرقام في مجموعة أوراق اللعب غالبًا ما يخفي الرقم المهم. قدّم تقريرًا عن إجمالي عدد أصول الذكاء الاصطناعي، والنسبة المئوية غير المعتمدة، ومقياس واحد للتعرض، مثل نتائج الذكاء الاصطناعي المتاحة قيد التطوير النشط. احتفظ بالباقي للمراجعة التشغيلية.
هل نحتاج إلى قائمة مكونات الذكاء الاصطناعي (AI-BOM) إذا لم تكن هناك لوائح تلزم بذلك حتى الآن؟
لا توجد حاليًا أي لوائح تلزم بإنشاء قائمة مكونات الذكاء الاصطناعي (AI-BOM)، وهذا تحديدًا ما يجعل إنشاءها رخيصًا الآن ومكلفًا لاحقًا. يوجد اليوم تنسيقان قابلان للقراءة آليًا، ويقبلهما المدقق. لا تكمن القيمة في الامتثال، بل في أن إنشاء الملف يُلزمك بامتلاك قائمة المكونات، وهذه القائمة هي أساس كل مقياس لمخاطر الذكاء الاصطناعي.
يستخدم مطورونا أدوات الذكاء الاصطناعي التي لم نوافق عليها مطلقاً. من أين نبدأ؟
أحصِ قبل أن تُطبّق القانون. إنّ إعلان سياسة ضدّ أدوات لا يمكنك رؤيتها يدفع استخدامها إلى الخفاء ويُفقدك الشفافية اللازمة. ابدأ بالبحث والتقصّي، وانشر الأرقام داخليًا دون الإشارة إلى المصدر، واستخدمها للاتفاق على قائمة معتمدة تعكس احتياجات المستخدمين الفعلية. يكون تطبيق القانون أكثر فعالية عندما يستند إلى الأدلة لا عندما يسبقها.
