ما هو تسمم البيانات؟

يتم تدريب جميع فرق الأمن على مراقبة الشيفرة البرمجية أثناء نشرها. لكن نادرًا ما يتم تدريب أي منها على مراقبة البيانات عند وصولها، وهذه الثغرة تحديدًا هي ما يستغله تسميم البيانات. فبحلول الوقت الذي يصل فيه نموذج مسموم إلى مرحلة الإنتاج، تكون الثغرة الأمنية قد ظهرت أصلًا في مراجعة الشيفرة، بل في مجموعة بيانات لم تخضع للتدقيق قبل أشهر.

يشرح هذا المدخل في المعجم ماهية تسميم البيانات، وكيف تتم هجمات تسميم البيانات عمليًا، ولماذا أصبح تسميم البيانات باستخدام الذكاء الاصطناعي أحد أكثر أنواع الاختراقات شيوعًا. أسرع المخاطر نمواً في عصر الذكاء الاصطناعي SDLCوكيف يبدو الدفاع الحقيقي ضده.

معنى تسميم البيانات #

تسميم البيانات هو التلاعب المتعمد بالبيانات المستخدمة لتدريب نموذج الذكاء الاصطناعي أو ضبطه أو تهيئته، بحيث يتعلم النموذج معلومات خاطئة، أو يتصرف بطريقة يريدها المهاجم، أو يُسرب معلومات لا ينبغي له كشفها. وبدلاً من مهاجمة النموذج بعد نشره، يهاجم المهاجم البيانات الأولية التي بُني عليها النموذج.

الفكرة الأساسية وراء تسميم البيانات بسيطة ومقلقة: لا يمكن الوثوق بنموذج الذكاء الاصطناعي إلا بقدر موثوقية البيانات التي تعلم منها. فإذا كانت هذه البيانات تالفة أو متحيزة أو مفخخة قبل بدء التدريب، فلن يكشف أي قدر من مراجعة الكود أو الاختبار أو مراقبة وقت التشغيل عن الخلل الكامن، لأن النموذج سيعمل تمامًا كما تم تعليمه (بشكل خبيث).

تسميم البيانات بالذكاء الاصطناعي مقابل ثغرات البرمجيات التقليدية #

يفترض أمن التطبيقات التقليدي أن الخطر يكمن في الشيفرة البرمجية: دالة معيبة، مكتبة غير مُحدثة، خادم مُهيأ بشكل خاطئ. أما تسميم بيانات الذكاء الاصطناعي فيُخالف هذا الافتراض تمامًا. فلا يوجد سطر برمجي مُعرّض للخطر يمكن العثور عليه، لأن التلف حدث في مجموعة بيانات التدريب، أو مجموعة بيانات الضبط الدقيق، أو فهرس الاسترجاع قبل وقت طويل من كتابة أي شيفرة برمجية أو نشر أي نموذج.

لهذا السبب يصعب اكتشاف عمليات تسميم البيانات باستخدام الذكاء الاصطناعي باستخدام الأدوات التقليدية. SAST يقرأ الماسح الضوئي الشفرة البرمجية. بينما يقرأ ماسح التبعيات بيانات تعريف الحزم. لا يقرأ أي منهما مجموعة بيانات تدريبية متعددة الجيجابايت أو قاعدة بيانات متجهة مليئة بالمستندات المضمنة، وهو أمر غير متوقع.cisفي الأماكن التي يُلحق فيها تسميم بيانات الذكاء الاصطناعي ضرره، يقوم باحثو الأمن بالإبلاغ عنها بمسؤولية. بينما يتم اكتشاف بيانات أخرى واستغلالها من قبل المهاجمين أولاً، وهو السيناريو الذي يُسبب أكبر قدر من الضرر.

كيف تعمل هجمات تسميم البيانات فعلياً؟ #

تتخذ هجمات تسميم البيانات عموماً أحد الأشكال القليلة التالية:

• تسمم بيانات التدريب: يقوم المهاجم بإدخال أمثلة تم التلاعب بها أو تصنيفها بشكل خاطئ أو خبيثة في مجموعة البيانات المستخدمة لتدريب نموذج من الصفر أو ضبط نموذج موجود، مما يتسبب في تعلمه تحيزًا خفيًا أو سلوكًا خلفيًا.
• قلب الملصقات: نسخة أكثر دقة مما سبق، حيث يقوم المهاجم بتغيير التصنيفات فقط على مجموعة فرعية صغيرة من أمثلة التدريب، مما يؤدي بهدوء إلى تحريف ما يتعلمه النموذج لربطه بماذا.
• RAG وتسميم السياقفي أنظمة التوليد المعززة بالاسترجاع، يقوم المهاجم بزرع مستندات مسمومة في قاعدة المعرفة أو مخزن المتجهات الذي يسترجعه النموذج في وقت التشغيل، لذلك يقوم النموذج بتكرار المعلومات الخاطئة أو المتلاعب بها بثقة كما لو كانت حقيقة مؤكدة.
• محفزات الباب الخلفييقوم المهاجم بزرع نمط محدد في بيانات التدريب بحيث يتصرف النموذج بشكل طبيعي في كل حالة تقريبًا، ولكنه ينتج مخرجات يختارها المهاجم في اللحظة التي تظهر فيها عبارة تشغيل مخفية أو مدخلات.
• تسمم سلسلة التوريد: يقوم المهاجم باختراق مجموعة بيانات عامة أو مشتركة، نقطة تحقق نموذج مدرب مسبقًا، أو تضمين pipeline في اتجاه المنبع، بحيث يرث كل فريق في اتجاه المصب يسحب منه السم دون أن يمس الهجوم الأصلي على الإطلاق.

ما يربط كل هذه الهجمات على البيانات هو التوقيت. فالضرر يحدث قبل أن يستجيب النموذج لأي مستخدم حقيقي، وهذا تحديدًا ما يجعل عبارة "قبل أن يكتب سطرًا واحدًا من التعليمات البرمجية" تصف هذا التهديد بدقة.cisإيلي: النموذج معيب في أساسه، وليس في مخرجاته.

كيف يقوم المهاجمون بإفساد نموذج الذكاء الاصطناعي قبل أن يكتب سطرًا واحدًا من التعليمات البرمجية؟ #

تشترك جميع هجمات تسميم البيانات المذكورة أعلاه في ميزة التوقيت نفسها: يحدث الاختراق في المراحل الأولى، قبل وقت طويل من توليد النموذج لأي مخرج يراه المستخدم. لا توجد وظيفة ضعيفة يمكن إصلاحها ولا يوجد أي خبيث. commit لمراجعة الأمر، لأن النموذج لم يكتب أي شيء بعد. لقد تعلم فقط، وما تعلمه خاطئ بالفعل.

هذا ما يجعل تسميم بيانات الذكاء الاصطناعي مختلفًا جوهريًا عن الثغرات التي تتدرب فرق أمن التطبيقات على اكتشافها. يبدو النموذج المُخترق مطابقًا تمامًا للنموذج السليم عند مقارنة الكود. فهو يجتاز اختبارًا واحدًا. pull request يقوم النظام بالمراجعة. فهو يُجمّع وينشر ويجيب على معظم الاستعلامات بشكل صحيح، إلى أن تظهر الحالة المحددة التي زرعها المهاجم في بيئة الإنتاج. حينها، لم يعد السؤال "ما هو الكود الذي تسبب في ذلك؟"، بل "ما هي البيانات التي فعلت ذلك، وإلى أي مدى يعود تاريخها؟"

لماذا يُعدّ تسميم البيانات بواسطة الذكاء الاصطناعي أولوية متزايدة؟ #

لم يعد تسميم البيانات بواسطة الذكاء الاصطناعي مجرد مشكلة نظرية، بل أصبح أمراً معترفاً به رسمياً. LLM04: تسميم البيانات والنماذج يُصنّف هذا التهديد ضمن قائمة OWASP لأهم عشرة تهديدات لتطبيقات إدارة التعلم، إلى جانب مخاطر الحقن الفوري ومخاطر سلسلة التوريد، كأحد أبرز التهديدات في عصر الذكاء الاصطناعي التوليدي. وهناك ثلاثة اتجاهات تدفعه إلى صدارة اهتمامات فرق الأمن السيبراني:

• الضرر غير مرئي حتى يتم تفعيله. يمكن للنموذج المسموم أن يجتاز كل اختبار وظيفي ويتصرف بشكل مثالي لعدة أشهر، إلى أن يظهر شرط التشغيل المحدد الذي زرعه المهاجم أخيرًا في الإنتاج.

• الجيل المعزز بالاسترجاع موجود في كل مكان. أي نظام يسمح للنموذج بسحب السياق المباشر من المستندات أو مواقع الويكي أو التذاكر أو قاعدة بيانات المتجهات لديه سطح إدخال جديد وغير مدقق، وهذا السطح هو بالضبط ما تستهدفه هجمات تسميم البيانات.

• أصبحت مجموعات البيانات الآن من أصول سلسلة التوريد. تقوم الفرق بشكل روتيني بسحب النماذج المدربة مسبقًا والتضمينات ومجموعات البيانات العامة من مصادر خارجية بنفس الطريقة التي تسحب بها حزم البرامج مفتوحة المصدر، ومثل الحزمة المخترقة، يمكن لمجموعة البيانات المخترقة أن تنقل الهجوم بصمت إلى كل فريق يستخدمها.

الكشف عن تسميم البيانات والدفاع ضده #

لأن تسميم البيانات يحدث قبل النموذج نفسه، يجب أن تبدأ الحماية قبل ذلك أيضاً:

• انتبه لمصادر البيانات الشاذة، وليس فقط للرموز البرمجية الشاذة. يجب أن يمتد الكشف عن السلوكيات والشذوذات إلى مكان إدخال البيانات. pipeline، لا تتوقف عند حدود المستودع.

• تعرف على كل مجموعة بيانات في pipeline. لا يمكنك تقييم خطر التسمم في مجموعة بيانات لا تعلم بوجودها. ويُعدّ الاكتشاف المستمر لمجموعات بيانات التدريب والتقييم والاسترجاع خط الدفاع الأول.

• تتبع مسار البيانات من مجموعة البيانات إلى النموذج إلى المخرجات. إن رسم مسار مجموعة البيانات إلى النموذج، ومن النموذج إلى الوكيل أو نقطة النهاية أو أداة الترميز، هو ما يحول عبارة "لقد حصلنا على مخرجات سيئة" إلى "نعرف بالضبط أي مجموعة بيانات قدمتها".

• قم بفحص مصادر الاسترجاع، وليس فقط مجموعات التدريب. في أنظمة RAG، يحتاج مخزن المتجهات وقاعدة المعرفة إلى نفس فحوصات السلامة مثل بيانات التدريب، لأن تسميم السياق يحدث في وقت الاستعلام، وليس في وقت التدريب.

كيف تساعد شركة Xygeni في سد فجوة تسميم البيانات؟ #

تبدأ الحماية من تسميم البيانات بالشفافية التي تفتقر إليها معظم المؤسسات ببساطة. زيجينييقوم نظام جرد الذكاء الاصطناعي الخاص بنا باكتشاف جميع أصول الذكاء الاصطناعي بشكل مستمر عبر SDLC، بما في ذلك مجموعات البيانات التي تدعمها: بيانات التدريب، ومجموعات التقييم، ومصادر RAG أو الاسترجاع، ويرسمها في رسم بياني حي للعلاقات يمتد من مجموعة البيانات إلى النموذج إلى نقطة النهاية إلى الوكيل إلى خادم MCP إلى أداة البرمجة. هذا الرسم البياني هو ما يحول مخرجات النموذج المشبوهة إلى سؤال قابل للتتبع: ما هي مجموعة البيانات التي تم استخدامها في هذا النموذج، ومن أين أتت؟

بالإضافة إلى ذلك المخزون، فإن شركة Xygeni's أمن الذكاء الاصطناعي يكشف عن نقاط ضعف المتجهات والتضمين، بما في ذلك السياق المسموم في الاسترجاع و RAG pipelines، مصطفة مع قائمة OWASP لأهم 10 تطبيقات في مجال القانون. بدلاً من الوثوق بنظافة مصادر تدريب واسترجاع النموذج، يتعامل برنامج Xygeni معها كجزء من سطح الهجوم، بنفس الطريقة التي يتعامل بها بالفعل مع التعليمات البرمجية والتبعيات و pipelineإذا لم تتمكن حاليًا من الإجابة على سؤال "ما هي البيانات التي تم تدريب هذا النموذج عليها، وهل يمكننا إثبات ذلك؟"، فهذه هي الفجوة التي تستحق سدها قبل أن تجبر حادثة تسميم بيانات الذكاء الاصطناعي على طرح هذا السؤال.

الأسئلة الشائعة #