هندسة تسخير الوكلاء: النموذج ليس سطح الهجوم، بل التسخير هو

كل نقاش أمني حول الذكاء الاصطناعي ينتهي في نهاية المطاف بالحديث عن النموذج. هل يمكن اختراقه؟ هل سيُصاب بالهلوسة؟ هل يقوم مزود الخدمة بتدريبه على بياناتنا؟

أسئلة وجيهة، لكنها أصبحت خاطئة بشكل متزايد. فعندما يقوم نظام ذكاء اصطناعي بحذف جدول بيانات الإنتاج، أو زرع ثغرة أمنية، أو إرسال قائمة عملاء عبر البريد الإلكتروني إلى شخص غريب، نادراً ما يكون الخلل في النموذج نفسه. بل إن النموذج قام بما صُمم لأجله تماماً.

الوكيل = النموذج + الحزام

على مدار العام الماضي، غيّر القطاع بهدوء مفهوم بناء البرمجيات باستخدام الذكاء الاصطناعي. فقد حلّت هندسة السياق محلّ الهندسة الفورية، ثمّ حلّت هندسة السياق محلّ شيء أكبر: هندسة تسخير الوكلاء.

الفكرة بسيطة. النموذج بحد ذاته هو محرك استدلال بلا أيدٍ. أما الهيكل فهو كل ما يمنحه أيداً ووظيفة: التعليمات التي يتبعها، والأدوات التي يمكنه استدعاؤها، والصلاحيات التي يمتلكها، والذاكرة التي يحتفظ بها، والفحوصات التي تكشف أخطاءه. موقع مارتن فاولر يصف هندسة الواجهات بأنها العمل الذي يقوم به مستخدمو برامج الوكلاء البرمجية حاليًا لجعل الوكلاء موثوقين، و الإطار الأكاديمي الذي تم نشره هذا العام يقسم هذا النظام إلى أحد عشر مسؤولية، بدءًا من الوصول إلى الأدوات وذاكرة المشروع وصولاً إلى الأذونات والتحقق.

النتائج حقيقية. تُفيد الفرق التي تُطبّق هندسة بنية الوكلاء بأنّ تغيير البنية فقط، مع بقاء النموذج الأساسي كما هو، يُمكن أن يُغيّر نتائج الوكيل بشكلٍ جذري. وهذا يُثير نقطةً مُقلقةً لأيّ شخصٍ في مجال الأمن السيبراني: إذا كانت البنية تُحدّد سلوك الوكيل، فهي تُحدّد أيضاً كيفية استغلاله. 

لنأخذ مثالاً بسيطاً كتثبيت حزمة برمجية. يتوقف المطور مؤقتاً للتحقق من اسم الحزمة. يقوم برنامج خبيث مزود بالأداة المناسبة بتنفيذ الأمر، وإذا كانت الحزمة ضارة، فلن يمنعها أي شيء في النظام. هذا بالضبط ما نتناوله بالتفصيل في هذه الحلقة من برنامج SafeDev Talks. ما الذي يتغير عندما تقوم وكلاء الذكاء الاصطناعي بتثبيت التبعيات؟ بمفردهم، ولماذا أصبحت هندسة تسخير الوكلاء مشكلة في سلسلة التوريد بهدوء.