TL; ডিআর
এআই রেড টিম টুলগুলো মডেলের এন্ডপয়েন্টের মাধ্যমে এটিকে আক্রমণ করে: জেলব্রেক, প্রম্পট ইনজেকশন, ডেটা নিষ্কাশন, অনিরাপদ আউটপুট। তারা এই কাজে দক্ষ, এবং ওপেন-সোর্স স্ট্যাকটিও সত্যিই পরিপক্ক। কিন্তু তারা সেই স্তরটি দেখতে পায় না, যা নির্ধারণ করে একটি সফল আক্রমণ কতদূর পর্যন্ত ছড়াবে।
- সরঞ্জামগুলো আচরণ পরীক্ষা করে। প্রতিপক্ষীয় ইনপুট পাঠান, প্রতিক্রিয়াটির মূল্যায়ন করুন, এবং পুনরাবৃত্তি করুন। এর মাধ্যমেই এই প্রশ্নের উত্তর পাওয়া যায় যে, "এই মডেলটিকে কি এমন কিছু বলতে রাজি করানো যায় যা তার বলা উচিত নয়"।
- বিস্ফোরণের ব্যাসার্ধ অন্য কোথাও অবস্থিত। স্কিল ফাইল, রুলস ফাইল, এমসিপি সার্ভার কনফিগারেশন, টুল স্কোপ এবং যে ক্রেডেনশিয়ালের অধীনে এজেন্টটি চলে—এগুলোর কোনোটিই এন্ডপয়েন্ট থেকে অ্যাক্সেসযোগ্য নয়।
- একটি ত্রুটিহীন রেড টিম রিপোর্ট এবং একজন অতি-সুবিধাপ্রাপ্ত এজেন্ট স্বাচ্ছন্দ্যে সহাবস্থান করে। মডেলটি প্রত্যাখ্যান করল। এজেন্টটির কাছে তখনও লেখার অনুমতি ছিল, যার কোনো প্রয়োজনই ছিল না।
- দুটোই চালান। রিচের জন্য আচরণ, অ্যাসেট এবং কনফিগারেশন বিশ্লেষণে এআই রেড টিমিং। দ্বিতীয়টি হলো সেই অর্ধেক যা বেশিরভাগ টিমই শুরু করেনি।
কেন এআই রেড টিমিং আর ঐচ্ছিক থাকছে না
দুই বছর আগে, একটি ল্যাঙ্গুয়েজ মডেলের অ্যাডভার্সারিয়াল টেস্টিং ছিল একটি গবেষণামূলক কার্যকলাপ। ২০২৬ সালে, এটি একটি রিলিজ গেট।
এর পেছনের চালিকাশক্তিটি প্রযুক্তিগত হওয়ার পাশাপাশি নিয়ন্ত্রকও বটে: ইইউ এআই আইন অনুযায়ী উচ্চ-ঝুঁকিপূর্ণ এআই সিস্টেমগুলোর জন্য ঝুঁকি ব্যবস্থাপনা সিস্টেমের ভেতরে প্রতিপক্ষীয় পরীক্ষা (adversarial testing) করা আবশ্যক, যা ‘রেড টিমিং’-কে একটি উত্তম অনুশীলন থেকে এমন এক প্রমাণে পরিণত করে যা কাউকে না কাউকে উপস্থাপন করতেই হয়। আর এই চাহিদা মেটানোর জন্য প্রয়োজনীয় টুলিংও যথেষ্ট দ্রুত পরিপক্ক হয়েছে। দুই বছর আগে যে কাজের জন্য একটি আক্রমণাত্মক পরামর্শক সংস্থা পারিশ্রমিক নিত, তার বেশিরভাগই এখন ওপেন-সোর্স স্ট্যাক করে থাকে।
সমস্যাটা এই নয় যে এআই রেড টিম টুলগুলো দুর্বল। সমস্যাটা হলো, একটি বিভাগ একটি প্রশ্নের ভালো উত্তর দেয়, এবং টিমগুলো ধরে নেয় যে এটি এমন আরেকটি প্রশ্নেরও উত্তর দিয়ে দিয়েছে, যেটিকে তারা কখনো ছুঁয়েও দেখেনি।
এআই রেড টিম টুলগুলো আসলে কী
ক্ষেত্রটি এমন অল্প কয়েকটি প্রকল্পকে ঘিরে কেন্দ্রীভূত হয়েছে যেগুলো প্রকৃতপক্ষে বাস্তবায়িত হয়।
| টুল | আকৃতি | সেরা এ |
|---|---|---|
| গ্যারাক (এনভিডিয়া, অ্যাপাচি ২.০) | কমান্ড-লাইন দুর্বলতা স্ক্যানার, ১২০টিরও বেশি প্রোব মডিউল | একটি স্থাপনকৃত মডেল এন্ডপয়েন্টের বিরুদ্ধে ব্যাপক অনুসন্ধানমূলক কভারেজ |
| পাইআরআইটি (মাইক্রোসফট, এমআইটি) | পাইথন অর্কেস্ট্রেশন ফ্রেমওয়ার্ক, মাল্টি-টার্ন | বাস্তব কথোপকথনের প্রতিচ্ছবিস্বরূপ বিশেষভাবে অভিযোজিত আক্রমণ শৃঙ্খল |
| প্রম্পটফু (এমআইটি, যা ২০২৬ সালের মার্চে ওপেনএআই দ্বারা অধিগ্রহণ করা হবে) | কনফিগারেশন-প্রথম মূল্যায়ন এবং রেড-টিম হারনেস | OWASP LLM টপ ১০ প্রিসেট সহ CI-সমন্বিত রিগ্রেশন টেস্টিং |
| ডিপটিম (কনফিডেন্ট এআই, অ্যাপাচি ২.০) | পাইথন টেস্টিং ফ্রেমওয়ার্ক | সবচেয়ে সহজ অনবোর্ডিং এবং একটি পরিচ্ছন্ন OWASP LLM টপ ১০ ম্যাপিং |
| বাণিজ্যিক প্ল্যাটফর্ম | পরিচালিত, ধারাবাহিক প্রচারাভিযান | নিরীক্ষকদের জন্য নিয়ম-সম্মত প্রতিবেদনসহ নির্ধারিত পরীক্ষা |
একটি যুক্তিসঙ্গত কার্যকরী ব্যবস্থা: প্রতিটি রিলিজ ব্রাঞ্চের জন্য একটি বিস্তৃত স্ক্যান, এবং প্রতিটিতে একটি হালকা স্যুট। pull requestএবং ক্রমাগত না হয়ে পর্যায়ক্রমে নতুন আক্রমণ তৈরি করা। সময়ের সাথে সাথে ব্যর্থ প্রোবের সংখ্যা ট্র্যাক করুন। যদি এই সংখ্যা কমা বন্ধ হয়ে যায়, তার মানে কেউ একটি রিগ্রেশন পাঠিয়েছে এবং কেউ তা খেয়াল করেনি, এবং এটাই হলো মূল পর্যবেক্ষণ।
ব্যবধান: আচরণ বিস্ফোরণের ব্যাসার্ধ নয়
এই টুলগুলোর প্রত্যেকটির মধ্যে একটি সাধারণ বিষয় হলো, এগুলো একজন ব্যবহারকারীর মতোই এন্ডপয়েন্টের মাধ্যমে সিস্টেমের সাথে সংযোগ স্থাপন করে এবং প্রাপ্ত ফলাফলের মূল্যায়ন করে।
আচরণ পরীক্ষার জন্য এটি একদম সঠিক। এটি নাগালের ক্ষেত্রে কাঠামোগতভাবে অন্ধ।
বিবেচনা করুন কী একটি প্রতিনিধি আসলে তাই। একটি মডেল, সাথে কিছু টুল যা এটি ব্যবহার করতে পারে, সাথে একটি পরিচয় যার অধীনে এটি কাজ করে, সাথে স্থায়ী মেমরি, এবং সাথে কনফিগারেশন ফাইল যা একে বলে দেয় কী করতে হবে এবং কী পরিবর্তন করা যাবে। এআই রেড টিমিং এক্সারcisএটি সেগুলোর মধ্যে প্রথমটি। বাকি চারটি একটি রিপোজিটরিতে থাকা সাধারণ টেক্সট, এবং একটি প্রম্পট ইনজেকশন সফল হওয়ার পর কী ঘটবে তা সেগুলোই নির্ধারণ করে।
একটি সমাধান করা উদাহরণ। আপনার রেড টিম স্যুট একজন কোডিং অ্যাসিস্ট্যান্টের দিকে এক হাজার ইনজেকশন পেলোড নিক্ষেপ করে। মডেলটি অক্ষত থাকে। রিপোর্টটি ত্রুটিমুক্ত আসে। এদিকে, একই রিপোজিটরিতে:
- একটি নিয়ম ফাইল অ্যাসিস্ট্যান্টকে এমন একটি অভ্যন্তরীণ প্যাকেজ রেজিস্ট্রিকে অগ্রাধিকার দিতে নির্দেশ দেয়, যা কেউ যাচাই করেনি। মিট্রে অ্যাটলাস এই ধরণটিকে একটি বাস্তব ঘটনা হিসেবে নথিভুক্ত করে, কোনো কাল্পনিক বিষয় হিসেবে নয়।
- একটি এমসিপি সার্ভার কনফিগারেশন কোনো টুলকে তার কাজের প্রয়োজনের চেয়েও ব্যাপক ফাইলসিস্টেম অ্যাক্সেস প্রদান করে, কারণ সেটিকে কার্যকর করার এটাই ছিল দ্রুততম উপায়।
- এজেন্ট একটি শেয়ার্ড সার্ভিস অ্যাকাউন্টের অধীনে চলে, তাই অডিট লগে কোন এজেন্ট কাজটি বেছে নিয়েছে তার পরিবর্তে অ্যাকাউন্টটি রেকর্ড করা হয়।
- একটি এআই প্রদানকারীর পরিচয়পত্র একটি প্রম্পট ফাইলে থাকে যা ছিল commitডকুমেন্টেশনের মতো।
এই চারটির কোনোটিই আদর্শ আচরণ নয়। এগুলোর কোনোটিই কোনো এন্ডপয়েন্টের মাধ্যমে পৌঁছানো যায় না। এই চারটিই একটি সফল আক্রমণের পরিধি পরিবর্তন করে দেয়, এবং রেড টিমের নিখুঁত স্কোর এগুলোর কোনোটি সম্পর্কেই কিছু বলে না।
এটি কোনো বিপরীতধর্মী ব্যাখ্যা নয়। রেড টিমিং সম্পর্কে মাইক্রোসফটের নিজস্ব ভাষ্য। ১০০টি জেনারেটিভ এআই পণ্য টেস্টিং মডেল থেকে সিস্টেম-স্তরের আক্রমণ সিমুলেশনে স্থানান্তরের বর্ণনা দেয়, যা পূর্বানুমান করেcisএর কারণ হলো, গুরুত্বপূর্ণ দুর্বলতাগুলো শুধু মডেলের মধ্যেই সীমাবদ্ধ ছিল না। এই কাজের সঙ্গে সবচেয়ে ঘনিষ্ঠভাবে জড়িত অনুশীলনকারীরাও একই সিদ্ধান্তে পৌঁছেছিলেন।
এই কারণেই এআই রেড টিমিং-এর সৎ প্রশ্নটি "এটা কি যথেষ্ট" নয়, বরং "অন্য অর্ধেকটা কী"।
এআই রেড টিমিং, পেন্টেস্টিং এবং কনফিগারেশন বিশ্লেষণ
বিক্রেতাদের প্রচারপত্রে এই তিনটি বিষয়কে প্রায়শই গুলিয়ে ফেলা হয়, এবং যে ক্রেতা এই দুটিকে গুলিয়ে ফেলেন, তার ফলে তিনটি বিষয়ের মধ্যে দুটি আয়ত্তে চলে আসে এবং একটি সীমাবদ্ধতা তৈরি হয়।
শেষের সারিটি পড়ুন। প্রতিটি শাখার একটি সীমাবদ্ধতা অন্যটির জন্য একটি সম্পূর্ণ বিষয়, আর একারণেই এর মধ্যে থেকে একটিকে বেছে নিয়ে তাকে এআই নিরাপত্তা বলে চালিয়ে দেওয়াটাই একটি সাধারণ ব্যর্থতা।
এআই রেড টিম টুলস কীভাবে মূল্যায়ন করবেন
যদি আপনি একটি বেছে নেন, তবে এই প্রশ্নগুলোই একটি ডেমোতে টিকে থাকে।
প্রথম মানদণ্ডটি হলো বর্তমান প্রজন্মের দুর্বলতা কোথায়। মডেল-স্তরের স্ক্যানারগুলো তৈরি করা হয়েছিল যখন মূল লক্ষ্য ছিল একটি চ্যাটবট, এবং ওপেন-সোর্স টুলিংয়ের ক্ষেত্রে এজেন্টিক কভারেজ একটি স্বীকৃত ঘাটতি।
এআই রেড টিমিং-এর পাশাপাশি কী চালানো উচিত
যদি রেড টিমিং বাইরে থেকে আচরণ পরীক্ষা করে, তাহলে এর পরিপূরক কাজটি রিপোজিটরির ভেতরে শুরু হয়, যেখানে কনফিগারেশনটি থাকে।
- প্রথমে আবিষ্কার, কারণ যা খুঁজে পাওয়া যায়নি, তা পরীক্ষা করা যায় না। জাইজেনি এআই নিরাপত্তা আপনার রিপোজিটরি জুড়ে থাকা প্রতিটি এআই অ্যাসেট ক্রমাগত আবিষ্কার করে: মডেল, ফ্রেমওয়ার্ক, ডেটাসেট, ইনফারেন্স এন্ডপয়েন্ট, এজেন্ট, এমসিপি সার্ভার, স্কিল ফাইল, প্রম্পট। guardrailsএবং আপনার ডেভেলপাররা আসলে যে এআই কোডিং টুলগুলো ব্যবহার করছেন। কোনো জরিপ বা স্ব-প্রতিবেদিত তালিকা থেকে নয়, বরং সেই টুলগুলো কোডে যা রেখে যায়, তা থেকে। এটি একটি এআই ইনভেন্টরি, একটি এআই-বিওএম (AI-BOM), এবং বিভিন্ন অংশ কীভাবে সংযুক্ত তার একটি গ্রাফ তৈরি করে, যা সবচেয়ে গুরুত্বপূর্ণ অংশ, কারণ ঝুঁকি সাধারণত কোনো একক সম্পদে না থেকে এর সংযোগ ব্যবস্থার মধ্যেই থাকে।
- এরপর এমন জায়গায় শনাক্তকরণ যেখানে রেড টিমিং পৌঁছাতে পারে না। কোডে প্রম্পট তৈরির পদ্ধতিতে প্রম্পট ইনজেকশনের ঝুঁকি রয়েছে, যার ফলাফলগুলো OWASP LLM ক্যাটাগরি এবং সংশ্লিষ্ট রেড টিম ভেক্টরের সাথে ট্যাগ করা হয়েছে, যা সুনির্দিষ্ট ফাইল এবং লাইন নির্দেশ করে। প্রম্পট ফাইল এবং এজেন্ট কনফিগারেশনে এআই প্রোভাইডারের ক্রেডেনশিয়াল রেখে দেওয়া হয়েছে, যা প্রধান মডেল প্রোভাইডারদের অন্তর্ভুক্ত করে, কারণ ফাঁস হওয়া মডেল কী অন্য যেকোনো গোপনীয় বিষয়ের মতোই একটি গোপনীয় বিষয়, এবং এটি বর্তমানে সেখানেই রয়েছে। এমন একটি ফাইল যা কেউ পর্যালোচনা করে না।
- এবং একটিই সারি, চতুর্থটি নয়। প্রাপ্ত ফলাফলগুলো আপনার কোড, নির্ভরতা এবং অন্যান্য বিষয়গুলোর মতোই একই ঝুঁকি মডেল ও অগ্রাধিকার তালিকায় স্থান পায়। pipeline প্রাপ্ত ফলাফল, যার মধ্যে এমন স্ক্যানার থেকে প্রাপ্ত তথ্যও রয়েছে যা আপনি প্রতিস্থাপন করছেন না। স্বতন্ত্র এআই রেড টিম টুলগুলো তাদের নিজস্ব কনসোলে চমৎকার আউটপুট তৈরি করে। একটি পৃথক কনসোল হলো আরেকটি সারি, যা কেউ বাছাই করে না।
শ্রম বিভাজনটি স্বচ্ছ। এআই রেড টিমিং প্রমাণ করে যে আক্রমণের মুখে মডেলটি কীভাবে আচরণ করে। অ্যাসেট এবং কনফিগারেশন বিশ্লেষণ প্রমাণ করে যে একটি আক্রমণ কী কী পর্যন্ত পৌঁছাতে পারে। কোনোটিই অন্যটির বিকল্প নয়, এবং প্রায় প্রতিটি দলই প্রথমটি দিয়ে শুরু করেছে।
যেখানে কাঠামো এবং নিয়ন্ত্রকদের অবস্থান
প্রতিপক্ষীয় পরীক্ষা এখন উত্তম অনুশীলন থেকে প্রত্যাশিত প্রমাণে পরিণত হয়েছে, যদিও এর শব্দচয়ন বিক্রেতারা সাধারণত যতটা স্বীকার করেন তার চেয়েও বেশি গুরুত্বপূর্ণ।
- NIST AI RMF এবং এর জেনারেটিভ এআই প্রোফাইল এআই ঝুঁকি ব্যবস্থাপনার অংশ হিসেবে প্রতিপক্ষীয় পরীক্ষাকে উৎসাহিত করা হয়। রেড টিমিংকে একটি আবশ্যিক নিয়ন্ত্রণ হিসেবে উল্লেখ করা হয়নি, এবং প্রম্পট ইনজেকশনের মতো হুমকিগুলো স্থিতিস্থাপকতা নির্দেশনার অধীনে রয়েছে।
- ইইউ এআই আইন বাজারে ছাড়ার আগে ঝুঁকি প্রশমনের অংশ হিসেবে উচ্চ-ঝুঁকিপূর্ণ সিস্টেমের জন্য অ্যাডভার্সারিয়াল টেস্টিং সহ মডেল মূল্যায়ন প্রত্যাশা করা হয়। এটি কোনো টুল, ভেন্ডর বা রিপোর্ট ফরম্যাট নির্ধারণ করে দেয় না।
- এলএলএম আবেদনের জন্য OWASP শীর্ষ ১০ এটি সাধারণ পরিভাষা সরবরাহ করে। LLM01 ট্যাগযুক্ত একটি পর্যবেক্ষণ একজন রক্ষাকারীর জন্য পদক্ষেপযোগ্য। “মডেলটি খারাপ কিছু বলেছে”—এরূপ নয়।
- মিট্রে অ্যাটলাস এটি কৌশল শনাক্তকারী এবং নথিভুক্ত কেস স্টাডি সরবরাহ করে, যার ফলে একটি রেড টিম ফাইন্ডিং এবং একটি থ্রেট মডেল একই জিনিসকে নির্দেশ করে।
ব্যবহারিক পাঠের জন্য আপনার প্রয়োজন কাঠামোগত প্রতিপক্ষীয় পরীক্ষার প্রমাণ, এর আওতাভুক্ত সিস্টেমগুলোর একটি তালিকা এবং পরবর্তীতে কী পরিবর্তন করা হয়েছে তার একটি রেকর্ড। শুধুমাত্র স্ক্যান আউটপুট এই তিনটির কোনোটিই পূরণ করে না।
অন্য অর্ধেক পরীক্ষা করুন
একটি ত্রুটিমুক্ত এআই রেড টিমিং রিপোর্ট আপনাকে জানায় যে মডেলটি তার অবস্থান ধরে রেখেছে। কিন্তু মডেলটি যদি তা না পারত, তবে তার পাশের এজেন্টটি কী অর্জন করতে পারত, তা এটি জানায় না।
জাইজেনি এটি আপনার রিপোজিটরিগুলোতে থাকা প্রতিটি এআই অ্যাসেট খুঁজে বের করে, যার মধ্যে এমন এজেন্ট, এমসিপি সার্ভার এবং স্কিল ফাইলও রয়েছে যা কেউ ঘোষণা করেনি। এটি মডেলের আচরণের পরিবর্তে কনফিগারেশনে থাকা ঝুঁকিগুলোও শনাক্ত করে: যেমন—প্রম্পটগুলো কীভাবে তৈরি করা হয়, একটি এজেন্টকে কী স্পর্শ করার অনুমতি দেওয়া হয়, এবং কোন ক্রেডেনশিয়ালগুলো এমন ফাইলে রয়েছে যা কোড হিসেবে কখনও পর্যালোচনা করা হয়নি।
একটি ডেমো তফসিল আপনার নিজের এআই ইনভেন্টরি দেখতে।
FAQ
এআই রেড টিম টুলস বলতে কী বোঝায়?
এমন কিছু টুল যা ল্যাঙ্গুয়েজ মডেল এবং তার উপর নির্মিত অ্যাপ্লিকেশনগুলোর বিরুদ্ধে প্রতিকূল আক্রমণ অনুকরণ করে: যেমন প্রম্পট ইনজেকশন, জেলব্রেক, ডেটা নিষ্কাশন, এবং অনিরাপদ আউটপুট হ্যান্ডলিং। এগুলো একটি এন্ডপয়েন্টে আক্রমণ পাঠায় এবং ফিরে আসা ফলাফলের স্কোর নির্ধারণ করে।
এআই রেড টিমিং কি পেনিট্রেশন টেস্টিং-এর সমান?
না। পেনিট্রেশন টেস্টিং ডিটারমিনিস্টিক সফটওয়্যারকে লক্ষ্য করে, যেখানে একই ইনপুট একই আউটপুট তৈরি করে। এআই রেড টিমিং প্রোবাবিলিস্টিক সিস্টেমকে লক্ষ্য করে, তাই এটি একটিমাত্র এক্সপ্লয়েট নিশ্চিত করার পরিবর্তে অনেকবার চেষ্টা চালায় এবং সাফল্যের হার পরিমাপ করে।
এআই রেড টিম টুলগুলো কি এআই এজেন্টদের অন্তর্ভুক্ত করে?
আংশিকভাবে, এবং এটাই বর্তমান প্রজন্মের দুর্বলতা। মডেল-স্তরের স্ক্যানারগুলোর এজেন্টিক পরিধি সীমিত, এবং এদের কোনোটিই সেই কনফিগারেশন দেখতে পায় না যা কোনো এজেন্টের টুল অ্যাক্সেস, পরিচয় বা অনুমতি নির্ধারণ করে।
একটি দলের কোন কোন এআই রেড টিম টুল দিয়ে শুরু করা উচিত?
কভারেজের জন্য একটি বিস্তৃত ওপেন-সোর্স স্ক্যানার এবং রিগ্রেশনের জন্য একটি সিআই-ইন্টিগ্রেটেড হারনেস দিয়ে শুরু করুন, তারপর যখন আপনার ফলাফল কথোপকথনের ইতিহাস বা টুল-কলিং আচরণের উপর নির্ভর করে, তখন মাল্টি-টার্ন অর্কেস্ট্রেশন যোগ করুন।
এআই রেড টিমিং কী কী বিষয় অন্তর্ভুক্ত করে না?
মডেল এন্ডপয়েন্ট থেকে যা কিছু নাগালের বাইরে: একটি এজেন্ট কোন টুলগুলো কল করতে পারে, এটি কোন আইডেন্টিটির অধীনে চলে, এর মেমরি কী ধরে রাখে, এবং এর পারমিশন নির্ধারণকারী স্কিল, রুলস ও এমসিপি কনফিগারেশন ফাইল। এই জিনিসগুলো রিপোজিটরিতে থাকে, কনভারসেশনে নয়।
এআই রেড টিমিং কি ইইউ এআই আইনের বাধ্যবাধকতা পূরণ করে?
কোনো একক টুলই তা পারে না। আইনটি উচ্চ-ঝুঁকিপূর্ণ এআই সিস্টেমের জন্য একটি নথিভুক্ত ঝুঁকি ব্যবস্থাপনা পদ্ধতির অংশ হিসেবে প্রতিপক্ষীয় পরীক্ষার প্রত্যাশা করে, যার অর্থ শুধু একটি স্ক্যান রিপোর্ট নয়, বরং প্রমাণ, তালিকা এবং প্রক্রিয়া।
