জাইজেনি নিরাপত্তা পরিভাষাকোষ
সফটওয়্যার উন্নয়ন ও ডেলিভারি নিরাপত্তা পরিভাষাকোষ

এআই রেড টিমিং বলতে কী বোঝায়?

এআই রেড টিমিং হলো কোনো প্রকৃত প্রতিপক্ষের আগে, কোনো এআই সিস্টেমকে (যেমন একটি এলএলএম অ্যাপ্লিকেশন বা এআই এজেন্ট) ইচ্ছাকৃতভাবে আক্রমণ করে এটি জানার একটি কৌশল যে, কীভাবে সেটিকে ভুল আচরণ করতে বাধ্য করা যায়।

  • এটি যা পরীক্ষা করে: শুধু কোড নয়, আচরণও। প্রম্পট ইনজেকশন, জেলব্রেক, ডেটা ফাঁস, অনিরাপদ টুলের ব্যবহার এবং ক্ষতিকর আউটপুট।
  • পেন্টেস্টিং থেকে এটি কীভাবে আলাদা: লক্ষ্যটি সম্ভাবনামূলক। একই ইনপুট ভিন্ন ভিন্ন আউটপুট তৈরি করতে পারে, তাই পরীক্ষাটি পুনরাবৃত্তিমূলক এবং পরিসংখ্যানগত।
  • রেফারেন্স পদ্ধতি: OWASP GenAI রেড টিমিং গাইড, যা জানুয়ারি ২০২৫-এ প্রকাশিত হবে।
  • এর সীমা: এটি একটি চলমান সিস্টেমে কী কাজে লাগানো যেতে পারে তা খুঁজে বের করে। এটি আপনাকে জানায় না যে আপনার কোডবেসে কী ধরনের এআই (AI) আছে, অথবা যে কনফিগারেশনের কারণে আক্রমণটি সম্ভব হয়েছে, তা ঠিক করে দেয় না।

এআই রেড টিমিং কী? এর সংজ্ঞা #

প্রচলিত সফটওয়্যার কিছু অনুমানযোগ্য উপায়ে ব্যর্থ হয়। একটি ফাংশনকে দুবার একই ইনপুট দিলে একই আউটপুট পাওয়া যায়, তাই আপনি এটি পরীক্ষা করে, ঠিক করে সামনে এগিয়ে যেতে পারেন। বৃহৎ ল্যাঙ্গুয়েজ মডেলগুলো এভাবে কাজ করে না। তারা স্বাভাবিক ভাষায় সাড়া দেয়, তাদের প্রভাবিত করা যায়, এবং একটি ওয়েব পেজ বা ডকুমেন্টে লুকানো কোনো নির্দেশ তাদের কার্যকলাপ বদলে দিতে পারে।

এই শূন্যস্থানটিই এআই রেড টিমিং পূরণ করে। একটি রেড টিম প্রতিপক্ষের দৃষ্টিকোণ থেকে কাজ করে এবং এআই সিস্টেমকে দিয়ে এমন কিছু করানোর চেষ্টা করে যা তার করা উচিত নয়: যেমন—সিস্টেম প্রম্পট প্রকাশ করা, গ্রাহকের ডেটা ফাঁস করা, এমন কোনো টুল চালু করা যা চালু করার কথা ছিল না, অথবা নির্দেশ উপেক্ষা করা। guardrails এর ডেভেলপাররা লিখেছেন, প্রতিটি সফল আক্রমণই এমন একটি আবিষ্কারে পরিণত হয়, যার ওপর ভিত্তি করে ইঞ্জিনিয়ারিং টিম পদক্ষেপ নিতে পারে।

সার্জারির OWASP GenAI রেড টিমিং গাইড ফ্রেম এআই রেড টিমিংকে একটি সামগ্রিক ব্যায়াম হিসেবেcisএটি চারটি ক্ষেত্রে বিস্তৃত: মডেল মূল্যায়ন, বাস্তবায়ন পরীক্ষা, অবকাঠামো মূল্যায়ন এবং রানটাইম আচরণ বিশ্লেষণ। অন্য কথায়, এটি কেবল একটি চ্যাটবটকে ধোঁকা দেওয়ার বিষয় নয়। এটি সেই পুরো সিস্টেমটিকে অন্তর্ভুক্ত করে, যার মধ্যে মডেলটি কাজ করে।

এআই রেড টিমিং কীভাবে কাজ করে #

একটি সাধারণ এআই রেড টিমিং কার্যক্রমে পাঁচটি ধাপ অনুসরণ করা হয়।

১. সিস্টেমের পরিধি নির্ধারণ করুন #

কী পরীক্ষা করা হচ্ছে তা নির্ধারণ করুন: একজন গ্রাহক-সেবাকারী সহকারী, একজন অভ্যন্তরীণ সহ-পাইলট, নাকি ইমেল বা ডেটাবেসে প্রবেশাধিকার থাকা একজন স্বায়ত্তশাসিত এজেন্ট। এর পরিধিই নির্ধারণ করে দেয় কোন ক্ষতিগুলো গুরুত্বপূর্ণ। একটি সাপোর্ট বট কর্তৃক রিফান্ড পলিসি ফাঁস হওয়া একটি উপদ্রব; কিন্তু একজন এজেন্ট কর্তৃক ক্রেডেনশিয়াল ফাঁস হওয়া একটি ঘটনা।

২. হুমকি মডেল তৈরি করুন #

আক্রমণের ক্ষেত্র চিহ্নিত করুন: ব্যবহারকারীর ইনপুট, উদ্ধারকৃত নথি, সংযুক্ত টুল, এমসিপি সার্ভার, মেমরি এবং যে পরিচয়গুলোর অধীনে সিস্টেমটি কাজ করে। ফ্রেমওয়ার্ক যেমন মিট্রে অ্যাটলাস এআই সিস্টেমের বিরুদ্ধে বাস্তব প্রতিপক্ষীয় কৌশলগুলোর তালিকা তৈরি করুন এবং দলগুলোকে শুধু সুস্পষ্ট বিষয়গুলো পরীক্ষা করা থেকে বিরত থাকতে সাহায্য করুন।

3. আক্রমণ #

রেড টিমাররা হস্তচালিত সৃজনশীলতার সাথে স্বয়ংক্রিয় অনুসন্ধানের সমন্বয় ঘটায়। সাধারণ কৌশলগুলোর মধ্যে রয়েছে:

  • সরাসরি প্রম্পট ইনজেকশন: সিস্টেম প্রম্পটকে অগ্রাহ্য করার জন্য নির্দেশাবলী সরাসরি ইনপুটে টাইপ করা হয়েছে।
  • পরোক্ষ প্রম্পট ইনজেকশন: মডেলটি পরে যে কন্টেন্ট পড়ে, যেমন কোনো ফাইল, ইমেল বা ওয়েব পেজ, তার মধ্যে নির্দেশাবলী ঢুকিয়ে দেওয়া হয়।
  • জেল পালানো: নিরাপত্তা বিধি এড়ানোর জন্য ভূমিকাভিনয়, সংকেতায়ন বা একাধিক পালাক্রমে প্ররোচনা।
  • তথ্য নিষ্কাশন: মডেলটিকে প্রশিক্ষণ ডেটা, সিস্টেম প্রম্পট বা অন্যান্য ব্যবহারকারীদের তথ্য প্রকাশ করতে প্ররোচিত করা।
  • টুল এবং এজেন্টের অপব্যবহার: কোনো এজেন্টকে ক্ষতিকর প্যারামিটারযুক্ত টুল কল করতে বা তার নিজের অনুমতি বাড়াতে চালিত করা।

4. পরিমাপ #

যেহেতু মডেলগুলো অনির্দিষ্ট, তাই একটিমাত্র সাফল্য খুব সামান্যই প্রমাণ করে এবং একটিমাত্র ব্যর্থতা তার চেয়েও কম কিছু প্রমাণ করে। অভিজ্ঞ দলগুলো প্রতিটি আক্রমণ বহুবার চালায় এবং বিচ্ছিন্ন ঘটনার পরিবর্তে সাফল্যের হার প্রকাশ করে।

৫. সংশোধন করুন এবং পুনরায় পরীক্ষা করুন। #

প্রাপ্ত ফলাফলগুলো ইঞ্জিনিয়ারিং পর্যায়ে ফিরে যায়: সিস্টেম প্রম্পটকে আরও কঠোর করা, একটি ইনপুট বা আউটপুট গার্ডরেল যোগ করা, এজেন্টের অনুমতি কমানো, একটি টুল সরিয়ে ফেলা। তারপর পরীক্ষাটি আবার চালানো হয়, কারণ একটি বাক্যাংশের সমাধান খুব কমই পরবর্তীটির ক্ষেত্রে কাজ করে।

এআই রেড টিমিং বনাম পেনিট্রেশন টেস্টিং #

দুজনের মানসিকতা এক, কিন্তু তারা ভিন্ন ভিন্ন বিষয় পরীক্ষা করে।

মাত্রাঅনুপ্রবেশ পরীক্ষাএআই রেড টিমিং
লক্ষ্যঅবকাঠামো, অ্যাপ্লিকেশন, এপিআইমডেলের আচরণ এবং এর চারপাশের ব্যবস্থা
আক্রমণ ইনপুটএক্সপ্লয়েট, পেলোড, ত্রুটিপূর্ণ অনুরোধস্বাভাবিক ভাষা, নথি, একাধিক পালাবদলের কথোপকথন
ফলাফলনির্ধারিত: এক্সপ্লয়েটটি হয় কাজ করে অথবা করে না।সম্ভাব্যতামূলক: একাধিক প্রচেষ্টার মধ্যে সাফল্যের হার
সাধারণ ফলাফলইনজেকশন ত্রুটি, ভুল কনফিগারেশন, দুর্বল প্রমাণীকরণপ্রম্পট ইনজেকশন, জেলব্রেক, ডেটা ফাঁস, অতিরিক্ত এজেন্সি
দক্ষতাআক্রমণাত্মক নিরাপত্তাআক্রমণাত্মক নিরাপত্তা এবং এমএল ও ভাষাবিজ্ঞান

একটি সম্পূর্ণ প্রোগ্রামের জন্য উভয়েরই প্রয়োজন। একটি এলএলএম অ্যাপ্লিকেশন এখনও সার্ভার এবং এপিআই-এর উপর চলে, যা একটি পেন্টেস্টিং-এর আওতায় থাকা উচিত, এবং একটি ত্রুটিহীন পেন্টেস্টিং থেকে এ বিষয়ে কিছুই জানা যায় না যে মডেলটিকে প্ররোচিত করে ডেটা ফাঁস করানো সম্ভব কি না।

কেন এআই রেড টিমিং এখন গুরুত্বপূর্ণ #

তিনটি শক্তি এআই রেড টিমিংকে গবেষণাগার থেকে সাধারণ নিরাপত্তা কর্মসূচিতে ঠেলে দিচ্ছে।

  • পর্যালোচনার চেয়ে দ্রুত এআই বাজারে আসছে। ডেভেলপাররা প্রতি সপ্তাহে অ্যাপ্লিকেশনগুলিতে মডেল, এজেন্ট ফ্রেমওয়ার্ক এবং এমসিপি সার্ভার যুক্ত করেন, প্রায়শই কোনো নিরাপত্তা পর্যালোচনা ছাড়াই। এগুলোর প্রত্যেকটিই হলো অবিশ্বস্ত টেক্সটের জন্য কোনো কার্যকর কম্পোনেন্টে পৌঁছানোর একটি নতুন উপায়।
  • এজেন্টরা ঝুঁকি বাড়িয়ে দেয়। একটি ত্রুটিপূর্ণ চ্যাটবট খারাপ টেক্সট তৈরি করে। একটি ত্রুটিপূর্ণ এজেন্ট আপনার প্রতিষ্ঠানের পরিচয়ে ইমেল পাঠায়, রেকর্ড সম্পাদনা করে বা কোড চালায়।
  • নিয়ন্ত্রক সংস্থাগুলো প্রতিদ্বন্দ্বিতামূলক পরীক্ষার প্রত্যাশা করে। সার্জারির ইইউ এআই আইন সিস্টেমিক ঝুঁকিযুক্ত সাধারণ-উদ্দেশ্যমূলক এআই মডেলের সরবরাহকারীদের জন্য অ্যাডভার্সারিয়াল টেস্টিং সম্পাদন এবং তার নথিভুক্তিকরণ বাধ্যতামূলক করা হয়েছে। এআই ব্যবহারকারী বেশিরভাগ সংস্থাই মডেল সরবরাহকারী নয়, তাই এই বাধ্যবাধকতা সরাসরি তাদের উপর প্রযোজ্য নয়, কিন্তু এটি এই প্রত্যাশা তৈরি করেছে যে গুরুত্বপূর্ণ এআই প্রয়োগগুলো এইভাবেই পরীক্ষা করা হবে।

এআই রেড টিমিংয়ের সীমাবদ্ধতা #

এআই রেড টিমিং শক্তিশালী, এবং এটি দেরিতেও করা হয়। এটি এমন একটি সিস্টেম পরীক্ষা করে যা ইতিমধ্যেই তৈরি এবং চালু আছে, যা তিনটি ফাঁক রেখে যায়।

এটি শুধু আপনার জ্ঞানকেই যাচাই করে। কেউ ঘোষণা করেনি এমন কোনো এজেন্টকে আপনি রেড টিম করতে পারবেন না। যদি কোনো ডেভেলপার গত মাসে একটি রিপোজিটরিতে একটি এমসিপি সার্ভার সংযুক্ত করে থাকে, তবে যতক্ষণ না কেউ এটি খুঁজে পায়, ততক্ষণ পর্যন্ত এটি প্রতিটি এনগেজমেন্টের আওতার বাইরে থাকবে।

এটি উপসর্গ খুঁজে বের করে, কারণ নয়। একটি সফল ইনজেকশনের উৎস সাধারণত কোড বা কনফিগারেশনের কোনো একটি বিষয় থেকে খুঁজে পাওয়া যায়: যেমন, সিস্টেম প্রম্পটের সাথে অবিশ্বস্ত কন্টেন্ট জুড়ে দেওয়া, কোনো সুরক্ষা ব্যবস্থা ছাড়া ডেটা পুনরুদ্ধারের ব্যবস্থা, অথবা কোনো এজেন্টকে তার প্রয়োজনের চেয়ে বেশি টুলস দেওয়া। রেড টিম প্রমাণ করে যে আক্রমণটি কাজ করে; কিন্তু যে লাইনটি এর সুযোগ করে দিয়েছে, সেটি এখনও কাউকে খুঁজে বের করতে হবে।

এটি পর্যায়ক্রমিক। ত্রৈমাসিকভাবে অথবা কোনো কিছু চালু করার আগে আলোচনা অনুষ্ঠিত হয়। কোডবেস প্রতিদিন পরিবর্তিত হয়।

এই কারণেই অভিজ্ঞ দলগুলো লাইফসাইকেলের শুরুতেই এআই রেড টিমিং-এর সাথে নিয়ন্ত্রণ ব্যবস্থা যুক্ত করে: কোডবেসের প্রতিটি এআই অ্যাসেটের একটি তালিকা তৈরি করা, এবং ঝুঁকিপূর্ণ এআই কনফিগারেশন ব্যবহারের মুহূর্তেই তা শনাক্ত করা। commitতাই লাল দল এড়ানো যায় এমন সমস্যাগুলো পুনরায় আবিষ্কার করার পরিবর্তে কঠিন সমস্যাগুলোর পেছনেই সময় ব্যয় করে।

রেড টিম আসার আগে: আপনার এআই-এর পেছনের কোড সুরক্ষিত করা #

এআই রেড টিমিং পরীক্ষা করে দেখে যে একটি এআই সিস্টেম চালু হওয়ার পর কী করবে। জাইজেনি আরও আগে, সেই কোড এবং কনফিগারেশনের উপর কাজ করে যা শুরুতেই নির্ধারণ করে দেয় যে এআই-কে কী করার অনুমতি দেওয়া হবে।

জাইজেনি এআই নিরাপত্তা আপনার রিপোজিটরি জুড়ে থাকা এআই অ্যাসেটগুলো খুঁজে বের করে, যার মধ্যে রয়েছে মডেল, এজেন্ট, এমসিপি সার্ভার, স্কিল, প্রম্পট এবং আরও অনেক কিছু। guardrailsএআই টুলগুলো যে কোড এবং কনফিগারেশন ফাইল রেখে যায়, সেখান থেকেই এটি তথ্য সংগ্রহ করে, তাই ডেভেলপারদের সেগুলো ঘোষণা করার উপর কোনো নির্ভর করতে হয় না। এরপর এটি সেই কোড এবং কনফিগারেশনে প্রম্পট-ইনজেকশন-শ্রেণির ঝুঁকি শনাক্ত করে, যা LLM অ্যাপ্লিকেশনের জন্য OWASP টপ ১০-এর সাথে ম্যাপ করা থাকে, এবং সুনির্দিষ্ট ফাইল ও লাইন নির্দেশ করে দেয়। এর ফলে: আপনার রেড টিমের জন্য একটি সম্পূর্ণ পরিধি তৈরি হয়, এবং তাদের আসার আগেই এড়ানো সম্ভব এমন ত্রুটির সংখ্যা কমে আসে।

একটি ডেমো তফসিল আপনার নিজের কোডবেসের এআই ইনভেন্টরি দেখতে।

FAQ #

সহজ ভাষায় এআই রেড টিমিং কী?

এআই রেড টিমিং মানে হলো, একজন সত্যিকারের প্রতিপক্ষের মতোই ইচ্ছাকৃতভাবে নিজের এআই সিস্টেমকে আক্রমণ করা, যাতে খুঁজে বের করা যায় কীভাবে একে কারসাজি করে ডেটা ফাঁস করানো যায়, এর নিয়মকানুন অমান্য করানো যায় বা অনিরাপদ পদক্ষেপ নিতে বাধ্য করা যায়। এরপর আক্রমণকারীরা খুঁজে পাওয়ার আগেই প্রাপ্ত ফলাফলগুলো সংশোধন করা হয়।

এআই রেড টিমিং কি এলএলএম রেড টিমিং-এর মতোই?

মূলত, এলএলএম রেড টিমিং ল্যাঙ্গুয়েজ মডেল এবং তার ওপর ভিত্তি করে নির্মিত অ্যাপ্লিকেশনগুলোর ওপর আলোকপাত করে। এআই রেড টিমিং একটি ব্যাপকতর পরিভাষা এবং এর আওতায় এজেন্ট, মাল্টিমোডাল মডেল এবং ক্লাসিক্যাল মেশিন লার্নিং সিস্টেম, যেমন—ইমেজ ক্লাসিফায়ার বা ফ্রড মডেলও অন্তর্ভুক্ত।

এআই রেড টিমিং কি স্বয়ংক্রিয় করা সম্ভব?

আংশিকভাবে। স্বয়ংক্রিয় টুলগুলো হাজার হাজার পরিচিত অ্যাটাক প্যাটার্ন চালাতে পারে এবং সফলতার হার পরিমাপ করতে পারে, যা রিগ্রেশন টেস্টিংয়ের জন্য অপরিহার্য। নতুন ধরনের অ্যাটাক এখনও মানুষের সৃজনশীলতা থেকেই আসে, তাই বেশিরভাগ প্রোগ্রামই এই দুটিকে একত্রিত করে।

এআই রেড টিমিংয়ের দায়িত্ব কার থাকা উচিত?

বেশিরভাগ প্রতিষ্ঠানে এটি অ্যাপ্লিকেশন সিকিউরিটি বা অফেন্সিভ সিকিউরিটি টিমের অধীনে থাকে এবং এআই ফিচার তৈরি করা ইঞ্জিনিয়ারদের সাথে কাজ করে। এটি একটি নতুন ধরনের সফটওয়্যারে প্রয়োগ করা একটি নিরাপত্তা পদ্ধতি, কোনো পৃথক এআই ফাংশন নয়।

বিনামূল্যে শুরু করুন

বিনামূল্যে শুরু করুন।
কোন ক্রেডিট কার্ড প্রয়োজন নেই

এক ক্লিকেই শুরু করুন:

এই তথ্য সুরক্ষিতভাবে সংরক্ষণ করা হবে যেমন সেবা পাবার শর্ত এবং গোপনীয়তা নীতি

অ্যাপের স্ক্রিনশট