জাইজেনি নিরাপত্তা পরিভাষাকোষ
সফটওয়্যার উন্নয়ন ও ডেলিভারি নিরাপত্তা পরিভাষাকোষ

এআই কী? guardrails?

AI guardrails এগুলো হলো সেই নিয়ন্ত্রণ ব্যবস্থা যা একটি এআই সিস্টেমকে নিরাপদ, সুরক্ষিত এবং প্রত্যাশিত সীমার মধ্যে রাখে। এগুলো পরীক্ষা করে দেখে একটি মডেলে কী প্রবেশ করছে, তা থেকে কী বেরিয়ে আসছে এবং একটি এআই এজেন্টকে কী করার অনুমতি দেওয়া হয়েছে। যখন কোনো কিছু সীমা অতিক্রম করে, তখন এই সুরক্ষা ব্যবস্থাটি সেটিকে ব্লক করে দেয়, নতুন করে লেখে অথবা কোনো মানুষের কাছে পাঠিয়ে দেয়।

আপনি যদি জিজ্ঞাসা করেন এআই কী guardrails উদাহরণস্বরূপ, পাহাড়ি রাস্তার প্রতিবন্ধকগুলোর কথা ভাবুন। সেগুলো গাড়ি চালায় না, এবং কোনো দৃঢ়প্রতিজ্ঞ চালককে ইচ্ছাকৃতভাবে খাদের কিনারা থেকে ঝাঁপ দেওয়া থেকেও আটকায় না। সেগুলো সাধারণ ও অনুমানযোগ্য ভুলগুলোকে দুর্ঘটনায় পরিণত হওয়া থেকে বিরত রাখে।

AI guardrails এক বাক্যে অর্থ #

এআই guardrails অর্থাৎ, সংক্ষেপে: একটি মডেল বা এজেন্টের চারপাশে স্থাপিত নিয়ম, ফিল্টার এবং চেকের একটি সেট, যাতে এটি ক্ষতিকর আউটপুট তৈরি না করে, ডেটা ফাঁস না করে, দূষিত নির্দেশ অনুসরণ না করে বা এমন কোনো কাজ না করে যার অনুমোদন কেউ দেয়নি।

এই পরিভাষাটি পলিসি এবং কোড উভয়কেই অন্তর্ভুক্ত করে। একটি পলিসি বলে দেয় যে এআই কখনোই কী করতে পারবে না। গার্ডরেইল হলো সেই সফটওয়্যার যা রানটাইমে, অর্থাৎ প্রতিবার মডেলটিকে কল করার সময়, সেই পলিসিটি প্রয়োগ করে।

কেন এআই? guardrails এখনকার বিষয় #

একটি চ্যাটবট যা প্রশ্নের উত্তর দেয়, সে কেবল ভুল কিছু বলতে পারে। একটি এআই এজেন্ট যা টুলস ডাকে, ইমেল পড়ে, কোড সম্পাদনা করে বা কমান্ড চালায়, সে ভুল করতে পারে। এই পরিবর্তনের কারণেই এআই guardrails ঐচ্ছিক বিষয় থেকে মৌলিক প্রয়োজনে পরিণত হয়েছে।

তিনটি বিষয় পরিস্থিতিকে আরও জটিল করে তুলেছিল:

প্রবিধান নিয়ন্ত্রণের প্রত্যাশা করে। ইইউ এআই আইন উচ্চ-ঝুঁকিপূর্ণ এআই সিস্টেমের সরবরাহকারীদের ঝুঁকি ব্যবস্থাপনার জন্য নির্দেশ দেয়। মানুষকে অবগত রাখুন এবং সিস্টেম যা করে তা লিপিবদ্ধ করুন। Guardrails দলগুলো বাস্তবে যে এই নিয়ন্ত্রণগুলোর অস্তিত্ব দেখায়, তার অন্যতম একটি উপায় হলো এগুলো।

মডেলরা এমন নির্দেশনা অনুসরণ করে যা তাদের করা উচিত নয়। প্রম্পট ইনজেকশন একটি ওয়েব পেজ, ডকুমেন্ট বা কোড কমেন্টের মধ্যে কমান্ড লুকিয়ে রাখে এবং মডেল সেগুলোকে আদেশ হিসেবে গণ্য করে। এলএলএম আবেদনের জন্য OWASP শীর্ষ ১০ একে এক নম্বর ঝুঁকি (LLM01) হিসেবে স্থান দিয়েছে।

এজেন্টদের প্রকৃত অনুমতি রয়েছে। কোনো রিপোজিটরি বা ডেটাবেসে লেখার অ্যাক্সেস থাকা একটি এজেন্ট মেশিন স্পিডে ক্ষতি করতে পারে। OWASP একে অতিরিক্ত এজেন্সি (LLM06) বলে।

এআই এর প্রকার guardrails #

বেশিরভাগ এআই guardrails মডেলের চারপাশে তাদের অবস্থানের উপর নির্ভর করে, তারা পাঁচটি দলে বিভক্ত হয়।

আদর্শযেখানে এটি বসে আছেএটি কী পরীক্ষা করেউদাহরণ
ইনপুট guardrailsপ্রম্পটটি মডেলে পৌঁছানোর আগেপ্রম্পট ইনজেকশন, জেলব্রেকের প্রচেষ্টা, অপ্রাসঙ্গিক বা নিষিদ্ধ অনুরোধ, ব্যক্তিগত তথ্য“আপনার পূর্ববর্তী নির্দেশাবলী উপেক্ষা করুন” লেখা একটি বার্তা ব্লক করা।
আউটপুট guardrailsমডেলটি উত্তর দেওয়ার পরে, ব্যবহারকারী বা কোনো সিস্টেম তা দেখার আগেবিষাক্ত বা ক্ষতিকর বিষয়বস্তু, ফাঁস হওয়া গোপনীয় তথ্য বা ব্যক্তিগত তথ্য, মনগড়া তথ্য, অনিরাপদ কোডমডেলটি তার উত্তরে যে এপিআই কী কপি করেছিল তা মুছে ফেলা হচ্ছে
কর্ম guardrailsএকজন এজেন্ট এবং তার সরঞ্জামগুলির মধ্যেএটি কোন কোন টুলকে কল করতে পারে, কী কী প্যারামিটার সহ, এবং কখন একজন মানুষের অনুমোদন প্রয়োজন।এজেন্টের ফাইল মুছে ফেলার বা টাকা পাঠানোর আগে অনুমোদনের প্রয়োজন।
উপাত্ত guardrailsপ্রশিক্ষণ ডেটা, RAG উৎস এবং মেমরির আশেপাশেদূষিত নথি, অবিশ্বস্ত উৎস, এমন ডেটা যা ব্যবহারকারীকে দেখার অনুমতি নেইব্যবহারকারীর প্রবেশাধিকার অনুযায়ী প্রাপ্ত নথি ফিল্টার করা
মডেল এবং সরবরাহ শৃঙ্খল guardrailsমডেল, প্রম্পট, প্লাগইন এবং স্কিলগুলোর চারপাশেঅনিরাপদ মডেল লোডিং, আনপিন করা প্রম্পট, ক্ষতিকারক দক্ষতা বা এমসিপি সার্ভারএমন একটি মডেল প্রত্যাখ্যান করা যা লোড করার জন্য রিমোট কোড এক্সিকিউশনের প্রয়োজন।

ইনপুট এবং আউটপুট guardrails এগুলোই সবচেয়ে সাধারণ, কারণ যেকোনো এলএলএম-এর চারপাশে একটি স্তর হিসেবে এগুলো সহজেই যোগ করা যায়। অ্যাকশন guardrails এআই এজেন্টদের জন্য সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো সেখানেই একটি খারাপ ডিজাইন।cisআয়ন একটি সিস্টেমে প্রকৃত পরিবর্তনে পরিণত হয়।

কিভাবে AI guardrails বাস্তবে কাজ #

AI guardrails প্রতিটি অনুরোধের পথে চেকপয়েন্ট হিসেবে কাজ করে। এমন একজন সাপোর্ট এজেন্ট নিন যিনি গ্রাহকের অর্ডার পড়তে এবং রিফান্ড ইস্যু করতে পারেন:

  1. ব্যবহারকারী একটি বার্তা পাঠান। একটি ইনপুট গার্ডরেল ইনজেকশন প্যাটার্ন, জেলব্রেক কৌশল এবং এমন ব্যক্তিগত তথ্যের জন্য এটিকে স্ক্যান করে, যা মডেলে পৌঁছানো উচিত নয়।
  2. এজেন্টটি প্রেক্ষাপট সংগ্রহ করে। একটি ডেটা গার্ডরেল নিশ্চিত করে যে এটি শুধুমাত্র এই গ্রাহকের অর্ডারগুলোই সংগ্রহ করবে এবং সংগৃহীত টেক্সটকে নির্দেশনা হিসেবে নয়, বরং ডেটা হিসেবে গণ্য করবে।
  3. মডেলটি একটি টুলকে ডাকার সিদ্ধান্ত নেয়। একটি অ্যাকশন গার্ডরেল নীতির সাথে কলটি মিলিয়ে দেখে: একটি নির্দিষ্ট পরিমাণের কম রিফান্ড সম্পন্ন হয়, আর এর চেয়ে বড় অঙ্কের জন্য একজন কর্মীর অপেক্ষা করতে হয়।
  4. মডেলটি তার উত্তর লেখে। আউটপুট গার্ডরেল সংবেদনশীল সবকিছু সরিয়ে দেয়, সুর পরীক্ষা করে এবং নীতি লঙ্ঘনকারী বিষয়বস্তু ব্লক করে দেয়।
  5. সবকিছু নথিভুক্ত করা হয়। প্রতিটি ডিcisঘটনাটি রেকর্ড করা হয়, যাতে টিম ব্লক করা অনুরোধগুলো পর্যালোচনা করতে, নিয়মগুলো পরিমার্জন করতে এবং নিরীক্ষকদের দেখাতে পারে কী ঘটেছে।

Guardrails এগুলো হতে পারে সাধারণ কিছু নিয়ম (কীওয়ার্ড তালিকা, রেগুলার এক্সপ্রেশন, টুলের অনুমোদিত তালিকা), ঝুঁকির মাত্রা অনুযায়ী টেক্সটকে স্কোর করার জন্য প্রশিক্ষিত ক্লাসিফায়ার, অথবা প্রথমটিকে বিচার করার জন্য একটি দ্বিতীয় মডেল। বেশিরভাগ প্রোডাকশন সেটআপে এই তিনটিরই মিশ্রণ থাকে, কারণ নিয়মগুলো দ্রুত ও অনুমানযোগ্য, অন্যদিকে ক্লাসিফায়ারগুলো নিয়মের বাদ পড়া বিষয়গুলো ধরে ফেলে।

যেখানে এআই guardrails ছোট পড়া #

AI guardrails এগুলো ঝুঁকি কমায়, কিন্তু পুরোপুরি দূর করে না। আক্রমণকারীরা এগুলো ক্রমাগত পরীক্ষা করে, এবং গতকাল কাজ করা একটি ফিল্টারকেও ফাঁকি দিয়ে নতুন কোনো জেলব্রেক হয়ে যেতে পারে। কোনো একটি মডেলের ওপর ভিত্তি করে তৈরি সুরক্ষাব্যবস্থাটিও, যে মডেলটিকে সে রক্ষা করে, সেই একই কৌশলের দ্বারা প্রতারিত হতে পারে।

সবচেয়ে বড় ব্যবধানটি হলো সময়। রানটাইম guardrails এআই সিস্টেমটি চালু হওয়ার পরেই কেবল তা দেখা যায়। তারা আপনাকে বলতে পারবে না যে, কোনো ডেভেলপার ইনপুট চেক ছাড়াই একটি এজেন্ট তৈরি করেছে, একটি প্রম্পটকে ফ্লোটিং ভার্সনে পিন করেছে, কোনো টুলকে সার্ভার অ্যাডমিন রাইটস দিয়েছে অথবা গোপন নির্দেশনাসহ একটি স্কিল ইনস্টল করেছে। প্রথম ব্যবহারকারীর বার্তা আসার অনেক আগেই, এই দুর্বলতাগুলো কোড এবং কনফিগারেশনের মধ্যে থেকে যায়।

এই কারণে guardrails এগুলো এআই নিরাপত্তার একটি অংশ, পুরোটা নয়। রিলিজের আগে টিমগুলোকে তাদের কোডের মধ্যে এআই অ্যাসেট খুঁজে বের করতে, ঝুঁকিপূর্ণ প্যাটার্নের জন্য সেগুলো স্ক্যান করতে, এআই সাপ্লাই চেইন পরীক্ষা করতে এবং সমস্যাগুলো সমাধান করতে হবে। Guardrails তারপর উৎপাদনে যা কিছু থেকে যায়, তা ধরে ফেলুন।

সেরা অনুশীলন #

  • এগুলো স্তরে স্তরে সাজান। ইনপুট, আউটপুট এবং অ্যাকশন ব্যবহার করুন guardrails একসাথে। কোনো একটি ফিল্টার সবকিছু ধরতে পারে না।
  • সংগৃহীত সকল বিষয়বস্তুকে অবিশ্বস্ত হিসেবে বিবেচনা করুন। ওয়েব পেজ, ইমেল, ডকুমেন্ট এবং টুলের ফলাফলে গোপন নির্দেশনা থাকতে পারে।
  • এজেন্টদেরকে তাদের প্রয়োজনীয় ন্যূনতম সুবিধাটুকু দিন। ব্যবহৃত সরঞ্জাম সীমিত করুন, যোগ্যতার মানদণ্ড নির্ধারণ করুন এবং যে কাজগুলো পূর্বাবস্থায় ফেরানো কঠিন, সেগুলোর জন্য মানুষের অনুমোদন বাধ্যতামূলক করুন।
  • প্রম্পট এবং মডেলগুলো পিন করে রাখুন। রেজিস্ট্রি থেকে ‘সর্বশেষ’ হিসেবে নেওয়া একটি প্রম্পট পর্যালোচনা ছাড়াই পরিবর্তিত হতে পারে।
  • আপনি কী ইনস্টল করছেন তা যাচাই করুন। স্কিল, প্লাগইন এবং এমসিপি সার্ভারগুলো আপনার এআই সাপ্লাই চেইনের অংশ এবং এগুলো ক্ষতিকর নির্দেশনা বহন করতে পারে।
  • নথিভুক্ত করুন এবং পর্যালোচনা করুন। ব্লক করা অনুরোধগুলো আপনাকে দেখায় যে কীভাবে লোকেরা সিস্টেম ভাঙার চেষ্টা করে, এবং নিয়মগুলো পরিমার্জন করতে সাহায্য করে।
  • একজন আক্রমণকারী যেভাবে পরীক্ষা করবে, সেভাবেই পরীক্ষা করুন। আপনার বিরুদ্ধে রেড-টিম প্রম্পট এবং এআই পেন্টেস্ট চালান। guardrails মুক্তির আগে ও পরে।
  • সেগুলোকে একটি কাঠামোর সাথে সংযুক্ত করুন। এলএলএম আবেদনের জন্য OWASP-এর শীর্ষ ১০টি নির্দেশিকা আপনাকে অন্তর্ভুক্ত করার ও প্রতিবেদন জমা দেওয়ার জন্য ঝুঁকিগুলোর একটি সম্মিলিত তালিকা প্রদান করে।

আপনার AI নিশ্চিত করুন guardrails আপনি পাঠানোর আগে বিদ্যমান থাকতে হবে #

রানটাইম এআই guardrails শুধু তাদের দিয়ে যা গড়া হয়েছিল, তা-ই রক্ষা করুন। জাইজেনির এআই নিরাপত্তা এটি কোডের মধ্যেই আগেভাগে ফাঁক খুঁজে বের করে। এটি আপনার রিপোজিটরিগুলোতে থাকা মডেল, প্রম্পট, এজেন্ট, স্কিল এবং এমসিপি সার্ভারগুলোর একটি তালিকা তৈরি করে, তারপর যেসব জায়গায় ফাঁক রয়েছে সেগুলোকে চিহ্নিত করে। guardrails অনুপস্থিত: সিস্টেম প্রম্পট যা ব্যবহারকারীর ইনপুটকে আলাদা না করেই মিশিয়ে দেয়, এবং ইনপুটবিহীন টুল-কলিং এজেন্ট। guardrailsএমন এজেন্ট যারা কোনো রকম পরিশোধন ছাড়াই ওয়েব পেজ বা ডকুমেন্ট গ্রহণ করে, এবং কোনো রকম যাচাই ছাড়াই ছবি বা অডিও ইনপুট নেয়। প্রতিটি পর্যবেক্ষণই এলএলএম অ্যাপ্লিকেশনের জন্য OWASP-এর শীর্ষ ১০ তালিকার সাথে মিলে যায়।

এটি আপনার এআই-এর চারপাশের সাপ্লাই চেইনকেও অন্তর্ভুক্ত করে: ফ্লোটিং ভার্সনে পিন করা প্রম্পট, অনিরাপদ মডেল লোডিং, লুকানো ক্ষতিকারক নির্দেশনাসহ স্কিল এবং উচ্চতর প্রিভিলেজ নিয়ে চলমান টুল সার্ভার। Guardrails CI-তে, কোনো পরিবর্তন আপনার পলিসি লঙ্ঘন করলে মার্জ থামিয়ে দেওয়া হয়, এবং AI পেন্টেস্টিং পরীক্ষা করে দেখে যে আপনার অ্যাপ্লিকেশনটি আসল আক্রমণের মুখে কতটা টিকে থাকতে পারে।

কর্ম এটি দেখুন

FAQ #

এআই কী? guardrails সহজ ভাষায়?

AI guardrails এগুলো একটি এআই সিস্টেমের জন্য নিরাপত্তা যাচাই ব্যবস্থা। এগুলো মডেলে কী প্রবেশ করবে, কী বের হবে এবং একটি এআই এজেন্ট কী করতে পারবে, তা ফিল্টার করে, যাতে এটি আপনার সেট করা নিয়মের মধ্যে থাকে।


AI এর অর্থ কী? guardrails?

এআই guardrails এর অর্থ হলো এমন একগুচ্ছ নীতিমালা, ফিল্টার এবং প্রযুক্তিগত নিয়ন্ত্রণ, যা এআই-এর আউটপুট ও কার্যকলাপকে নিরাপদ, সুরক্ষিত এবং নিয়মসম্মত রাখে। নীতিমালাটি সীমা নির্ধারণ করে দেয় এবং গার্ডরেলটি রানটাইমে তা প্রয়োগ করে।

এআই-এর উদাহরণগুলো কী কী? guardrails?

সাধারণ উদাহরণগুলো হলো প্রম্পট ইনজেকশন ফিল্টার, টক্সিক কন্টেন্ট ফিল্টার, ব্যক্তিগত তথ্য গোপনকরণ, আউটপুটে গোপনীয় তথ্য শনাক্তকরণ, এজেন্টদের জন্য টুল অ্যালাওলিস্ট এবং ঝুঁকিপূর্ণ কাজের জন্য মানবিক অনুমোদন।

এআই করতে পারেন guardrails এড়িয়ে যাওয়া হবে?

হ্যাঁ। জেলব্রেক এবং নতুন ইনজেকশন কৌশল এগুলো ভেদ করতে পারে। সেই কারণেই guardrails এটিকে স্তরভিত্তিক করতে হবে, নিয়মিত পরীক্ষা করতে হবে এবং এআই সিস্টেমের কোড ও কনফিগারেশনের নিরাপত্তা যাচাইয়ের সাথে সমন্বয় করতে হবে।

বিনামূল্যে শুরু করুন

বিনামূল্যে শুরু করুন।
কোন ক্রেডিট কার্ড প্রয়োজন নেই

এক ক্লিকেই শুরু করুন:

এই তথ্য সুরক্ষিতভাবে সংরক্ষণ করা হবে যেমন সেবা পাবার শর্ত এবং গোপনীয়তা নীতি

অ্যাপের স্ক্রিনশট