TL; ডিআর #
এমএলওপিএস (মেশিন লার্নিং অপারেশনস) হলো এমন কিছু অনুশীলনের সমষ্টি যা একটি মেশিন লার্নিং মডেলকে পরীক্ষামূলক পর্যায় থেকে একটি নির্ভরযোগ্য প্রোডাকশন সিস্টেমে নিয়ে যায় এবং পরবর্তীতেও এর নির্ভরযোগ্যতা বজায় রাখে। এটি ডেভওপিএস অটোমেশনের সাথে এমন কিছু অংশকে একত্রিত করে যা ডেভওপিএসকে কখনও সামলাতে হয়নি: যেমন ডেটা ভার্সনিং, মডেল ট্রেনিং, একটি মডেল রেজিস্ট্রি এবং ড্রিফট পর্যবেক্ষণ। এমএলওপিএস মডেলগুলোকে পুনরায় ব্যবহারযোগ্য করে তোলে। এমএলওপিএস নিরাপত্তা নিশ্চিত করে যে যা কিছু পাঠানো হচ্ছে এবং এর উপর নির্ভরশীল সবকিছুই বিশ্বাসযোগ্য।
এমএলওপস (MLOps) কী? #
এমন একটি মডেল যা একটি ক্ষেত্রে কাজ করে নাebook এটি কোনো পণ্য নয়। এটি তখনই একটি পণ্য হয়ে ওঠে, যখন এটিকে নতুন ডেটার ওপর পুনরায় প্রশিক্ষণ দেওয়া যায়, ম্যানুয়াল হস্তান্তর ছাড়াই স্থাপন করা যায়, ভুল আচরণ করলে পূর্বাবস্থায় ফিরিয়ে আনা যায়, এবং কোনো নিরীক্ষক এর উৎস জানতে চাইলে তা ব্যাখ্যা করা যায়।
এই ফাঁকটিতেই বেশিরভাগ মেশিন লার্নিং প্রজেক্ট আটকে যায়। গুগলের বহুল উদ্ধৃত গবেষণাপত্র। মেশিন লার্নিং সিস্টেমে লুকানো প্রযুক্তিগত ঋণ দেখানো হয়েছে যে মডেল কোড একটি বাস্তব এমএল সিস্টেমের একটি ক্ষুদ্র অংশ মাত্র। বাকিটা হলো ডেটা সংগ্রহ, ফিচার এক্সট্র্যাকশন, কনফিগারেশন, পরিকাঠামো পরিচালনা এবং পর্যবেক্ষণ, আর সেখানেই ঘাটতি তৈরি হয়।
এমএলওপিএস হলো সেই ডিসিপ্লিন যা বাকিটা পরিচালনা করে। এটি ডেভওপিএস-এর নীতিগুলি (অটোমেশন, ভার্সন কন্ট্রোল, কন্টিনিউয়াস ডেলিভারি, শেয়ার্ড ওনারশিপ) এমন একটি সিস্টেমে প্রয়োগ করে, যেখানে এর আচরণ কোডের মতোই ডেটার উপরও নির্ভর করে। সুতরাং, কোনো দল যখন জিজ্ঞাসা করে 'এমএলওপিএস কী', তখন তারা আসলে জানতে চায় কীভাবে মডেলগুলিকে এমন কিছুতে পরিণত করা যায় যা সংস্থাটি কেবল তৈরিই নয়, পরিচালনাও করতে পারে। এআই নিরাপত্তা বলতে কী বোঝায়?
গুরুত্বপূর্ণ পার্থক্যটি হলো: সফটওয়্যারে, একই কোড একই ধরনের আচরণ তৈরি করে। মেশিন লার্নিং-এ, ভিন্ন ভিন্ন ডেটার ওপর প্রশিক্ষিত একই কোড একটি ভিন্ন মডেল তৈরি করে। MLOps-এর অস্তিত্ব রয়েছে কারণ ডেটা হলো পরিবর্তনের একটি দ্বিতীয় উৎস।
MLOps-এর অর্থ: পরিভাষাটি আসলে কী বোঝায় #
বিভিন্ন বিক্রেতার মধ্যে MLOps-এর অর্থ ভিন্ন হয়, তাই এর সীমা উল্লেখ করা সহায়ক। এই পরিভাষাটি পাঁচটি ক্ষেত্রকে অন্তর্ভুক্ত করে:
- ডাটা ব্যাবস্থাপনা. ডেটাসেটের ভার্সন তৈরি করা, সেগুলোর গুণমান যাচাই করা এবং কোন ডেটা দিয়ে কোন মডেলকে প্রশিক্ষণ দেওয়া হয়েছে তার হিসাব রাখা।
- পরীক্ষণ ও প্রশিক্ষণ। পরীক্ষা, প্যারামিটার এবং ফলাফল ট্র্যাক করা, যাতে একটি মডেলকে শুধু মনে রাখাই নয়, বরং পুনরুৎপাদন করা যায়।
- মডেল রেজিস্ট্রি। প্রতিটি মডেল সংস্করণ, তার বংশবৃত্তান্ত, মূল্যায়ন এবং অনুমোদনের স্থিতির একটি একক নথি।
- ডেলিভারি এবং পরিবেশন। অটোমেটেড pipelineযেগুলো মডেলগুলোকে প্যাকেজ, পরীক্ষা এবং ইনফারেন্স এন্ডপয়েন্টে স্থাপন করে, যার মধ্যে নতুন ডেটা এলে অবিচ্ছিন্ন প্রশিক্ষণও অন্তর্ভুক্ত।
- নিরীক্ষণ। প্রোডাকশন মডেলগুলিতে ডেটা ড্রিফট, কনসেপ্ট ড্রিফট এবং পারফরম্যান্সের অবনতি পর্যবেক্ষণ করা এবং সেগুলোর অবনতি ঘটলে রিট্রেনিং শুরু করা।
এটি নিজে থেকে যা অন্তর্ভুক্ত করে না: একটি মডেলের উপাদানগুলোর নিরাপত্তা pipeline এগিয়ে আসে। সেখানেই এমএলওপিএস নিরাপত্তা এবং এর সাথে সম্পর্কিত পরিভাষাগুলো কার্যকর হয়।
কেন এমএলওপিএস একটি স্বতন্ত্র শাখায় পরিণত হলো #
কারণ মডেলের কার্যকারিতা এমনভাবে হ্রাস পায়, যা কোডের ক্ষেত্রে হয় না। সঠিকভাবে লেখা একটি ফাংশন সবসময় সঠিক থাকে। কিন্তু গত বছরের লেনদেনের উপর প্রশিক্ষিত একটি জালিয়াতি মডেল, কোডের একটি লাইনেও কোনো পরিবর্তন না করেই, ধীরে ধীরে এ বছরের আচরণের সাথে মেলানো বন্ধ করে দেয়। পর্যবেক্ষণ এবং পুনঃপ্রশিক্ষণ ছাড়া, এর নির্ভুলতা নীরবে ক্ষয় হতে থাকে।
ব্যাপকতার কারণে এটি অনিবার্য হয়ে পড়েছিল। একটি মডেল হাতে করে পরিচালনা করা যায়। কিন্তু ডজন ডজন মডেল, যেগুলোর প্রত্যেকটি নিজস্ব সময়সূচী অনুযায়ী রিট্রেইন করা হয় এবং প্রতিটি তার নিজস্ব ডেটাসেট, ফ্রেমওয়ার্ক ও প্রি-ট্রেইনড ওয়েটের উপর নির্ভরশীল, সেগুলো পরিচালনা করা যায় না। এমএলওপস (MLOps) সেই কাজটিকে রূপান্তরিত করেছে pipelines.
এরপর সাপ্লাই চেইন এলো। আধুনিক এমএল খুব কমই শূন্য থেকে শুরু হয়। টিমগুলো পাবলিক হাব থেকে প্রি-ট্রেইনড মডেল ডাউনলোড করে, বড় ওপেন-সোর্স ফ্রেমওয়ার্কের ওপর নির্ভর করে এবং থার্ড-পার্টি ডেটা দিয়ে সেগুলোকে ফাইন-টিউন করে। এর প্রতিটিই এমন একটি উপাদান যা অন্য কেউ তৈরি করেছে। কিছু মডেল সিরিয়ালাইজেশন ফরম্যাট ফাইল লোড করার সময় কোড এক্সিকিউট করতে পারে, যার মানে হলো একটি মডেল ডাউনলোড করা আর একটি অবিশ্বস্ত প্যাকেজ ইনস্টল করার ঝুঁকি একই রকম হতে পারে। ডেটা পয়জনিং বলতে কী বোঝায়?
গুগল ক্লাউডের রেফারেন্স আর্কিটেকচার, এমএলওপস: নিরবচ্ছিন্ন ডেলিভারি এবং অটোমেশন pipelineমেশিন লার্নিং-এপরিপক্কতাকে তিনটি স্তরে বর্ণনা করে: ম্যানুয়াল প্রক্রিয়া (স্তর ০), স্বয়ংক্রিয় প্রশিক্ষণ pipelines (স্তর ১) এবং স্বয়ংক্রিয় CI/CD এর pipelineবেশিরভাগ সংস্থাই প্রথম দুটির মাঝামাঝি অবস্থানে থাকে (স্তর ২)।
একটি পরিপক্ক MLOps অনুশীলন স্বয়ংক্রিয়ভাবে তালিকার প্রতিটি প্রশ্নের উত্তর দেয়। একটি নিরাপত্তা-সচেতন অনুশীলন প্রতিটি পর্যায়ে একটি ষষ্ঠ প্রশ্ন যোগ করে: এই ধাপটি কিসের উপর নির্ভর করেছিল, এবং সেটি পরিবর্তিত হলে আমরা কি তা জানতে পারব? এর উত্তর দেওয়ার জন্য এমন একটি AI ইনভেন্টরি প্রয়োজন যা কোনো একক ব্যবস্থার বাইরে থাকে। pipeline.
MLOps কী নয়? পার্শ্ববর্তী পরিভাষা #
OWASP GenAI সিকিউরিটি প্রজেক্ট ২০২৬ সালের আগস্ট মাসে LLM অ্যাপ্লিকেশন ২০২৬-এর জন্য শীর্ষ ১০টি প্রকাশ করেছে, এবং এগুলি প্রায়শই একে অপরের পরিবর্তে ব্যবহৃত হয়, যা টুলিং এবং মালিকানা উভয় আলোচনাকেই ঘোলাটে করে তোলে।
- এআই শাসন এমএলওপস-এর জন্য নীতি, জবাবদিহিতা এবং পরিপালন বিধি নির্ধারণ করে। pipelineতারপর বলবৎ করুন। → এআই গভর্নেন্স কী?
- DevOps সফটওয়্যার সরবরাহকে স্বয়ংক্রিয় করে। এমএলওপিএস এটিকে প্রতিস্থাপন না করে, বরং ডেটা, প্রশিক্ষণ এবং মডেল পর্যবেক্ষণের মাধ্যমে এর পরিধি প্রসারিত করে।
- ডেটাঅ্যাপস ডেটার উপর মনোযোগ দেয় pipelineডেটার গুণমান, সতেজতা এবং অ্যানালিটিক্স ও এমএল গ্রাহকদের কাছে এর সরবরাহ।
- মডেলঅপস এর আওতায় শুধু মেশিন লার্নিং নয়, বরং প্রোডাকশনে থাকা সমস্ত অ্যানালিটিক্যাল ও এআই মডেলের ব্যাপকতর পরিচালনা অন্তর্ভুক্ত, যার মধ্যে রুলস-বেসড এবং অপটিমাইজেশন মডেলও রয়েছে।
- এলএলএমওপিএস বৃহৎ ভাষা মডেলের সাথে এমএলওপিএস-কে অভিযোজিত করে: প্রম্পট ব্যবস্থাপনা, পুনরুদ্ধার pipelineউৎপাদিত আউটপুটের মূল্যায়ন এবং ব্যয় নিয়ন্ত্রণ।
- এমএলসেকওপিএস এমএল লাইফসাইকেলে নিরাপত্তা নিয়ে আসে: মডেলের উৎস, pipeline অখণ্ডতা, নির্ভরশীলতার ঝুঁকি এবং প্রতিকূল হুমকি। এটি এমএলওপিএস-এর নিরাপত্তা স্তর, কোনো প্রতিযোগী প্রক্রিয়া নয়।
এগুলো স্তর, প্রতিযোগী নয়। যে সংস্থা এমএলওপিএস নিরাপত্তা ছাড়া এমএলওপিএস পরিচালনা করে, তারা তাদের ডেলিভারি স্বয়ংক্রিয় করেছে। pipeline এর মধ্য দিয়ে কী প্রবাহিত হয় তা পরীক্ষা না করেই।
যে কাঠামোসমূহ ঝুঁকির MLOps অর্থকে রূপ দেয় #
কোনো ফ্রেমওয়ার্ককে তার প্রকাশনার অবস্থা দিয়ে বিচার করুন, সেটি শুনতে কতটা আধুনিক লাগছে তা দিয়ে নয়।
ডকুমেন্টেশনের ক্ষেত্রে সৎ কাঠামোটি সংকীর্ণ। উচ্চ-ঝুঁকিপূর্ণ সিস্টেমের জন্য ইইউ এআই অ্যাক্টের প্রযুক্তিগত ডকুমেন্টেশনের দায়িত্ব এবং সাইবার রেজিলিয়েন্স অ্যাক্টের... SBOM বাধ্যবাধকতাগুলো বাস্তব প্রমাণের প্রয়োজনীয়তা তৈরি করে। একটি এআই ইনভেন্টরি এবং একটি এআই-বিওএম সেগুলো পূরণে সহায়তা করে। কোনো প্রবিধানেই এআই-বিওএম-এর নাম উল্লেখ করা হয়নি এবং কোনোটিতেই নির্দিষ্ট কোনো এমএলওপিএস টুলের প্রয়োজন হয় না।
সংজ্ঞা থেকে প্রোগ্রাম পর্যন্ত #
মডেল লিনিয়েজ-এর MLOps অর্থ জানা আর আপনার নিজের রিপোজিটরিগুলোতে আসলে কোন মডেল, ডেটাসেট এবং ফ্রেমওয়ার্কগুলো সংযুক্ত আছে তা জানা এক জিনিস নয়।
সেই ব্যবধানটি একটি অনুমানযোগ্য ক্রমে কমে আসে। আপনার প্রতিটি এআই সম্পদ আবিষ্কার করুন। pipelineনির্ভর করে এমন সব ডেটা সেট, যার মধ্যে কেউ নিবন্ধন করেনি এমনগুলোও অন্তর্ভুক্ত। তারা কীভাবে সংযুক্ত তা ম্যাপ করুন, যাতে আপনি জানতে পারেন কোন ডেটা সেট কোন মডেলকে ডেটা সরবরাহ করে এবং কোন এন্ডপয়েন্ট সেটিকে পরিষেবা দেয়। তারপর সেই রেকর্ডটি একটি AI-BOM হিসাবে এক্সপোর্ট করুন যা অডিটর, গ্রাহক এবং আপনার নিজস্ব ইনসিডেন্ট রেসপন্স টিম ব্যবহার করতে পারবে।
জাইজেনি এআই নিরাপত্তা এটি আপনার কোড থেকে সেই রেকর্ডটি তৈরি করে। এটি মডেল, এআই ফ্রেমওয়ার্ক, ডেটাসেট, ইনফারেন্স এন্ডপয়েন্ট, এজেন্ট এবং আপনার বাকি এআই ফুটপ্রিন্টের একটি নিরবচ্ছিন্ন এআই ইনভেন্টরি বজায় রাখে, যেখানে প্রতিটি অ্যাসেটের জন্য একটি রিস্ক স্কোর, প্রোভাইডার, টাইপ এবং কোডে তার সঠিক অবস্থান উল্লেখ থাকে। এআই গ্রাফটি দেখায় কোন ডেটাসেট কোন মডেলকে ডেটা সরবরাহ করে এবং কোথায় ঝুঁকি কেন্দ্রীভূত, এবং একই ডিসকভারি থেকে একটি মেশিন-রিডেবল এআই-বিওএম (AI-BOM) এক্সপোর্ট করা যায়। আপনার এমএলওপিএস (MLOps)। pipeline ক্রমাগত মডেল সরবরাহ করে; জাইজেনি আপনাকে জানায় সেগুলো কী দিয়ে তৈরি। অন্তর্নিহিত ধারণাগুলোর জন্য দেখুন এআই বিওএম কী? এবং এআই ইনভেন্টরি বলতে কী বোঝায়?
একটি ডেমো তফসিল আপনার নিজের এআই ইনভেন্টরি এবং এআই-বিওএম দেখতে।
FAQ #
যেসব পদ্ধতি ও অটোমেশন একটি টিমকে মেশিন লার্নিং মডেলগুলোকে নির্ভরযোগ্যভাবে প্রশিক্ষণ দিতে, সরবরাহ করতে, পর্যবেক্ষণ করতে এবং পুনরায় প্রশিক্ষণ দিতে সাহায্য করে, ঠিক যেভাবে ডেভঅপ্স সফটওয়্যারের ক্ষেত্রে করে থাকে।
DevOps কোডের পরিবর্তন পরিচালনা করে। MLOps কোডের পরিবর্তন এবং ডেটার পরিবর্তন পরিচালনা করে, কারণ একটি মডেলের আচরণ নির্ভর করে সেই ডেটার উপর যার উপর ভিত্তি করে এটিকে প্রশিক্ষণ দেওয়া হয়েছে। এর সাথে ডেটা ভার্সনিং এবং প্রশিক্ষণের বিষয়টি যুক্ত হয়। pipelineএস, একটি মডেল রেজিস্ট্রি এবং ড্রিফট পর্যবেক্ষণ।
এমএল লাইফসাইকেলে নিরাপত্তা প্রয়োগ: মডেল এবং ডেটাসেট কোথা থেকে আসছে তা যাচাই করা, প্রশিক্ষণ এবং ডেপ্লয়মেন্ট সুরক্ষিত করা pipelineএবং একটি মডেল যে নির্ভরতাগুলোর উপর নির্ভর করে, সেগুলোর উপর নজর রাখা। একে প্রায়শই এমএলসেকওপিএস (MLSecOps) বলা হয়।
এমন একটি সিস্টেম যা প্রয়োজনের চেয়েও বেশি অনুমতি নিয়ে, আরও স্বায়ত্তশাসিতভাবে এবং আরও বেশি পদক্ষেপ নিতে পারে। তবে তা ডিফল্টভাবে নয়। একটি মডেল রেজিস্ট্রি এমএল টিমের জন্য মডেলের সংস্করণ এবং বংশধারা নথিভুক্ত করে। একটি এআই ইনভেন্টরি, এবং তা থেকে এক্সপোর্ট করা এআই-বিওএম হলো একটি standardঅডিটর, গ্রাহক এবং নিরাপত্তা দলগুলোর জন্য তৈরি এআই উপাদানগুলোর একটি মেশিন-পাঠযোগ্য রেকর্ড। এগুলো একে অপরের পরিপূরক।
সাধারণত এমএল ইঞ্জিনিয়ারিং বা একটি প্ল্যাটফর্ম টিম। এর নিরাপত্তা pipeline এই সম্পর্কটি ভাগ করা: এমএল টিম ডেলিভারির দায়িত্বে থাকে, এবং অ্যাপ্লিকেশন সিকিউরিটি সেইসব ডিপেন্ডেন্সি ও কম্পোনেন্টের দায়িত্বে থাকে যার ওপর ডেলিভারি নির্ভর করে।
