حمله استخراج مدل

حمله استخراج مدل: چرا موجودی کالا در اولویت قرار دارد؟

TL؛ DR

حمله استخراج مدل چیست و چرا موجودی کالا در اولویت قرار دارد؟

یک حمله استخراج مدل، هوش مصنوعی شما را از طریق API خودش کپی می‌کند. بدون نفوذ، بدون سرقت وزن، بدون بدافزار.

  • چگونه کار می کند: یک حمله استخراج مدل (که به آن سرقت مدل یا مدل دزدی نیز گفته می‌شود) از یک نقطه پایانی استنتاج در مقیاس بزرگ پرس‌وجو می‌کند و یک کلون از پاسخ‌ها را آموزش می‌دهد. از نظر لاگ‌های شما، مهاجم مانند یک مشتری پرمصرف به نظر می‌رسد.
  • جایی که قرار دارد: OWASP استخراج مدل را به صورت زیر طبقه‌بندی می‌کند: LLM10:2025 مصرف نامحدود و یک فهرست مدل متمرکز را در میان راهکارهای کاهش آسیب‌پذیری خود فهرست می‌کند.
  • چرا مدافعان شکست می‌خورند: محدودیت‌های نرخ، احراز هویت و نظارت فقط از نقاط پایانی که شما از آنها اطلاع دارید محافظت می‌کنند. نقاط پایانی هوش مصنوعی سایه هیچ یک از آنها را دریافت نمی‌کنند.

اولین دفاع: فهرستی از هر مدل، عامل و نقطه پایانی استنتاج که کد شما در معرض آن قرار می‌دهد، که قبل از انتشار از منبع کشف شده است. شما نمی‌توانید از نقاط پایانی استنتاجی که فهرستی از آنها تهیه نکرده‌اید، محافظت کنید.

مدل شما می‌تواند بدون اینکه کسی به سرورهای شما دست بزند، دزدیده شود.

تیم شما ماه‌ها صرف تنظیم دقیق یک مدل بر اساس داده‌های اختصاصی کرده است. این مدل پشت یک API قرار دارد که روزانه به هزاران درخواست پاسخ می‌دهد. حالا تصور کنید که یک رقیب، بخش عمده‌ای از ارزش خود را با قیمت همین فراخوانی‌های API بازسازی کند.

این یک حمله استخراج مدل است. هیچ‌کس زیرساخت شما را نقض نمی‌کند یا وزن‌های شما را دانلود نمی‌کند. مهاجم به سادگی از مدل شما سوالات به اندازه کافی دقیق می‌پرسد، پاسخ‌ها را ثبت می‌کند و یک نسخه از آن را آموزش می‌دهد.

اکثر تیم‌ها با محدودیت‌های نرخ، احراز هویت و نظارت بر خروجی به این ریسک پاسخ می‌دهند. این کنترل‌ها کار می‌کنند. اما یک نقطه کور مشترک دارند: آن‌ها فقط از نقاط پایانی استنتاجی که شما می‌دانید وجود دارند محافظت می‌کنند. در این راهنما توضیح می‌دهیم که حمله استخراج مدل چیست، سرقت مدل در عمل چگونه کار می‌کند و چرا هر دفاعی با یک موجودی شروع می‌شود.

حمله استخراج مدل چیست؟

حمله استخراج مدل، حمله‌ای است که در آن یک مهاجم با ارسال پرس‌وجوها و یادگیری از خروجی‌های یک مدل یادگیری ماشین، یک کپی کاربردی از آن را بازسازی می‌کند. این حمله همچنین به عنوان سرقت مدل یا سرقت مدل شناخته می‌شود. مهاجم هرگز به وزن‌های اصلی، داده‌های آموزشی یا کد منبع نیاز ندارد: رابط عمومی کافی است.

این ایده جدید نیست. محققان آن را در سال ۲۰۱۶ در برابر APIهای پیش‌بینی تجاری نشان دادند (ترامر و همکاران، شرکت امنیتی USENIXدر سال ۲۰۲۴، تیمی در گوگل دیپ‌مایند بخشی از یک مدل زبان تولید را از طریق API عمومی خود بازیابی کرد (کارلینی و همکاران). میتر اطلس همان رفتاری را دنبال می‌کند که یک تکنیک دشمن علیه سیستم‌های هوش مصنوعی انجام می‌دهد.

برای برنامه‌های LLM، OWASP سرقت مدل را به موارد زیر تقسیم می‌کند: LLM10:2025 مصرف نامحدوداین دو نوع را شرح می‌دهد: استخراج از طریق کوئری‌های API ساخته‌شده، و تکثیر عملکردی، که در آن مدل هدف، داده‌های مصنوعی را برای تنظیم دقیق مدل رقیب تولید می‌کند.

حمله استخراج مدل: اصطلاحات کلیدی

یک تهدید با نام‌های مختلفی شناخته می‌شود. در اینجا به معنی هر یک و محل همپوشانی آنها می‌پردازیم.

مدتمعنیش چیه
حمله استخراج مدلبازسازی رفتار یک مدل از پاسخ‌های پرس‌وجوی آن
دزدی مدل / سرقت مدلمترادف‌های رایج؛ سرقت مدل، سرقت مستقیم فایل‌های وزنی را نیز پوشش می‌دهد.
تکرار مدل عملکردیاستفاده از خروجی‌های هدف به عنوان داده‌های آموزشی برای یک مدل جایگزین
مدل سایهکلون مهاجم، که برای تقلید از هدف آموزش دیده است

نحوه‌ی عملکرد حمله‌ی استخراج مدل

هر حمله استخراج مدل از یک حلقه یکسان پیروی می‌کند: پیدا کردن یک نقطه پایانی، پرس‌وجو از آن در مقیاس بزرگ، آموزش یک کپی.

  1. نقطه پایان را پیدا کنید. مهاجم یک رابط برنامه‌نویسی کاربردی استنتاج را پیدا می‌کند: یک بک‌اند چت، یک سرویس طبقه‌بندی، یک نقطه پایانی تعبیه‌ها، یک مدل داخلی که یک شریک می‌تواند به آن دسترسی پیدا کند.
  2. پرس‌وجوها را طراحی کنید. ورودی‌ها طوری انتخاب می‌شوند که نیازهای مدل را پوشش دهند.cisفضای یونی را به طور کارآمد، و گاهی اوقات با تزریق سریع ترکیب می‌شود تا پاسخ‌های غنی‌تری را به دست آورد.
  3. خروجی‌ها را برداشت کنید. برچسب‌ها، نمرات اطمینان، لوجیت‌ها یا تکمیل متن کامل، همگی اطلاعات را فاش می‌کنند. هرچه پاسخ غنی‌تر باشد، سرقت سریع‌تر انجام می‌شود.
  4. جایگزین را آموزش دهید. جفت‌های ورودی و خروجی جمع‌آوری‌شده به یک مجموعه آموزشی برای یک مدل سایه تبدیل می‌شوند که از مدل اصلی تقلید می‌کند.
  5. از کلون سوءاستفاده کنید. این نسخه برای حذف هزینه‌های مجوز، رقابت مستقیم یا تمرین حملات خصمانه به صورت آفلاین قبل از اجرای آنها به مدل واقعی استفاده می‌شود.

چیزی که تشخیص سرقت مدل را دشوار می‌کند این است که تک تک درخواست‌ها قانونی هستند. سیگنال در حجم، الگو و مهم‌تر از همه، در محل دریافت درخواست‌ها نهفته است.

چرا دفاعیات معمول از قلم می‌افتند: شکاف موجودی

La standard توصیه‌ها در مورد حمله استخراج مدل منطقی است: احراز هویت تماس‌گیرندگان، محدودیت سرعت و کنترل سرعت، اصلاح نمرات اطمینان از پاسخ‌ها، خروجی‌های واترمارک و نظارت بر الگوهای جستجوی غیرعادی. هر کنترل برای هر نقطه پایانی اعمال می‌شود. دقیقاً همین‌جاست که مشکل ایجاد می‌شود.

هوش مصنوعی اکنون سریع‌تر از آنکه تیم‌های امنیتی بتوانند آن را ردیابی کنند، وارد پایگاه‌های کد می‌شود. یک توسعه‌دهنده، یک LLM SDK را به یک میکروسرویس متصل می‌کند. یک تیم داده، یک مدل تنظیم‌شده دقیق را برای یک ابزار داخلی ارائه می‌دهد. یک چارچوب عامل، لایه سرویس‌دهی خود را راه‌اندازی می‌کند. هیچ‌کدام از این موارد از صف بررسی عبور نمی‌کنند و بسیاری از آنها هرگز در یک دروازه API یا یک فایل مشخصات ظاهر نمی‌شوند.

نتیجه، هوش مصنوعی سایه است: مدل‌ها، عامل‌ها و نقاط پایانی استنتاج که در محیط عملیاتی وجود دارند اما در فهرست هیچ‌کس نیستند. نقطه پایانی که هیچ‌کس از آن خبر ندارد، هیچ محدودیت سرعت، هیچ بررسی احراز هویت و هیچ نظارتی ندارد. برای یک حمله استخراج مدل، این هدف ایده‌آلی است.

OWASP نیز به همین نکته اشاره می‌کند. در میان راهکارهای مقابله با LLM10، توصیه می‌کند که موجودی متمرکزی از مدل‌های یادگیری ماشینی نگهداری شود. منطق آن ساده است: شما نمی‌توانید از نقاط پایانی استنتاجی که فهرست‌بندی نکرده‌اید، محافظت کنید.

ابتدا فهرست کنید: هر نقطه پایانی را کشف کنید، سپس از آن محافظت کنید

یک فهرست مفید هوش مصنوعی برای هر دارایی به چهار سوال پاسخ می‌دهد: چیست، کجا اعلام شده است، با چه چیزی ارتباط برقرار می‌کند و چه چیزی از آن محافظت می‌کند.

سوال در مورد موجودیچرا در برابر استخراج مدل اهمیت دارد؟
چه مدل‌ها و نقاط پایانی استنتاجی وجود دارد؟هر نقطه پایانی فهرست نشده، یک هدف استخراج محافظت نشده است.
آنها در کجای کد اعلام شده‌اند؟مالکیت: کسی باید کنترل گمشده را تعمیر کند
چه داده‌ها و ابزارهایی به هم متصل هستند؟مدلی که بر اساس داده‌های حساس آموزش دیده باشد، ارزش بیشتری برای سرقت دارد.
برای guardrails و کنترل‌ها اعمال می‌شوند؟قبل از اینکه مهاجم شکاف‌های پوشش را پیدا کند، آنها را نشان می‌دهد

بهترین مکان برای ساخت این موجودی، کد منبع است. کد جایی است که یک نقطه پایانی متولد می‌شود، بنابراین کشف دارایی‌های هوش مصنوعی در مخزن، آنها را قبل از رسیدن به مرحله تولید پیدا می‌کند. همچنین هر دارایی را به یک پروژه، یک ... مرتبط می‌کند. commitو یک تیم، که همان چیزی است که یک لیست را به عمل تبدیل می‌کند.

دو عادت دیگر این حلقه را کامل می‌کنند. موجودی را به عنوان یک صورتحساب مواد اولیه هوش مصنوعی (AI-BOM) صادر کنید تا تیم‌های مدیریتی و حسابرسی تصویر یکسانی را ببینند. و با هر تغییر، موجودی را دوباره بررسی کنید، زیرا موجودی فقط به اندازه آخرین به‌روزرسانی خود خوب است.

چگونه Xygeni قبل از شروع حمله استخراج مدل، شکاف را پر می‌کند

امنیت هوش مصنوعی Xygeni موجودی هوش مصنوعی را مستقیماً از کد منبع می‌سازد. این ابزار مدل‌های هوش مصنوعی، عامل‌ها، چارچوب‌های هوش مصنوعی، سرورها و ابزارهای MCP، اعلان‌ها، guardrails، مخازن برداری، مجموعه داده‌ها، نقاط پایانی استنتاج و ابزارهای کدنویسی هوش مصنوعی در مخازن شما، از جمله فایل‌های مدل مانند .onnx, .pt و .pklروابط نیز ترسیم می‌شوند: کدام عامل از کدام مدل استفاده می‌کند، کدام ابزارها را اجرا می‌کند، روی کدام مجموعه داده‌ها آموزش می‌دهد.

هر دارایی در فهرست دارایی‌های هوش مصنوعی، مدل‌ها و ارائه‌دهندگان آن، منابع داده متصل با پرچم‌های PII، پوشش محافظ و فیلدهای نظارتی مانند دسته ریسک قانون هوش مصنوعی اتحادیه اروپا را نشان می‌دهد. نمای نمودار هوش مصنوعی نحوه اتصال عامل‌ها، مدل‌ها، ابزارها و مجموعه داده‌ها را نشان می‌دهد. با یک کلیک، یک CycloneDX 1.6 ML-BOM را در کنار شما صادر می‌کند. SBOM و سی بی او ام.

از موجودی تا حفاظت:

  • تشخیص ریسک با OWASP نگاشت شده است. بسته‌های آشکارساز، هر ده دسته برتر OWASP LLM، از جمله LLM10 Unbounded Consumption را پوشش می‌دهند، بنابراین هر یافته به زبانی که حسابرسان شما استفاده می‌کنند، صحبت می‌کند.
  • کنترل‌های نقطه پایانی در کد بررسی شده‌اند. امنیت API شیجنی نقاط پایانی API را از کد و مشخصات کشف می‌کند و نقاط پایانی احراز هویت نشده، محدودکننده نرخ از دست رفته و APIهای سایه‌ای که از مشخصات منحرف شده‌اند را علامت‌گذاری می‌کند.
  • اثبات روی برنامه در حال اجرا. تست نفوذ هوش مصنوعی Xygeni، برنامه‌ی مستقر شده را آزمایش می‌کند و نقاط ضعف قابل بهره‌برداری را اثبات می‌کند.
  • سریع درستش کن. هوش مصنوعی، یافته‌های هوش مصنوعی را اولویت‌بندی می‌کند و هوش مصنوعی، اصلاح (AI Remediation) برای هر ده دسته OWASP LLM، راهنمایی‌های اصلاحی ارائه می‌دهد.

همه اینها به صورت اسکن استاتیک اجرا می‌شود CI/CD یا به صورت محلی، با SaaS، on-premise و گزینه‌های ایزوله. تیم‌هایی که نیاز دارند مرحله بررسی معنایی در داخل سازمان انجام شود، می‌توانند آن را بر روی یک مدل خود-میزبان اجرا کنند.

چک لیست پیشگیری از حمله استخراج مدل

به ترتیب هشت کنترل. دوتای اول، شش تای دیگر را ممکن می‌سازند.

  1. فهرستفهرستی از هر مدل، عامل و نقطه پایانی استنتاج از کد منبع تهیه کنید و آن را در هر ... به‌روز نگه دارید. commit.
  2. مالکیتبرای هر دارایی هوش مصنوعی موجود در موجودی، یک مالک تعیین کنید.
  3. تصدیقالزام احراز هویت در هر نقطه پایانی استنتاج، از جمله نقاط پایانی داخلی.
  4. محدود کردن نرخاعمال محدودیت نرخ، سهمیه و زمان انتظار برای هر تماس‌گیرنده.
  5. کمینه‌سازی خروجیحداقل خروجی مورد نیاز را برگردانید: نمرات اطمینان و logits را در جایی که کاربران به آنها نیازی ندارند، حذف کنید.
  6. نظارتحجم و الگوهای پرس‌وجو را برای کاوش سیستماتیک رصد کنید.
  7. علامت گذاری به عنوانخروجی‌های واترمارک‌شده‌ی مدل‌های اختصاصی با ارزش بالا را در نظر بگیرید.
  8. حکومتیک AI-BOM برای مدیریت و حسابرسی صادر کنید و یافته‌ها را به OWASP LLM10 نگاشت کنید.

نقاط پایانی استنتاج خود را قبل از مهاجمان پیدا کنید

یک حمله استخراج مدل فقط به یک نقطه پایانی که فراموش کرده‌اید نیاز دارد. بفهمید کد شما واقعاً چه هوش مصنوعی را اجرا می‌کند: ببینید که چگونه Xygeni AI Security موجودی هوش مصنوعی شما را می‌سازد، or نسخه ی نمایشی را رزرو کنید.

سوالات متداول

تفاوت بین حمله استخراج مدل و وارونگی مدل چیست؟

یک حمله استخراج مدل، خود مدل را کپی می‌کند: رفتار و رمزگشایی آنcisمنطق یونی. وارونگی مدل، داده‌های آموزشی را هدف قرار می‌دهد و سعی می‌کند رکوردهای حساسی را که مدل از آنها یاد گرفته است، بازسازی کند. هر دو از دسترسی به پرس‌وجو سوءاستفاده می‌کنند، اما استخراج، مالکیت معنوی را می‌دزدد در حالی که وارونگی، داده‌های خصوصی را فاش می‌کند.

آیا حمله استخراج مدل می‌تواند LLMها را هدف قرار دهد یا فقط مدل‌های کلاسیک یادگیری ماشین را هدف قرار می‌دهد؟

هر دو. تحقیقات اولیه، طبقه‌بندی‌کننده‌های پشت APIهای پیش‌بینی را هدف قرار داده بودند. امروزه OWASP استخراج مدل و تکثیر مدل عملکردی را به عنوان خطرات LLM تحت LLM10:2025 Unbounded Consumption فهرست می‌کند، که در آن یک مهاجم از خروجی‌های خود LLM برای تنظیم دقیق یک جایگزین استفاده می‌کند.

چگونه بفهمم کدام یک از نقاط پایانی استنتاج من در معرض سرقت مدل قرار دارند؟

با یک فهرست ساخته شده از کد منبع شروع کنید: هر مدل، عامل و نقطه پایانی استنتاج که برنامه‌های شما اعلام می‌کنند. سپس هر یک را از نظر احراز هویت، محدودیت سرعت و میزان افشای خروجی بررسی کنید. Xygeni AI Security دارایی‌های هوش مصنوعی را در مخازن شما کشف کرده و آنها را به عنوان AI-BOM صادر می‌کند و Xygeni API Security نقاط پایانی را که فاقد احراز هویت یا محدودیت سرعت هستند، علامت‌گذاری می‌کند.

ابزارهای-نرم‌افزاری-ترکیب-تحلیل-ترکیب-ابزارها
ریسک‌های نرم‌افزاری خود را اولویت‌بندی، اصلاح و ایمن‌سازی کنید
حساب کاربری رایگان خود را دریافت کنید.
بدون کارت اعتباری مورد نیاز است.

توسعه و تحویل نرم‌افزار خود را ایمن کنید

با مجموعه محصولات Xygeni