モデル抽出攻撃

モデル抽出攻撃:なぜ在庫が最優先されるのか

TL; DR

モデル抽出攻撃とは何か、そしてなぜインベントリが最優先されるのか

モデル抽出攻撃は、AI自身のAPIを介してAIをコピーします。情報漏洩、重みデータの盗難、マルウェアの使用は一切ありません。

  • 使い方: モデル抽出攻撃(モデル窃盗またはモデル盗難とも呼ばれる)は、推論エンドポイントに大規模にクエリを実行し、その回答に基づいてクローンを学習させます。ログ上では、攻撃者はヘビーユーザーのように見えます。
  • 設置場所: OWASPはモデル抽出を以下のように分類しています LLM10:2025 無制限の消費 そして、緩和策の一つとして、集中管理型のモデルインベントリを挙げている。
  • 守備が失敗する理由: レート制限、認証、監視は、認識しているエンドポイントのみを保護します。シャドウAIエンドポイントは、これらの保護措置の対象外です。

最初の防御策: コードが公開されるすべてのモデル、エージェント、推論エンドポイントを網羅したAIインベントリを、出荷前にソースコードから検出します。インベントリに登録されていない推論エンドポイントは保護できません。

あなたのモデルは、誰もあなたのサーバーに触れることなく盗まれる可能性があります。

あなたのチームは、独自のデータに基づいてモデルを何ヶ月もかけて微調整しました。そのモデルは、1日に何千ものリクエストに応答するAPIの背後にあります。さて、競合他社がそのAPI呼び出しのコストで、その価値の大部分を再構築する様子を想像してみてください。

これはモデル抽出攻撃です。誰もあなたのインフラストラクチャに侵入したり、重みをダウンロードしたりすることはありません。攻撃者は単に、あなたのモデルに適切な質問を十分に投げかけ、その回答を記録し、コピーを学習させるだけです。

ほとんどのチームは、レート制限、認証、出力監視によってこのリスクに対応しています。これらの対策は効果的ですが、一つ盲点があります。それは、存在が分かっている推論エンドポイントしか保護できないということです。このガイドでは、モデル抽出攻撃とは何か、モデル窃盗が実際にどのように行われるのか、そしてなぜすべての防御策はインベントリから始まるのかを説明します。

モデル抽出攻撃とは何ですか?

モデル抽出攻撃とは、攻撃者が機械学習モデルにクエリを送信し、その出力から学習することで、モデルの機能的なコピーを再構築する攻撃です。これはモデル窃盗とも呼ばれます。攻撃者は元の重み、トレーニングデータ、ソースコードを必要としません。公開されているインターフェースさえあれば十分です。

このアイデアは新しいものではない。研究者たちは2016年に商用予測APIに対してこのアイデアを示した(Tramèr 他、USENIX Security) 2024年、Google DeepMindのチームは、公開APIを通じて、実用言語モデルの一部を復元しました(Carlini ら). マイターアトラス AIシステムに対する攻撃手法と同様の挙動を追跡する。

LLM アプリケーションの場合、OWASP はモデル盗難を LLM10:2025 無制限の消費これには2つのバリエーションがあります。1つは、巧妙に作成されたAPIクエリによる抽出、もう1つは、ターゲットモデルが合成データを生成して競合モデルを微調整する機能的複製です。

モデル抽出攻撃:キーワード

同じ脅威が複数の名称で呼ばれている。それぞれの名称の意味と、それらの重複点について以下に説明する。

契約期間その意味
モデル抽出攻撃クエリ応答からモデルの動作を再構築する
モデル盗用/モデル窃盗一般的な同義語。モデル窃盗には、重量ファイルの直接窃盗も含まれる。
機能モデルの再現ターゲットの出力を代替モデルのトレーニングデータとして使用する
シャドウモデル攻撃者のクローン、標的を模倣するように訓練されている

モデル抽出攻撃の仕組み

すべてのモデル抽出攻撃は同じループに従います。エンドポイントを見つけ、大規模にクエリを実行し、コピーをトレーニングします。

  1. 終点を見つけてください。 攻撃者は推論API(チャットバックエンド、分類サービス、埋め込みエンドポイント、パートナーがアクセスできる内部モデルなど)を特定します。
  2. クエリを設計する。 入力はモデルの定義を網羅するように選択されますcisイオン空間を効率的に利用し、場合によっては迅速な注入と組み合わせることで、より豊富な情報を引き出すことができる。
  3. 成果物を収穫する。 ラベル、信頼度スコア、ロジット、全文補完など、いずれも情報漏洩につながる。レスポンスが豊富であればあるほど、情報窃盗は速くなる。
  4. 代役を訓練する。 収集された入力と出力のペアは、オリジナルを模倣するシャドウモデルのトレーニングセットとなる。
  5. クローンを悪用する。 このコピーは、ライセンス費用を回避したり、直接競合したり、実際のモデルに対して攻撃を仕掛ける前にオフラインで敵対的攻撃のリハーサルを行うために使用されます。

モデル盗用を摘発するのが難しいのは、すべてのリクエストが正当なものであるためです。手がかりは、リクエストの量、パターン、そして何よりもリクエストの送信先にあります。

通常の防御策が失敗する理由:在庫不足

その standard モデル抽出攻撃に対する対策はどれも有効です。呼び出し元の認証、レート制限とスロットリング、応答からの信頼度スコアの削除、出力へのウォーターマーク挿入、異常なクエリパターンの監視などが挙げられます。これらの対策はエンドポイントごとに適用されます。まさにそこに問題があるのです。

AIは今や、セキュリティチームが追跡できるよりも速いスピードでコードベースに取り込まれています。開発者はLLM SDKをマイクロサービスに組み込み、データチームは社内ツール向けに最適化されたモデルを公開し、エージェントフレームワークは独自のサービングレイヤーを立ち上げます。これらのどれもレビューキューを経由せず、多くはAPIゲートウェイや仕様ファイルに記載されることもありません。

その結果、シャドウAIが生まれます。これは、本番環境に存在するものの、誰にも公開されていないモデル、エージェント、推論エンドポイントのことです。誰も知らないエンドポイントには、レート制限も認証審査も監視もありません。モデル抽出攻撃にとって、まさに理想的な標的となります。

OWASPも同様の見解を示している。LLM10に対する対策として、機械学習モデルの中央集約型インベントリの維持を推奨している。その理由は単純だ。 インベントリに登録していない推論エンドポイントは保護できません。

まずインベントリを作成し、すべてのエンドポイントを検出してから保護します。

有用なAIインベントリは、各資産について、それが何であるか、どこに登録されているか、何と通信しているか、何がそれを保護しているかという4つの質問に答えます。

在庫に関する質問モデル抽出に対してなぜそれが重要なのか
どのようなモデルと推論エンドポイントが存在するのか?リストに記載されていないエンドポイントはすべて、保護されていない抽出ターゲットです。
それらはコードのどこで宣言されていますか?所有権: 誰かが欠落している制御を修正しなければならない
どのようなデータとツールが連携していますか?機密データで訓練されたモデルは、盗む価値がある
どの guardrails 規制は適用されますか?攻撃者が発見する前に、カバレッジのギャップを表示します。

このインベントリを構築するのに最適な場所はソースコードです。コードはエンドポイントが生まれる場所なので、リポジトリでAIアセットを検出することで、それらが本番環境に到達する前に見つけることができます。また、各アセットをプロジェクトにリンクします。 commitそして、リストを行動に移すのはチームです。

あと2つの習慣を身につけることで、管理体制と監査チームが同じ情報を共有できるようになります。まず、在庫情報をAI部品表(AI-BOM)としてエクスポートします。次に、変更があるたびに再スキャンを行います。在庫情報は、最後に更新された時点の情報に基づいているからです。

Xygeniはモデル抽出攻撃が始まる前にどのようにギャップを埋めるのか

Xygeni AIセキュリティ AI インベントリをソースコードから直接構築します。AI モデル、エージェント、AI フレームワーク、MCP サーバーとツール、プロンプトを検出します。 guardrails、モデルファイルなど、リポジトリ全体にわたるベクトルストア、データセット、推論エンドポイント、およびAIコーディングツール。 .onnx, .pt (NAIST) と .pkl関係性もマッピングされます。どのエージェントがどのモデルを使用するか、どのツールを実行するか、どのデータセットでトレーニングを行うかなどです。

AIアセットインベントリの各アセットには、モデルとプロバイダー、PIIフラグ付きの接続データソース、ガードレールカバレッジ、EU AI法リスクカテゴリなどのガバナンスフィールドが表示されます。AIグラフビューでは、エージェント、モデル、ツール、データセットがどのように接続されているかが示されます。ワンクリックでCycloneDX 1.6 ML-BOMをエクスポートし、 SBOM そしてCBOM。

在庫管理から保護まで:

  • OWASPに準拠したリスク検出方法 検出パックは、LLM10「無制限の消費」を含むOWASP LLMトップ10の全10カテゴリを網羅しているため、すべての検出結果が監査担当者が使用する用語で表示されます。
  • エンドポイント制御がコード内でチェックされています。 Xygeni APIセキュリティ コードと仕様からAPIエンドポイントを検出し、認証されていないエンドポイント、レート制限の欠落、仕様から逸脱したシャドウAPIにフラグを立てます。
  • 実行中のアプリで証明できます。 Xygeni AI Pentestingは、展開されたアプリケーションをテストし、どの脆弱性が悪用可能であるかを明らかにします。
  • すぐに修理してください。 AIトリアージはAIによる検出結果の優先順位付けを行い、AI修復機能はOWASP LLMの10のカテゴリすべてに対して修正ガイダンスを生成します。

すべては静的スキャンとして実行されます CI/CD またはローカルで、SaaS を使用、 on-premise さらに、エアギャップ方式も利用可能です。セマンティックレビューの段階を社内で実施する必要があるチームは、セルフホスト型モデルで実行できます。

モデル抽出攻撃防止チェックリスト

操作手順は8つ。最初の2つが、残りの6つを可能にする。

  1. 棚卸ソースコードからすべてのモデル、エージェント、推論エンドポイントをインベントリし、常に最新の状態に保つ。 commit.
  2. 所有権インベントリ内の各AIアセットに所有者を割り当ててください。
  3. 認証内部エンドポイントも含め、すべての推論エンドポイントで認証を必須とする。
  4. レート制限発信者ごとに、通話制限、割り当て、タイムアウトを設定します。
  5. 出力最小化必要最小限の出力を返す:ユーザーが必要としない信頼度スコアやロジットは削除する。
  6. 監視体系的な調査のために、クエリの量とパターンを監視します。
  7. 透かし高価値の独自モデルの出力に透かしを入れることを検討してください。
  8. Stand with Syria Japan(SSJ)は、理事会および現地運営チームのもとで運営されています。ガバナンスと監査のためにAI-BOMをエクスポートし、調査結果をOWASP LLM10にマッピングします。

攻撃者より先に推論エンドポイントを見つけよう

モデル抽出攻撃に必要なのは、あなたが見落としていたエンドポイントが1つだけです。あなたのコードが実際にどのようなAIを実行しているのかを確認しましょう。 Xygeni AI Security がどのように AI インベントリを構築するかをご覧ください。 or デモを予約する.

FAQ

モデル抽出攻撃とモデル反転攻撃の違いは何ですか?

モデル抽出攻撃はモデル自体をコピーします。その動作とcisイオンロジック。モデル反転はトレーニングデータを標的とし、モデルが学習した機密性の高い記録を再構築しようとします。どちらもクエリアクセスを悪用しますが、抽出は知的財産を盗み、反転はプライベートデータを漏洩します。

モデル抽出攻撃はLLM(低レベル機械学習)を標的にできるのか、それとも従来の機械学習モデルのみを標的にできるのか?

どちらもです。初期の研究では、予測APIの背後にある分類器が標的とされていました。現在、OWASPは、モデル抽出と機能モデルの複製をLLM10:2025「無制限の消費」におけるLLMのリスクとして挙げています。これは、攻撃者がLLM自身の出力を使用して代替モデルを微調整するものです。

どの推論エンドポイントがモデル盗難の危険にさらされているかを知るにはどうすればよいですか?

ソースコードからインベントリを作成します。アプリケーションが宣言するすべてのモデル、エージェント、推論エンドポイントをリストアップします。次に、それぞれの認証、レート制限、出力公開状況を確認します。Xygeni AI Securityはリポジトリ全体からAIアセットを検出し、AI-BOMとしてエクスポートします。また、Xygeni API Securityは認証やレート制限が設定されていないエンドポイントにフラグを立てます。

sca-tools-ソフトウェア構成分析ツール
ソフトウェアのリスクを優先順位付けし、修復し、保護する
無料アカウントを作成しましょう。
いいえ、クレジットカードは必要ありません。

ソフトウェア開発と配信を安全に

Xygeni製品スイートと共に