모델 추출 공격

모델 추출 공격: 인벤토리가 우선시되는 이유

TL; DR

모델 추출 공격이란 무엇이며, 왜 인벤토리 관리가 최우선인가

모델 추출 공격은 자체 API를 통해 AI를 복제하는 공격입니다. 보안 침해나 가중치 도용, 악성코드 감염은 없습니다.

  • 작동 원리 : 모델 추출 공격(모델 탈취 또는 모델 도용이라고도 함)은 추론 엔드포인트에 대규모로 쿼리를 보내고 그 응답을 기반으로 복제 모델을 학습시킵니다. 로그에는 공격자가 마치 대규모 고객처럼 나타납니다.
  • 위치: OWASP는 모델 추출을 다음과 같이 분류합니다. LLM10:2025 무제한 소비 또한 완화 조치 중 하나로 중앙 집중식 모델 인벤토리를 제시합니다.
  • 수비가 빗나가는 이유: 속도 제한, 인증 및 모니터링은 사용자가 알고 있는 엔드포인트만 보호합니다. Shadow AI 엔드포인트는 이러한 보호를 전혀 받지 못합니다.

첫 번째 방어: 코드에서 노출되는 모든 모델, 에이전트 및 추론 엔드포인트에 대한 AI 인벤토리를 구축해야 합니다. 이 인벤토리는 배포 전에 소스 코드에서 검색됩니다. 인벤토리를 구축하지 않은 추론 엔드포인트는 보호할 수 없습니다.

서버에 아무도 접근하지 않아도 모델이 도난당할 수 있습니다.

귀사 팀은 자체 데이터를 기반으로 몇 달 동안 모델을 세밀하게 조정해 왔습니다. 이 모델은 하루에 수천 건의 요청에 응답하는 API 뒤에 숨겨져 있습니다. 그런데 경쟁사가 바로 그 API 호출 비용으로 대부분의 가치를 재구축했다고 상상해 보세요.

이는 모델 추출 공격입니다. 공격자는 인프라에 침입하거나 가중치를 다운로드하지 않습니다. 단순히 모델에 충분히 잘 선택된 질문을 던지고, 답변을 기록한 다음, 복제본을 학습시키는 것입니다.

대부분의 팀은 이러한 위험에 대응하기 위해 속도 제한, 인증 및 출력 모니터링을 사용합니다. 이러한 제어 방식은 효과적이지만, 한 가지 사각지대가 있습니다. 바로 알려진 추론 엔드포인트만 보호한다는 점입니다. 이 가이드에서는 모델 추출 공격이 무엇인지, 모델 탈취가 실제로 어떻게 발생하는지, 그리고 모든 방어는 인벤토리에서 시작해야 하는 이유를 설명합니다.

모델 추출 공격이란 무엇인가요?

모델 추출 공격은 공격자가 머신러닝 모델에 쿼리를 전송하고 그 출력을 학습하여 기능적으로 작동하는 복제본을 재구성하는 공격입니다. 이는 모델 탈취 또는 모델 도둑질이라고도 합니다. 공격자는 원본 가중치, 학습 데이터 또는 소스 코드가 필요하지 않으며, 공개된 인터페이스만으로도 충분합니다.

이 아이디어는 새로운 것이 아닙니다. 연구원들은 2016년에 상용 예측 API를 대상으로 이 아이디어를 제시한 바 있습니다.Tramèr 외, USENIX 보안2024년, 구글 딥마인드의 한 팀이 공개 API를 통해 실제 운영 중인 언어 모델의 일부를 복구했습니다.칼리니 등). 마이터 아틀라스 인공지능 시스템에 대한 공격 기법과 동일한 동작을 추적합니다.

LLM 애플리케이션의 경우 OWASP는 모델 도용 문제를 다음과 같이 분류합니다. LLM10:2025 무제한 소비이는 두 가지 변형을 설명합니다. 하나는 정교하게 조작된 API 쿼리를 통한 추출이고, 다른 하나는 기능적 복제로, 대상 모델이 경쟁 모델을 미세 조정하기 위해 합성 데이터를 생성하는 방식입니다.

모델 추출 공격: 주요 용어

같은 위협이 여러 가지 이름으로 불립니다. 각 이름의 의미와 공통점을 살펴보겠습니다.

기간그것이 의미하는 것
모델 추출 공격모델의 쿼리 응답을 기반으로 모델의 동작을 재구성하기
모델 도둑질 / 모델 절도일반적인 동의어; 모델 절도는 무게 파일의 직접적인 절도도 포함합니다.
기능적 모델 복제목표 대상의 출력값을 대체 모델의 훈련 데이터로 사용
섀도우 모델공격자의 클론은 목표물을 모방하도록 훈련되었습니다.

모델 추출 공격은 어떻게 작동하는가

모든 모델 추출 공격은 동일한 과정을 따릅니다. 엔드포인트를 찾고, 대규모로 쿼리하고, 복제본을 학습시키는 것입니다.

  1. 끝점을 찾으세요. 공격자는 추론 API, 즉 채팅 백엔드, 분류 서비스, 임베딩 엔드포인트, 파트너가 접근할 수 있는 내부 모델 등을 찾아냅니다.
  2. 쿼리를 설계하세요. 입력값은 모델의 예측 범위를 포괄하도록 선택됩니다.cis이온 공간을 효율적으로 활용하고, 때로는 신속한 주입을 통해 더욱 풍부한 결과를 얻어냅니다.
  3. 결과물을 수확하세요. 레이블, 신뢰도 점수, 로짓, 전체 텍스트 자동 완성 등은 모두 정보 유출의 원인이 됩니다. 응답이 풍부할수록 정보 도용은 더 빠르게 일어납니다.
  4. 대타 선수를 훈련시키세요. 수집된 입력-출력 쌍은 원본을 모방하는 섀도우 모델의 훈련 세트가 됩니다.
  5. 클론을 이용하세요. 이 복제본은 라이선스 비용을 절감하고, 직접 경쟁하거나, 실제 모델에 공격을 가하기 전에 오프라인에서 적대적 공격을 연습하는 데 사용됩니다.

모델 스틸링을 적발하기 어려운 이유는 모든 요청이 합법적인 것처럼 보이기 때문입니다. 신호는 요청량, 패턴, 그리고 무엇보다 요청이 전송되는 위치에 있습니다.

일반적인 방어책이 실패하는 이유: 재고 부족

The standard 모델 추출 공격 방지를 위한 조언은 타당합니다. 발신자 인증, 속도 제한 및 스로틀링, 응답에서 신뢰도 점수 제거, 출력에 워터마크 추가, 비정상적인 쿼리 패턴 감시 등이 있습니다. 이러한 제어 조치는 엔드포인트별로 적용됩니다. 바로 이 부분에서 문제가 발생합니다.

이제 AI는 보안 팀이 추적할 수 있는 속도보다 훨씬 빠르게 코드베이스에 스며듭니다. 개발자는 LLM SDK를 마이크로서비스에 통합하고, 데이터 팀은 내부 도구를 위해 정밀하게 조정된 모델을 공개하며, 에이전트 프레임워크는 자체 서비스 레이어를 구축합니다. 이러한 작업들은 검토 대기열을 거치지 않으며, 많은 경우 API 게이트웨이나 사양 파일에조차 나타나지 않습니다.

그 결과, 섀도우 AI가 탄생합니다. 즉, 실제 운영 환경에 존재하지만 누구의 목록에도 등록되지 않은 모델, 에이전트, 추론 엔드포인트가 생겨나는 것입니다. 아무도 알지 못하는 엔드포인트는 접속량 제한도 없고, 인증 검토도 없으며, 모니터링도 받지 않습니다. 따라서 모델 추출 공격에 있어 이상적인 표적이 됩니다.

OWASP도 같은 의견을 제시합니다. LLM10에 대한 완화 조치 중 하나로 머신러닝 모델의 중앙 집중식 인벤토리를 유지할 것을 권장합니다. 그 이유는 간단합니다. 인벤토리를 작성하지 않은 추론 엔드포인트는 보호할 수 없습니다.

인벤토리 우선: 모든 엔드포인트를 파악한 다음 보호하십시오.

유용한 AI 인벤토리는 각 자산에 대해 다음 네 가지 질문에 답합니다. 자산이 무엇인지, 어디에 신고되었는지, 무엇과 통신하는지, 그리고 무엇이 자산을 보호하는지입니다.

재고 질문모델 추출에 있어 이것이 중요한 이유
어떤 모델과 추론 엔드포인트가 존재합니까?목록에 없는 모든 엔드포인트는 보호되지 않은 추출 대상입니다.
코드에서 어디에 선언되어 있나요?소유권: 누군가 누락된 컨트롤을 고쳐야 합니다.
어떤 데이터와 도구가 연결되어 있나요?민감한 데이터로 학습된 모델은 훔칠 가치가 더 높다.
어느 guardrails 통제가 적용되나요?공격자가 발견하기 전에 보안 공백을 보여줍니다.

이러한 인벤토리를 구축하기 가장 좋은 곳은 소스 코드입니다. 코드는 엔드포인트가 생성되는 곳이므로 저장소에서 AI 자산을 검색하면 프로덕션 환경에 배포되기 전에 자산을 찾을 수 있습니다. 또한 각 자산을 프로젝트와 연결합니다. commit그리고 팀이 있어야만 목록을 실행으로 옮길 수 있습니다.

두 가지 습관을 더 들이면 완벽한 마무리가 됩니다. 첫째, 재고를 AI 기반 자재 명세서(AI-BOM)로 내보내어 관리팀과 감사팀이 동일한 정보를 확인할 수 있도록 합니다. 둘째, 재고는 마지막 업데이트 시점의 정확성을 유지해야 하므로 변경 사항이 발생할 때마다 재고를 다시 스캔합니다.

Xygeni는 모델 추출 공격이 시작되기 전에 어떻게 격차를 해소할까요?

Xygeni AI 보안 소스 코드에서 직접 AI 인벤토리를 구축합니다. AI 모델, 에이전트, AI 프레임워크, MCP 서버 및 도구, 프롬프트 등을 검색합니다. guardrails벡터 저장소, 데이터 세트, 추론 엔드포인트 및 AI 코딩 도구(모델 파일 포함)를 비롯한 모든 저장소의 데이터를 관리합니다. .onnx, .pt .pkl에이전트 간의 관계도 매핑됩니다. 어떤 에이전트가 어떤 모델을 사용하는지, 어떤 도구를 실행하는지, 어떤 데이터셋으로 학습하는지 등이 표시됩니다.

AI 자산 인벤토리의 각 자산에는 모델 및 제공업체, 개인 식별 정보(PII) 플래그가 있는 연결된 데이터 소스, 가드레일 적용 범위, EU AI법 위험 범주와 같은 거버넌스 필드가 표시됩니다. AI 그래프 보기에서는 에이전트, 모델, 도구 및 데이터 세트가 어떻게 연결되는지 보여줍니다. 클릭 한 번으로 CycloneDX 1.6 ML-BOM을 내보낼 수 있으며, 이 파일은 인벤토리 옆에 표시됩니다. SBOM 그리고 CBOM.

재고 관리부터 보안까지:

  • 위험 탐지를 OWASP에 매핑했습니다. 탐지기 팩은 LLM10 무제한 소비를 포함하여 OWASP LLM Top 10의 10가지 범주를 모두 다루므로 모든 발견 사항은 감사자가 사용하는 용어로 설명됩니다.
  • 엔드포인트 제어가 코드에 체크인되었습니다. Xygeni API 보안 코드와 사양에서 API 엔드포인트를 검색하고 인증되지 않은 엔드포인트, 누락된 속도 제한, 사양에서 벗어난 섀도우 API를 표시합니다.
  • 실행 중인 앱에서 확인할 수 있습니다. Xygeni AI 침투 테스트는 배포된 애플리케이션을 테스트하고 어떤 취약점이 악용될 수 있는지 입증합니다.
  • 빨리 해결하세요. AI 트리아지는 AI 발견 사항의 우선순위를 정하고, AI 리메이크먼트는 OWASP LLM의 10개 범주 모두에 대한 수정 지침을 생성합니다.

이 모든 것은 정적 스캔으로 실행됩니다. CI/CD 또는 로컬 환경에서 SaaS를 사용하여, on-premise 또한, 네트워크 환경과 격리된 옵션도 제공합니다. 의미론적 검토 단계를 사내에서 진행해야 하는 팀은 자체 호스팅 모델로 실행할 수 있습니다.

모델 추출 공격 방지 체크리스트

여덟 개의 조작법이 순서대로 있습니다. 처음 두 개를 조작해야 나머지 여섯 개를 조작할 수 있습니다.

  1. 목록소스 코드에서 모든 모델, 에이전트 및 추론 엔드포인트를 목록화하고 모든 플랫폼에서 최신 상태로 유지하십시오. commit.
  2. 소유권인벤토리의 각 AI 자산에 소유자를 지정하세요.
  3. 인증내부 엔드포인트를 포함하여 모든 추론 엔드포인트에 인증을 요구하십시오.
  4. 속도 제한발신자별로 통화량 제한, 할당량 및 통화 시간 제한을 적용합니다.
  5. 출력 최소화사용자가 필요로 하지 않는 신뢰도 점수와 로짓 값은 제외하고 필요한 최소한의 출력만 반환합니다.
  6. 모니터링체계적인 탐색을 위해 쿼리량과 패턴을 모니터링하십시오.
  7. 워터 마킹고가치 독점 모델의 결과물에 워터마크를 삽입하는 것을 고려해 보세요.
  8. 거버넌스거버넌스 및 감사를 위한 AI-BOM을 내보내고 결과를 OWASP LLM10에 매핑합니다.

공격자보다 먼저 추론 엔드포인트를 찾으세요.

모델 추출 공격은 사용자가 잊고 있던 엔드포인트 하나만 있으면 가능합니다. 코드가 실제로 어떤 AI를 실행하는지 알아보세요. Xygeni AI Security가 어떻게 AI 인벤토리를 구축하는지 확인해 보세요. or 데모 예약.

FAQ

모델 추출 공격과 모델 역공격의 차이점은 무엇인가요?

모델 추출 공격은 모델 자체를 복제하는 공격입니다. 즉, 모델의 동작과 특성을 복제하는 것입니다.cis이온 로직. 모델 역전은 훈련 데이터를 대상으로 하며, 모델이 학습한 민감한 기록을 재구성하려고 시도합니다. 둘 다 쿼리 접근 권한을 악용하지만, 추출은 지적 재산권을 도용하는 반면 역전은 개인 데이터를 유출합니다.

모델 추출 공격은 LLM(로멀티미디어 모델)을 대상으로 할 수 있습니까, 아니면 기존 머신러닝 모델만 대상으로 할 수 있습니까?

둘 다 해당됩니다. 초기 연구는 예측 API 뒤에 있는 분류기를 대상으로 했습니다. 오늘날 OWASP는 모델 추출 및 기능적 모델 복제를 LLM10:2025 무제한 소비 항목의 위험 요소로 분류하고 있으며, 이는 공격자가 LLM 자체의 출력을 사용하여 대체 모델을 미세 조정하는 것을 의미합니다.

내 추론 엔드포인트 중 어떤 부분이 모델 스틸링에 노출되었는지 어떻게 알 수 있나요?

소스 코드 기반의 인벤토리부터 시작하세요. 애플리케이션에서 선언하는 모든 모델, 에이전트 및 추론 엔드포인트를 포함합니다. 그런 다음 각 항목에 대해 인증, 속도 제한 및 출력 노출 여부를 확인합니다. Xygeni AI Security는 저장소 전체에서 AI 자산을 검색하여 AI-BOM으로 내보내고, Xygeni API Security는 인증이나 속도 제한이 없는 엔드포인트를 표시합니다.

sca-tools-software-composition-analysis-tools
소프트웨어 위험을 우선순위화하고, 해결하고, 보호하십시오.
무료 계정을 만드세요.
신용 카드가 필요하지 않습니다.

소프트웨어 개발 및 제공을 안전하게 보호하세요

Xygeni 제품군과 함께