Xygeni 보안 용어집
소프트웨어 개발 및 제공 보안 용어집

LLM 보안이란 무엇인가요?

TL; DR #

LLM 보안은 대규모 언어 모델 기반 애플리케이션을 모델의 언어 해석 방식, 연결 관계, 허용된 작업 범위 등을 악용하는 공격으로부터 보호하는 기술입니다. 언어 모델은 명령어와 데이터를 확실하게 구분할 수 없기 때문에 이러한 보안이 중요합니다. 모든 데이터가 동일한 컨텍스트 창에 입력되므로 모델이 읽는 모든 텍스트는 잠재적으로 명령어가 될 수 있습니다. 2026년의 핵심적인 변화는 더 이상 속일 수 없는 모델을 만드는 것이 목표가 아니라는 점입니다. 이제는 모델이 속더라도 애플리케이션이 안전하게 보호되는 것이 목표입니다. 따라서 LLM 보안은 단순히 프롬프트 필터링에만 집중하는 것이 아니라 권한, 도구 접근, 출력 처리, 그리고 공격 범위에 중점을 둡니다.

LLM 보안이란 무엇인가요? #

LLM 보안은 일반적으로 콘텐츠 문제로 소개됩니다. 잘못된 텍스트가 입력되면 잘못된 텍스트가 출력되므로 텍스트를 필터링해야 한다는 것입니다. 하지만 이러한 설명은 모델을 데이터베이스에 연결하는 데 걸리는 시간 동안만 유효합니다. 진정한 취약점은 모델이 읽는 내용이 아니라 모델이 접근할 수 있는 범위에 있습니다.

여기서 구조적인 문제가 발생합니다. 기존 애플리케이션에서는 코드와 입력이 아키텍처 자체에 의해 분리됩니다. 프로그램이 컴파일되고, 입력은 매개변수를 통해 전달되며, 둘 사이의 경계는 런타임에 의해 설정됩니다. 하지만 대규모 언어 모델에는 이러한 경계가 없습니다. 시스템 프롬프트, 사용자 메시지, 검색된 문서, 웹 페이지 내용, 도구의 응답, 에이전트에게 요약을 요청한 이메일 등 모든 것이 동일한 컨텍스트 창에 토큰으로 전달됩니다. 모델은 이러한 토큰들을 가중치 부여할 뿐, 인증하지는 않습니다.

따라서 작업 정의는 다음과 같습니다. LLM 보안은 신뢰할 수 없는 입력으로 인해 무단 작업이 발생하지 않도록 하고, 발생하더라도 그 결과를 제한할 수 있도록 LLM 애플리케이션을 설계, 구축 및 운영하는 분야입니다. 이는 모델, 프롬프트 레이어, 모델이 검색하는 데이터, 호출할 수 있는 도구, 생성하는 출력 및 모델이 활동하는 데 사용하는 아이덴티티를 모두 포괄합니다.

마지막 조항이 바로 팀들이 과소평가하는 부분입니다. LLM 자체만으로도 잘못된 문장을 생성할 수 있습니다. 하지만 LLM이 데이터베이스, 결제 API, 그리고 셸과 연결되면 실행 가능한 잘못된 문장을 생성할 수 있습니다.

LLM 보안의 의미, 구성 요소별 분석 #

LLM 보안의 의미를 가장 명확하게 이해하는 방법은 사람들이 이 용어를 사용할 때 혼동하는 세 가지 요소를 구분하는 것입니다.

  • 모델 보안. 모델 자체의 속성에는 모델이 무엇을 기억하고 있는지, 무엇을 공개할 것인지, 적대적 공격 상황에서 어떻게 동작하는지, 그리고 사용 중인 가중치가 게시자가 공개한 가중치와 동일한지 여부가 포함됩니다. 호스팅된 모델을 사용하는 경우 이러한 속성은 대부분 그대로 유지되지만, 직접 미세 조정하는 경우에는 대부분 사용자가 직접 수정할 수 있습니다.
  • 애플리케이션 보안. 모델 주변 배선: 시스템 안내, 검색 pipeline시스템, 도구 및 기능 정의, 에이전트 권한, 출력 처리, 그리고 시스템이 작동하는 데 사용되는 ID 등이 여기에 포함됩니다. 대부분의 실제 사고는 이 계층에서 발생하며, 팀이 실제로 제어하는 ​​계층입니다.
  • 운영 보안. 시간이 지남에 따라 발생하는 변화: 모니터링, 악용 감지, 비용 및 속도 제한, 사고 대응, 그리고 모델 버전, 시스템 알림 또는 연결된 도구가 아무도 티켓을 제출하지 않고도 변경될 수 있다는 사실.

종합적으로 볼 때, 대부분의 실무자들이 공통적으로 동의하는 LLM 보안의 의미는 다음과 같습니다. 모델이 결국 공격자가 요청한 대로 작동할 것이라고 가정하고, 이러한 상황에서도 살아남을 수 있도록 설계해야 합니다. "모델이 조작되는 것을 막는 것"이 ​​아니라, 조작을 억제하는 것입니다. 이러한 역발상이야말로 이 분야에서 가장 유용한 아이디어이며, 현재 OWASP 지침의 핵심 주제이기도 합니다.

#

LLM 보안은 무엇을 보호하나요? 공격 표면 #

실제로 LLM 보안이 무엇인지 이해한다는 것은 특정 위험이 존재하는 계층을 아는 것을 의미합니다. 왜냐하면 통제 또한 동일한 계층에 존재하기 때문입니다.

층공격자가 노리는 것제어 장치가 있는 곳
모델암기된 훈련 데이터, 적대적 표현에 따른 불안정한 동작, 변조된 가중치모델 선정, 출처 검증, 채택 전 평가
프롬프트 및 컨텍스트직접 및 간접 프롬프트 주입, 숨겨진 컨텍스트 노출, 시스템 프롬프트 추출문맥 격리, 입력 처리, 검색된 모든 텍스트를 신뢰할 수 없는 것으로 처리
검색 및 데이터악성 문서, 임베딩 조작, 모델이 가져올 수 있는 정보를 통한 데이터 유출소스 허용 목록, 수집 제어, 벡터 저장소의 액세스 범위 설정
도구 및 에이전트과도한 행위성: 모델이 단순히 대답하는 것이 아니라 행동하게 만드는 것최소 권한 도구 범위, 에이전트별 ID, 되돌릴 수 없는 작업에 대한 사람 승인
산출모델 텍스트의 하위 실행: 코드, 쿼리, API 호출, 렌더링된 마크업모든 소비자 단계에서 출력 유효성 검사 및 인코딩을 수행하여 생성된 텍스트를 절대 신뢰하지 않습니다.
공급망악성 모델, 패키지, 플러그인 및 MCP 서버가 스택에 침입함의존성 및 아티팩트 제어, 재고, 출처
행정부무제한 소비, 비용 고갈, 조용한 구성 변화요금 및 예산 제한, 모니터링, 알림 및 구성 변경 검토

대부분의 팀은 눈에 보이는 응답 계층부터 먼저 계측합니다. 당황스러운 답변이 문제로 이어지는 계층은 도구와 신원 확인 계층이며, 이는 머신 러닝이 아닌 구성 문제입니다.

OWASP LLM 2026년 톱 10: 변동 사항 및 그 중요성 #

OWASP GenAI 보안 프로젝트는 2026년 2026월에 LLM 애플리케이션 Top 10을 발표했는데, 이는 해당 분야에서 가장 공통된 기준선에 가까운 자료입니다. 또한 2026년판은 전문가 의견뿐만 아니라 실제 사건 데이터 세트를 기반으로 커뮤니티 투표 결과를 반영한 ​​최초의 자료입니다.

2026 등급그것이 무엇인지2025년에서 이전됨
LLM01 신속 주입신뢰할 수 없는 텍스트가 모델을 직접적으로 또는 모델이 검색하는 콘텐츠를 통해 조종합니다.변하지 않은
LLM02 민감 정보 공개해당 모델은 문맥, 검색 또는 기억 측면에서 드러내서는 안 될 데이터를 드러냅니다.변하지 않은
LLM03 과도한 대리인모델에게 너무 많은 기능, 권한 또는 자율성을 부여하면 문제가 발생할 수 있습니다.6년부터
LLM04 공급망손상된 모델, 패키지, 플러그인 및 MCP 서버가 스택에 유입됨3년부터
LLM05 데이터 및 모델 오염조작된 훈련, 미세 조정 또는 검색 데이터는 동작을 형성합니다.4년에서 하향 조정됨
LLM06 무제한 소비통제되지 않은 추론으로 인한 자원 및 비용 고갈10년부터
LLM07 잘못된 정보자동화된 워크플로 및 후속 조치를 유도하는 잘못된 출력에 대한 확신9년부터
LLM08 숨겨진 컨텍스트 노출사용자가 볼 수 없도록 의도된 시스템 메시지 및 기타 컨텍스트 정보의 유출7에서 이름을 바꾸고 확장했습니다.
LLM09 벡터 및 임베딩의 약점콘텐츠 검색 시 저장 및 매칭 방식의 결함8년에서 하향 조정됨
LLM10 부적절한 출력 처리소비자가 유효성 검사 없이 모델 출력을 실행하거나 렌더링합니다.5년에서 하향 조정됨

세 가지 악장은 사소한 정보가 아니라 중요한 신호로 해석할 가치가 있습니다.

  • 신속 주사가 1위를 유지했습니다. 방어 체계가 실패해서가 아니라, 근본적인 원인이 아키텍처에 있기 때문입니다. 명령어와 신뢰할 수 없는 데이터가 여전히 하나의 컨텍스트 창을 공유하고 있으며, 완벽한 해결책은 아직 없습니다. 이는 패치를 기다리는 버그가 아니라, 설계 단계에서부터 고려해야 할 영구적인 문제로 간주해야 합니다.
  • 과도한 행위자성이 6위에서 3위로 뛰어올랐다. 이는 사건 기록에 나타나는 행위 주체성 변화입니다. 모델 출력이 자율적으로 명령을 실행하거나, API를 호출하거나, 시스템에 데이터를 기록할 때, 조작 행위는 더 이상 콘텐츠 문제가 아니라 권한 문제로 바뀌게 됩니다.
  • 부적절한 출력 처리 문제는 5위에서 10위로 떨어졌고, 시스템 프롬프트 누출 문제는 숨겨진 컨텍스트 노출 문제로 확대되었습니다. 해당 분야에서는 모델의 텍스트를 주요 위험 요소로 취급하는 것을 멈추고 모델이 도달할 수 있는 모든 것을 위험 요소로 간주하기 시작했습니다.

LLM 보안은 실제로 어떻게 작동할까요? #

LLM 보안이 무엇인지 아는 것과 실제로 실행하는 것은 별개의 문제입니다. LLM 보안은 네 가지 제어 루프로 구성되며, 이 루프들은 제품 카테고리가 아닌 위에서 언급한 공격 표면에 대응합니다.

1. 재고 확인: LLM 표면을 확보하기 전에 위치를 확인하십시오. #

아무도 선언하지 않은 것을 통제할 수는 없습니다. 모델, API 키, 프롬프트 및 프롬프트 템플릿, 에이전트 정의, MCP 서버, 검색 등이 여기에 해당합니다. pipelines와 개발자가 이미 설치한 AI 코딩 도구. Shadow AI는 예외가 아니라 일반적인 상태이며, 재고는 사람들이 암기할 수 있는 것보다 훨씬 더 많습니다. 이 루프는 다음을 생성합니다. AI-BOM결국 감사인이 요구할 내용이 바로 그것입니다.

2. 제약 조건: 모델을 정교하게 만들기 전에 폭발 반경을 작게 만드세요. #

최소 권한 원칙은 사용자뿐 아니라 도구에도 적용됩니다. 각 도구는 작업에 필요한 최소한의 기능만 갖도록 범위를 제한해야 합니다. 공유 서비스 계정 대신 각 에이전트에 고유한 ID를 부여해야 합니다. 되돌릴 수 없는 작업에는 사람의 승인을 요구해야 합니다. 모든 도구 응답을 신뢰할 수 없는 입력으로 취급해야 합니다. 공격자가 에이전트가 검색한 문서를 제어하면 모델이 명령으로 읽을 텍스트를 제어할 수 있기 때문입니다. 이러한 과정을 통해 과도한 권한 부여 문제를 실제로 해결할 수 있으며, 이는 머신 러닝 작업과는 무관합니다.

3. 테스트: 적대적 평가를 릴리스 기준으로 사용 #

구조화 된 AI 레드팀 배포된 구성 자체를 대상으로 하는 것이지, 모델 자체를 대상으로 하는 것이 아닙니다. 직접 및 간접 주입, 검색을 통한 데이터 유출, 시스템 프롬프트 추출, 도구 오용 체인, 무제한 소비 등을 분석합니다. 결과는 개별 익스플로잇이 아닌 발생률이므로, 출력은 팀에서 허용, 완화 또는 차단 여부를 결정하는 일련의 조건을 문서화한 것입니다. 릴리스별로, 이상적으로는 매번 실행하는 것이 좋습니다. pull request 프롬프트, 도구 정의 또는 권한을 변경합니다.

4. 관찰: 구성이 변동한다고 가정합니다. #

주입 시도, 비정상적인 도구 호출 시퀀스, 데이터 유출을 암시하는 출력 패턴 및 사용량 급증을 모니터링하십시오. 시스템 프롬프트, 규칙 파일 또는 MCP 구성이 변경될 수 있으므로 구성 자체를 주시하십시오. pull request 검토자들이 문서로 읽을 수 있도록 하세요. 이 모든 것을 담당자와 롤백 대상이 있는 인시던트 경로에 연결하세요.

LLM 보안에 대한 간략한 설명: 표면적인 문제점을 파악하고, 권한을 축소하고, 오류 발생 가능성을 테스트하고, 구성을 관찰하십시오. 프롬프트 필터링은 이러한 과정 안에 있으며, 그 자체로는 네 가지 방법 중 가장 취약합니다.

LLM 보안 과정이 끝나고 다른 학문 분야가 시작되는 지점 #

벤더 자료에서 두 용어가 혼용되는 경우가 많으므로 명확히 밝히는 것이 중요합니다. LLM 보안은 사용 측면, 즉 프롬프트, 검색, 에이전트, 도구 접근 및 추론 시 모델 동작을 포괄합니다. MLSecOps 구축 및 학습 측면을 다룹니다: 학습 데이터, 모델 산출물, pipelines, 그리고 출처. AI 보안 애플리케이션 보안은 이 세 가지 모두를 아우르는 포괄적인 개념입니다. 애플리케이션 보안은 이 세 가지 모두가 계승하는 분야이며, LLM 분석 결과가 다른 모든 항목과 마찬가지로 우선순위가 높은 상태로 처리되어야 하는 이유이기도 합니다.

이번 주에 답할 수 있는 질문부터 시작하세요. #

대부분의 LLM 보안 프로그램은 잘못된 질문에서 멈춰버립니다. 팀들은 어떤 가드레일 접근 방식을 채택할지 논의하지만, 정작 회의실에 있는 누구도 코드베이스에 에이전트가 몇 개나 있는지, 각 에이전트가 어떤 도구를 호출할 수 있는지, 또는 최근에 도입된 MCP 서버를 누가 승인했는지조차 알지 못합니다. pull request 4개월 전에 문서로 검토되었습니다. 이것들은 연구 질문이 아닙니다. 답이 있고, 그 답은 지금 바로 여러분의 저장소에 있습니다.

무엇보다 먼저 답해야 할 세 가지 질문이 있습니다. 코드에 어떤 프롬프트, 에이전트 정의, MCP 구성이 있는지, 각각이 어떤 도구, 어떤 데이터, 누구의 ID에 접근할 수 있는지, 그리고 회의에서 하나씩 직접 요청했을 때 아무도 승인하지 않을 권한은 무엇인지입니다. 세 번째 질문은 다소 불편한 질문인데, 과도한 권한 부여는 거의 항상 문제가 되기 때문입니다.cis이온. 이는 편리한 범위 내에서 한 번에 하나씩 축적되며, 현재 해당 분야에서 세 번째로 큰 위험 요소입니다.

제니 첫 두 질문에 대한 답변은 설문조사 없이 제공합니다. 모든 AI 자산(모델, 프레임워크, 데이터셋, 추론 엔드포인트, 에이전트, MCP 서버, 스킬, 프롬프트)에 대한 지속적인 검색 기능을 제공합니다. guardrails또한 개발자들이 아무에게도 알리지 않고 설치한 AI 코딩 도구도 탐지합니다. LLM 애플리케이션, 프롬프트 주입, 도구 주입, 검색을 통한 데이터 유출, 시스템 프롬프트 우회 및 과도한 에이전트 사용과 같은 특정 취약점을 탐지하기 위해 특별히 설계된 AI 스캐너는 각각 OWASP LLM Top 10, Agentic Applications Top 10 및 MCP Top 10에 매핑되어 있으며, 취약점을 발생시키는 정확한 코드 라인을 가리킵니다. DevAI IDE에서 안전하지 않은 변경 사항을 차단합니다. pipeline 실행됩니다. 감사 준비가 완료된 AI-BOM과 하나 우선순위 위험 관점 AI 분석 결과와 이미 관리하고 있는 애플리케이션 분석 결과를 모두 아우릅니다.

세 번째 질문은 여러분이 답해 주세요. 데모 예약 그리고 먼저 여러분이 보유한 재고부터 시작하세요.

FAQ – MLSecOps란 무엇인가요? (간략한 답변) #

LLM 보안이란 간단히 말해서 무엇인가요?

대규모 언어 모델 기반 애플리케이션을 언어 자체를 악용하는 공격으로부터 보호하는 것이 중요합니다. 모델은 명령어와 데이터를 구분할 수 없기 때문에 읽는 모든 텍스트가 명령으로 해석될 수 있습니다. 따라서 방어는 모델이 읽을 수 있는 내용을 감시하는 것보다 모델이 수행할 수 있는 작업을 제한하는 데 중점을 두어야 합니다.

상용 API와 같은 호스팅 모델을 사용하는 팀에게 LLM 보안이란 무엇을 의미합니까?

대부분은 여전히 ​​적용되며, 적용되는 부분은 사용자가 제어하는 ​​부분입니다. 공급자의 모델 보안은 그대로 유지되지만, 시스템 프롬프트와 검색 기능은 사용자가 직접 제어할 수 있습니다. pipeline도구 정의, 에이전트 권한 및 출력 처리는 모두 귀하의 책임입니다. 문제가 발생하는 곳은 바로 그곳입니다.

즉시 주입 문제는 해결 가능한가요?

완전히 해결된 것은 아니며, 2026년 OWASP 개정판에서는 명령어와 신뢰할 수 없는 데이터가 여전히 하나의 컨텍스트 창을 공유하고 있으며 완벽한 해결책은 없다고 명시하고 있습니다. 완화 조치는 발생률을 줄이고, 격리는 그 결과를 완화합니다. 이것이 바로 필터링보다 권한 설계가 더 중요한 이유입니다.

LLM 보안에서 과도한 대리인이란 무엇을 의미하는가?

시스템이 작업에 필요한 것보다 더 많은 작업을 더 많은 권한으로 더 자율적으로 수행할 수 있는 경우를 OWASP는 근본적인 원인으로 지적합니다. 과도한 기능, 과도한 권한, 과도한 자율성입니다. 2026년에는 운영 환경에서 발생하는 장애가 응답보다는 실행을 하는 에이전트에 집중되는 경향이 커지면서 이러한 문제가 6위에서 3위로 상승했습니다.

LLM 보안은 MLSecOps와 어떻게 다른가요?

단순히 탐지하는 것보다 데이터 출처와 무결성을 통해 문제를 해결합니다. 데이터 출처 기록, 해시 및 서명된 데이터 세트, 레이블링에 대한 접근 제어, 그리고 배포 전 적대적 검증을 통해 취약점을 차단합니다. 모델에서 취약점을 발견하기는 어렵지만, 원천적으로 차단하는 것이 훨씬 쉽습니다.

무료로 시작

무료로 시작하세요.
신용 카드가 필요하지 않습니다.

클릭 한 번으로 시작하세요:

이 정보는 규정에 따라 안전하게 저장됩니다. 서비스약관 개인정보 처리방침

앱 스크린샷