TL; DR
"AI 보안 위협"은 두 가지를 포괄합니다. 하나는 AI 시스템을 직접 겨냥한 공격이고, 다른 하나는 AI를 무기로 사용하는 공격입니다. 각각 다른 통제 방식, 담당자, 증거가 필요한데, 대부분의 목록은 이 모든 요소를 뒤섞어 놓아 실행하기가 어렵습니다. 아래 첫 다섯 가지는 AI를 겨냥한 것이고, 나머지 다섯 가지는 AI를 이용해 공급망을 위협하는 것입니다.
- AI 시스템에 대한 위협은 대부분 모델 자체가 아니라 구성에 존재합니다. 도구 범위, 에이전트가 실행되는 자격 증명, 규칙 파일,
.mcp/servers.json진입점입니다. 모델 엔드포인트에서는 해당 부분에 접근할 수 없으므로, 레드팀 테스트만으로는 문제가 발견되지 않습니다. - AI 기반 공격은 대부분 시스템 경계를 통과하는 것이 아니라 의존 관계를 통해 발생합니다. 공격자가 등록한 허위 패키지 이름, 개발자 자격 증명을 사용하는 자가 전파 웜, AI 제공업체 키를 목표로 하는 공격.
- 열 개 중 아홉 개는 구체적인 사항에 관한 질문입니다. 어떤 MCP 서버, 어떤 에이전트, 어떤 범위, 어떤 자격 증명, 어떤 규칙 파일, 어떤 패키지를 사용해야 할까요? 정책 문서는 이러한 질문에 대한 답을 제공하지 않습니다.
- 열 가지 모두 공통된 전제 조건을 가지고 있습니다. 지도를 작성하지 않은 AI 자산은 방어할 수 없으므로, 자산 파악은 제어 이후 단계가 아니라 제어 이전에 이루어져야 합니다.
인공지능 보안 위협에는 어떤 두 가지 유형이 있나요?
대부분의 AI 보안 위협 목록은 이 두 가지를 혼합해서 제시하기 때문에 조치를 취하기 어렵습니다.
- 인공지능 시스템에 대한 위협 인공지능을 공격 대상으로 생각하세요. 누군가 모델을 조작하거나, 인공지능이 따르는 지침을 오염시키거나, 에이전트에게 부여된 권한을 남용할 수 있습니다. 방어자의 역할은 공격을 차단하는 것입니다. 즉, 손상된 인공지능이 접근할 수 있는 범위를 줄이는 것입니다.
- AI 기반 공격 AI를 공격자의 도구로 간주해야 합니다. 공격 대상은 일반 소프트웨어, 즉 종속성, 자격 증명, 빌드 시스템, 개발자입니다. 방어자의 역할은 신속한 탐지입니다. 공격 방식이 바뀌었고 공격 규모가 증가했기 때문입니다.
각각 다른 통제 방식, 다른 책임자, 그리고 다른 증거가 필요합니다. 챗봇을 레드팀 방식으로 검증한 팀이라도 무단 저장소 사용(slopsquatting)에 대해서는 아무런 조치를 취하지 않았을 수 있습니다. 반대로 의존성 검사를 철저히 한 팀이라도 프로덕션 저장소에 쓰기 권한이 있고 범위 제한이 없는 에이전트를 운영하고 있을 수 있습니다. 둘 다 AI 보안 위협이며, 서로를 보호해주지 않습니다.
인공지능 시스템에 대한 위협: 가장 빈번하게 발생하는 다섯 가지
01. 툴 싱크에 도달하는 신속한 주입
신뢰할 수 없는 콘텐츠가 유입되어 시스템 프롬프트에 연결되고, 상대방 에이전트는 해당 프롬프트에 포함된 도구를 실행할 수 있습니다. 취약점은 프롬프트 자체가 아니라, 신뢰할 수 없는 입력에서 위험한 기능으로 이어지는 경로에 있습니다.
이것이 바로 프롬프트 필터링만으로는 부족한 이유입니다. 프롬프트 필터링은 체인의 한쪽 끝만 강화할 뿐이며, 진정으로 중요한 것은 입력과 도구 호출 사이에 안전장치가 있는지 여부입니다. OWASP LLM 지원자 대상 Top 10 신속한 주사 투여를 최우선 순위에 두지만, 바로 이러한 이유 때문에 과도한 개입을 함께 고려합니다.
찾을 내용 : 신뢰할 수 없는 입력이 시스템 프롬프트에 도달하고, 검증 없이 컨텍스트 정보를 검색하며, 그 사이에 안전장치 없이 도구 싱크에 접근할 수 있습니다.
02. 악의적인 규칙 및 스킬 파일
규칙 파일은 일반 텍스트입니다. commit문서처럼 작성하고 문서처럼 검토했으며, 담당자에게 해야 할 일을 알려줍니다. 너비가 0인 문자는 줄 바꿈을 보이지 않게 만듭니다. pull request 에이전트가 완벽하게 읽을 수 있도록 유지하면서 차이점을 나타냅니다.
마이터 아틀라스 이를 규칙 파일 백도어, 사례 연구 AML.CS0041로 분류합니다. 검토자는 형식 규칙을 승인합니다. 에이전트는 공격자가 제어하는 패키지에서 가져오되 이에 대해 아무 말도 하지 말라는 지침을 읽습니다.
찾을 내용 : 규칙 파일, 스킬 파일 및 프롬프트 템플릿은 산문이 아닌 코드로 분석되며, 숨겨진 문자도 감지됩니다.
03. 안전하지 않은 MCP 서버 구성
MCP 구성 에이전트가 명령을 받고 자격 증명이 누적되는 곳입니다. 두 부분 모두 문제가 될 수 있습니다. 2025년 7월에 공개된 CVE-2025-6514는 널리 사용되는 MCP 브리지에서 발견된 심각한 OS 명령 주입 취약점으로, CVSS 점수 9.6점을 기록했으며 신뢰할 수 없는 서버에 연결할 때 클라이언트 호스트에서 임의 명령을 실행할 수 있도록 허용했습니다.
자격 증명 관련 문제는 더욱 심각한데, 그 이유는 수동적인 보안 방식 때문입니다. 2026년 연구에 따르면 공개 GitHub의 MCP 구성 파일에 24,000개 이상의 비밀 키가 저장되어 있으며, 그중 2,000개 이상이 여전히 유효한 것으로 나타났습니다.
찾을 내용 : 사용 중인 MCP 서버 목록, 해당 버전, 선언된 도구 및 구성 파일에 대한 비밀 탐지 기능.
04. 과도한 대리인 역할
광범위한 도구 사용 권한과 장기간 유효한 자격 증명을 부여받은 에이전트는 언제든 권한 상승을 시도할 수 있는 위험에 노출되어 있습니다. 이러한 위험은 실제로 악용되지 않더라도 심각한 피해를 초래할 수 있습니다. 혼란에 빠진 에이전트와 손상된 에이전트 모두 필요하지 않은 쓰기 권한을 갖게 되면 비슷한 수준의 피해를 발생시킵니다.
이 목록에서 가장 매력적이지 않으면서도 가장 흔한 문제입니다. 또한 가장 저렴한 해결책인 범위 축소가 있지만, 누구도 이 문제에 대한 책임이 없기 때문에 실제로 적용되는 경우는 드뭅니다.
찾을 내용 : 어떤 에이전트가 존재하는지, 각 에이전트가 무엇을 호출할 수 있는지, 누구의 자격으로 호출할 수 있는지, 그리고 누군가가 해당 범위를 승인했는지 여부.
05. 오염된 모델, 데이터셋 및 AI 의존성
AI 스택은 일반 패키지와 호스팅된 아티팩트를 기반으로 구축됩니다. 모델은 공개 허브에서 다운로드하고, 데이터셋은 어디에서든 가져옵니다. 이러한 요소들은 모두 종속성 문제와 마찬가지로 출처 불명확성 문제를 안고 있으며, 필요한 도구도 부족하고 검증도 훨씬 어렵습니다.
찾을 내용 : 모델, 프레임워크 및 데이터 세트는 공급망 구성 요소로 취급되며, 동일한 구성 분석 및 동일한 방식을 사용합니다. CVE 추적은 나머지 종속성 항목과 마찬가지입니다.
AI 기반 공격: 공급망을 재편하는 5가지 공격
06. 슬롭스쿼팅
2025년 USENIX Security에서 발표된 연구에 따르면 16개 모델에 걸쳐 2.23만 개의 코드 샘플을 생성한 결과, 권장 패키지의 19.7%가 실제로 존재하지 않는 것으로 나타났으며, 이로 인해 20만 5천 개 이상의 고유한 허위 이름이 생성되었습니다. 이 이름 중 약 43%는 동일한 프롬프트를 반복 실행했을 때 반복적으로 나타나므로, 이러한 이름은 악용될 가능성이 높습니다.
공격자는 더 이상 유지 관리 담당자를 해킹할 필요가 없습니다. 그들은 담당자가 만든 이름을 등록하고 설치를 기다립니다. 해당 패키지에는 서명이나 안내문이 없습니다. 왜냐하면 새롭기 때문에 이전에 아무도 본 적이 없기 때문입니다.
찾을 내용 : 악성코드 검사는 평판이 아닌 행동을 기반으로 하며, 에이전트가 추가하는 모든 종속성에 적용됩니다.
07. 자가 증식하는 공급망 벌레
The 2025년 9월 npm 웜 개발자 컴퓨터가 공격 대상이 아닌 공격 전달 수단이 되기 시작한 시점을 나타냅니다. 이러한 패턴은 2026년까지 대규모로 반복됩니다. 손상된 개발자 자격 증명은 다음 단계의 손상된 패키지를 유포하며, 그 파급 효과는 누적되는 것이 아니라 증폭됩니다.
찾을 내용 : 비정상적인 출판 활동, 특이한 commit 개발자의 일반적인 행동 패턴과 일치하지 않는 자격 증명 사용 패턴.
08. 국가 차원의 AI 자격 증명 표적화
2026년 3월, 주간 다운로드 수가 약 1억 건에 달하는 한 소프트웨어 패키지가 AI 제공업체 API 키를 노린 해킹 공격을 단 몇 시간 동안 받았습니다. 공격 기간은 의도적으로 짧게 설정되었는데, 이는 API 키를 수집하기에는 충분하면서도 발각될 가능성을 최소화하기 위한 것이었습니다.
AI 자격 증명은 이제 그 자체로 주요 공격 대상이 되었습니다. AI 자격 증명을 통해 컴퓨팅 자원, 접근 권한, 그리고 그럴듯한 신원을 확보할 수 있기 때문입니다. 이러한 자격 증명을 탈취하려는 공격은 2025년 말부터 2026년 초 사이에 급증했습니다.
찾을 내용 : AI 제공자 키는 클라우드 자격 증명과 동일한 탐지 및 폐지 절차를 거치는 비밀 키로 취급됩니다.
09. LLM을 사용하여 제작되거나 심어진 악성 소프트웨어
2026년까지 언어 모델이 에이전트 워크플로 내부에 악성 코드를 심는 데 악용된 사례가 보고되었습니다. 여기서 중요한 점은 악성 코드가 새로웠다는 것이 아닙니다. 중요한 것은 제작자가 더 이상 병목 현상을 일으키지 않게 되었고, 공격자가 이용할 수 있는 그럴듯하게 보이는 악성 코드의 양이 그에 따라 증가했다는 것입니다.
찾을 내용 : 검색 이는 이전에 샘플을 본 적이 있는지 여부와는 무관합니다.
10. 용량 붕괴 검토
이것은 공격이 아니기 때문에 마지막에 언급되었고, 그렇기 때문에 가장 중요합니다. 에이전트가 일주일에 천 개의 파일을 생성하면 코드 검토는 더 이상 관리 수단이 아니라 대기열이 되어버립니다. 마지막 사람의 검토 단계가 과부하되면 이 목록에 있는 다른 모든 위협은 더 쉽게 해결될 수 있습니다.
찾을 내용 : 발견된 취약점은 심각도보다는 악용 가능성에 따라 순위가 매겨지므로, 실제로 개발자에게 도달하는 소수의 취약점만 남게 됩니다.
열 가지 위협이 지도에 표시되어 있습니다. 각각의 위협에 대한 해결책을 제시하려면 블로그 게시글 하나로는 부족하기 때문에, 제대로 된 대화를 나눠봤습니다. 이번 에피소드에서 자세히 알아보겠습니다. SafeDev 토크Xygeni의 CEO인 헤수스 쿠아드라도가 DevSecOps 전문가이자 S인 아타나스 니콜로프와 함께 이야기를 나눕니다.SDLC 기술 리더로서 다형성 악성코드, 즉시 주입, 모델 변조 및 이러한 공격에 실제로 효과적인 방어책에 대해 연구했습니다. 형식도 없고, 차단할 방법도 없습니다.
매핑하지 않은 AI 자산을 왜 보호할 수 없습니까?
열 가지 질문을 다시 읽어보면, 패턴을 쉽게 파악할 수 있습니다. 그중 아홉 가지는 구체적인 사항에 대한 질문입니다. 즉, 어떤 MCP 서버, 어떤 에이전트, 어떤 범위, 어떤 자격 증명, 어떤 규칙 파일, 어떤 패키지에 대한 질문입니다.
이러한 질문들은 정책 문서에서 답을 찾을 수 없습니다. 답은 인벤토리에서 찾아야 하는데, 대부분의 조직은 인벤토리를 보유하고 있지 않습니다. AI는 티켓 발행이나 조달 절차, 또는 AI임을 알리는 저장소 항목 없이 개발자들이 신속하게 움직이면서 도입되었습니다.
따라서 매핑은 첫 단계라기보다는 전제 조건이 되어야 합니다. 제어부터 시작하는 AI 보안 위협 프로그램은 이미 알고 있는 AI에만 제어를 적용하게 되는데, 이는 규모를 파악할 수 없는 부분집합에 불과합니다. 먼저 발견이 이루어져야 합니다. 모델, 프레임워크, 데이터셋, 추론 엔드포인트, 에이전트, MCP 서버, 스킬, 프롬프트, 그리고 개발자가 실제로 사용하는 AI 코딩 도구와 그 사이의 관계를 파악해야 합니다. 자산 하나만으로는 거의 아무것도 알 수 없으며, 위험은 연결 고리 전체에 집중되기 때문입니다.
The NIST AI 위험 관리 프레임워크 지도 기능을 측정 및 관리 기능보다 우선시하는 이유는 동일합니다. 지도 기능은 프레임워크에서 가장 흥미롭지 않은 기능이지만, 다른 모든 기능이 의존하는 기능이기 때문입니다.
어떤 AI 보안 위협에 먼저 대응해야 할까요?
가장 세련된 방식은 아니지만, 가장 접근하기 쉬운 방식입니다.
- 이번 주: MCP 서버 수를 세고 구성 파일에 대한 비밀 정보 탐지를 실행하세요. 위협 03은 목록에서 노출 대비 노력 비율이 가장 높지만, 거의 아무도 살펴보지 않았습니다.
- 이번 달: 에이전트를 찾아 각 에이전트가 어떤 작업을 수행할 수 있는지, 그리고 어떤 자격 증명으로 실행할 수 있는지 기록해 두세요. 이렇게 하면 가장 흔하고 비용도 적게 드는 위협 04를 해결할 수 있습니다.
- 이번 분기: 에이전트가 추가하는 모든 종속성보다 행동 기반 악성코드 검사를 우선적으로 적용하십시오. 이렇게 하면 위협 06, 07, 09를 한 번에 처리할 수 있습니다. 이 세 가지 위협은 모두 새로운 위협이기 때문에 평판 기반 검사를 무력화시키기 때문입니다.
나머지 모든 것은 그 세 가지 뒤에 기다릴 수 있습니다. 왜냐하면 나머지 모든 것은 당신이 이미 무엇을 가지고 있는지 알고 있다는 것을 전제로 하기 때문입니다.
2027년에 AI 보안 위협에 잘 대처하는 조직은 모델 평가에서 최고의 점수를 받은 조직이 아닐 것입니다. 오히려 매주 화요일마다 자사 소프트웨어에서 어떤 AI가 실행되고 있으며, 어디까지 접근이 허용되는지 명확하게 답변할 수 있는 조직이 될 것입니다. 이것이 바로 우리가 주목해야 할 점입니다. 제니 이 시스템은 저장소 전반에 걸쳐 모든 AI 자산을 지속적으로 검색하는 것을 중심으로 구축되었습니다. pipelines는 감사 담당자가 이미 알고 있는 프레임워크를 기준으로 위험도를 평가하고, 아직 승인되지 않은 부분을 잡아내는 공급망 검토를 포함합니다.
열 가지 위협, 두 가지 범주, 그리고 그 둘 아래에 있는 하나의 지도.
FAQ
인공지능 보안 위협은 일반 애플리케이션 보안 위협과 정말로 다른 것일까요?
부분적으로는 그렇습니다. 결과는 익숙합니다. 코드 실행, 자격 증명 탈취, 데이터 노출 등이 그것입니다. 달라진 점은 침입 경로와 속도입니다. 이전에는 아무런 동작도 하지 않던 설정 파일에 이제 어떤 명령이 실행될 수 있게 되었고, 공격자가 그럴듯한 악성 코드를 만드는 데 드는 비용이 줄어들었습니다. 기존의 보안 조치는 여전히 유효하지만, 더 이상 모든 영역을 포괄하지는 못합니다.
레드팀을 활용한 모델 테스트가 이러한 위협 요소들을 대부분 해결할 수 있을까요?
이는 그 중 한 가지 문제의 일부를 해결합니다. 레드팀 테스트는 모델이 거부해야 할 작업을 수행하도록 유도할 수 있는지 여부를 파악하는 데 유용하며, 실제로 도움이 됩니다. 하지만 모델 엔드포인트를 통해 도구 범위, 자격 증명, 규칙 파일 또는 MCP 구성에 접근할 수 없으므로 이러한 정보는 확인할 수 없습니다. 따라서 깨끗한 레드팀 보고서와 위험할 정도로 과도한 권한을 가진 에이전트가 모순 없이 공존할 수 있습니다.
이러한 AI 보안 위협 중 가장 과소평가된 것은 무엇일까요?
과도한 개입입니다. CVE도 없고, 시연할 만한 익스플로잇도 없고, 전용 제품을 판매하는 벤더도 없기 때문에 긴급성이 없습니다. 또한, 이는 사고가 통제될지 아니면 확산될지를 결정하는 중요한 요소입니다. 첫 번째 실수 이후 확산 범위가 얼마나 넓어질지를 결정하기 때문입니다.
인공지능 기반 공격은 우리가 측정해야 할 대상을 어떻게 변화시키는가?
그들은 유용한 측정 기준을 심각도에서 시간으로 바꿉니다. 악성 패키지가 서명이 게시되는 속도보다 더 빠르게 생성될 때, "해결되지 않은 심각한 문제가 몇 개나 있는지"보다 "새로운 문제가 얼마나 빨리 플래그되는지"가 더 중요해집니다. 코드베이스에 종속성이 추가된 시점과 검사되는 시점 사이의 간격, 그리고 문제가 제기된 시점과 조치를 취할 수 있는 개발자에게 전달되는 시점 사이의 간격을 측정해야 합니다.







