AI 보안이란 무엇인가요?

AI 보안이란 무엇일까요? AI 보안은 AI 시스템의 구축, 학습 및 실행 방식에 고유한 위험으로부터 AI 모델, 에이전트, 데이터 세트 및 소프트웨어가 의존하는 인프라를 보호하는 활동입니다. 이는 사용 중인 모든 AI 자산의 발견, 프롬프트 인젝션 및 안전하지 않은 에이전트 동작과 같은 AI 관련 취약점 탐지, 그리고 피해를 발생시키기 전에 위험한 AI 동작을 차단하는 정책 시행을 포괄합니다. 이것이 바로 이 용어 설명 항목의 나머지 부분에서 자세히 다루는 핵심적인 AI 보안 개념입니다.

기존 애플리케이션 보안이 코드, 종속성 및 인프라를 보호하는 것과 달리, AI 보안은 모델, 프롬프트, 에이전트 및 이들을 연결하는 기계 간 프로토콜과 같은 새로운 유형의 자산을 보호합니다. AI가 단순한 기능을 넘어 소프트웨어 공급망 자체에 통합됨에 따라, AI 보안은 필수적인 방어 계층으로 자리 잡았습니다.

AI 보안의 의미: 간략한 정의 #

가장 간단하게 말해서, AI 보안의 의미는 다음과 같습니다. 기존 코드 보안 방식처럼 AI를 보호하되, 기존 도구로는 탐지할 수 없었던 구성 요소와 동작들을 보호합니다.

흔히 혼동되는 부분과 개념을 구분하는 유용한 방법: AI 보안은 "보안 분야의 AI"와는 다릅니다. 보안 분야에서 AI는 기존 보안 작업을 개선하기 위해 인공지능을 활용하는 것을 의미합니다. 예를 들어 취약점 발견 사항을 분류하는 AI 모델이 있습니다. 반면 AI 보안은 AI 자체를 보호하는 것을 의미합니다. 즉, 모델 파일, 학습 데이터, 에이전트, 프롬프트, 그리고 AI 도구가 작업을 수행할 수 있도록 하는 서버 등을 보호하는 것입니다. 둘 다 AI를 활용하는 유효한 방법이지만, 서로 다른 질문에 대한 답을 제시합니다.

업데이트가 중요한 이유 #

소프트웨어 팀들은 AI 코딩 도우미, 자율 에이전트 등을 도입해 왔습니다. 모델 컨텍스트 프로토콜 (엠씨피) 보안 도구의 개발 속도를 훨씬 앞지르고 있습니다. 이러한 변화가 새로운 공격 표면을 만들어낸 데에는 몇 가지 이유가 있습니다.

AI 의존성은 악용될 수도 있고, 인위적으로 만들어질 수도 있다. AI 코딩 도우미가 존재하지 않는 패키지를 추천하는 경우가 있는데, 이를 슬롭스쿼팅(slopsquatting)이라고 하며, 공격자는 이를 사전 등록하여 악용할 수 있습니다.

AI가 생성한 코드는 그 자체로 위험성을 내포하고 있습니다. AI 코드 생성에 대한 독립적인 벤치마킹 결과, 기본 모델의 성능이 우수하고 잘 훈련되었더라도 AI가 작성한 코드의 상당 부분이 일반적인 취약점 패턴을 도입하는 것으로 나타났습니다.

에이전트와 MCP 서버는 새롭게 구축된 인프라로, 대부분 모니터링이 이루어지지 않고 있습니다. 에이전트는 파일을 읽고, 도구를 호출하고, 개발자를 대신하여 작업을 수행할 수 있습니다. 에이전트의 지침, 규칙 파일 또는 연결된 MCP 서버가 조작될 경우, 에이전트는 원래 보호하려던 시스템을 공격하는 데 사용될 수 있습니다.

AI 구성은 이제 공격 표면이 되었습니다. 스킬 파일, 규칙 파일, 프롬프트 템플릿은 일반적으로 보안과 관련된 요소가 아닌 문서로 취급됩니다. 그러나 공격자들은 이미 이러한 파일에 숨겨진 명령어를 통해 AI 비서가 응답에 아무런 흔적도 남기지 않고 백도어 코드를 생성하도록 만들 수 있음을 입증했습니다.

어떤 내용을 다루나요? #

완전한 AI 보안 프로그램은 일반적으로 세 가지 기능을 포함합니다.

1. 발견 (AI 인벤토리) #

무엇이든 안전하게 보호하려면 먼저 찾아야 합니다. AI 보안은 조직의 저장소 전체에 걸쳐 모든 AI 자산을 지속적으로 찾아내는 것에서 시작됩니다. pipelines: 모델, AI 프레임워크, 데이터셋, 추론 엔드포인트, 에이전트, AI 코딩 도구 및 이러한 도구들이 연결되는 MCP 서버. 이러한 목록은 일반적으로 기계 판독 가능한 AI BOM(AI-BOM)으로 표현되며, 이는 소프트웨어 BOM(BOM)의 AI 버전입니다.SBOM).

2. 탐지 (AI 위험) #

일단 AI 자산이 파악되면 AI 보안은 다음과 같은 해당 자산에 특정한 위험을 탐지합니다.

• 신속한 주입 및 시스템 신속 누출신뢰할 수 없는 콘텐츠가 AI 모델의 동작 방식을 조작하는 경우
• 안전하지 않은 MCP 구성연결된 도구나 서버가 악성코드에 감염되거나 사칭될 수 있는 경우
• 과도한 대리인에이전트가 인간의 검증 없이 의도된 범위를 넘어 행동할 수 있는 경우
• AI 파일 속 비밀 노출AI 도구에서 사용하는 구성 파일을 통해 API 키 또는 자격 증명이 유출되는 경우
• 취약하거나 환각에 빠진 AI 의존성슬롭스쿼팅(slopsquatting)을 포함하여

이러한 위험 범주는 발표되고 커뮤니티에서 검토된 프레임워크, 특히 LLM 지원자를 위한 OWASP Top 10과 일맥상통합니다.

3. 집행 (Guardrails) #

마지막 단계는 위험한 AI 동작이 실행되기 전에 차단합니다. 악성 패키지 설치 차단스킬이나 규칙 파일을 신뢰하기 전에 유효성을 검사하거나, 정책을 위반하는 에이전트의 동작을 차단하는 것 등이 그 예입니다. 바로 이 지점에서 AI 보안은 단순한 가시성 확보에서 능동적인 방어로 전환됩니다.

주요 AI 보안 위험 요소 정의 #

AI 보안 프레임워크 및 Standards #

이는 소수의 출판된 자료에 기반을 두고 있습니다. standard특정 공급업체의 분류 체계가 아닌, s라는 개념이 더 적합합니다.

• OWASP LLM 지원자 대상 Top 10 (2025)가장 널리 인용되는 AI 애플리케이션 위험 목록으로, 즉각적인 정보 주입, 민감한 정보 유출, 공급망 위험 등을 다룹니다.
• NIST SP 800-218A: 생성형 인공지능 및 이중 용도 기반 모델에 맞춰 조정된 안전한 소프트웨어 개발 관행에 대한 지침.
• 가트너의 AI-SPM 및 AI TRiSM분석가가 정의한 AI 보안 태세 관리 범주와 더 넓은 분야인 AI 신뢰, 위험 및 보안 관리 범주.

이러한 요소들을 종합하면, 조직들은 마케팅 정의에만 의존하는 대신 "보안 AI"가 실제로 무엇을 의미하는지에 대한 공통된 어휘를 갖게 됩니다.

AI 보안 vs. 관련 용어 #

• AI 보안 vs. 앱 보안앱 보안(AppSec)은 애플리케이션 코드와 그 종속성을 보호합니다. 또한 앱 보안 도구가 검사하도록 설계되지 않은 AI 모델, 에이전트 및 AI 관련 구성도 보호합니다.
• AI 보안 vs. AI 거버넌스거버넌스는 조직이 AI를 사용하기 위해 필요한 정책 및 승인 절차를 정의합니다. 또한 코드 및 에이전트 수준에서 해당 정책이 실제로 제대로 시행되는지 확인하고 검증합니다.
• AI 보안 vs. MLSecOpsMLSecOps는 머신러닝 라이프사이클(학습, 데이터, 모델 배포)의 보안에 중점을 둡니다. 더 나아가 에이전트, 코딩 어시스턴트, 그리고 이들을 실제 시스템에 연결하는 프로토콜까지 포괄하는 개념입니다.

Xygeni는 AI 보안에 어떻게 접근하는가?
#

자이제니스 AI 보안 제품은 이러한 발견, 탐지 및 적용 모델을 소프트웨어 개발 수명주기에 직접 적용합니다. 저장소 전반에 걸쳐 AI 인벤토리를 지속적으로 구축하고, 프롬프트 주입 및 안전하지 않은 MCP 구성과 같은 AI 관련 위험을 탐지하며, 모든 발견 사항을 LLM 애플리케이션에 대한 OWASP Top 10에 매핑합니다. 따라서 보안 및 엔지니어링 팀은 코드에서 이미 실행 중인 AI를 추측하는 대신 하나의 AI BOM과 하나의 위험 관점을 기반으로 작업할 수 있습니다.

FAQ #