AI 사이버보안이란 무엇인가요?

AI 사이버 보안은 공격 표면의 일부인 인공지능을 보호하는 실무입니다. 여기에는 소프트웨어 내의 모델, 데이터 세트, 에이전트, MCP 서버, 프롬프트 및 AI 생성 코드뿐만 아니라 이러한 요소들을 표적으로 삼는 새로운 공격 기법까지 포함됩니다. 또한 AI를 활용하여 방어를 강화하는 역방향 공격도 다루지만, 오늘날 가장 큰 취약점은 바로 공격 방향입니다. 이것이 AI 사이버 보안에 대한 간략한 답변입니다. 하지만 미리 알아두는 것이 좋습니다.cis이에 대해 생각해 보세요. 왜냐하면 그 용어는 완전히 다른 두 가지 의미로 사용되기 때문에, 잘못된 용어를 사용하면 다른 하나는 무방비 상태가 되기 때문입니다.

AI 사이버보안의 의미, 두 가지 방향 #

AI 사이버 보안의 의미는 간단히 말해, AI를 보호하는가, 아니면 AI로부터 보호받는가로 나뉩니다.

AI 보안 강화. 귀사는 AI를 활용하여 구축하고 개발합니다. 이로 인해 기존 도구로는 예상하지 못했던 자산과 기존 도구가 고려하지 못했던 오류 모드가 발생합니다. 예를 들어 신뢰할 수 없는 입력을 허용하는 프롬프트, 작업에 필요한 권한보다 더 많은 권한을 가진 에이전트, 모델을 오염시키는 데이터 세트, 아무도 승인하지 않은 MCP 서버 등이 있습니다. 바로 이러한 곳에서 사고가 발생합니다.

보안을 위한 AI. 머신러닝을 탐지, 분류, 설명 및 수정에 적용하여 경고 노이즈를 줄이고, 활용 가능한 발견 사항에 우선순위를 부여하고, 수정 사항을 작성합니다. 바로 여기서 효율성이 창출됩니다.

대부분의 벤더와 기사들은 이 둘을 혼동합니다. 하지만 AI 사이버 보안 측면에서 운영상 중요한 것은 이 두 가지가 서로 다른 담당자가 있는 별개의 프로그램이라는 점입니다. 하나는 공격 표면 문제이고, 다른 하나는 생산성 문제입니다.

AI 사이버보안은 무엇을 보호하는가? #

통제 전의 재고 목록입니다. 아래의 모든 항목은 보안팀이 책임져야 할 자산입니다.

• 모델자체 호스팅이든, 세부 조정되었든, 제공업체 API를 통해 호출되었든 상관없이
• 데이터 세트 훈련, 미세 조정, 평가 및 검색에 사용됩니다.
• 에이전트 및 에이전트 서버 시스템 내부에서 자율적으로 작동하는 것들
• MCP 서버 이러한 에이전트에게 도구와 데이터를 노출시키는 것
• 프롬프트, 스킬 파일, 규칙 파일 및 guardrailsAI 동작을 제어하는 ​​구성 계층
• 추론 엔드포인트 그리고 그들에게 부여되는 자격 증명
• AI 코딩 도우미 팀 전체에서 사용되는 코드와 해당 코드가 생성하는 코드
• AI 의존성AI 스택에서 사용하는 프레임워크 및 패키지

저 중에서 애플리케이션 코드가 얼마나 적은지 주목하세요. 저건 사전 준비 단계입니다.cis왜 SAST EDR 에이전트와 클라우드 포스처 도구는 모두 정상으로 보고할 수 있지만, 노트북의 에이전트가 연결된 자체 이메일 도구를 통해 데이터를 유출할 수도 있습니다. 둘 다 애플리케이션 코드가 아니므로 이미 실행 중인 도구로는 탐지되지 않습니다.

인공지능 때문에 발생하는 세 가지 공격 #

어떤 패밀리를 보고 있는지 알면 제어권이 어디에 있는지 알 수 있으며, 바로 이 지점에서 AI 사이버 보안의 의미가 더 이상 추상적이지 않게 됩니다.

첫 번째 가족은 모델의 지침을 목표로 합니다. 신속 주사는 최고 자리를 유지해 왔습니다. OWASP LLM 지원자 대상 Top 10 그 목록이 존재했던 이유는 간단합니다. 모델이 자신이 작성하지 않은 텍스트를 읽는 모든 지점이 침입 지점이기 때문입니다. 위험한 공격 방식은 간접적입니다. 공격자는 직접 텍스트를 입력하지 않지만, 모델은 지원 티켓, 웹 페이지 등에서 해당 텍스트를 가져옵니다. pull request 댓글이나 누군가가 업로드한 문서와 같은 것들 말입니다. 모델은 지침과 내용을 구분하지 못하기 때문에 둘 다 따릅니다. 이 모델에 도구를 제공하면 동일한 기법이 도구 주입으로 변질됩니다. 에이전트가 도구의 기능에 대해 잘못 인식하는 것을 바꾸면, 에이전트는 사용자의 자격 증명을 이용해 사용자에게 불리한 행동을 할 것입니다. 과도한 권한은 문제를 증폭시키는 요인입니다. 에이전트가 자신의 임무에 필요한 것보다 더 광범위한 권한을 가지고 있다면, 단순한 불편함과 심각한 사건의 차이가 발생할 수 있습니다.

두 번째 제품군은 구성 계층을 대상으로 합니다. 프롬프트, 규칙 파일, 스킬 파일 및 MCP 서버 정의는 AI가 환경에서 수행하는 작업을 결정하며, 이러한 것들은 모두 애플리케이션 코드가 아닙니다. 규칙 파일 백도어는 이러한 방식이 얼마나 효과적인지 보여주었습니다. 너비가 0인 유니코드 문자는 사람이 물리적으로 볼 수 없는 지침을 전달하고, AI는 이를 따르지만 응답에서 절대 언급하지 않습니다. 이 기법은 다음 문서에 수록되어 있습니다. 마이터 아틀라스 AML.CS0041과 같이, 동일한 계층에서 공급자 자격 증명을 평문으로 저장하고, 보조원에게 의도했던 것보다 훨씬 더 많은 파일 시스템에 대한 읽기 권한을 부여합니다. 에이전트 코딩, 이 레이어는 핸들과 같은데, 거의 아무도 이 부분을 검토하지 않습니다.

세 번째 가족은 AI 공급망을 목표로 삼고 있습니다. 모델, 데이터셋, 그리고 관련 패키지들은 외부에서 유입됩니다. 슬롭스쿼팅(Slopsquatting)이 가장 대표적인 예입니다. 언어 모델이 패키지 이름을 임의로 만들어내면 공격자가 이를 등록하고, 에이전트는 요청에 따라 공격자의 코드를 설치합니다. USENIX Security 2025에서 발표된 연구에 따르면, 언어 모델이 추천하는 패키지의 19.7%가 실제로 존재하지 않으며, 허구의 이름이 반복적으로 사용되어 악용될 수 있는 것으로 나타났습니다. 이와 더불어, 오염된 학습 및 검색 데이터, 소스 코드가 유출되는 임베딩, 에이전트에 직접 연결된 신뢰할 수 없는 MCP 서버, 그리고 취약한 AI 프레임워크가 종속성으로 유입되는 등의 문제가 발생합니다.

이 세 가지 모두의 기저에는 그림자 AI, 즉 모델, 에이전트, 어시스턴트 등이 존재합니다. MCP 서버 이미 승인, 검토 또는 재고 조사 없이 실행되고 있습니다. 이는 대부분의 조직에서 기본 상태이며, 첫 번째 점검 항목이 항상 목록인 이유입니다.

아닌 것은 무엇일까요? #

이것은 AI 거버넌스가 아닙니다. 거버넌스는 모델을 사용해야 하는지 여부와 어떤 정책 하에서 사용해야 하는지에 대한 답을 제시합니다. AI 사이버 보안은 모델, 에이전트 및 이들 간의 연결이 공격받을 수 있는지 여부에 대한 답을 제시합니다.

챗봇 앞에 있는 필터가 아닙니다. 런타임 프롬프트 필터링은 여러 제어 기능 중 하나일 뿐입니다. 개발자 노트북의 MCP 서버, 저장소의 변조된 규칙 파일 또는 AI 구성의 자격 증명에 대해서는 아무것도 감지하지 못합니다.

현재 운영 중인 서비스에는 포함되지 않습니다. 기존 애플리케이션 보안은 저장소에만 국한되어 모델이 무엇인지 알지 못합니다. 엔드포인트 도구는 운영 체제만 감시할 뿐 패키지, MCP 서버 또는 어시스턴트를 이해하지 못합니다. AI 공격은 바로 이 둘 사이의 간극을 파고듭니다.

단순히 생성형 인공지능에 관한 이야기만은 아닙니다. 사기, 가격 책정 및 위험 점수 산정에 사용되는 기존 머신 러닝 또한 데이터 오염, 회피 및 모델 추출을 통해 공격 대상이 됩니다.

해당 분야를 정의하는 프레임워크 #

OWASP LLM 지원자 대상 Top 10LLM 애플리케이션 위험에 대한 실무 분류 체계이며, 대부분의 보안 팀이 발견 사항을 매핑하는 데 사용하는 체계입니다.

OWASP 에이전트 기반 애플리케이션 Top 10 (2026년)자율형 도구 사용 시스템 관련 참고 자료 목록 (2025년 12월 발간)

OWASP GenAI 보안 프로젝트데이터 보안, MCP 서버 지침 및 레드팀 리소스를 포함한 포괄적인 노력

NIST AI 위험 관리 프레임워크 그리고 생성형 AI 프로필: 규제 기관과 이사회가 인정하는 거버넌스 용어

마이터 아틀라스인공지능 시스템을 위한 적대적 공격 기법 지식 기반 (실제 사례 연구 포함)

EU AI 법법적 프레임워크에는 AI 인벤토리가 충족하는 데 도움이 되는 기술 문서 의무가 포함됩니다.

어디서 시작하나요 #

목록. 설문조사가 아닌 코드, 종속성 및 구성 정보를 통해 사용 중인 모든 모델, 데이터셋, 에이전트, MCP 서버 및 AI 어시스턴트를 찾아보세요.

관계를 매핑하세요. 위험은 연결 고리에 존재합니다. 어떤 에이전트가 어떤 도구에 접근하는지, 어떤 데이터 세트가 어떤 모델에 입력되는지가 바로 그것입니다.

구성 레이어를 읽으세요. 프롬프트, 스킬 파일, 규칙 파일 및 MCP 정의를 보안 아티팩트로 간주하고 코드처럼 검토하십시오.

범위 권한. 각 요원에게 가장 좁은 도구 사용 범위와 업무상 허용되는 최소한의 자율성을 부여하십시오.

실행되는 곳에서 적용하십시오. 대부분의 AI 관련 위험은 개발자 컴퓨터에 존재하므로, 승인되지 않은 서버나 악성 패키지가 실행되기 전에 엔드포인트에서 정책이 적용되어야 합니다.

사용하는 AI와 직접 구축하는 AI를 안전하게 보호하세요 #

AI 사이버 보안이란 무엇인가에 대한 실질적인 답변은 가시성 확보에서 시작하여 법 집행으로 마무리된다는 것입니다. Xygeni는 귀사의 모든 AI 자산을 탐지합니다. SDLC모델, 에이전트, MCP 서버, 데이터셋, 스킬 파일, 프롬프트 등 아무도 신고하지 않은 요소들을 포함하여, 이러한 요소들의 연결 방식을 파악하고, 프롬프트 및 도구 주입, 규칙 및 스킬 파일의 악의적인 명령어, 안전하지 않은 MCP 구성, AI 파일의 비밀 정보, 무단으로 사용된 AI 종속성 등 특정 위험을 탐지합니다. 탐지 결과는 OWASP Top 10 LLM 애플리케이션 위험 요소와 연관되어 있으며, 정확한 파일 및 줄 번호를 가리킵니다. AI-BOM은 감사자에게 방어 가능한 근거를 제공하고, 대부분의 AI 위험이 실제로 발생하는 개발자 엔드포인트에서 정책을 시행할 수 있도록 합니다.

이미 보유하고 있는 스캐너에서 얻은 결과에도 동일한 인텔리전스가 적용되므로 AI 보안은 기존 스택을 대체하는 것이 아니라 확장합니다. 에이전트가 연결된 항목을 확인하려면 다음 링크를 참조하세요. 제니.

FAQ #