Xygeni 보안 용어집
소프트웨어 개발 및 제공 보안 용어집

AI 레드팀이란 무엇인가요?

AI 레드팀 활동이란 실제 공격자가 시스템을 오작동시키기 전에, LLM 애플리케이션이나 AI 에이전트와 같은 AI 시스템을 의도적으로 공격하여 오작동을 유발하는 방법을 알아내는 행위입니다.

  • 테스트 내용: 코드뿐 아니라 행동까지 포함합니다. 프롬프트 주입, 탈옥, 데이터 유출, 안전하지 않은 도구 사용 및 유해한 출력 등을 문제 삼습니다.
  • 침투 테스트와의 차이점은 다음과 같습니다. 목표는 확률적입니다. 동일한 입력이 여러 가지 출력을 생성할 수 있으므로 테스트는 반복적이고 통계적으로 수행됩니다.
  • 참고 방법론: OWASP GenAI 레드팀 가이드(2025년 1월 발간).
  • 그 한계는 다음과 같습니다. 이 도구는 실행 중인 시스템에서 악용 가능한 부분을 찾아냅니다. 하지만 코드베이스에 어떤 AI 취약점이 있는지 알려주거나 공격을 가능하게 만든 설정을 수정해 주지는 않습니다.

AI 레드팀이란 무엇인가? 정의 #

기존 소프트웨어는 예측 가능한 방식으로 오류가 발생합니다. 함수에 동일한 입력을 두 번 주면 동일한 출력이 나오므로 테스트하고 수정하여 다음 단계로 넘어갈 수 있습니다. 하지만 대규모 언어 모델은 그렇지 않습니다. 자연어에 반응하고, 설득될 수 있으며, 웹 페이지나 문서에 숨겨진 명령 하나로 동작을 변경할 수도 있습니다.

AI 레드팀은 바로 이러한 공백을 메웁니다. 레드팀은 공격자의 입장에서 AI 시스템이 해서는 안 될 행동을 하도록 유도합니다. 예를 들어 시스템 프롬프트를 표시하거나, 고객 데이터를 유출하거나, 의도치 않게 도구를 호출하거나, 특정 메시지를 무시하도록 만드는 것입니다. guardrails 개발자들이 쓴 글입니다. 모든 성공적인 공격은 엔지니어링 팀이 조치를 취할 수 있는 발견 사항이 됩니다.

The OWASP GenAI 레드팀 가이드 AI 레드팀 활동을 전체적인 관점에서 살펴본다cis이는 모델 평가, 구현 테스트, 인프라 평가 및 런타임 동작 분석이라는 네 가지 영역에 걸쳐 이루어집니다. 다시 말해, 단순히 챗봇을 속이는 것만이 아니라 모델이 속한 시스템 전체를 포괄합니다.

AI 레드팀은 어떻게 작동하는가 #

일반적인 AI 레드팀 활동은 5단계로 진행됩니다.

1. 시스템 범위 설정 #

테스트 대상을 정의하십시오. 고객 응대 담당자, 내부 보조 시스템, 이메일이나 데이터베이스에 접근 권한이 있는 자율 에이전트 등이 될 수 있습니다. 테스트 범위는 어떤 피해가 심각한 문제로 간주되는지를 결정합니다. 지원 봇이 환불 정책을 유출하는 것은 사소한 불편함일 수 있지만, 상담원이 자격 증명을 유출하는 것은 심각한 사고입니다.

2. 위협 모델을 만드세요 #

공격 표면을 파악합니다: 사용자 입력, 검색된 문서, 연결된 도구, MCP 서버, 메모리 및 시스템이 작동하는 데 사용되는 ID. 다음과 같은 프레임워크를 활용합니다. 마이터 아틀라스 AI 시스템에 대한 실제 적대적 기법을 분류하고 팀이 뻔한 것만 테스트하는 것을 방지하도록 지원합니다.

3. 공격 #

레드팀은 수동적인 창의성과 자동화된 탐색을 결합합니다. 일반적인 기법은 다음과 같습니다.

  • 직접 주입: 시스템 메시지를 무시하기 위해 입력란에 명령어를 직접 입력합니다.
  • 간접적인 신속 주입: 모델이 나중에 읽는 파일, 이메일 또는 웹 페이지와 같은 콘텐츠에 심어진 지침입니다.
  • 탈옥: 역할극, 암호화 또는 여러 차례에 걸친 설득을 통해 안전 규칙을 우회합니다.
  • 데이터 추출: 모델이 훈련 데이터, 시스템 메시지 또는 다른 사용자의 정보를 드러내도록 유도하는 것.
  • 도구 및 에이전트 오용: 에이전트가 유해한 매개변수를 사용하는 도구를 호출하거나 자체 권한을 높이도록 유도하는 행위.

4. 측정 #

모델은 비결정적이기 때문에 한 번의 성공은 큰 의미가 없고, 한 번의 실패는 더욱 그렇습니다. 숙련된 팀은 각 공격을 여러 번 실행하고 성공률을 보고하며, 일화에 의존하지 않습니다.

5. 수정 후 재테스트 #

발견 사항은 엔지니어링 팀으로 전달됩니다. 시스템 프롬프트를 강화하고, 입력 또는 출력 안전장치를 추가하고, 에이전트 권한을 줄이고, 도구를 제거하는 등의 조치가 필요합니다. 그런 다음 테스트를 다시 실행합니다. 왜냐하면 하나의 문구에 대한 수정이 다른 문구에 대한 수정으로 이어지는 경우는 드물기 때문입니다.

AI 레드팀 vs 침투 테스트 #

두 사람은 사고방식은 비슷하지만, 시도하는 방식은 다릅니다.

외형 치수침투 테스트AI 레드팀
목표인프라, 애플리케이션, API모델의 행동과 그 주변 시스템
공격 입력익스플로잇, 페이로드, 잘못된 형식의 요청자연어, 문서, 다단계 대화
결과결정론적: 익스플로잇은 성공하거나 실패한다.확률적: 여러 시도에 걸친 성공률
일반적인 소견주입 오류, 잘못된 구성, 취약한 인증신속한 주입, 탈옥, 데이터 유출, 과도한 대리 행위
기술공격적 보안공격적 보안에 머신러닝과 언어학을 접목

완전한 프로그램에는 두 가지 모두 필요합니다. LLM 애플리케이션은 여전히 ​​침투 테스트가 필요한 서버와 API에서 실행되며, 완벽한 침투 테스트 결과는 모델이 데이터를 유출하도록 유도할 수 있는지 여부에 대해서는 아무것도 알려주지 않습니다.

지금 AI 레드팀이 중요한 이유 #

세 가지 요인이 인공지능 레드팀 활동을 연구실에서 일반 보안 프로그램으로 끌어들이고 있습니다.

  • AI 개발 속도가 검토 속도보다 빠릅니다. 개발자들은 보안 검토 없이 매주 애플리케이션에 모델, 에이전트 프레임워크, MCP 서버를 추가합니다. 이러한 추가 요소들은 신뢰할 수 없는 텍스트가 작동 가능한 구성 요소에 도달할 수 있는 새로운 경로를 제공합니다.
  • 요원들이 판돈을 높인다. 오작동하는 챗봇은 잘못된 텍스트를 생성합니다. 오작동하는 에이전트는 귀사의 계정으로 이메일을 보내거나, 기록을 수정하거나, 코드를 실행합니다.
  • 규제 당국은 적대적 테스트를 기대합니다. The EU AI 법 이 법은 시스템적 위험이 있는 범용 AI 모델 제공업체에게 적대적 테스트를 수행하고 그 결과를 문서화하도록 요구합니다. AI를 배포하는 대부분의 조직은 모델 제공업체가 아니므로 이 의무가 직접적으로 적용되지는 않지만, 중요한 AI 배포에는 이러한 방식의 테스트가 필요하다는 기대치를 설정했습니다.

AI 레드팀의 한계 #

AI 레드팀은 강력하지만, 이미 구축되어 가동 중인 시스템을 테스트하는 것이기 때문에 세 가지 허점이 존재합니다.

이 문제는 당신이 알고 있는 내용만을 테스트합니다. 아무도 신고하지 않은 에이전트를 레드팀으로 공격할 수는 없습니다. 만약 개발자가 지난달에 MCP 서버를 저장소에 연결했다면, 누군가가 그 서버를 발견하기 전까지는 어떤 공격 범위에서도 제외됩니다.

증상을 찾을 뿐, 원인을 찾는 것은 아닙니다. 성공적인 인젝션 공격은 대개 코드나 설정 문제에서 비롯됩니다. 신뢰할 수 없는 콘텐츠가 시스템 프롬프트에 삽입되거나, 안전장치가 없는 데이터 검색 저장소, 또는 필요 이상으로 많은 권한을 부여받은 에이전트 등이 그 예입니다. 레드팀은 공격이 성공했음을 입증하지만, 결국 누군가는 공격을 허용한 정확한 원인을 찾아내야 합니다.

주기적입니다. 프로젝트 참여는 분기별 또는 출시 전에 이루어집니다. 코드베이스는 매일 변경됩니다.

그렇기 때문에 경험이 풍부한 팀들은 AI 레드팀 활동을 개발 초기 단계부터 통제 조치와 병행합니다. 즉, 코드베이스 내 모든 AI 자산을 목록화하고, 위험한 AI 구성을 발견하는 시점에 이를 탐지하는 것입니다. commit테드, 그래서 레드팀은 피할 수 있는 문제를 재발견하는 데 시간을 낭비하기보다는 어려운 문제에 집중합니다.

레드팀이 도착하기 전에: AI 코드 보안 강화 #

AI 레드팀 테스트는 AI 시스템이 실행된 후 어떤 작업을 수행하는지 검증하는 것입니다. Xygeni는 AI가 수행할 수 있는 작업을 결정하는 코드 및 구성 단계에서부터 테스트를 진행합니다.

Xygeni AI 보안 모델, 에이전트, MCP 서버, 스킬, 프롬프트 등 저장소 전체에서 AI 자산을 검색합니다. guardrailsAI 도구가 남긴 코드와 설정 파일에서 정보를 추출하므로 개발자가 직접 선언할 필요가 없습니다. 이 시스템은 해당 코드와 설정 파일에서 프롬프트 주입 클래스 위험을 탐지하고, OWASP Top 10 LLM 애플리케이션 위험에 매핑하여 정확한 파일 및 줄 번호를 알려줍니다. 결과적으로 레드팀은 완벽한 위험 범위를 확보하고, 불필요한 탐지 사항을 줄일 수 있습니다.

데모 예약 자신의 코드베이스에 있는 AI 인벤토리를 확인하려면.

FAQ #

AI 레드팀이란 간단히 말해서 무엇인가요?

AI 레드팀 활동이란 실제 공격자가 공격하는 방식처럼 의도적으로 자사 AI 시스템을 공격하여 데이터 유출, 규칙 위반 또는 위험한 행동으로 이어질 수 있는 취약점을 찾아내는 것을 의미합니다. 이렇게 발견된 문제점들은 공격자가 알아채기 전에 수정됩니다.

AI 레드팀 활동은 LLM 레드팀 활동과 동일한가요?

대부분 그렇습니다. LLM 레드팀은 언어 모델과 그 위에 구축된 애플리케이션에 초점을 맞춥니다. AI 레드팀은 더 광범위한 용어로, 에이전트, 멀티모달 모델, 이미지 분류기나 사기 방지 모델과 같은 기존 머신러닝 시스템까지 포함합니다.

AI 기반 레드팀 활동을 자동화할 수 있을까요?

부분적으로는 그렇습니다. 자동화 도구는 수천 가지의 알려진 공격 패턴을 실행하고 성공률을 측정할 수 있는데, 이는 회귀 테스트에 필수적입니다. 새로운 공격은 여전히 ​​인간의 창의력에서 나오기 때문에 대부분의 프로그램은 이 두 가지를 모두 활용합니다.

AI 레드팀 운영은 누가 담당해야 할까요?

대부분의 조직에서 이는 애플리케이션 보안 또는 공격 보안 팀이 담당하며, AI 기능을 개발하는 엔지니어들과 협력합니다. 이는 별도의 AI 기능이 아니라 새로운 유형의 소프트웨어에 적용되는 보안 관행입니다.

무료로 시작

무료로 시작하세요.
신용 카드가 필요하지 않습니다.

클릭 한 번으로 시작하세요:

이 정보는 규정에 따라 안전하게 저장됩니다. 서비스약관 개인정보 처리방침

앱 스크린샷