엔지니어링 회사의 재무 담당 직원 아럽이 화상 통화에 참여했습니다. 회사 CFO를 포함한 여러 동료와의 통화였습니다. 하지만 그 모든 장면은 AI가 생성한 딥페이크였습니다. 통화는 공격자들에게 25만 달러가 송금되는 것으로 끝났습니다. 악성코드도, 피싱 링크도, 취약점 악용도 없었습니다. 그저 AI가 너무나 그럴듯하게 사용되어 신뢰를 얻은 것뿐입니다. 이 사건은 사이버 보안 분야에서 AI가 왜 핵심 주제가 되었는지를 보여줍니다. 딥페이크를 만드는 데 사용된 바로 그 기술이 업계 다른 곳에서는 이를 막을 수 있었던 이상 징후를 포착하는 데 사용되고 있습니다. 이 AI 보안 가이드는 AI의 공격 방식, AI의 방어 방식, 그리고 보안 팀이 앞으로 집중해야 할 영역에 대해 모두 다룹니다.
사이버 보안 분야의 AI를 한 단락으로 설명하자면
사이버 보안 분야에서 AI는 공격을 감행하는 쪽과 이를 탐지하고 차단하는 쪽 모두에서 머신 러닝, 자연어 처리, 대규모 언어 모델을 활용하는 것을 의미합니다. 공격자들은 AI를 사용하여 설득력 있는 피싱 콘텐츠를 생성하고, 목소리와 얼굴을 복제하며, 인간 팀보다 훨씬 빠르게 시스템을 탐색합니다. 방어자들은 동일한 기본 기술(대규모 데이터 전반에 걸친 패턴 인식, 자연어 이해, 행동 모델링)을 사용하여 이상 징후를 감지하고, 경고 노이즈를 걸러내고, 피해가 커지기 전에 대응합니다. 결과적으로 단일 산업 내에서 진정한 의미의 양방향 기술이 탄생했으며, 이것이 바로 사이버 보안 분야의 AI가 명확하게 "좋은" 쪽과 "나쁜" 쪽으로 나뉘는 범주가 아닌 이유입니다. AI는 하나의 역량이며, 누가 더 빠르고 선제적으로 이를 적용하느냐에 따라 결과가 달라집니다.cis현재 엘리가 유리한 위치에 있습니다.
AI를 공격 벡터로 활용하기
- 산업 규모의 AI 생성 피싱 공격. 과거에는 어색한 표현, 일반적인 인사말, 명백히 위조된 도메인과 같은 피싱의 징후를 통해 피싱을 감지할 수 있었습니다. 하지만 인공지능(AI)은 이러한 징후들을 대부분 제거했습니다. 호크스헌트의 2026년 피싱 트렌드 보고서AI 기반 피싱 공격은 2025년 11월 전체 피싱 시도 건수의 4%에서 2025년 12월 56%로 한 달 만에 14배 증가했으며, 2026년 중반까지 전체 피싱 시도 건수의 약 40%를 차지했습니다. 효과 격차 또한 매우 심각합니다. 하버드 케네디 스쿨 연구진의 인체 대상 연구 연구 결과에 따르면 AI로 완전히 자동화된 스피어 피싱 이메일이 54%의 클릭률을 달성하여 숙련된 전문가와 동등한 수준을 기록했으며, 대조군이 사용한 일반 피싱 이메일의 클릭률 12%를 훨씬 능가했습니다. AI는 단순히 더 많은 피싱 이메일을 작성하는 것이 아니라, 효과적인 이메일을 작성합니다.
- 딥페이크는 인프라가 아닌 신뢰를 겨냥합니다. The 아럽 사건 위의 사례는 더 이상 예외적인 경우가 아니라 하나의 표준이 되었습니다. AI가 생성한 음성과 영상은 실제 임원이 통화하는 것처럼 보일 정도로 설득력이 뛰어나며, 사회공학적 기법을 "누군가를 속여 클릭하게 만드는 것"에서 "상대방이 최고재무책임자(CFO)를 보고 있다고 믿게 만드는 것"으로 변화시켰습니다. 이는 보안 인식 교육에서 해결하기 훨씬 더 어려운 문제입니다. 왜냐하면 속임수가 기술적인 수준이 아니라 인지적인 수준에서 발생하기 때문입니다.
- 더욱 빠른 정찰 및 적응형 악성 소프트웨어. 사회공학적 기법을 넘어, AI는 "공격자가 아이디어를 떠올리는 것"과 "공격자가 실제로 작동하는 취약점을 확보하는 것" 사이의 간극을 단축시켜 줍니다. 대규모 언어 모델은 대상의 공개 코드 및 인프라에 대한 취약점 연구를 가속화할 수 있으며, 적응형 악성 소프트웨어는 샌드박스 환경에서 분석되고 있음을 감지하면 실행 도중 자체 동작을 변경할 수 있습니다. 이는 과거에는 숙련된 작업자가 실시간으로 모니터링해야만 가능했던 기능입니다.
- 컴퓨터 속도로 이루어지는 자격 증명 공격. 유출된 자격 증명 세트를 모델에 입력하여 사람들이 비밀번호를 설정할 때 실제로 사용하는 패턴을 학습시키면, 추측과 확인 방식이 아닌 예측에 더 가까워집니다. 자동화된 자격 증명 탈취 공격과 결합하면, 기존의 느리고 불규칙적인 공격 방식이 빠르고 조용하게 이루어집니다.
방어 도구로서의 AI
- 인간이 따라잡을 수 없는 규모의 이상 탐지. AI의 핵심 방어 가치는 대량의 네트워크 트래픽을 처리하는 데 있다. login 분석팀이 수동으로 검토할 수 없는 활동 및 시스템 로그를 분석하고 설정된 기준선에서 벗어나는 부분을 표시합니다. 이를 통해 아직 알려진 시그니처가 없는 공격, 예를 들어 규칙 기반 경고로는 감지되지 않는 제로데이 공격이나 내부자 악용 공격까지 탐지할 수 있습니다.
- 알림 대기열을 추가하는 것이 아니라, 즉시 처리합니다. 이는 사이버 보안 분야에서 AI가 가장 즉각적인 운영상의 이점을 가져다주는 영역이기도 하며, 동시에 업계가 여전히 실질적인 노력을 기울여야 할 부분이기도 합니다. Vectra AI의 2026년 연구 조사에 따르면 기업들은 하루 평균 2,992건의 보안 경고를 받으며, 그중 63%는 조사되지 않은 채로 남는 것으로 나타났습니다. 마이크로소프트와 옴디아의 SOC 현황: 지금 통합하지 않으면 나중에 대가를 치르게 될 것이다 신고 전체 경고의 46%가 오탐으로 판명되고 42%는 아예 조사조차 되지 않는다는 사실이 밝혀졌습니다. AI 기반 분류 시스템은 단순히 탐지기를 하나 더 추가하는 데 그치지 않습니다. 제대로 구현되면 관련 경고들을 하나의 사건으로 통합하고, 실제로 사람의 개입이 필요한 경고를 선별하여 분석가가 나머지 경고를 수동으로 처리하는 대신 실제 위험을 나타내는 소수의 경고에 집중할 수 있도록 합니다.
- 기존에 알려진 시그니처를 넘어선 악성코드 및 행위자 분류. 비정상적인 네트워크 활동을 감지하는 데 사용되는 것과 동일한 행동 분석 접근 방식은 파일과 패키지에도 적용됩니다. 알려진 악성 시그니처 목록과 비교하는 대신, AI는 설치 시 동작, 비정상적인 시스템 호출 및 난독화 패턴을 분석하여 이전에 발견된 적 없는 악성코드를 식별하는 시점에 탐지할 수 있습니다.
- 자동화되고 통제된 응답. 탐지 후 조치가 없다면 시간만 지체될 뿐입니다. AI 기반 대응은 감염된 기기를 격리하고, 의심스러운 트래픽을 차단하며, 자동으로 확산 방지 조치를 시작하여 가장 중요한 상황에서 "탐지"와 "차단" 사이의 시간 간격을 몇 시간에서 몇 초로 단축할 수 있습니다.
왜 똑같은 기술이 양날의 검일까요?
이 AI 보안 가이드에서 불편한 진실은 공격자와 방어자가 종종 동일한 기본 기능을 정반대의 목적으로 사용한다는 것입니다. 설득력 있는 피싱 이메일을 작성하는 데 사용되는 자연어 모델링은 의심스러운 이메일을 읽고 정확하게 분류하는 데 사용되는 기술과 동일합니다. 악성코드가 샌드박스를 회피하도록 적응시키는 패턴 인식은 악성코드의 동작을 이상 징후로 감지하는 패턴 인식과 구조적으로 유사합니다. 어느 쪽도 이 기술을 독점하고 있지 않으므로, 더 발전된 모델에 접근할 수 있는 쪽이 아니라 실제 워크플로에 해당 기술을 더 완벽하게 통합하는 쪽이 유리합니다.
그러한 대칭성 때문에 사이버 보안 분야에서 AI는 방어 측면에서도 자체적인 위험을 내포하고 있습니다. AI 시스템은 제대로 조정되지 않으면 실제 신호를 노이즈에 묻어버리는 오탐을 생성할 수 있고, 불완전한 학습 데이터에서 편향을 물려받아 특정 유형의 위협을 놓칠 수도 있으며, 공격자가 의도적으로 탐지 모델에 잘못된 데이터를 입력하여 경고 표시를 조작하는 적대적 공격 기법의 표적이 될 수도 있습니다. 그렇다고 해서 방어적으로 AI를 사용하지 말아야 할 이유는 아닙니다. 다만 판단을 내릴 때 인간이 개입해야 하고, AI 시스템 자체를 한 번 배포하고 무기한 신뢰하는 것이 아니라 지속적으로 모니터링해야 하는 대상으로 간주해야 한다는 의미입니다.
이 AI 보안 가이드가 팀에 의미하는 바는 무엇일까요?
사이버 보안 분야에서 AI를 통해 실질적인 가치를 얻는 팀과 단순히 도구를 하나 더 추가한 팀 사이에는 다섯 가지 차이점이 있습니다.
- 인공지능 기반 공격이 주류가 되기 전에 미리 방어적인 투자를 시작하세요. 위의 피싱 데이터는 소수의 공격 방식이 얼마나 빠르게 주류로 자리 잡을 수 있는지를 보여줍니다. 공격이 급증하기 전에, 급증하는 도중이 아니라, 사전에 탐지 역량을 구축해야 합니다.
- 경계선뿐 아니라 진료 대기열에도 AI를 먼저 적용하세요. 대부분의 팀에게 가장 빠르고 확실한 성과는 새로운 탐지 계층을 추가하는 것이 아니라 분석가가 수동으로 제거해야 하는 오탐지량을 줄이는 것입니다.
- 딥페이크 및 음성 복제 위험을 기술적 문제가 아닌 프로세스 문제로 다뤄야 합니다. 어떤 탐지 도구도 아럽(Arup)식 취약점을 완전히 해결하지 못합니다. 자금 이체 또는 자격 증명 변경과 관련된 모든 요청에 대해서는 별도의 검증 절차가 필요합니다.
- AI 기반 행동 사고방식을 코드에도 적용해 보세요. pipeline네트워크 트래픽뿐만이 아닙니다. 공격자들은 악성 패키지, 허위 종속성, 검토되지 않은 에이전트 지침 등을 통해 소프트웨어 공급망을 직접적으로 공격하는 사례가 점점 늘어나고 있으며, 이는 고유한 역학 관계를 가진 위험 범주로, 당사의 AI 공급망 보안 가이드에서 자세히 다루고 있습니다.
- 인공지능이 내린 결정에 대해 사람이 책임을 지도록 하세요. 자동 응답은 빠르다는 점에서 매우 유용하지만, 동시에 오류가 발생했을 때 명확한 에스컬레이션 경로가 필요한 이유이기도 합니다.
사이버 보안 분야 AI의 미래는?
향후 몇 년을 좌우할 두 가지 변화가 있습니다. 첫째, 공격자 측은 조잡한 전술을 더 많이 사용하는 대신, 더 적고 설득력 있는 전술에 집중하고 있습니다. AI 기반 피싱과 딥페이크는 공격 범위를 넓히는 것이 아니라, 더욱 정교한 낚싯바늘을 꽂는 것입니다. 둘째, 방어자 측은 "탐지 후 담당자에게 알림"에서 "티켓이 생성되기 전에 탐지, 평가 및 조치"로 전환하고 있습니다. 이는 대부분의 보안 운영 센터(SOC)가 매일 처리하는 2,992건의 경고 중 실제로 검토되는 비율과의 격차를 줄이는 데 핵심적인 변화입니다. 앞서 나가는 조직들은 네트워크 경계를 통과하는 트래픽뿐 아니라 개발자가 배포하는 코드까지 포함하여 AI가 이미 조직 환경에 영향을 미치는 모든 곳에 이러한 변화를 적용하고 있습니다.
Xygeni의 의견: AI 보안은 이메일 수신함뿐 아니라 코드까지 포괄해야 합니다.
대부분의 사이버 보안 분야 AI 관련 보도는 SOC(보안 운영 센터)의 피싱, 멀웨어, 네트워크 이상 징후 분석에만 그칩니다. 이는 필요하지만, 동시에 불완전하기도 합니다. 왜냐하면 AI로 인한 위험의 상당 부분이 이제 소프트웨어 개발 과정 자체에 존재하며, SOC 도구로는 이러한 부분을 파악할 수 없기 때문입니다.
자이제니스 코어에이 이 가이드에서 설명하는 것과 동일한 행동 기반, 이상 징후 기반 사고방식을 애플리케이션 보안에 구체적으로 적용합니다. 즉, 기존 스캐너(단순히 특정 도구만이 아닌)에서 발견된 결과를 상호 연관시킵니다. 자이제니스 (자체적으로) 팀에 무분별한 경고량을 쏟아붓는 대신 실제로 악용 가능한 부분을 파악하고, 특정 위험이 왜 중요한지 설명하고, 해결책을 제시합니다. pull request 또 다른 백로그 티켓을 만드는 대신에. DevAI 이러한 방어 태세를 공격 표면의 최신 영역인 AI 코딩 에이전트 및 어시스턴트, 스킬 파일 및 에이전트 지침의 유효성 검사, 그리고 에이전트가 악성 프로그램에 실행되기 전에 이를 차단하는 데까지 확장합니다. 목표는 SOC 수준에서 이 가이드가 주장하는 것과 동일하며, 이를 AI 공격 표면에 적용하는 것입니다. pipelineAI가 가진 양과 속도에서의 우위를 공격자가 아닌 수비자가 유리한 위치로 바꾸는 것.
무료로 시작하세요. Sign up with GitHubGitLab이나 Google과 같은 플랫폼을 이용하면 매달 최대 25개의 저장소에 대한 가시성과 50회의 AI 스캔 결과를 무료로 이용할 수 있으며, 신용 카드 정보도 필요하지 않습니다.
FAQ
사이버 보안에서 AI란 무엇일까요?
사이버 보안 분야에서 인공지능(AI)은 머신러닝, 자연어 처리, 대규모 언어 모델 등을 공격 및 방어 양측에서 활용하는 것을 의미합니다. 공격자는 이를 이용해 설득력 있는 피싱 콘텐츠, 딥페이크, 적응형 악성코드 등을 생성하고, 방어자는 동일한 기본 기술을 활용하여 이상 징후 탐지, 경고 분류, 자동화된 대응을 수행합니다.
인공지능은 공격 도구로서 더 위험할까요, 아니면 방어 도구로서 더 유용할까요?
양측 모두 동일한 기본 역량을 기반으로 구축되었기 때문에 어느 쪽도 지속적인 우위를 점할 수 없습니다. 더 큰 위험에 처한 조직은 기술적 격차를 극복하지 못하는 조직이 아니라, 공격자들이 AI를 공격적으로 적용하는 속도에 맞춰 방어적으로 AI를 적용하지 못한 조직입니다.
인공지능이 SOC에서 인간 분석가를 완전히 대체할 수 있을까요?
아니요, 그렇게 하려고 시도하는 데 따르는 위험(제대로 조정되지 않은 모델로 인한 오탐, 불완전한 훈련 데이터로 인한 편향, 탐지 시스템 자체에 대한 적대적 조작) 때문에 인간의 감독이 여전히 필요한 것입니다. AI의 진정한 가치는 분석가들이 여전히 인간의 판단이 필요한 부분에 집중할 수 있도록 처리 대기열을 정리하는 데 있습니다.
AI 기반 공격 위험은 소프트웨어 개발 팀에게 구체적으로 어떤 점에서 다른가요?
피싱과 딥페이크 외에도 개발팀은 AI 관련 특수 위험에 직면합니다. SDLC 그 자체로 보면, AI 코딩 에이전트가 허위 또는 악의적인 종속성을 설치하거나, 스킬 파일에 검토되지 않은 에이전트 지침을 포함시키거나, 하드코딩된 비밀 정보를 복제하는 AI 생성 코드를 만드는 등의 문제가 있습니다. 사이버 보안 분야에서 AI의 이러한 측면은 저희의 다른 자료에서 더 자세히 다루고 있습니다. AI 기반 공급망 보안 가이드.
