AI 위험 관리

AI 위험 관리: 두 가지 분야, 하나의 목록

TL; DR

"AI 위험 관리"는 이름은 같지만 서로 상반되는 두 분야를 설명하는 용어입니다. AI로 인해 발생하는 위험을 관리하는 것과 AI를 활용하여 위험을 관리하는 것은 전혀 다른 문제입니다. 대부분의 조직은 전자는 실천하고 있지만, 후자는 제대로 홍보되지 않고 있으며, 그 결과 또한 제대로 보고되지 않고 있습니다.

  • GenAI 위험 관리는 거버넌스 문제이기 이전에 발견 문제입니다. 한 번도 세어보지 않은 재산은 관리할 수 없으며, 재산 목록은 종종... .mcp/servers.json 그 파일은 만들어진 이후로 아무도 열어보지 않았습니다. commit테드.
  • 위험 관리를 위한 AI는 세 가지 직종에서 자리를 잡았습니다. 상관관계, 설명력, 그리고 볼륨. 인공지능은 결정을 내리는 데 능숙하지 않기 때문에, 제안을 하고 누군가가 그것을 보기 전에 결정론적인 검증 절차를 거치는 것입니다.
  • 두 학문 분야는 한 지점에서 만납니다. 위험 관리를 위해 배포하는 AI는 그 자체로 모델, 도구 접근 권한 및 자격 증명을 갖춘 AI 자산입니다. 이는 귀사의 자산 목록에 포함되어야 합니다.
  • 정책을 수립하기 전에 먼저 집계부터 시작하세요. 증거 개시 전에 작성된 보험 증권에는 가상의 재산에 대한 내용이 적혀 있습니다. 한 장의 슬라이드에 적힌 세 개의 숫자가 아무도 검증할 수 없는 틀을 이겼습니다.

왜 "AI 위험 관리"라는 용어가 이제 두 가지 다른 의미를 갖게 되었을까요?

검색창에 해당 문구를 입력하면 완전히 다른 두 개의 라이브러리 결과가 나타납니다.

하나는 ~에 관한 것입니다. 인공지능이 만들어내는 위험예측 불가능하게 작동하는 모델, 의도치 않게 과도한 권한을 부여받은 에이전트, 대규모로 결함을 퍼뜨리는 생성된 코드, 규제 기관의 질문 공세. 이를 GenAI 위험 관리라고 부르겠습니다.

다른 하나는 ~에 관한 것입니다. AI는 위험 관리 기능의 도구로서 활용될 수 있다.경고를 분류하고, 위험 노출을 요약하고, 해결 방안을 마련하고, 스택 트레이스를 읽지 못하는 사람에게 발견 사항을 설명하는 등의 작업을 수행하는 모델입니다. 이를 위험 관리를 위한 AI라고 부를 수 있습니다.

이름, 예산 항목, 심지어 슬라이드까지 공유하지만, 서로 다른 분야입니다. 한쪽은 방어적인 입장에서 무엇이 잘못될 수 있는지 묻고, 다른 한쪽은 운영적인 입장에서 수작업을 중단할 수 있는 것이 무엇인지 묻습니다. CIS이 둘을 혼동하는 사람은 결국 업무량을 줄이지 못하는 거버넌스 정책과 아무도 위험 평가를 하지 않은 자동화 프로그램을 만들게 됩니다.

분할된 부분을 명확히 하는 것은 단순한 꼼꼼함이 아닙니다. 이는 여러분의 조직이 실제로 어느 쪽에 자금을 지원하고 있는지 알아내는 가장 빠른 방법입니다.

GenAI 위험 관리에는 어떤 내용이 포함되어야 할까요?

세 개의 레이어 중 하나만 모델입니다.

  • 인공지능이 작성한 내용. 생성된 코드는 사람이 작성한 코드와 동일한 취약점 유형을 가지고 있으며, 코드 검토가 완료될 때까지 너무 빠르게 생성됩니다. 이 계층은 가장 익숙하기 때문에 거의 모든 관심이 이 계층에 집중됩니다.
  • 인공지능이 무엇에 맞춰져 있는지. 스킬 파일, 규칙 파일, MCP 서버 구성, 도구 범위, 에이전트가 실행되는 자격 증명. 일반 텍스트 형식입니다. commit문서처럼 검토되고, 문서처럼 평가되며, 어시스턴트가 접근할 수 있는 범위를 정의합니다. 이 계층은 공격이 성공했을 때 도달할 수 있는 범위를 결정하며, 엔드포인트를 통해 모델을 테스트하는 어떤 것도 이 계층을 볼 수 없습니다.
  • AI가 수집하는 정보. 종속성, 모델, 데이터 세트, 외부 도구. 공격자는 더 이상 유지 관리자를 해킹할 필요 없이 에이전트가 만들어낸 패키지 이름을 등록할 수 있습니다. 2025년 USENIX Security에서 발표된 연구에 따르면 16개 모델에 걸쳐 2.23만 개의 코드 샘플을 생성한 결과, 권장 패키지의 19.7%가 존재하지 않는 것으로 나타났으며, 이로 인해 20만 5천 개 이상의 고유한 허구의 이름이 생성되었습니다.

GenAI 위험 관리 프로그램 중 첫 번째 계층만 다루는 프로그램은 깨끗한 보고서와 변경되지 않은 위험 프로필을 생성합니다. OWASP LLM 지원자 대상 Top 10 이러한 현실을 바탕으로 구성되어 있습니다: 과도한 대리인 문제는 가장 중요한 요소 중 하나입니다.cis이는 모델 자체의 문제가 아니라 배선 문제이기 때문입니다.

그리고 이 세 가지 계층 모두 그 어떤 것보다도 훨씬 더 단순한 것에 의존합니다. 바로 어떤 AI를 보유하고 있는지 알아야 한다는 것입니다. AI 발견은 GenAI 위험 관리의 예비 단계가 아니라, 나머지 모든 단계의 기반이 되는 토대이며, 대부분의 프로그램이 조용히 정체되는 지점이기도 합니다.

위험 관리를 위한 AI는 실제로 어떤 점에서 뛰어날까요?

마케팅적인 측면을 제외하고 솔직하게 답하자면, 그 범위는 좁지만 가치 있는 것입니다. 위험 관리 분야에서 AI가 자리 잡을 만한 자리는 세 가지뿐입니다.

  • 상관. 여섯 가지 도구가 여섯 가지 심각도 수준에서 동일한 결과를 여섯 가지 버전으로 제시합니다. 이러한 결과들이 동일한 구성 요소에서 발생하는 동일한 문제이며 근본 원인이 하나라는 결론을 내리는 것은 사람이 느리고 일관성 없이 수행하는 지루한 패턴 분석 작업입니다.
  • 설명. 문제 발견과 해결 사이의 간극은 대개 이해의 차이에서 비롯됩니다. 취약점의 경로, 영향을 받는 구성 요소, 그리고 파급 효과를 명확히 설명하는 것은 담당자가 "수정 불가"로 처리했던 티켓을 실제로 해결하는 티켓으로 바꿔놓을 수 있습니다.
  • 음량. 코딩 에이전트가 일주일에 천 개의 파일을 생성하게 되면, 코드 검토는 더 이상 관리 수단이 아니라 대기열이 되어버립니다. 사람이 그 속도를 따라잡을 수는 없으며, 아무리 많은 사람을 고용해도 상황은 달라지지 않습니다.

리스크 관리용 AI의 가장 큰 약점은 의사 결정 능력입니다. 검증되지 않은 해결책을 제시하는 모델은 장점으로 포장된 위험 요소일 뿐입니다. 효과적인 방식은 AI 추론과 결정론적 분석을 결합하는 것입니다. AI가 해결책을 제시하면, 비확률적인 요소가 정책 준수 여부, 악용 가능성, 그리고 변경으로 인한 영향 등을 검증한 후 실제 사용자에게 전달하는 방식입니다.

두 번째 이점은 덜 명확하지만, 자사 스캐너 분석 결과를 분류하는 데 사용하는 것과 동일한 인공지능 기술이 다른 모든 사람의 분석 결과에도 적용될 수 있다는 점입니다. AI 레이어를 기존 도구를 대체하는 것이 아니라 그 위에 구축한다면, 위험 관리 분야에서 AI는 마이그레이션 프로젝트가 아닌 기존 시스템에 추가되는 요소가 됩니다. 이는 일반적으로 프로그램 시작 시기를 이번 분기에서 내년으로 미루는 차이를 만들어냅니다.

위험 관리 분야에서 인공지능은 어떤 문제점을 가지고 있을까요?

세 가지 고장 유형이 있으며, 모두 흔히 발생합니다.

  • 출처가 불분명한 자신감. AI가 생성한 위험 요약 보고서는 보기 좋게 작성되었지만, 출처는 명시되어 있지 않습니다. 감사자가 수치가 어떻게 산출되었는지 물었을 때, "모델이 그렇게 말했어요"라는 답변은 적절하지 않습니다. 위험 관리 프로그램의 모든 결과물은 발견 사항, 관련 파일, 그리고 해당 내용까지 추적 가능한 경로를 가져야 합니다.
  • 게이트 없는 자동화. 유능한 에이전트가 있다면 모든 문제를 에이전트에게 맡겨버리고 싶은 유혹이 생깁니다. 하지만 실제 운영 환경에 배포되는 코드에 대해서는 반드시 담당자의 승인을 거쳐야 합니다. pull request이것은 소심함이 아니라, 바로 그 입장입니다. EU AI 법 어쨌든 이미 한 번 변경된 단계적인 일정에 따라 당신을 그 방향으로 몰아넣을 것입니다. 지금 승인 지점을 구축하는 데에는 설계 비용이 듭니다.cis이온. 감사를 거쳐 개조하는 데 25센트가 듭니다.
  • 노출도가 아닌 채택률을 측정합니다. "우리 팀은 위험 관리를 위해 매일 AI를 사용합니다."는 사용 통계일 뿐입니다. 위험이 실제로 감소했는지에 대해서는 아무것도 말해주지 않습니다.

두 학문 분야는 어떻게 융합되는가?

슬라이드에 아직 아무도 넣지 않은 부분이 바로 여기입니다.

위험 관리를 위해 도입하는 AI 자체가 AI 자산입니다. 해당 시스템은 하나 이상의 모델을 보유하고 있으며, 도구에 대한 접근 권한을 가지고 있습니다. 소스 코드, 분석 결과, 그리고 종종 기밀 정보까지 읽을 수 있으며, 특정 자격 증명으로 실행됩니다. 또한 MCP 서버에 연결할 수도 있습니다. 만약 GenAI 위험 관리 목록에 해당 시스템이 포함되어 있지 않다면, 목록 자체가 잘못된 것이며, 가장 높은 권한을 가진 시스템에 문제가 있는 것입니다.

그렇게 하면 두 분야가 하나의 프로그램으로 통합됩니다. 보안 AI는 개발자가 설치한 AI와 동일한 인벤토리에 포함됩니다. 승인 상태를 가지며, 담당자가 지정되어 있습니다. 또한 범위가 설정되고, 로그가 기록되며, 접근이 제한됩니다. pull request 저장소에 쓰기 권한이 있는 다른 모든 것과 마찬가지입니다.

AI를 위험 관리 도구로만 여기고 AI 도입으로 여기지 않는 조직은 첫 번째 감사에서 이 사실을 깨닫게 될 것이며, 이는 불편한 대화로 이어질 것입니다. 반면 AI를 도입과 도입 모두로 인식하는 조직은 하나의 인벤토리, 하나의 위험 모델, 그리고 이사회에서 질문할 때 하나의 명확한 답변을 얻을 수 있습니다.

효과적인 AI 위험 관리 운영 모델은 어떤 모습일까요?

각각 담당자가 지정되어 있고 실행 중임을 증명하는 수단이 있는 6가지 기능.

능력다루는 내용누가 소유한 것인가무엇이 그것을 증명하는가
AI 발견모델, 에이전트, 데이터셋, MCP 서버, 코딩 도구(보안 AI 포함)앱 보안 리드A 실시간 재고 자산별 승인 상태 포함
AI 위험 감지프롬프트 주입 경로, 안전하지 않은 에이전트 경계, 악성 스킬 및 규칙 파일앱 보안 리드조사 결과는 다음과 같이 매핑되었습니다. 인정된 프레임워크파일과 줄을 포함하여
공급망 심사서명이 생성되기 전에 AI가 가져오는 의존성앱 보안 리드심사 결과 패키지당, 주당
AI 지원 응급진료모든 도구에 걸친 상관관계, 설명, 우선순위 지정보안 운영개발자에게 도달하는 검색 결과 감소
휴먼 게이트실제 운영 환경에 배포되는 모든 코드에 대한 승인 절차플랫폼 또는 DevOps 리더에이전트가 작성한 비율 pull requests 사람 승인자와 함께
통계 보고서위쪽으로 향하는 자세CIS사무실내보낼 수 있는 AI-BOM과 이사회에서 조치를 취할 수 있는 세 가지 수치

사람들이 잊는 줄은 첫 번째 줄의 두 번째 조항입니다. 당신의 보안 AI 본인의 인벤토리에 있어야 합니다.

어떻게 시작합니까?

보험 계약으로는 불가능합니다. 사실 확인 전에 작성된 보험 계약은 가상의 재산을 명시하고 있습니다.

보안팀에서 도입한 AI를 포함하여 소프트웨어에서 실행 중인 AI의 수를 세어보세요. 이 수치는 내부적으로 공개하되, 담당자 이름은 밝히지 마세요. 이 단계에서 담당자 이름을 공개하면 AI 사용이 비공개로 이루어지고, 어렵게 확보한 가시성이 무너지기 때문입니다. 그다음, 팀에서 실제로 필요한 AI 목록을 승인하고, 문제가 발생했을 때 복구 불가능한 몇 가지 요소(악의적인 종속성, 유효한 자격 증명, 규제 대상 데이터에 접근하는 승인되지 않은 모델 등)에 대해서만 접근을 제한하세요.

2027년에 AI 위험 관리에서 어려움을 겪을 조직은 발 빠르게 움직인 조직이 아닙니다. 오히려 2026년에 AI 정책만 작성하고 그 결과를 전혀 고려하지 않은 조직입니다.

이것이 바로 그 자리입니다. 제니 이 시스템은 개발자가 설치한 AI와 보안 팀이 도입한 AI를 모두 포괄하는 단일 인벤토리, 자체 분석 결과 및 다른 도구에서 생성된 결과에 적용되는 단일 위험 모델, 그리고 프로덕션 코드에 반영되는 모든 사항을 승인하는 담당자를 중심으로 구축되었습니다.

두 가지 분야, 하나의 재고 목록. 이 두 가지가 서로 다른 담당자가 있는 별개의 프로그램으로 운영되는 것을 멈출수록, 둘 중 하나라도 더 빨리 제대로 작동하기 시작할 것입니다.

FAQ

AI 위험 관리와 AI 거버넌스는 같은 것인가요?

거버넌스는 누가 무엇을 어떤 조건에서 어떤 승인을 받아 사용할 수 있는지와 같은 규칙을 정합니다. AI 리스크 관리는 실제로 실행 중인 것을 파악하고, 그것이 초래하는 위험을 측정하고, 이를 줄이는 운영적인 작업입니다. 리스크 관리가 없는 거버넌스는 아무도 검증할 수 없는 정책을 만들어낼 뿐입니다. 거버넌스가 없는 리스크 관리는 아무도 조치를 취할 권한이 없는 결과를 낳습니다. 대부분의 조직은 후자보다 전자에 훨씬 더 치우쳐 있습니다.

인공지능(AI)을 활용한 위험 관리 문제를 해결하기 전에 위험 관리를 할 수 있을까요?

네, 대부분의 팀이 그렇게 할 것입니다. 운영상의 압박은 즉각적이고, 거버넌스 압박은 분기별로 발생하기 때문입니다. 단, 보안 AI 자체를 처음부터 목록에 포함시켜야 하며, 나중에 덧붙이는 방식은 지양해야 합니다. 자산 하나를 목록에 추가하는 것은 간단하지만, 감사자를 위해 18개월 동안 기록되지 않은 접근 내역을 재구성하는 것은 결코 간단하지 않습니다.

인공지능 위험 관리 프로그램은 어떤 프레임워크를 따라야 할까요?

The NIST AI 위험 관리 프레임워크 가장 널리 인정받는 어휘인 NIST는 통치, 지도 작성, 측정, 관리라는 네 가지 기능을 통해 이사회가 쉽게 이해할 수 있는 구조를 제공합니다. 기술적인 측면에서는 OWASP GenAI와 함께 활용하세요. NIST는 목표로 삼아야 할 결과를 알려주고, OWASP는 실제 공격의 형태를 보여주기 때문입니다. 하지만 둘 다 무엇을 세어야 하는지는 알려주지 않으므로, 이는 전적으로 여러분의 판단에 달려 있습니다.cis이온.

위험 관리 분야에서 AI는 인력 감축에 도움이 될까요?

제대로 활용하는 팀에서는 그렇지 않습니다. 팀이 하루 일과에 할애하는 방식이 바뀝니다. 상관관계 분석, 문제 분류, 초기 설명은 모델로 옮겨가고, 사람의 시간은 개발에 할애됩니다.cis중대한 결과를 초래하는 요소들: 어떤 것이 제한되는지, 어떤 위험을 누가 감수하는지, 그리고 어떤 결과가 실제로 생산을 위협하는지 등을 고려해야 합니다. 만약 사업 계획의 핵심이 인력 감축이라면, 해당 프로그램은 두 분기 안에 잘못된 기준으로 평가받는 경향이 있습니다.

sca-tools-software-composition-analysis-tools
소프트웨어 위험을 우선순위화하고, 해결하고, 보호하십시오.
무료 계정을 만드세요.
신용 카드가 필요하지 않습니다.

소프트웨어 개발 및 제공을 안전하게 보호하세요

Xygeni 제품군과 함께