TL; DR
이제 모든 위원회에서 AI 위험에 대해 묻고 있으며, 대부분의 보안팀은 숫자가 아닌 형용사로 답변하고 있습니다. 거버넌스 프레임워크는 무엇을 관리해야 하는지를 알려줍니다. 무엇을 측정해야 하는지는 알려주지 않습니다. 이러한 AI 위험 지표는 모두 동일한 곳, 즉 조직에서 이미 배포한 코드에서 나옵니다.
- 에이전트 기반 AI 전략은 세 가지 계층으로 구성되며, 그중 모델 계층은 하나뿐입니다. 에이전트가 작성하는 내용, 에이전트가 연결된 방식, 그리고 에이전트가 가져오는 정보. 대부분의 프로그램은 첫 번째 요소만 측정하고 나머지 두 가지는 무시합니다.
- 폭발 반경은 모델에 포함되어 있지 않습니다. 이는 스킬 파일, MCP 구성, 도구 범위 및 에이전트가 실행되는 자격 증명에 있습니다. 깨끗한 모델 평가와 과도한 권한을 가진 에이전트는 문제없이 공존할 수 있습니다.
- 인공지능 위험을 나타내는 9가지 지표, 각각 형용사가 아닌 숫자로 표현됩니다. 승인되지 않은 AI 자산, 도구 싱크에 도달하는 즉각적인 주입 경로, 비밀 정보
.mcp/servers.json에이전트가 추가한 종속성은 서명이 존재하기 전에 플래그가 지정되었습니다. - 이번 분기에 목표 수치를 달성하지 못한다면, 문제는 지표 자체가 아닙니다. 재고 목록입니다. 프로그램이 아니라 세 가지 품목의 재고 조사를 시작하세요.
소프트웨어를 출시하는 입장에서 AI 리스크란 실제로 무엇을 의미할까요?
인공지능 위험이 무엇을 의미하는지 열 명에게 물어보면 열 가지 답변이 나옵니다. 모델 편향, 환각, 데이터 유출, 규제 노출, 일자리 감소. 모두 현실적인 문제이고, 모두 주의를 기울여야 할 사항이지만, 화요일 오후에 보안팀이 답할 수 있는 문제는 아닙니다.
보안팀이 실제로 담당할 수 있는 더 구체적인 질문이 있습니다. 우리가 개발하는 소프트웨어 내부에 어떤 AI가 실행되고 있는지, AI가 어디까지 접근할 수 있는지, 그리고 누군가가 AI를 조작하면 어떤 일이 발생하는지 알아봅니다. 해당 버전에는 답이 있으며, 그 답은 여러분의 저장소에 있습니다. pipeline정책 문서보다는 s에.
이 글에서 다루는 AI 리스크는 바로 이런 버전입니다. 거버넌스 문제가 중요하지 않아서가 아니라, 이 문제가 해결되지 않으면 거버넌스 문제에 대한 답을 찾을 수 없기 때문입니다. 프레임워크는 AI 시스템 목록을 작성하라고 요구하지만, 그 목록이 어디에 있는지 알려주지는 않습니다. .mcp/servers.json 그 이후로 아무도 열어보지 않은 파일 commit테드.
대부분의 AI 위험 평가 프로그램이 잘못된 것을 측정하는 이유는 무엇일까요?
실패 패턴은 세 가지가 있으며, 대부분의 조직은 그중 최소 두 가지를 경험하고 있습니다.
- 노출도가 아닌 채택률을 측정합니다. "개발자의 72%가 AI 도구를 사용합니다"라는 수치는 생산성을 나타내는 지표일 뿐, 그 도구들이 실제로 무엇을 달성할 수 있는지에 대해서는 아무것도 알려주지 않습니다.
- 시스템이 아닌 모델을 측정하는 것. 엔드포인트를 레드팀 방식으로 공격하는 것은 모델이 의도치 않은 결과를 도출하도록 유도할 수 있는지 여부를 확인하는 것입니다. 하지만 그 이후에 어떤 일이 벌어지는지는 알 수 없습니다. 공격의 영향 범위는 도구의 범위, 에이전트가 실행되는 데 사용되는 자격 증명, 그리고 이 둘을 정의하는 구성 파일에 달려 있기 때문입니다. 깨끗한 모델 평가와 과도하게 권한이 부여된 에이전트는 매우 자연스럽게 공존할 수 있습니다.
- 쉽게 셀 수 있는 것을 측정하는 것. 공개된 AI 정책 수. AI 교육을 이수한 직원 수. 이 수치들은 꾸준히 증가하며 어떤 특정 요인과도 상관관계가 없습니다.
The NIST AI 위험 관리 프레임워크 이 프레임워크는 측정을 관리, 지도 작성, 운영과 함께 네 가지 핵심 기능 중 하나로 명시하고 있습니다. 또한, 의도적으로 규범적인 접근 방식보다는 결과 중심적인 접근 방식을 취하고 있으며, 이는 올바른 방향입니다. standard 화요일에는 도움이 안 되네요. 무엇을 세어야 할지 여전히 결정해야 합니다.
어떤 AI 위험 지표가 실제로 유용한 정보를 제공할까요?
아홉 가지 지표. 각각은 숫자로 표현되며, 노출 정도가 변할 때 함께 변하고, 설문조사가 아닌 코드를 통해 생성할 수 있습니다.
| 메트릭 | 중요한 이유 | 이 숫자는 어디에서 나온 것인가? |
|---|---|---|
| 01발견된 AI 자산 총계 및 지난달 대비 변화 | 측정해 보지 않은 AI 위험에 대해서는 보고할 수 없습니다. 절대적인 수치보다 추세가 더 중요합니다. | 지속적인 발견 모델, 프레임워크, 데이터셋, 추론 엔드포인트, 에이전트, MCP 서버, 스킬 및 AI 코딩 도구 |
| 02전체 AI 자산 중 승인되지 않은 자산의 비율 | 이것이 바로 당신의 숨겨진 AI 위험률입니다. 이는 이사회에서 가장 많이 인용되는 AI 위험 지표입니다. | 보험 계약에 따라 자산별 승인 상태를 추적합니다. |
| 03소유자가 명시되지 않은 AI 자산 | 소유자가 없는 자산은 아무도 고치려 하지 않는 자산이다. 대개 그 집합에서 가장 보기 흉한 숫자다. | 자산에 대한 소유권 추적 |
| 04툴 싱크에 도달하는 프롬프트 주입 경로 | 신뢰할 수 없는 입력이 시스템 프롬프트에 도달하는 것은 그 입력값 뒤에 위험한 무언가가 있을 때만 문제가 됩니다. | AI 위험 탐지 매핑 OWASP LLM 지원자 대상 Top 10 |
| 05사용 중인 MCP 서버 수 및 발견 사항을 보유한 서버 수 | MCP 구성은 에이전트가 명령을 받는 곳이며, 자격 증명이 저장되는 곳이기도 합니다. | MCP 서버 구성을 보안 아티팩트로 분석함 |
| 06AI 설정 파일에서 발견된 비밀 | 2026년 연구에 따르면 공개 GitHub의 MCP 설정 파일에 24,000개 이상의 비밀 정보가 숨겨져 있으며, 그중 2,000개 이상이 여전히 유효한 것으로 나타났습니다. | 비밀 탐지 코드, 설정, 컨테이너 등 전반에 걸쳐 pipelines |
| 07공개 서명이 존재하기 전에 에이전트가 추가한 종속성이 표시되었습니다. | 에이전트는 패키지를 빠르게 가져오고, 당신의 모델이 만들어낸 이름은 공격하기 쉬운 표면이 됩니다. | 악성코드 조기 경보증거 탐지 후 AI 검증 |
| 08접근 가능하고 활발히 개발 중인 코드에 포함된 AI 발견물의 비율 | 절대 처리할 수 없는 밀린 업무와 업무 노출도를 변화시키는 작업을 구분합니다. | AI 우선순위 지정 퍼널 |
| 09에이전트가 작성한 비율 pull requests 인간의 승인과 통합됨 | 규제기관이 요구하는 거버넌스 지표와 아무도 추적하지 않는 지표 | Pull request 분석 및 승인 게이트 |
하나만 선택해야 한다면, 02번 지표를 선택하세요. 승인되지 않은 AI 자산과 전체 AI 자산의 비율은 보안팀에서 감사팀으로 넘어가는 과정에서 살아남는 수치입니다. commit티셔츠인데, 실제로 뭔가를 하면 움직여요.
에이전트 기반 AI 전략은 무엇을 포함해야 할까요?
세 단계로 이루어져 있습니다. 거의 모든 사람이 저지르는 실수는 첫 번째 단계부터 시작해서 거기서 멈추는 것입니다.
- 첫 번째 단계: 에이전트가 작성하는 내용. 생성된 코드는 사람이 작성한 코드와 동일한 취약점 유형을 가지고 있으며, 2022년부터 진행된 연구들은 AI가 생성한 프로그램 중 상당 부분에 보안 결함이 있다는 사실을 지속적으로 밝혀왔습니다. 이러한 취약점은 가장 잘 알려져 있기 때문에 모든 관심이 집중되는 것입니다.
- 두 번째 단계: 에이전트가 연결되는 부분. 스킬 파일, 규칙 파일, MCP 서버 구성, 도구 범위, 에이전트 실행 자격 증명. 이 계층이 공격 성공 여부를 결정하며, 엔드포인트를 통해 모델을 테스트하는 어떤 곳에서도 보이지 않습니다. 마이터 아틀라스 이러한 근거를 직접적으로 나열한 사례 연구(AML.CS0041)인 '규칙 파일 백도어'는 규칙 파일에서 너비가 0인 문자를 사용하여 문서를 에이전트가 묵묵히 따르는 지침으로 변환하는 방법을 설명합니다. 검토자는 이 내용을 읽고 다음과 같이 말합니다. pull request 아무것도 보지 못한다.
- 세 번째 단계: 에이전트가 가져오는 정보. 종속성, 모델, 데이터 세트, 외부 도구. 2025년 USENIX Security에서 발표된 연구에 따르면 16개 모델에 걸쳐 2.23만 개의 코드 샘플을 생성한 결과, 권장 패키지의 19.7%가 실제로 존재하지 않아 20만 5천 개 이상의 가짜 이름이 생성된 것으로 나타났습니다. 이제 공격자는 패키지 관리자를 해킹할 필요가 없습니다. 공격자는 에이전트가 만들어낸 이름을 등록하고 기다리면 됩니다.
1계층만 다루는 에이전트 기반 AI 전략은 깔끔한 보고서를 생성하고 AI 위험 프로필을 변경하지 않습니다. OWASP LLM 지원자 대상 Top 10 이는 구조 자체에 반영되어 있습니다. 과도한 행위 주체성이 목록의 최상단에 위치합니다.cis이는 모델 문제가 아니라 배선 문제이기 때문입니다.
에이전트 속도를 저하시키지 않고 이를 구현하는 방법은 무엇입니까?
본능적으로 모든 것을 제한하려는 경향이 있지만, 에이전트의 핵심 목표가 처리량이기 때문에 처리량을 절반으로 줄이는 제어는 4분의 1도 안 되어 제거되기 때문에 이러한 방식은 실패합니다.
다음과 같은 세 가지 실행 원칙이 유효합니다.
- 지속적으로 측정하고 선택적으로 게이팅하십시오. 모든 스캔에서 9가지 AI 위험 지표를 모두 수집할 수 있으며, 어떤 것도 차단할 필요가 없습니다. 복구 불가능한 오류가 발생하는 소수의 경우(예: 악의적인 종속성, 활성 비밀 키, 승인되지 않은 모델이 규제 대상 데이터를 처리하는 경우)에만 엄격한 차단 조치를 적용하십시오.
- 에이전트가 이미 있는 곳에 보안을 강화하세요. MCP를 통해 연결된 에이전트는 보안 플랫폼을 호출하여 코드를 생성하고, 방금 작성한 코드를 스캔하고, 코드가 설정된 기준을 충족할 때까지 수정 작업을 반복합니다. 이 단계에는 사람이 개입하지 않으며, 에이전트가 실행되는 위치에 아무것도 설치할 필요가 없습니다. 따라서 에이전트 처리량에 비례하여 확장되는 유일한 개입 지점은 바로 이 부분입니다.
- 인간적인 면을 유지하세요 pull request. 실제 운영 환경에 배포되는 모든 코드는 담당자의 승인을 거쳐야 합니다. 이는 단순한 주의 사항이 아니라, EU AI 법에서 권장하는 설계 원칙이며, 감사 압력에 따라 나중에 수정하는 것보다 지금 미리 구축하는 것이 훨씬 비용 효율적입니다. 또한 이는 핵심 지표 09번이기도 하므로, 처음부터 이 지표를 추적하는 것이 중요합니다.
| 층 | 대표이사 | 님에게 보낼 보고서 |
|---|---|---|
| 에이전트가 쓰는 내용 | 앱 보안 리드 | CIS오, 월간 |
| 에이전트가 연결된 것 | 플랫폼 또는 DevOps 리더 | CISO, 지속적으로 |
| 에이전트가 가져오는 것 | 앱 보안 리드 | CISO, 지속적으로 |
| 보고된 AI 위험 현황 | CIS사무실 | 이사회 또는 감사 commit티, 분기별 |
대부분의 조직에서 담당자가 지정되지 않은 행은 두 번째 행입니다. 구성 파일은 애플리케이션 보안 부서(인프라로 취급)와 플랫폼 엔지니어링 부서(문서로 취급) 사이에 위치합니다. 흥미로운 공격은 바로 이 간극을 노립니다.
이번 분기에 AI 위험을 어떻게 측정하기 시작해야 할까요?
전체 프로그램을 만들지 마세요. 세 가지 숫자만 제시하세요. AI 자산의 수를 세어 보세요. 그중 아무도 승인하지 않은 자산이 몇 개인지 세어 보세요. AI 설정 파일에 숨겨진 비밀 정보가 몇 개인지 세어 보세요. 이 세 가지는 슬라이드 하나에 모두 담을 수 있고, 모두 논리적으로 설명 가능하며, 요구한 사람이 예상하는 것보다 훨씬 더 심각한 문제일 것입니다.
그런 다음 가장 심각한 문제를 하나 골라 다음 이사회 회의 전에 해결하십시오. 이것이 제대로 작동하는 AI 위험 관리 프로그램입니다. 나머지는 모두 부연 설명일 뿐입니다.
2027년에 AI 리스크에 어려움을 겪을 조직은 발 빠르게 움직인 조직이 아닙니다. 오히려 2026년에 AI 정책만 작성하고 아무런 측정도 하지 않은 조직입니다. 측정할 수 없는 정책은 그저 문서일 뿐입니다. AI 리스크 지표가 있어야 정책이 실질적인 통제 수단이 됩니다.
본인의 수치를 확인해 보세요. 리포지토리를 연결하면 Xygeni는 AI 인벤토리, 승인되지 않은 자산, 감사자가 사용하는 프레임워크에 매핑된 위험 요소, 그리고 내보낼 수 있는 AI BOM을 반환합니다. 무료로 시작하세요 or 데모 예약.
FAQ
AI 위험과 AI 안전성의 차이점은 무엇인가요?
AI 안전성은 주로 모델의 동작 방식, 즉 의도대로 작동하는지, 출력 결과가 유해한지, 조작되어 거부해야 할 결과로 이어질 수 있는지 여부에 관한 것입니다. 보안 맥락에서 AI 위험은 손상되었거나 오작동하는 AI 시스템이 사용자 환경 내에서 어떤 영향을 미칠 수 있는지에 대한 것입니다. 이 두 가지는 겹치는 부분이 있지만, 서로 다른 팀에서 담당하고 다른 도구를 사용하여 측정합니다. 보안 팀은 현재 AI 위험에 대해 조치를 취할 수 있습니다.
이사회에 보고해야 할 AI 위험 지표는 몇 개나 될까요?
3~5개. 이사회는 9개의 숫자만으로 결정을 내릴 수 없으며, 9개의 카드로 구성된 덱은 중요한 숫자를 숨기는 경향이 있습니다. 전체 AI 자산 수, 승인되지 않은 자산 비율, 그리고 개발 중인 AI 발견 사항과 같은 노출 지표 하나를 보고하십시오. 나머지는 운영 검토를 위해 남겨두세요.
아직 관련 규정이 없다면 AI-BOM이 정말 필요할까요?
현재 AI-BOM을 의무화하는 규정은 없으며, 바로 이 때문에 지금은 생성 비용이 저렴하지만 나중에는 비용이 많이 들게 됩니다. 현재 두 가지 기계 판독 가능 형식이 존재하며, 감사자는 둘 중 어느 것이든 인정합니다. AI-BOM의 가치는 규정 준수에 있는 것이 아니라, 파일을 생성함으로써 재고 목록을 확보하게 되고, 모든 AI 위험 평가 지표는 바로 이 재고 목록에 기반한다는 점에 있습니다.
우리 개발자들이 우리가 승인하지 않은 AI 도구를 사용하고 있습니다. 어디서부터 시작해야 할까요?
단속하기 전에 사용량을 먼저 파악하세요. 눈에 보이지 않는 도구에 대한 정책을 발표하는 것은 사용을 음성화하고 필요한 가시성을 저해합니다. 먼저 사용량을 파악하고, 출처를 밝히지 않고 내부적으로 사용량을 공개한 다음, 이를 바탕으로 사람들이 실제로 필요로 하는 도구를 반영한 승인 목록을 합의하세요. 규제는 증거를 확보한 후에 시행될 때 훨씬 효과적입니다.







