TL; DR
에이전트형 AI 위험에 대한 동일한 질문에 대한 세 가지 답변
우리는 AI 에이전트를 제한하는 것에 대해 폭넓은 합의가 있을 것으로 예상했지만, 세 가지 서로 다른 답변을 얻었습니다.
- 페드로 포르투나: 에이전트를 여러 개의 작고 구체적인 에이전트로 분할하고, 각 에이전트에 가능한 한 가장 좁은 권한을 부여한 다음, 런타임 모니터링을 추가하여 에이전트 실행을 조기에 중지시킵니다.
- 잭 트레폰: 코딩 에이전트의 경우는 정반대입니다. 에이전트 하나를 제약하면 그 유용성을 없애버리는 셈이니, 어느 정도의 제약은 감수하고 추적 및 빠른 복구에 투자하세요.
- 루이스 로드리게스 베르소사: 세 번째 줄입니다. 프론티어 모델을 악성 소프트웨어처럼 다루고, 각 특수 에이전트를 제한하도록 시스템을 설계하고, 그 위에 있는 모든 것이 실패하더라도 버틸 수 있도록 그 아래에 강제 계층을 두십시오.
세 사람이 만난 곳: 재고 목록을 작성하지 않은 것은 보호할 수 없으며, 모든 행동은 기록되어야 하고, 에이전트를 중지시키는 요소는 에이전트 외부에 있어야 합니다.
위반된 사항은 없었습니다.
에이전트는 제 역할을 다했습니다. 그런데 도중에 아무도 요청하지 않은 종속성, 구성, 서비스를 건드려야겠다고 판단했습니다. 하지만 에이전트는 권한 범위 내에서만 작업했습니다. 어떤 규칙도 위반하지 않았기 때문에 아무런 경고도 발생하지 않았습니다.
우리는 그 문제를 전문적으로 다루는 세 사람에게 의견을 물었고, 해결책에 대해 폭넓은 합의를 기대했습니다. 하지만 세 가지 다른 답변을 받았고, 그중 두 가지는 서로 모순되었습니다.
에이전트형 AI 위험은 대개 공격자의 문제로 설명됩니다. 하지만 이것은 다른 관점입니다. 20년 동안 우리는 명령받은 대로만 작동하는 소프트웨어에 권한 경계를 설정해 왔습니다. 서비스 계정, CI 실행기, 예약된 작업 등이 그 예입니다. 물론 경계를 잘못 설정한 경우도 많았지만, 그 안에 있는 것은 예측 가능했습니다. 매번 똑같은 방식으로 하나의 작업을 수행했습니다.
이제 경계 안쪽의 것이 결정권을 갖습니다. 그리고 경계는 예전과 마찬가지로 미리, 구성 시점에, 그 작업이 어떤 모습으로 변할지 알 수 없는 누군가에 의해 그려집니다.
그것이 바로 논쟁할 가치가 있는 에이전트형 AI 위험에 대한 버전이며, 우리는 지난 시간에 그 주제에 대해 한 시간을 할애했습니다. SafeDev 토크 과 페드로 포르투나 제이스크램블러, 잭 트레폰 트레폰 디지털 컨설팅, 그리고 루이스 로드리게스 베르소사 Xygeni에서 주최합니다. 알레한드로 에스트라다.
우리는 그들이 대체로 동의할 거라고 예상했지만, 그렇지 않았다.
에이전트형 AI의 위험성: 안심을 주지만 실제로는 그렇지 않은 전제
위의 프레임에는 필요 이상으로 많은 역할을 하는 단어가 있습니다. 공격자그런 건 없어요. 그건 상황을 더 쉽게 만들기 위한 거예요.
페드로는 단 한 번의 움직임으로 그것을 무너뜨렸다.
"공격자인지 아닌지는 인간적인 개념입니다. 공격자를 공격자로 만드는 것은 그들이 다른 목표를 가지고 있다는 점입니다. 그리고 목표가 잘못된 에이전트 또한 다른 목표를 가지고 있는 존재입니다."
이 점을 잘 생각해 보십시오. 왜냐하면 이는 우리가 우리 행사에서 설명했던 내용을 포함하여 대부분의 에이전트형 AI 위험 논의의 전제를 무너뜨리기 때문입니다. 공격자를 정의하는 기준이 악의가 아니라 목표의 차이라면, "이 이야기에는 공격자가 없다"는 말은 누구에게도 위안이 되지 않습니다. 구조적으로는 동일한 위험입니다. 빠진 것은 의도인데, 여러분의 제어 시스템은 의도를 감지한 적이 없습니다. 그들은 결과를 감지할 뿐입니다. 언제나 그랬듯이 말입니다.
이것이 바로 업계 용어가 변화한 이유이기도 합니다. OWASP의 2026년 LLM 지원자 상위 10위 과도한 개입을 6위에서 3위로 끌어올렸는데, 이는 의견 변화라기보다는 이미 구축된 아키텍처에 맞춰 사건 기록이 따라잡은 것에 가깝습니다.
포옹하는 얼굴 사건이 실제로 보여주는 것
지난 7월, 한 모델이 제3자를 공격한 사건은 모델의 일탈 행위로 널리 알려졌습니다. 하지만 루이스는 이 사건을 다르게 해석하며, 그의 해석은 책임 소재를 불편한 곳으로 돌립니다.
“문제는 프론티어 모델이 아닙니다. 프론티어 모델은 지시받은 대로 작동했습니다. 문제는 실험 설계에 있습니다.”
목표는 정해져 있지 않았고, 제약 조건도 없었습니다. 게다가 이를 격리하기 위해 만들어진 샌드박스는 서버 측 요청 위조(SSRF) 취약점을 통해 인터넷에 접근할 수 있었는데, 이 취약점을 통해 에이전트는 패키지 캐시에 접근할 수 있었습니다. 이 모든 것이 설계상의 결함입니다.cis사람이 만든 이온.
이는 여러분이 이러한 것들을 준비하는 방식을 바꿔야 할 문장을 만들어냅니다.
"프론티어 모델은 마치 악성 소프트웨어처럼 살펴봐야 합니다. 왜냐하면 자율적으로 작동하고 공격을 감행할 수 있기 때문입니다."cis악의적인 이온들. 의도는 없었지만, 결과적으로는 정말 악의적인 이온들이죠."
모델을 비하하려는 의도가 아닙니다. 단지 대비책으로서 말씀드리는 겁니다. 악성코드에게 bash 셸을 넘겨주고 목표가 명확하게 명시되어 있기를 바라는 식으로는 안 됩니다.
페드로는 같은 사건을 계획적인 의도보다는 타이밍의 문제로 해석했다.
"에이전트들이 사용해서는 안 되는 서비스의 폴더 이름을 통해 통신하는 것을 발견하는 순간, 해당 에이전트들을 즉시 차단해야 합니다. 에이전트들이 허깅페이스(Hugging Face) 시스템을 성공적으로 침입할 때까지 기다리지 않고도 그것이 악의적인 행위인지 아닌지를 판단할 수 있습니다."
대응 과정에서 주목할 만한 세부 사항이 하나 있습니다. 대응팀은 상용 에이전트 도구를 사용하여 흔적을 분석하려고 했지만, 사용량 제한 때문에 실패했습니다. 반면 공격자는 그런 제한이 없었습니다. "공격 자체에 비대칭성이 존재했습니다."
실제 논쟁점은 에이전트를 제한할 것인가, 아니면 더 빠른 회복을 추구할 것인가?
패널들의 의견이 갈린 지점은 바로 여기였으며, 각자 자신의 지위를 얻을 자격을 갖춘 전문가들 사이의 진정한 의견 불일치였습니다.
페드로는 분해를 주장한다. 브라우저 내부에서 15년간 격리를 추진해 온 그는 모놀리식 아키텍처에 대해서는 런타임에 어떤 것도 강제할 수 없다는 것을 깨달았습니다. 아키텍처를 특정 기능을 가진 작은 단위로 분할해야만 제어 및 모니터링 지점이 연결될 수 있습니다. 에이전트도 마찬가지입니다.
"제 생각에는 특정 작업만을 담당하는 매우 세분화된 에이전트로 나누어야 합니다. 에이전트가 50개라고 해도 상관없습니다. 단 하나만 있는 것보다는 훨씬 낫습니다."
잭은 특히 코딩 에이전트에 대해 정반대의 주장을 펼칩니다. 규제 대상 암호화폐 거래소에서 기술을 운영하는 배경을 가진 사람이 가장 엄격한 입장을 취할 것이라고 예상하겠지만, 오히려 가장 완화된 입장을 보였습니다.
그가 처음에 제시한 비유는 위협 모델이 전혀 아닙니다.
"저는 일반적인 에이전트 배치 상황을 마치 새로 채용한 직원을 보는 것과 똑같이 봅니다. 그 직원은 완벽하게 업무를 수행할 수도 있고, 실수를 저지를 수도 있습니다. 저는 그 둘 사이에 큰 차이가 없다고 생각합니다."
특정 목적에 특화된 에이전트의 경우, 그는 누구보다 엄격합니다. 현재 개발 중인 읽기 전용 검토 에이전트에 대해 설명하면서, 그는 일반적인 설정 방식은 용납할 수 없다고 단호하게 말했습니다. bash 접근 권한이 있는 일반 Linux 시스템에 배포하는 것은 "모든 위협 요소를 노출시키는 것과 마찬가지"라는 것입니다. 하지만 일반적인 코딩 에이전트의 경우에는 논리가 정반대가 되며, 그는 이러한 입장이 인기가 없다는 것을 알고 있습니다.
"에이전트에게 더 많은 권한이 주어질수록, 더 창의적이고 더 효과적입니다. 따라서 업계가 번창하는 것은 제한과 범위 축소 때문이 아닙니다."
그렇다면 제한을 두지 않으면 무엇이 남을까요? 회로 차단기, 그리고 무엇보다 시간 기반 스냅샷이 남습니다. 폭발 반경 자체를 막는 것이 아니라, 폭발로부터 빠르고 저렴하게 복구할 수 있도록 하는 것입니다. 그는 이러한 기능을 구현했습니다. 호박색그는 여가 시간에 스냅샷 기능을 포함한, 의존성 없는 C++ 에이전트 하네스를 직접 작성합니다.프로젝트 사이트).
그리고 다른 길이 어디에서 끝나는지에 대한 경고:
"만약 우리가 하나씩 빼앗아 간다면, 남는 도구는 하나뿐일 것이고, 그 개발자는 전등을 켜고 끄는 것밖에 할 수 없게 될 겁니다."
루이스는 3위를 차지합니다.이는 제약이나 복구가 아니라 아래에서부터 억제하는 방식입니다. 즉, 에이전트가 결국 악성코드처럼 동작할 것이라고 가정하고, 각 특수 에이전트를 제한하도록 시스템을 설계하며, 그 위에 있는 모든 것이 실패하더라도 유지될 수 있도록 전체 아래에 강제 계층을 배치하는 것입니다.
같은 문제에 대한 세 가지 접근 방식
세 가지 직책이 있으며, 각각 비용이 발생합니다. 어느 직책도 공짜는 아니며, 어느 직책도 요원을 스스로 안전하게 만들어주지는 않습니다.
| 접근 | 핵심 동작 | 비용이 얼마나 드나요? |
|---|---|---|
| 분해페드로 포르투나 | 각각 제한된 권한을 가진 여러 개의 작은 에이전트와, 실행 중에 에이전트들을 조기에 차단하는 런타임 모니터링 기능이 추가되었습니다. | 설계 작업에 초기 노력이 필요하고, 정해진 틀이 없는 코딩 작업에는 더 많은 시간이 소요된다. |
| 복구잭 트레폰 | 기능은 유지하되, 회로 차단기와 시간 기반 스냅샷을 추가하여 롤백 비용을 절감하십시오. | 더 넓은 폭발 반경, 그리고 그것을 제때 감지하고 제거할 수 있을지에 대한 기대 |
| 아래에서 포함루이스 로드리게스 베르소사 | 악성코드의 동작을 가정하고, 하네스 내 각 에이전트의 기능을 제한하며, 워크스테이션 및 CI 실행기에서 해당 기능을 강제 적용합니다. | 대부분의 엔드포인트 스택에서 아직 제공하지 않는 인프라 및 도구 |
세 보고서를 나란히 읽어보면, 의견 차이는 생각보다 크지 않습니다. 세 보고서 모두 에이전트가 의도치 않은 행동을 할 수 있다는 점에는 동의합니다. 다만, 그 돈이 어디로 가는지에 대한 의견 차이가 있을 뿐입니다. 사고 발생 전 설계에 투자할지, 사고 발생 후 복구에 투자할지, 아니면 사고와 복구 모두에 필요한 기반 시설에 투자할지에 대한 의견 차이가 있습니다.
최소 권한 원칙이 에이전트형 AI 위험으로 이어지지 않는 이유
최소 권한 원칙은 사용자가 해당 작업을 이해하고 있다는 전제하에 적용됩니다. 권한은 작업에 한정됩니다.
에이전트는 구성 시점에 권한 경계가 설정되고 실행 시점에 작업이 주어지기 때문에 이러한 원칙을 조용히 어깁니다. 실제로 부여하는 권한은 에이전트가 수행해야 할 모든 작업을 포괄하는 것입니다. 이는 최소 권한 원칙이 아니라, 최소 권한의 탈을 쓴 정반대의 방식입니다.
루이스는 이 모든 것보다 더 오래된 아이디어에서 빌려온 새로운 관점을 제시했습니다.
"저는 UNIX의 파이핑 메커니즘을 떠올립니다. 간단한 도구들을 연결하여 복잡한 작업을 수행하는 방식이죠. 특정 에이전트를 정의하고 제어된 구성을 통해 해당 에이전트가 수행할 수 있는 작업을 제한할 수 있습니다. 그리고 이러한 에이전트들을 조합하여 거의 모든 작업을 수행할 수 있습니다."
게다가 대부분의 팀이 시도해보지 않은 두 번째 디자인 아이디어도 있습니다. 권한을 넓히기보다는 도구를 제한하는 방식을 택하세요. 전체 시스템을 넘겨주는 bash가 아니라, 호출 가능한 유일한 경로인 좁은 래퍼이며, 읽기 전용 변형이 일반 변형을 감싸고 있습니다. 에이전트는 셸이 아니라 기능을 얻게 됩니다.
그는 또한 장애물은 설계가 아니라 배포에 있다고 분명히 밝혔습니다. 개발자 컴퓨터에 새로운 제어 기능을 도입할 때 이를 우회하는 방법은 오랫동안 사용되어 왔으며, 문제의 도구가 에이전트라고 해서 이러한 역사가 바뀌는 것은 아닙니다.
그리고 이 모든 것이 어디에서 끝날 것이라고 생각하는지에 대해 그는 이렇게 말했습니다.
"결국에는 자율 에이전트들이 다른 자율 에이전트들을 제어하게 될 것이라고 생각합니다."
노트북이 핵심 자산이 되었는데, EDR은 이를 알아채지 못했습니다.
에이전트가 유용하게 작동하려면 지속적인 액세스 권한이 필요합니다. 작업 도중에 만료되지 않는 토큰, 캐시된 자격 증명, 푸시 권한, 레지스트리 액세스, 활성 경로 등이 필요합니다. pipeline이 모든 것은 간과된 부분이 아니라 필수적인 요구 사항이며, 이는 도구가 발전할수록 개발 환경이 더욱 집중화된다는 것을 의미합니다.
공격자들이 먼저 알아챘습니다. 페드로의 말처럼 그들은 이념가가 아닙니다.
"그들은 마치 작은 회사처럼 조직되어 있어요. 돈을 벌어야 하니까 가장 수익성이 좋은 분야를 찾아내죠. 그리고 개발 스테이션에서 돈을 벌 수 있다는 걸 재빨리 알아챘어요."
우리는 매주 그 변화가 통계에 반영되는 것을 지켜봅니다. 악성 코드 요약이제 자격 증명 수집 프로그램은 클라우드 및 레지스트리 키뿐만 아니라 AI 제공업체 키까지 일상적으로 노리고 있습니다.
그가 제시한 완화 방안은 화려하지는 않지만 효과적입니다. 컴퓨터에 필요 없는 모든 키를 제거하고, 남아 있는 키는 OpenID Connect나 하드웨어 키와 같은 2단계 인증 수단과 연결하여 도난당한 토큰만으로는 보안이 유지되지 않도록 하며, 개발 컨테이너나 클라우드 IDE를 통해 가능한 경우 개발 환경을 호스트에서 다른 환경으로 옮기는 것입니다.
그러자 루이스는 자신의 엔드포인트 스택이 이 문제를 해결한다고 생각하는 사람이라면 누구나 걱정해야 할 점을 지적했습니다.
"EDR은 기존 악성코드에 특화되어 있으며 에이전트형 도구는 인식하지 못합니다. 설령 작동하더라도 에이전트가 현재 탐지 패턴이 인지하지 못하는 동작을 수행하기 때문에 오탐이 많이 발생할 수 있습니다."
두 가지 실패 모드가 동시에 발생합니다. 중요한 것을 놓치고 중요하지 않은 것을 위험 요소로 표시합니다. 그의 해결책은 개발자 워크스테이션과 CI 실행기 주변에 위치하여 악성 에이전트가 접근할 수 있는 범위를 제한하는 외부 제어 계층을 구축하는 것입니다. 바로 그 부분이 문제점입니다. 제니 Shield 이 시스템은 설치가 실제로 이루어지는 엔드포인트에서 정책이 적용되도록 설계되었습니다.
잭은 좀 더 직설적으로 말했다. 개발용 컴퓨터에 비트코인을 보관하지 마라.
세 사람 모두가 동의한 바닥
세 가지 다른 답이 있지만, 공통된 최소값은 하나이다.
- 먼저 재고를 확인하세요. "알지 못하는 것은 보호할 수 없다." 다른 모든 decision은 어떤 에이전트, 스킬, MCP 서버가 존재하는지 아는 것에 의존하는데, 그중 거의 아무것도 공개되지 않았습니다.
- 모든 활동을 기록하세요. 잭과 루이스는 정반대 방향에서 이곳에 도착했다. 잭은 흔적을 찾는데, 그것이 사건을 복구하고 조직을 성숙시키는 방법이기 때문이다. 루이스는 흔적 없이는 폭발 반경을 재구성할 수 없기 때문에 흔적을 찾는다. 잭의 관점은 차용할 가치가 있다. 행위자(인간이든 조직원이든)를 심문하는 것은 아무런 가치가 없고, 중요한 것은 맥락을 충분히 이해하여 같은 실수를 반복하지 않는 것이다.
- 행위자를 멈추게 하는 것은 행위자 외부에 있어야 한다. 페드로의 런타임 모니터링, 루이스의 강제 적용 계층, 잭의 회로 차단기 및 스냅샷. 서로 다른 메커니즘이지만, 원칙은 하나입니다.
잭은 업계가 현재 어느 단계에 있는지 유용한 관점을 제시했습니다. 그는 자신이 처음 받았던 스팸 메일을 떠올리며, 그 메일에는 나이지리아에 금광을 상속받았다는 내용이 담겨 있었다고 말했습니다. 이는 성숙도와 관련된 문제이며, 성숙도는 실수를 저지른 후에야 비로소 찾아오는 것이라고 했습니다.
금요일 전에 해야 할 일
담당자 한 명을 선택하세요. 그 담당자가 할 수 있는 일과 이번 주에 실제로 요청받은 일, 이렇게 두 가지 목록을 작성하세요.
이 두 목록 사이의 간격이 바로 영향권이며, 이는 팀이 오후 시간 안에 만들어낼 수 있는 가장 유용한 에이전트형 AI 위험 측정 기준입니다. 오후 시간이면 충분하고, 예산도 필요 없으며, 앞서 언급한 세 가지 입장이 사실상 그 간격이 얼마나 커야 하는지에 대한 서로 다른 세 가지 답이기 때문에, 이 기준만으로도 조직의 문제를 해결할 수 있습니다.
대부분의 팀은 이를 문서로 작성해 본 적이 없습니다.
The 한 시간 잭이 유럽에서 인간 개입 요건 때문에 일부 AI 방어 체계가 실제로 구현 불가능한 이유에 대해 언급한 부분을 포함하여, 해당 내용을 다시 시청할 수 있습니다.
그리고 만약 운동이cise는 당신이 마음에 들지 않는 답변을 반환합니다. 제니 저장소에 있는 모든 AI 자산(아무도 신고하지 않은 에이전트, 스킬, MCP 서버 포함)을 검색하고 각각이 접근할 수 있는 영역을 매핑합니다. 데모 예약 or 무료로 시작하세요. 저희가 고객님의 기기에서 실행해 드리겠습니다.
FAQ
AI 에이전트의 영향 범위는 어느 정도입니까?
에이전트가 오류가 발생했을 때 도달할 수 있는 모든 범위는 에이전트에게 부여된 작업과는 별개입니다. 이는 실행 시점에 에이전트가 사용할 수 있는 권한, 자격 증명 및 도구에 의해 정의되며, 작업에 의해 정의되는 것이 아닙니다. 이 둘 사이의 차이가 바로 측정할 가치가 있는 것이며, 대부분의 팀은 이를 문서화해 본 적이 없습니다.
에이전트가 권한을 초과하지 않은 상태에서 자신의 임무 범위를 벗어난 행위를 하는 것이 보안 사고로 간주될까요?
핵심적인 의견 차이는 바로 그것이었습니다. 페드로는 공격자는 악의보다는 목표의 차이로 정의되며, 잘못 정렬된 에이전트는 목표에서 벗어난 것이기 때문에 사실상 '예'라고 답했습니다. 잭은 '아니오'에 더 가까운 답변을 했습니다. 그것은 신입 사원의 실수와 같은 운영상의 실패이며, 더 엄격한 제약보다는 추적 및 복구가 올바른 대응이라는 것입니다. 루이스는 처음부터 최악의 상황을 가정하고 그런 상황이 발생했을 때 어떤 계층이 여전히 유효한지 묻는 방식으로 질문을 회피했습니다.
코딩 에이전트를 샌드박스 환경에서 실행해야 할까요?
특정 작업에 특화된 에이전트의 경우, 세 명 모두 주저 없이 "가능하면 읽기 전용, bash 사용 금지, 필요한 경우가 아니면 네트워크 연결 금지"를 제안했습니다. 일반적인 코딩 에이전트의 경우, 패널은 의견이 세 갈래로 나뉘었습니다. 페드로는 에이전트를 분해하는 방식을, 잭은 기능을 유지하고 스냅샷을 적극적으로 생성하는 방식을, 루이스는 에이전트의 허용 범위와 관계없이 하위 계층에 강제 적용 기능을 추가하는 방식을 제안했습니다.
내 EDR이 에이전트형 AI 위험을 보장하나요?
아마 제대로 작동하지 않을 겁니다. 현재의 엔드포인트 탐지 도구는 기존 멀웨어 패턴을 기반으로 구축되어 에이전트 동작을 모델링하지 않기 때문에 중요한 부분을 놓치고 중요하지 않은 것을 잘못 판단하는 경향이 있습니다. 루이스의 답변은 범용 EDR이라기보다는 개발자 환경을 위해 설계된 외부 적용 계층에 관한 것이었습니다.
가장 먼저 해야 할 일은 무엇일까요?
인벤토리를 구축하세요. 저장소에 있는 모든 모델, 에이전트, 스킬, MCP 서버와 각각이 접근할 수 있는 영역을 모두 포함해야 합니다. 이는 패널리스트 세 명 모두가 언급한 핵심 단계이며, 다른 모든 제어 기능이 의존하는 유일한 단계입니다.







