요약: 에이전트 하네스 엔지니어링과 숨겨진 공격 표면
에이전트 하네스 엔지니어링은 AI 모델을 작동 가능한 에이전트로 만들기 위해 AI 모델 주변의 모든 것(명령, 도구, 권한, 메모리 및 피드백 루프)을 구축하는 작업입니다. 모델 자체가 아니라, 바로 그 안전벨트에 실제 보안 위험이 대부분 존재합니다.
- 변화: 팀들은 프롬프트 조정 작업을 중단하고 하네스 엔지니어링에 착수했습니다. 에이전트 = 모델 + 하네스.
- 문제 : 해당 하네스는 일반 텍스트 파일(규칙, 스킬, MCP 구성)에 저장되며, 문서처럼 검토되거나 아예 검토되지 않을 수도 있습니다.
- 그 증거: 규칙 파일 백도어와 실제 MCP CVE는 공격자들이 이미 이를 표적으로 삼고 있음을 보여줍니다.
- 수정 사항 : 배선 하네스를 코드처럼 취급하십시오. 출하 전에 재고를 파악하고, 검토하고, 스캔하십시오.
AI 보안에 대한 모든 논의는 결국 모델 자체에 대한 질문으로 귀결됩니다. 탈옥이 가능할까요? 오작동을 일으킬까요? 제공업체가 우리 데이터를 기반으로 학습을 진행했을까요?
타당한 질문입니다. 하지만 점점 더 잘못된 질문이 되고 있습니다. AI 에이전트가 운영 테이블을 삭제하거나, 백도어를 심거나, 고객 목록을 모르는 사람에게 이메일로 보내는 경우, 모델 자체가 실패한 경우는 드뭅니다. 모델은 자신이 속한 환경이 허용하는 범위 내에서 정확히 행동했을 뿐입니다.
에이전트 = 모델 + 하네스
지난 한 해 동안 업계는 조용히 AI를 활용한 개발 방식을 바꿔왔습니다. 프롬프트 기반 엔지니어링은 컨텍스트 기반 엔지니어링으로, 그리고 컨텍스트 기반 엔지니어링은 더 큰 무언가로 이어졌습니다. 에이전트 하네스 엔지니어링.
아이디어는 간단합니다. 모델 자체는 손이 없는 추론 엔진입니다. '하네스'는 모델에 손과 기능을 부여하는 모든 것을 의미합니다. 즉, 모델이 따르는 지침, 호출할 수 있는 도구, 보유 권한, 저장하는 메모리, 그리고 오류를 잡아내는 검사 기능 등이 모두 여기에 포함됩니다. 마틴 파울러의 사이트 이 문서에서는 하네스 엔지니어링을 코딩 에이전트 사용자가 에이전트를 안정적으로 만들기 위해 현재 수행하는 작업으로 설명합니다. 올해 발표된 학술 프레임워크 도구 접근 및 프로젝트 메모리부터 권한 및 검증에 이르기까지 하네스를 11가지 책임으로 나눕니다.
결과는 확실합니다. 에이전트 하네스 엔지니어링을 실천하는 팀들은 기본 모델은 그대로 두고 하네스만 변경해도 에이전트의 결과가 극적으로 달라질 수 있다고 보고합니다. 이는 보안 담당자라면 누구나 불편하게 여길 만한 점을 시사합니다. 하네스가 에이전트의 동작 방식을 결정한다면, 하네스가 악용될 가능성 또한 결정한다는 것입니다.
일상적으로 필요한 라이브러리를 설치하는 작업을 예로 들어보겠습니다. 개발자는 잠시 멈춰서 패키지 이름을 확인합니다. 하지만 적절한 도구를 갖춘 에이전트는 해당 명령어를 실행하기만 하면 되고, 만약 패키지가 악성이라면 모델의 어떤 기능도 이를 막을 수 없습니다. 이번 SafeDev Talks 에피소드에서는 바로 이 부분을 자세히 살펴보겠습니다. AI 에이전트가 종속성을 설치할 때 어떤 변화가 발생하나요? 그들 스스로는 할 수 없는 일, 그리고 에이전트 하네스 엔지니어링이 조용히 공급망 문제로 떠오른 이유는 무엇일까요?
리포지토리에서 에이전트 하네스 엔지니어링은 어떤 모습일까요?
개발자들이 AI 에이전트를 사용하는 저장소를 열어보면, 필요한 도구들이 바로 거기에, 아마도 여러분이 한 번도 살펴본 적 없는 파일들 속에 들어있습니다.
- 규칙 및 지침 파일 (
AGENTS.md,.cursorrules(부조종사 지침)은 에이전트에게 어떻게 행동해야 하는지를 알려줍니다. - 스킬 파일 해당 패키지는 에이전트가 필요에 따라 로드하는 재사용 가능한 기능을 제공합니다.
- MCP 서버 구성 에이전트를 도구, 데이터베이스 및 API에 연결해 줍니다.
- 시스템 프롬프트 및 프롬프트 템플릿 애플리케이션 코드에 내장되어 있습니다.
- 에이전트 배선에이전트가 접근할 수 있는 도구, 검색할 수 있는 데이터, 그리고 그 사이에 안전장치가 있는지 여부입니다.
전부 일반 텍스트입니다. 전부 다요. commit코드와 함께 관리됩니다. 그리고 이 모든 것은 문서 검토 방식과 동일하게 검토됩니다. 간단히 훑어보고 승인한 후 병합하는 방식이죠. 하지만 이러한 파일들은 에이전트가 수행해야 할 작업과 접근이 허용된 범위를 조용히 변경할 수 있습니다.
이것이 바로 에이전트 하네스 엔지니어링의 진정한 결과입니다. 소프트웨어에서 가장 강력한 구성이 이제 가장 검토가 덜 되는 구성이 된 것입니다.
공격자들은 이미 이를 알아챘습니다.
이는 이론적인 문제가 아닙니다. 해당 안전벨트는 짧지만 의미 있는 사고 이력을 가지고 있습니다.
- 규칙 파일의 백도어. 2025년 3월, 연구원들은 규칙 파일 내에 숨겨진 유니코드 문자를 이용해 AI 코딩 도우미가 눈에 보이는 응답에는 언급하지 않고 백도어가 포함된 코드를 삽입하도록 조작하는 공격을 공개했습니다. 파일을 검토한 사람은 아무런 이상 징후도 발견하지 못했습니다. 이 공격은 현재 다음과 같이 분류되어 있습니다. MITRE ATLAS 사례 연구 AML.CS0041.
- 독성 MCP 도구. 2025년까지 연구원들은 에이전트가 도구 설명을 암묵적으로 신뢰한다는 사실을 반복적으로 보여주었으며, 따라서 악의적인 MCP 서버는 자신을 올바른 방향으로 설명하는 것만으로도 에이전트를 조종할 수 있습니다. 같은 해에, CVE-2025-6514 널리 다운로드된 MCP 클라이언트에서 신뢰할 수 없는 서버에 연결할 때 원격 명령 실행이 허용되었으며, CVSS에서 9.6점을 받았습니다.
- 과도한 행위. The OWASP LLM 지원자 대상 Top 10 과도한 권한 부여를 주요 위험 요소로 꼽습니다. 즉, 작업에 필요한 것보다 더 많은 도구, 권한 또는 자율성이 에이전트에게 부여되는 경우입니다. 이는 모델의 결함이 아니라, 설계상의 문제입니다.cis이온.
패턴을 살펴보세요. 이러한 공격들은 모델을 파괴하지 않습니다. 다만 장비를 파괴할 뿐이며, 모델은 나머지를 충실히 수행합니다.
보안 스택에서 이를 감지하지 못하는 이유는 무엇일까요?
여기서 난감한 부분이 발생합니다. 대부분의 조직은 이미 훌륭한 애플리케이션 보안 도구를 사용하고 있지만, 그중 이 계층을 위해 개발된 것은 거의 없습니다.
정적 분석은 코드를 이해하지만 모델이 무엇인지, 시스템 프롬프트에 신뢰할 수 없는 텍스트가 유입되는 것이 왜 중요한지는 알지 못합니다. 구성 분석은 패키지를 목록화하지만 MCP 서버나 스킬 파일은 열거하지 않습니다. 비밀 스캐너는 에이전트 구성 파일에 있는 API 키를 놓칠 수 있습니다. 이러한 도구들 중 어느 것도 결함이 있는 것은 아닙니다. 단지 구성이 명령을 내리지 않던 세상을 위해 만들어졌을 뿐입니다.
따라서 에이전트 하네스 엔지니어링은 빠르게 진행되고, 보안 검토는 확인할 수 있는 부분, 즉 모델과 코드에 집중됩니다. 하네스는 그 중간에 위치합니다.
하네스를 안전하게 고정하기 위한 다섯 가지 습관
에이전트 하네스 엔지니어링 보안을 강화하기 위해 새로운 팀이 필요한 것이 아닙니다. 하네스를 실행 가능한 의도라는 본질적인 요소로 인식하는 몇 가지 습관만 있으면 됩니다.
| 습관 | 중요한 이유 | 무엇을 |
|---|---|---|
| 1. 모든 하네스의 재고를 확인하세요 | 아무도 신고하지 않은 요원을 확보할 수는 없습니다. | 설문 조사 방식이 아닌 코드 및 구성 파일 자체에서 저장소 전체의 모든 모델, 에이전트, MCP 서버, 스킬 및 프롬프트를 찾아보세요. |
| 2. 코드와 같은 하네스 파일을 검토하세요. | 규칙, 스킬 및 MCP 구성은 상담원의 동작을 완전히 바꿀 수 있지만, 마치 문서처럼 검토됩니다. | 그들에게 똑같은 것을 주세요 pull request 숨겨진 문자 확인을 포함하여 애플리케이션 로직에 대한 면밀한 검토가 이루어집니다. |
| 3. 에이전트가 로드하는 항목을 고정합니다. | 변경 가능한 레이블로 참조되는 프롬프트 또는 모델은 코드 변경 없이 다시 지정할 수 있습니다. | 프롬프트와 모델을 변경 불가능한 버전으로 고정합니다. |
| 4. 모든 싱크대에 안전 난간을 설치하세요 | 검색된 문서, 도구 출력 및 사용자 콘텐츠는 모두 모델에 주입된 지침을 포함할 수 있습니다. | 해당 콘텐츠가 모델에게 닿을 수 있는 모든 경로에 안전 난간을 설치하십시오. |
| 5. 신분증은 하네스에 넣지 마십시오. | 프롬프트 파일과 에이전트 구성 파일에 있는 AI 공급자 키는 공격자에게 손쉬운 공격 수단이 됩니다. | 그것들을 제거하고 하네스 파일에서 비밀 정보를 계속 스캔하세요. 간단한 해결책입니다. |
모델뿐 아니라 하네스까지 안전하게 고정해야 합니다.
Xygeni AI 보안 에이전트 하네스 엔지니어링이 흔적을 남기는 곳, 즉 저장소에서 시작됩니다. 코드베이스 전체에서 AI 자산(모델, 에이전트, MCP 서버, 스킬, 프롬프트 등)을 찾아냅니다. guardrails(그리고 사용 중인 AI 코딩 도구)에서 코드, 종속성 및 해당 도구가 남기는 구성 파일을 추출합니다.
Xygeni는 스킬 파일, 규칙 파일, MCP 구성을 문서가 아닌 보안 아티팩트로 분석하고, 에이전트 연결에서 신뢰할 수 없는 콘텐츠가 시스템 프롬프트나 가드레일 없이 검색 싱크에 도달하는 것과 같은 프롬프트 주입 유형의 위험을 탐지합니다. Xygeni의 비밀 스캔은 프롬프트와 에이전트 구성 파일에서 AI 공급자 자격 증명을 표시하고, AI 스택의 종속성도 시그니처가 생성되기 전에 다른 모든 요소와 마찬가지로 악성코드 탐지를 수행합니다.
FAQ
에이전트 하네스 엔지니어링이란 무엇인가요?
에이전트 하네스 엔지니어링은 AI 모델이 신뢰할 수 있는 에이전트로 동작하도록 AI 모델 주변 환경(명령어, 도구, 권한, 메모리, 컨텍스트 및 검증 루프)을 설계하는 분야입니다. 모델은 추론을 제공하고, 하네스는 에이전트가 무엇을 보고 무엇을 할 수 있는지 결정합니다.
에이전트 하네스 엔지니어링은 프롬프트 엔지니어링과 어떻게 다른가요?
프롬프트 엔지니어링은 단일 명령어를 구성합니다. 에이전트 하네스 엔지니어링은 에이전트가 작동하는 전체 시스템, 즉 여러 단계, 도구 및 세션을 아우르는 시스템을 구성합니다. 프롬프트는 하네스 내의 하나의 파일입니다.
안전벨트가 보안 위험 요소가 되는 이유는 무엇입니까?
에이전트가 수행할 수 있는 작업을 제어하기 때문이며, 이러한 규칙은 보안 아티팩트로 거의 검토되지 않는 일반 텍스트 파일에 저장됩니다. 규칙 파일이나 MCP 구성을 손상시키면 모델을 건드리지 않고도 에이전트를 제어할 수 있습니다.
에이전트 하네스 보안은 누가 소유해야 할까요?
애플리케이션 보안은 에이전트를 구축하고 구성하는 엔지니어들과 협력하여 이루어집니다. 에이전트 하네스는 출시하는 소프트웨어의 일부이므로 다른 코드와 마찬가지로 검토, 스캔 및 인벤토리 프로세스를 거쳐야 합니다.







