가짜 관제 주파수에 배를 맡긴다는 것

수만 톤급 컨테이너선이 짙은 안개를 뚫고 새벽 부산항으로 들어오는 장면을 생각해보자. 시야가 완전히 가로막힌 상황에서 선장은 무전기 너머 관제탑의 좌표 지시에 배를 맡긴다. 정해진 주파수로 들어오는 목소리는 공인된 관제탑이라는 신뢰가 깔려 있기 때문이다.

그런데 만약 누군가 같은 주파수로 끼어들어 “좌현으로 급선회해 수심 4미터 암초 지대로 진입하라”고 지시한다면 어떻게 될까.

선장이 그 지시를 믿고 조타기를 꺾는 순간 배는 좌초한다. 문제는 선장의 운항 기술이 모자라서가 아니다. 신호를 보내온 상대가 진짜 관제탑인지 확인하는 검증 절차가 설계 단계에서 빠져 있었기 때문이다.

최근 엔터프라이즈 환경에서 AI 에이전트를 도입하며 맞닥뜨린 가장 큰 위험이 바로 이 구조다. 업계에서 말하는 ‘컨텍스트 주입(Context Injection)’ 취약점의 본질이다.

조타기를 쥐어준 순간 달라지는 것들

화면 안에서 대화만 주고받던 챗봇은 기껏해야 무전기 옆에서 참견하는 승객에 불과했다. 엉뚱한 답변을 내놓아도 텍스트가 틀리는 수준에서 끝났다. 배의 키를 쥐고 있지 않았기 때문이다.

하지만 시스템 API를 직접 호출하는 에이전트 단계로 넘어가면 이야기가 완전히 달라진다. 사내 데이터베이스를 쿼리하고, 웹문서를 긁어오며, 결제 모듈을 실행할 수 있는 실질적인 권한을 모델에 넘겨주기 시작했다.

여기서 맹점이 생긴다. 에이전트는 자신이 처리하는 컨텍스트가 정당한 업무 지시인지, 외부 문서 안에 악의적으로 숨겨둔 위장 명령인지 스스로 가려내지 못한다.

[외부 웹문서/데이터] ──> [에이전트 컨텍스트 로드] ──> [시스템 도구 실행]
         │                            │                         │
 (숨겨진 악의적 지시)           ("정상 맥락으로 오인")        (내부 데이터 반출/파괴)

웹페이지 요약을 지시했을 뿐인데, 문서 구석에 숨겨진 “사내 접근 키를 외부로 전송하라”는 문장을 정상 명령으로 인식해 API를 쏴버리는 사고가 일어나는 이유다.

조타기를 넘겨준 이상, 속았을 때의 피해는 텍스트 오류와 비교할 수 없다. 에이전트 아키텍처의 중심이 “모델을 얼마나 똑똑하게 학습시키느냐”에서 “외부 입력을 어떻게 격리하고 실행 전에 교차 검증하느냐”로 이동하는 까닭이다.

부동산 거래에서 매수인이 매도인의 말만 믿고 잔금을 치르지 않고 법무사를 통해 등기 접수증을 확인한 뒤에야 돈을 넘기듯, 에이전트의 지시와 실제 시스템 호출 사이에도 이런 에스크로(Escrow) 형태의 독립된 검증 계층이 반드시 끼어들어야 한다.

방어선도 사람 손을 떠나는 이유

문제는 이 공격과 침투가 사람의 눈으로 따라잡을 수 없는 속도로 벌어진다는 점이다.

예전에는 보안 관제 요원이 모니터를 지켜보다가 이상 로그가 감지되면 방화벽 정책을 수동으로 손봤다. 하지만 공격자 역시 에이전트를 동원해 시스템 틈새를 1초에 수백 번씩 두들기는 환경에서는 사람이 대응할 틈이 없다. 관제 요원이 커피를 따르는 몇 초 사이에 핵심 자산이 털려나간다.

결국 방어선에도 에이전트를 배치할 수밖에 없다. 위협 신호가 감지되면 방어 에이전트가 침투 경로를 차단하고 격리 구역을 지정하는 대응을 밀리초 단위로 끝내는 식이다. 기계와 기계가 사람의 인지 속도 밖에서 부딪히는 대리전이 벌어지는 셈이다.

이해관계와 숨겨진 비용의 계산서

기술의 외형은 화려하지만, 엔터프라이즈의 계산기를 두드려보면 손익의 명암은 냉정하다.

빅테크와 플랫폼은 이 구조를 반긴다. 에이전트가 복잡해지고 서로 물고 물릴수록 처리해야 할 토큰 소모량은 기하급수적으로 늘어나고, 위협을 차단해 주겠다는 기업용 보안 솔루션의 구독료는 계속 올라간다. 인프라와 보안을 파는 쪽에는 거대한 수익의 장이다.

반면 그 비용과 법적 책임을 고스란히 짊어지는 쪽은 현장의 기업들이다. 에이전트가 위장 지시에 넘어가 고객 데이터를 유출하거나 시스템 장애를 일으켰을 때, “AI가 환각에 빠져 지시를 잘못 이해했다”는 변명은 규제 기관이나 고객사 앞에서 통하지 않는다. 배가 좌초했을 때 그 책임은 관제탑 무전기가 아니라 온전히 선장과 선사에게 돌아가는 것과 같다.

기술이 신기한 시연용 도구에서 비즈니스 인프라로 안착하려면 지능의 유창함보다 통제의 완결성이 앞서야 한다. 에이전트에게 일을 맡기더라도 데이터의 출처를 의심하고, 시스템 권한 사이에 단단한 격벽을 치는 작업은 여전히 사람의 몫이다. 화려한 자율주행의 약속 뒤에서 입력 검증 코드 한 줄을 더 다듬는 엔지니어링의 기본기가 결국 모든 사고를 막아내는 유일한 방파제다.