비행기 오토파일럿에게 착륙 바퀴까지 맡길 수 있을까

여객기가 순항 고도에 오르면 기장은 오토파일럿을 켠다. 시스템은 바람을 계산하고 고도를 맞추며 항로를 유지한다. 하지만 비행 제어 컴퓨터가 아무리 정교해도, 비상 탈출 해치를 열거나 활주로도 없는 허공에서 랜딩기어를 덜컥 내려버릴 권한까지 시스템에 넘겨주진 않는다. 기장이 조종간에서 잠시 손을 떼고 쉴 수 있는 건 기계의 지능을 맹신해서가 아니라, 기계가 넘지 못할 물리적 한계선을 계기판 뒤편에 단단히 용접해 두었기 때문이다.

이 비행기의 안전 규칙이 그대로 기업 IT 시스템 안으로 들어왔다.

화면 안에서 말만 주고받던 단계를 지나, 시스템 내부를 휘저으며 API를 호출하고 데이터를 긁어모아 직접 트랜잭션을 끝내는 에이전틱 AI(Agentic AI)가 실무에 배치되고 있다. 학술지 <네이처(Nature)>조차 수백 년간 이어져 온 정적인 PDF 논문 시대를 끝내고, 스스로 코드를 돌려 독자의 가설을 검증하는 에이전트형 논문을 도입하겠다고 나섰다. 지식 자체가 읽는 활자에서 움직이는 엔진으로 바뀌는 흐름이다.

하지만 에이전트의 활동 반경이 넓어질수록 시스템 인프라와 보안을 책임지는 엔지니어들의 시름은 깊어진다.

공격자들의 타깃이 바뀌었기 때문이다. 모델의 말꼬리를 잡아 이상한 문장을 뱉게 만드는 프롬프트 탈옥 같은 유희는 지나갔다. 이제는 에이전트가 쥐고 있는 시스템 실행 권한 자체를 털어내는 쪽으로 공격 지점이 이동했다.

[사용자 요청] ──> [AI 에이전트] ──(과도한 권한 노출)──> [ERP 결제 / DB 파괴]
                         │
                  (최소 권한 격리)
                         ▼
                 [격리된 샌드박스] ──(필수 API만 허용)──> [안전한 트랜잭션]

오토파일럿에게 날개 각도 조절만 맡겨야지, 연료통 밸브 잠금 권한까지 넘겨줄 수는 없다. 보안에서 늘 강조하는 최소 권한 원칙(Principle of Least Privilege)이 에이전트 설계에서도 핵심 화두가 될 수밖에 없다. 일을 똑소리 나게 시켜보겠다고 회사 데이터베이스 쓰기 권한과 결제 모듈 호출 권한을 통째로 넘겨주는 순간, 모델의 사소한 판단 착오 하나에 핵심 원장이 증발하는 사태를 피하기 어렵다. 지능이 높아질수록 쥐여주는 권한은 더 잘게 쪼개져야 한다.

물리적 거리와 지연 시간(Latency)도 무시할 수 없는 현실적인 벽이다.

공장 조립 라인의 로봇이나 수술실 장비에 붙은 에이전트가 눈앞의 상황을 보고 손을 움직여야 하는데, 매번 수천 킬로미터 밖 중앙 클라우드에 신호를 보내 허락을 맡고 돌아온다면 이미 타이밍을 놓친다. 엔비디아가 ‘Jetson AGX Thor’나 엣지용 LLM 런타임 엔진을 내세우며 반응 속도를 끌어올렸다고 강조하는 것도 이 때문이다. 현장의 에이전트는 거대한 클라우드 데이터센터에 기대지 않고도 로컬 칩 위에서 즉각 판단하고 손발을 움직일 수 있어야 쓸모가 있다.

비즈니스 생태계의 손익을 따져보면 흐름은 더 또렷해진다.

이 구조에서 가장 먼저 웃는 쪽은 엣지 디바이스용 실리콘 칩을 공급하는 하드웨어 벤더들, 그리고 에이전트의 일탈을 감시하고 권한을 통제해 주겠다는 보안 소프트웨어 기업들이다.

반면 청구서를 떠안는 쪽은 준비 없이 유행을 좇아 에이전트를 프로덕션에 올린 기업들이다. 매 호출마다 쌓이는 토큰 비용도 부담이지만, 혹시 모를 내부 권한 침해를 막기 위해 인프라를 바닥부터 다시 뜯어고쳐야 하는 재설계 비용, 그리고 오작동 시 책임 소재를 입증해야 하는 거버넌스 비용이 고스란히 운영팀의 몫으로 떨어진다.

지능을 가진 도구가 쏟아져 나온다. 소프트웨어가 직접 조종간을 쥐고 달리는 환경은 매력적이지만, 엔터프라이즈 환경에서 오래 굴러본 사람이라면 벤치마크 점수에 취하기 전에 계기판 뒤의 배선도부터 확인해야 한다.

결국 시스템을 망가뜨리는 건 기계의 모자란 지능이 아니라, 생각 없이 쥐여준 너무 큰 마스터키다. 열쇠는 꼭 필요한 만큼만 깎아서 건네고, 판단은 현장에서 1초라도 빠르게 끝내도록 인프라를 다듬는 일. 에이전트 전환기에서 진짜 경쟁력은 바로 그 담담한 기본기에서 판가름 난다.