에이전틱 AI 시대, 기업에 필요한 것은 새로운 LLM이 아닌 AI 게이트웨이다

최근 국내외 대기업들의 AI 도입 사례 발표 자료와 엔터프라이즈 컨퍼런스 리포트를 찬찬히 읽어보았다.

무대 위에서는 하나같이 자율 에이전트가 코딩을 대신하고, 고객 문의를 처리하며, 백엔드 시스템을 스스로 호출한다는 화려한 장밋빛 청사진을 늘어놓고 있었다. 하지만 행사장 뒤편이나 커피를 마시는 복도에서 마주친 실무 엔지니어와 인프라 리더들의 표정은 사뭇 달랐다. 그들이 내뱉는 진짜 한숨은 “어떤 모델이 가장 똑똑한가”가 아니라, “통제 불능으로 튀는 토큰 비용과 에이전트의 보안 구멍을 도대체 어떻게 틀어막아야 하는가”에 닿아 있었다.

그 현장의 목소리를 들으며 10여 년 전 모놀리식 시스템이 수백 개의 마이크로서비스(MSA)로 쪼개지던 혼돈의 시기가 떠올랐다.

마이크로서비스의 기시감과 무법지대

당시에도 각 개발팀은 자율성을 외치며 제멋대로 서비스를 띄웠다. 어느 팀이 어떤 데이터베이스를 조회하는지, 서비스 간 통신에서 인증은 제대로 이루어지는지 전체 조망을 잃어버렸을 때 시스템은 만성적인 장애와 보안 누수에 시달렸다.

결국 그 무법지대를 정리하고 질서를 세운 것은 개별 서비스의 성능 튜닝이 아니라, 모든 외부 트래픽과 서비스 간 호출의 길목을 틀어쥔 ‘API 게이트웨이’였다. 인증과 권한 부여, 속도 제한(Rate Limiting), 통합 로깅을 관문 한곳에 강제하고 나서야 마이크로서비스는 비로소 기업의 자산이 될 수 있었다.

지금 엔터프라이즈의 AI 에이전트 도입 양상이 정확히 그 전철을 밟고 있다.

현업 부서마다 각자 외부 언어모델 API 키를 발급받아 프롬프트를 날리고, 에이전트는 백엔드 툴을 호출하며 수십만 토큰을 실시간으로 태워 없앤다. 프롬프트 속에 고객의 개인정보나 회사의 핵심 기밀이 섞여 나가는지, 에이전트가 월말 결제 시스템에 권한 밖의 쓰기 요청을 날렸는지 사후 감사가 불가능한 상태로 방치되어 있다. 모델의 벤치마크 점수가 90점이든 95점이든, 관문이 뚫려 있다면 그 시스템은 언제 터질지 모르는 폭탄일 뿐이다.

모델은 소모품이고 관문은 자산이다

이 혼란을 지켜보며 내가 내린 결론은 명확하다. 지금 기업에 시급한 투자는 새로운 프론티어 모델을 찾아 헤매는 일이 아니라, 모델과 에이전트의 앞길목을 장악하는 ‘AI 게이트웨이’를 세우는 일이다.

게이트웨이가 서야 비로소 비즈니스의 통제권이 회복된다.

간단한 번역이나 요약은 저렴한 경량 모델로 보내고, 고난도 추론 작업만 비싼 프론티어 모델로 라우팅해 토큰 예산을 지켜낼 수 있다. 외부로 나가는 프롬프트에서 주민등록번호나 소스코드 토큰을 인프라 레벨에서 실시간 마스킹하고, 에이전트가 어떤 툴을 실행했는지 완벽한 감사 추적(Audit Trail)을 남길 수 있다. 개발팀마다 중복해서 보안 패치를 붙이고 로깅 라이브러리를 만들 필요도 없다.

새로운 언어모델은 몇 달 주기로 쏟아져 나온다. 모델은 언제든 더 싸고 좋은 것으로 갈아 끼우면 그만인 소모품에 불과하다.

하지만 어떤 모델이 들어오더라도 조직의 보안 규율과 비용 한도 안으로 복속시키는 통제 계층은 한 번 단단하게 굳혀두면 쉽게 흔들리지 않는 영속적인 인프라 자산이 된다. 거버넌스라는 안전띠를 매지 않은 채 지능의 가속 페달만 밟는 조직에게 남는 것은 감당할 수 없는 청구서와 사고의 잔해뿐이다.