말 잘하는 챗봇과 일 잘하는 에이전트는 어떻게 다른가

최근 엔터프라이즈 생성형 AI 도입 실태를 다룬 기술 조사 보고서를 읽었다.

국내외 대다수 기업이 야심 차게 AI 에이전트 구축 프로젝트를 시작하지만, 실제 운영 환경까지 배포되는 비율은 15% 안팎에 불과하며 대부분 단순 질의응답 챗봇 수준에서 멈춰 서 있다는 내용이었다.

이 조사 결과를 보며 현장의 수많은 기획자와 개발자들이 여전히 ‘말 잘하는 챗봇’과 ‘일 잘하는 에이전트’를 같은 것으로 착각하고 있다는 생각이 들었다.

말하는 기계와 일하는 기계의 차이

챗봇은 본질적으로 ‘대화 상대’다. 다음 단어가 나올 확률을 그럴듯하게 계산해 매끄러운 한국어 문장을 이어 붙이는 것이 목표다. 문맥에 약간의 군더더기가 섞이거나 사소한 오차가 생겨도 대화의 흐름 자체는 유지된다. 화면을 보는 사람도 “말투가 자연스럽네” 하고 넘어간다. 상태를 바꾸지 않으니 위험할 일도 없다.

하지만 에이전트는 대화하는 존재가 아니라 ‘일을 끝내는 주체’다.

에이전트는 사람의 비정형 문장 속에서 필요한 수치, 날짜, 조건 값을 단 1%의 오차도 없이 정확하게 발라내어 백엔드 API를 호출하고, 데이터베이스 테이블에 트랜잭션 커밋(Commit)을 찍어야만 제 역할을 다한 것이다.

예를 들어 고객의 예약이나 금융 업무를 처리한다고 치면 둘의 차이는 극명하게 갈린다.

챗봇은 “네, 고객님! 오전 9시 접수 도와드릴게요. 좋은 하루 되세요”라고 친절하게 답하면 끝이다. 하지만 에이전트는 고객의 두서없는 말속에서 ‘9시’, ‘담당 부서’, ‘예약 유형’이라는 핵심 파라미터를 정확한 JSON 규격으로 파싱해 백엔드 예약 원장에 꽂아 넣어야 한다.

95% 성공률이 만드는 감시의 역설

현장에서 마주하는 진짜 병목은 언어모델의 어휘력이 아니다. 비정형 대화에서 정형 데이터를 뽑아내는 데이터 캡처(Data Capture)의 불안정성이다.

100번 시도해서 95번 성공하고 5번 숫자를 흘리거나 엉뚱한 필드에 집어넣는 시스템이라면, 그 시스템은 프로덕션에 올릴 수 없다. 결국 데이터베이스가 오염되는 것을 막기 위해 사람이 뒤에서 로그를 일일이 전수 검사해야 한다. 인건비를 아끼겠다고 자동화를 도입했는데, 오히려 기계의 뒤치다꺼리를 할 감시 인력을 더 고용해야 하는 역설이 벌어진다.

여기에 시스템을 어디에 둘 것인가 하는 아키텍처와 책임의 문제가 겹친다.

환자의 의료 데이터나 금융사의 거래 로그를 무작정 외부 클라우드 API로 쏘아 올릴 수는 없다. 만약 에이전트가 수치를 잘못 읽어 잘못된 송금이나 처방이 발생했을 때, 그 법적 책임을 클라우드 제공사나 파운데이션 모델 개발사가 대신 져주지 않는다. 최근 금융권과 공공 기관들이 비용을 감수하면서도 자체 온프레미스 인프라와 폐쇄망 에이전트 게이트웨이로 눈을 돌리는 까닭이다.

화면 뒤편의 원장을 보아야 할 때

이 현실을 바라보며 내가 생각한 의미는 명확하다. 에이전트의 시대에 필요한 것은 더 사람처럼 말을 잘하는 모델이 아니라, 흘러가는 말을 냉정하게 걸러내어 ‘시스템의 원장’으로 안전하게 안착시키는 단단한 데이터 추출과 감사 인프라다.

화려한 프론트엔드 데모에 현혹될 필요 없다. 챗봇의 실력은 모니터 화면의 화려한 말솜씨로 보이지만, 진짜 일 잘하는 에이전트의 실력은 화면 뒤편 데이터베이스의 원장이 얼마나 결함 없이 유지되느냐로 증명된다.