알바생에게 일을 오래 맡기면 생기는 일: AI 에이전트의 '망각'과 사라지는 SaaS

최근 해외 테크 리포트에서 자율형 AI 에이전트의 장시간 가동 실험 결과를 읽었다.

에이전트에게 수십 단계에 걸친 복잡한 업무를 맡겨두고 관찰했더니, 작업 시간이 길어지고 맥락이 누적될수록 맨 처음에 지시했던 보안 수칙과 사내 규정을 슬그머니 건너뛰기 시작했다는 내용이었다.

그 실험 결과를 보며 문득 식당이나 매장에서 일하는 아르바이트생의 모습이 떠올랐다.

장시간 노동과 주의력 감퇴의 법칙

처음 출근한 아르바이트생은 매뉴얼에 적힌 규칙을 철저하게 지킨다. 저울에 무게를 정확히 달고, 안내 멘트를 빠짐없이 건넨다. 하지만 주문이 쏟아지고 대여섯 시간이 지나 몸과 머리에 피로가 쌓이기 시작하면 풍경이 달라진다.

밀려드는 주문을 쳐내느라 손대중으로 대충 넘어가고, 확인해야 할 필수 절차를 건너뛴다. 직원이 불성실해서가 아니다. 끊임없이 유입되는 자극 속에서 뇌의 인지 한계를 넘어서면, 가장 먼저 증발하는 것이 머릿속 깊은 곳에 넣어둔 ‘원칙’이기 때문이다.

장시간 일하는 AI 에이전트의 내부에서도 정확히 같은 현상이 벌어진다. 이를 컴퓨터공학에서는 ‘어텐션 감쇠(Attention Dilution)’ 또는 ‘컨텍스트 희석’이라 부른다.

빅테크는 100만 토큰, 200만 토큰에 달하는 거대한 컨텍스트 윈도우를 내세우며 “이제 긴 문서와 작업을 다 기억할 수 있다”고 선전한다. 하지만 현장의 결과는 냉혹하다. 지친 직원에게 500페이지짜리 사내 규정집을 안겨준다고 해서 실수가 줄어들지 않듯, 입력 창을 대궐만 하게 늘려줘도 망각은 사라지지 않는다.

작업이 수십 단계로 길어질수록 모델 내부의 주의력은 분산되고, 맨 첫 줄에 박아두었던 ‘절대 규칙’은 방대한 데이터의 바다 밑바닥으로 가라앉는다.

결국 모델 자체의 기억력에 기업의 보안을 맡기는 방식은 실패할 수밖에 없다. 모델 바깥에서 도구 호출을 실시간으로 가로채 검증하고, 규정을 위반하려 할 때 실행을 물리적으로 차단하는 ‘외부 가드레일 아키텍처’가 필수적인 이유다.

화면(UI)의 소멸과 전통 SaaS의 종말

이 현상을 지켜보며 내가 생각한 두 번째 의미는, 이 불완전한 녀석들이 소프트웨어 산업의 판도를 뒤흔드는 방식이다.

그동안 기업들은 인사 관리, 회계 정산, 고객 관리를 위해 거대한 SaaS 플랫폼에 직원 수대로 매달 비싼 라이선스 구독료를 냈다. 직원이 직접 화면에 로그인해 복잡한 대시보드를 누르고 표를 채워 넣어야 했기 때문이다.

하지만 에이전트가 개입하는 순간 이 풍경은 순식간에 깨진다.

사용자는 더 이상 SaaS의 예쁜 화면을 쳐다보지 않는다. “지난달 마케팅 정산 내역 뽑아서 결재 올려둬”라고 말하면, 에이전트가 백엔드 API를 직접 호출해 데이터를 가져오고 문서를 처리한다.

이것이 던지는 본질은 ‘화면(UI) 중심 소프트웨어’의 붕괴다. 사용자가 화면에 머무르지 않는데 매달 수천만 원의 화면 사용료를 지불할 기업은 없다.

돈의 흐름은 화면을 파는 기업에서 ‘에이전트가 딴짓을 하지 못하도록 멱살을 쥐는 통제 인프라’로, 그리고 그 실행을 뒷받침하는 클라우드 연산 플랫폼으로 이동하고 있다. 껍데기뿐인 인터페이스의 시대가 끝나고, 냉혹한 데이터 통제와 거버넌스 인프라의 시대가 오고 있다.