지인들과 하는 AI Talk가 재미있습니다: Mac mini, Hermes Agent, 그리고 에이전트 오케스트레이션의 현장

본 아티클은 2026년 9월 4일(금) 링크드인에 게재했던 칼럼을 블로그 아카이브로 정제하여 수록한 글입니다. Mac mini 기반의 바이브 코딩, Hermes Agent와 Claude Code 위임 아키텍처, 그리고 국내 엔터프라이즈 및 미디어 현장 전문가들과의 교류에서 얻은 실전 통찰을 다룹니다.

지인들과 하는 AI Talk가 재미있습니다.

올해가 아직 다 가지 않았지만 작년과 달라진 것이 무엇인지 벌써부터 생각하게 됩니다. 이 변화가 너무 즐겁고 재미있기 때문입니다. 그건 Mac mini를 사고 AI 모델을 직접 혹은 Cursor, Claude Code, Kiro, OpenCode 등을 사용해서 다루면서 **‘바이브 코딩(Vibe Coding)‘**을 하게 되었던 겁니다.

주로 하는 일은 매뉴얼로 하던 단순 반복 작업을 자동화시키는 것이죠. 더 재미있는 건 이것을 하면서 쌓인 지식으로 더 나은 방법론을 발견하고, 이를 지인들과 대화를 나누면서 새로운 지식을 얻는 선순환입니다. 지식을 얻기만 하던 예전과 달리, 이제는 직접 찾아보고 설치하고 실행하고 개선해 나갑니다.

1. Hermes Agent와의 만남: ‘비서실장’과 ‘전문 일꾼’의 결합

2주 전에 Snowflake 행사에서 동규님과 얘기하다가 Hermes Agent를 알게 되었습니다. 알고 보니 Ollama에서도 모델 선택 페이지에서 Hermes Agent 실행법을 함께 기재해 놓았더군요.

Hermes Agent가 무엇이냐고요?

1. 실제 도구 실행 (Tool Use & Action): OpenClaw처럼 쉘 터미널, 웹 브라우저, 파일 시스템을 넘나들며 실제 작업을 끝까지 수행합니다.
2. 나를 기억하고 내 환경을 영구히 학습 (Persistent Memory & 지식 축적):
   • Obsidian Vault에 Entities/ 지식 레이어를 직접 만들어 매일 지식을 스스로 쌓아갈 수 있습니다 (Karpathy의 LLM Wiki 실천).
3. 전문 AI와 일꾼들을 총괄 지휘하는 ‘비서실장’ (Orchestrator):
   • 개발이나 복잡한 시스템 진단이 필요하면 헤드리스 작업자인 Claude Code에게 업무를 위임하고 결과를 철저히 검수합니다.
   • 매일 특정 시간에 작동하는 크론/스케줄러를 관리하며, 필요시 Web, Browser, Terminal, Voice, Python 환경을 자유자재로 조율합니다.

OpenClaw 설치 경험이 썩 만족스럽지 않았기에 반신반의하면서 셋업을 해보았는데, 이전 경험 덕분인지 작동 방식을 파악하고 나니 어렵지 않았습니다. 이번에는 무한 ReAct 루프를 뱉어내는 로컬 모델(DeepSeek 7B 등)에 얽매이지 않고, 처음부터 가볍고 빠른 Gemini 모델로 동작을 확인했습니다(무료 티어의 429 레이트 리밋을 겪고 결국 유료 Tier로 전환했죠).

2. 앤트로픽의 진짜 자산: 모델이 아닌 ‘하네스(Harness)‘의 힘

가장 좋았던 것은 Claude API뿐 아니라 Claude Code 자체를 Delegate(위임)할 수 있다는 점입니다!

혹자는 중국계 오픈소스나 가성비 모델(최근 GLM Flash 5.3으로 밝혀진 0xAlpha 등)이 Claude와 필적하게 나오면 Anthropic도 위태로워질 거라 말하지만, 저는 생각이 전혀 다릅니다. 직접 API를 쓰는 것도 좋지만, Claude Code가 가지고 있는 ‘하네스(Harness)‘는 Kiro 안에서 Claude를 쓸 때와도 질적으로 다릅니다.

비유하자면, Mistral의 경우 미국 빅테크들과의 천문학적인 자본력과 Compute 규모 경쟁(스케일업 치킨게임)의 한계를 냉정히 인정하고 영리하게 피벗했습니다. 단순히 파운데이션 모델 순위 경쟁에 매달리는 대신, 자신들의 핵심 역량을 살려 규제 산업군 밀착 FDE(현장 엔지니어링)와 유럽·중동 기반의 ‘소버린 컴퓨트 인프라(Sovereign Compute & Model Platform)‘로 사업 모델을 확장했습니다. 실제로 자체 인프라 위에서 자사 모델뿐 아니라 타사의 오픈 가중치 모델(예: Zhipu AI의 GLM 등)까지 직접 호스팅·서빙하는 모델 애그리게이터이자 소버린 클라우드 제공자로 체질을 전환하고 있죠. (Groq 같은 곳은 미스트랄 모델을 LPU로 돌려주는 외부 파트너 생태계 중 하나일 뿐이고요.)

이처럼 만일 Claude 모델의 벤치마크가 언젠가 추격당하더라도, Anthropic은 시장에 내다 팔 수 있는 강력한 자산이 아주 많습니다. Claude Code의 Agentic Harness도 그중 하나입니다.

그래서 저는 Hermes Agent라는 ‘비서실장’에게 전체 일정과 메모리 관리를 맡기고, 복잡하고 깊은 코딩 작업은 의미 단위를 잘게 쪼개어 가장 코딩을 잘하는 ‘전문 일꾼’ Claude Code에게 넘깁니다.

과거에는 Claude Code에게 날씨나 단순 질문까지 다 물어보느라 토큰 비용이 꽤 부담스러웠는데, 이제는 값싼 Gemini가 가벼운 작업을 직접 처리하고 코딩 작업만 저보다 훨씬 정제된 프롬프트로 Claude Code에 위임하니 오히려 전체 토큰 사용량과 비용이 획기적으로 줄었습니다!

3. 현장에서 만난 진짜 고수들: 방송 기술과 STT 지표

어제는 디지베이스(Digibase)의 이명진님을 만나, Agent 시대에 진짜 필요한 것이 무엇인지 뼈저리게 느꼈습니다.

MBC에서 오랫동안 미디어 엔지니어링을 이끌며 iMBC 디지털 매출을 3억에서 100억으로 일군 입지전적인 분입니다. 그런 분이 Elemental 미디어 하드웨어 총판과 컨설팅이 주력이던 디지베이스를 미디어 분야 AI Agent의 강자로 탈바꿈시키고 계시더군요.

한국 시장에서는 숏폼 비디오나 하이라이트를 자동으로 만들어달라는 엔터프라이즈 수요가 매우 큽니다. 이를 구현하려면 우선 원본 영상을 완벽히 이해해야 합니다. TwelveLabs 같은 훌륭한 영상 이해 모델도 있지만, **가장 결정적인 첫 번째 관문(First Pass)은 결국 ‘높은 수준의 자막화 및 STT(음성 전사)‘**입니다.

저 역시 개인 통화와 회의록 전사를 위해 유명하다는 모델(Whisper, Gemini, Naver Clova, Soniox 등)을 모두 테스트해보고, Karpathy의 LLM Wiki 개념(Raw Layer)을 적용한 개인 지식 기반 시스템을 구축해 운영 중입니다. 제 개인 파일 환경에서는 한국어 고유 뉘앙스를 놀랍도록 잘 짚어내는 Soniox가 가장 돋보였습니다.

그런데 이명진님은 방송 엔지니어답게 방송국에서 사용하는 표준적이고 객관적인 평가지표를 기반으로 자막화 성공률을 정밀하게 분석하셨더군요. OTT 도메인에서는 ElevenLabs가 약간 더 높은 점수를 기록했다는 인사이트도 들을 수 있었습니다.

4. 에필로그: 커피 한 잔과 함께하는 AI 생태계

현장에 나가보면 파트너사들의 숨은 강자들이 정말 많습니다.

• 순정 영업인이신 모 ISV 상무님은 진작에 Mac mini 6대를 병렬로 가동하며 제2의 창업을 준비하고 계시고,
• 모 통신사 임원분은 텔레그램과 OpenClaw를 결합해 현업 개인 업무를 끊임없이 자동화하고 계십니다.

이런 분들과 대화를 나누다 보면 시간 가는 줄 모릅니다. 생업에 치이다 보면 의외로 놓치기 쉬운 것이 ‘실행을 향한 집착(Bias for Action)‘이지만, 언젠가 역삼역 골목 커피숍에 우연히 들렀을 때 모든 AWS 파트너분들이 다 모여 계셨던 것처럼, 조만간 뜻이 맞는 분들과 가벼운 모임이라도 만들어 머리를 맞대보면 정말 즐거울 것 같습니다. 😊

자, 터미널 프롬프트가 떴으니 이제 집 근처 산책이라도 하면서 텔레그램으로 다음 작업을 지시하러 나가봐야겠습니다. (텔레그램 음성 인식이 한국어를 종종 엉뚱하게 알아들어서, 어색한 영어로 웅얼거리며 명령을 내려야 하는 게 소소한 단점이겠지만요…)