AI 모델 분산 배치 관점에서 핵심 변수를 짚어봅니다. 기대로 시작했던 ‘모델 분산 배치’ 실험이 한 달을 맞이했습니다.
과연 무지성으로 쓰던 고비용 모델을 줄이고 효율을 찾을 수 있었을까요?
5월 28일 처음 마주했던 사용량 페이지는 그야말로 충격이었습니다.
Opus 51%, Sonnet 0%, Haiku 0%.
일주일 만에 한도 절반을 단 하나의 모델이 먹고 있었죠.
전부 Opus가 디폴트로 설정되어 있던 탓이었습니다.
그날 결심했습니다.
복잡한 아키텍처 작업만 Opus에게 맡기고, 나머지는 전부 Sonnet과 Haiku로 내리기로 말이죠.
한 달 전 제가 시작한 게 바로 이 AI 모델 분산 배치.
AI 모델 분산 배치 한 달, 무엇이 달라졌나
오늘이 6월 3일입니다.
정확히 한 달이 지나서 다시 같은 사용량 페이지를 열어보았습니다.
결과는 놀라웠습니다.
(이젠 20달러짜리로도 유지가 될정도로 만들어 졌다는게 놀랍네요)
한 달간 적용한 규칙
실제 한 달간 적용했던 규칙은 아주 명확했습니다.
Opus: 새 시스템 아키텍처 설계, 복잡한 디버깅, 글 다듬기 (일주일에 5번 정도)
Sonnet: 코드 수정, 파일 정리, 일반 작업, 서브에이전트 (사실상 기본값)
Haiku: 단순 분류, 짧은 변환, 반복 작업
참고로 이 세 모델 Opus·Sonnet·Haiku는 모두 Anthropic Claude 라인업입니다.
처음에는 매번 작업을 시작할 때마다 망설였습니다.
‘이건 Opus를 써야 하나? Sonnet으로도 충분할까?’
하지만 1주일쯤 지나니 자연스럽게 감이 잡히더군요.
처음부터 새로 만드는 거대한 뼈대는 Opus,
이미 있는 코드를 수정하고 보완하는 건 Sonnet,
단순한 형식 변환은 Haiku.
이 룰을 머릿속에 박아두니 다음부터는 거의 자동으로 손이 움직였습니다.
의외의 수확들
이번 실험을 통해 얻은 의외의 수확들이 있었습니다.
첫째로, Sonnet으로 충분한 작업이 진짜 많았다는 점입니다.
Opus가 반드시 필요하다고 생각했던 작업의 절반 이상이 Sonnet으로도 똑같이 구현되었습니다.
차이가 있다면 처리 시간 30초 정도였을 뿐, 결과물의 퀄리티는 거의 같았습니다.
그동안 제가 얼마나 무지성으로 ‘제일 비싸고 좋은 것’만 켜두었는지 반성하게 되더군요.
둘째로, 서브에이전트 병렬 작업의 강력함입니다.
Sonnet 서브에이전트 3개를 동시에 띄워서 서로 다른 파일을 작업시키니,
혼자 일하는 하나의 Opus보다 속도가 훨씬 빨랐습니다.
특히 슬라이드 템플릿 6종을 만들 때 세 에이전트가 동시에 코드를 작성하는 모습을 보며 감탄했습니다.
비용은 훨씬 적게 드는데 속도는 몇 배나 빠른 신기한 경험이었죠.
반면 Haiku는 생각보다 쓸 일이 적었습니다.
단순 분류 작업 자체가 실제 업무에서는 그리 많지 않았고,
대부분 Sonnet의 범위 안에서 해결되었기 때문입니다.
순탄치만은 않았던 시행착오
물론 과정이 늘 순탄했던 것은 아닙니다.
분산 초기에는 Sonnet이 만든 결과물이 만족스럽지 않아
결국 Opus가 다시 손을 보는 이중 작업이 발생하곤 했습니다.
결과적으로 비용이 두 번 든 셈이었죠.
처음부터 적절한 모델을 지정하는 감각을 익히기까지는 꼬박 1~2주의 시행착오가 필요했습니다.
또 하나의 복병은 ‘익숙함’이었습니다.
툴의 디폴트 설정이 여전히 Opus로 되어 있다 보니,
명시적으로 모델을 지정하지 않으면 나도 모르게 다시 고비용 모델로 슬금슬금 손이 가곤 했습니다.
매 작업을 시작할 때마다 “지금 이 작업에는 어느 머리를 쓸 것인가?”라고
스스로에게 묻는 습관을 들이는 것이 가장 중요했습니다.
결론: 모델 선택이 곧 작업 설계다
결론적으로,
지난 글을 쓸 때만 해도 “이렇게 하면 비용이 줄겠지”라는 막연한 추측이었던 것이 한 달간의 데이터를 통해 확실한 사실로 증명되었습니다.
가장 중요한 건, 비용을 줄였음에도 결과물의 질은 전혀 떨어지지 않았다는 점입니다.
영상은 매일 차질 없이 제작되었고, 글도 매일 올라갔으며, 전체적인 작업 속도는 오히려 빨라졌습니다.
결국 한 달간 제가 데이터로 증명한 핵심은 AI 모델 분산 배치.
AI 도구를 쓸 때 디폴트로 가장 좋은 모델을 켜는 것은 인간의 직관적인 본능일지도 모릅니다.
하지만 그 직관이 비용의 99%를 만들어냅니다. 이제 모델 선택 자체가 작업 설계의 핵심적인 일부가 되어야 합니다.
어떤 작업에 어떤 머리를 쓸지 결정하는 것은 단순한 비용 절감의 문제가 아니라,
작업의 효율성과 스마트함을 결정짓는 핵심 열쇠입니다.
다음 한 달의 질문은 이것입니다. ‘이 효율적인 비율이 계속 유지될 것인가,
아니면 복잡한 작업들이 다시 쌓이면서 Opus의 비중이 올라갈 것인가.’ 한 달 뒤 실제 데이터를 들고 다시 기록을 남기겠습니다.
