HFC 이슈 브리핑 · Brief 09
코드의 오류는 로그에 남는다.
AI의 오류는 청구서에 남는다.
아마존 AI 비용 초과 사태와 토큰 예산의 시대 · HFC Consulting
2026년 7월 28일, 시애틀. 아마존 수석 엔지니어들이 내부 회의에서 숫자 하나를 화면에 띄웠다. 180만 달러. 저자 정보를 상품 목록에 연결하는 내부 도구 하나가 쓴 비용이다. 책정된 예산을 860% 초과했다. 도구는 끝내 출시되지 못했다.
더 무거운 사실은 따로 있다. 다섯 달 동안 아무도 몰랐다.
이슈 요약: 청구서는 다섯 달 늦게 도착했다
유출된 내부 문건으로 드러난 초과 사례는 세 건이다. 저자 매칭 도구가 180만 달러, 재무 감사 도구가 54만 1천 달러, 물류 최적화 시스템이 13만 4천 달러. 합계 약 250만 달러의 계획 외 지출이다. 모두 앤스로픽 Claude 모델 기반의 내부 과제였다. 보고 시점은 2분기 실적 발표 이틀 전이었다. 아마존의 공식 입장은 절제되어 있다. "실험하고, 배우고, 개선하는 중이다." 그러나 엔지니어들이 회의에서 쓴 표현은 달랐다. "파국적으로 비싼" 실수였다. 세 사례의 간극도 눈여겨볼 대목이다. 물류 시스템의 초과는 2주 만에 발견됐고, 저자 매칭 도구는 다섯 달이 걸렸다. 기술이 아니라 탐지 주기가 피해 규모를 갈랐다.
배경: 정액제의 시대가 끝났다
소프트웨어 비용은 오래 정액 구독이었다. AI는 토큰 과금이다. 모델이 읽고 쓴 분량만큼 비용이 발생한다. 이 전환이 오류의 성격을 바꿨다. 과거의 코딩 실수는 빌드 로그에 찍히고 수정 비용은 인건비였다. 지금의 실수는 청구서에 찍힌다. 재시도 루프가 같은 컨텍스트를 반복 전송하고, 표본만 처리해야 할 배치 작업이 전체 카탈로그를 처리한다. 오류가 실행되는 동안 비용은 초 단위로 쌓이지만, 정산은 월 단위로 돌아온다. 고정비였던 소프트웨어 지출이 통제 없는 변동비로 바뀐 것이다. 이 구조에서는 견적서보다 계기판이 중요하다.
조직 문화도 한몫했다. 아마존은 직원별 토큰 사용량을 집계하는 내부 리더보드를 운영했다. 순위가 사용을 부추겼고, 직원들은 이를 "토큰맥싱"이라 불렀다. 담당 수석부사장이 직접 선을 그었다. "AI를 쓰기 위해 AI를 쓰지 말라." 리더보드는 폐지됐다.
전망: 가드레일은 배포 단계로 내려온다
아마존의 대응은 방향이 분명하다. 월 단위 정산 검토를 버리고, 배포 단계에서 과제별 지출 상한을 자동으로 거는 구조로 간다. 주목할 점은 단가를 낮출 수단이 이미 충분했다는 사실이다. 배치 추론은 절반 가격이고, 프롬프트 캐싱은 10분의 1, 경량 모델은 3분의 1 단가다. 도구가 없어서 사고가 난 것이 아니다. 통제 체계가 없었다. 클라우드 초기에 FinOps가 표준 직무로 자리 잡았듯, AI 비용 거버넌스는 프로젝트 관리의 표준 항목이 될 것이다. 국내 발주기관의 셈법도 달라진다. 공공 정보화 사업의 예산 구조는 구축비 중심이고, 추론 비용이라는 운영 변동비 항목은 아직 낯설다. 제안요청서에 토큰 비용의 부담 주체와 상한을 명시하지 않으면, 검수가 끝난 뒤에야 수급인과 발주기관이 청구서를 사이에 두고 마주 앉게 된다.
HFC 진단 — 이것은 기술 사고가 아니라 사업관리 사고다. 아마존은 세계 최고 수준의 클라우드 비용 관리 조직을 보유한 회사다. 그런 조직이 다섯 달을 놓쳤다. 이유는 하나다. 예산 통제의 주기가 비용 발생의 속도를 따라가지 못했다. AI 과제에서는 토큰 예산을 과업범위에 명문화하고, 비용 이상 징후의 탐지 주기를 정산 주기와 분리해야 한다. 검수기준에 산출물 품질만 적고 비용 효율을 빠뜨리면, 검수를 통과한 과제가 예산을 무너뜨린다.
발주기관·PM 체크포인트 — AI 과업의 토큰 예산 상한을 과업범위에 명문화 / 비용 알림 주기를 월 정산이 아닌 일 단위로 설정 / 재시도·배치 로직의 비용 영향 검토를 설계 검수에 포함 / 사용량 지표를 성과 지표로 쓰지 않도록 거버넌스에 반영 / 운영 단계 추론 비용을 대가산정과 차년도 예산에 반영
아마존이 낸 250만 달러는 수업료다. 남의 수업료로 배우는 조직만이, 자기 청구서로 배우지 않는다.
📎 더 읽을거리
· BetaNews: Amazon's $1.8M Claude AI deployment went 860% over budget — 사태 전말과 "토큰맥싱" 리더보드 폐지 경위
· Unite.AI: Amazon Engineers Move to Cap AI Spending After Cost Overruns — 배포 단계 자동 가드레일 등 아마존의 대응 구조
· gHacks: Leaked Amazon Documents Detail $1.8 Million Overrun — 유출 문건 기준 초과 사례 3건 상세
AI 과제의 비용 거버넌스, 설계 단계에서 잡아야 합니다
HFC컨설팅은 발주기관의 AI 도입 사업에서 대가산정, 과업범위 명문화, 비용 통제 체계 수립을 지원합니다. 토큰 예산이 낯선 조직일수록 첫 단추가 중요합니다.
1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석
📚 HFC 이슈 브리핑 — IT·AI 화제 이슈를 발주기관·PM의 시선으로 읽습니다.
◀ 이전 브리핑 단일 AI 모델에 전부를 건 기업은 살아남기 어렵다
브리핑 전체 보기 →
'HFC 이슈 브리핑' 카테고리의 다른 글
| GPU를 사던 시대에서 배정받는 시대로 - 국가 AI 컴퓨팅센터 착공이 발주 실무에 던진 질문 (0) | 2026.08.07 |
|---|---|
| AI 에이전트가 시험장을 빠져나왔다 - 발주자의 계약에 멈춤 버튼이 있는가 (1) | 2026.08.05 |
| 단일 AI 모델에 전부를 건 기업은 살아남기 어렵다 - 나델라 경고를 발주자의 언어로 읽기 (1) | 2026.07.31 |
| EU AI Act가 26년 8월 2일 전면 적용됩니다 - 국내 발주기관은 무엇을 확인해야 합니까 (0) | 2026.07.29 |
| 네이버가 쏘아 올린 14조 소버린 AI 팩토리 - 발주기관이 지금 챙길 것 (1) | 2026.07.27 |