생성형 AI 비용 최적화

비용 구조와 과금

어디서 발생하고 어떤 과금 모델로 지불하는가 — 비용 통제의 출발점

비용이 발생하는 4곳

LLM 토큰이 통상 최대 — 규모에 따라 나머지 3곳도 무시 못 할 비중

모델별 토큰 단가

같은 질문이라도 모델에 따라 입력 단가가 수십 배 차이 — 라우팅이 최대 지렛대

과금 모델 — 비용 렌즈 요약

On-demand · Batch · Provisioned — 방식별 비용 특성과 판단 요점

모델 선택

태스크에 맞는 모델을 고르는 세 가지 방법

모델 라우팅 전략

태스크 복잡도를 분류하여 적합한 모델로 분기 — 품질 유지·비용 절감

유스케이스별 권장 모델

작은 모델로 충분한 태스크를 Opus에 보내면 돈 낭비 — 절감률은 모델 단가 비율 기준 추정

Distillation — 소형 모델의 품질 끌어올리기

동일 프로바이더 Teacher→Student 페어링만 지원(Nova→Nova · Llama→Llama) — Anthropic 모델은 현재 비가용

1. 1
   Teacher 수집

   Nova Pro/Premier로 태스크 N건 실행 → 고품질 응답 데이터셋 구축

2. 2
   Student 학습

   Nova Lite/Micro를 해당 데이터로 SFT(Supervised Fine-tuning)

3. 3
   품질 검증

   평가 메트릭으로 Teacher 대비 품질 비교 — 정확도 손실 2% 미만이 공식 기준

4. 4
   배포

   품질 충분하면 Student로 교체 → 최대 75% 절감 · 500% 고속화

토큰 최적화

입력 · 출력 · 컨텍스트 — 세 방향에서 토큰을 줄이는 기법

Prompt Caching — 90% 입력 절감

반복되는 시스템 프롬프트·컨텍스트를 캐시하여 재계산 비용 제거

maxTokens 태스크별 설정

출력 한도를 태스크에 맞게 설정 — 불필요한 생성을 방지

context_manager="auto"

Strands SDK의 자동 컨텍스트 관리 — 비용 55% 절감 · 정확도 68%→98% (코드 조사 태스크, Strands 자체 벤치마크)

RAG · 에이전트 비용

검색은 입력 토큰, 에이전트는 루프 — 새는 비용을 막는 두 지점

RAG 비용 최적화

임베딩 · 벡터 스토어 · LLM 입력 — 3곳 동시 절감

에이전트 비용 폭증 시나리오

통제가 없으면 수 분 안에 수백 달러 — 과금 폭주 위험

에이전트 비용 억제 체크리스트

도구 호출 1회 = LLM 왕복 2회 — 루프 5회면 10회+ 호출

1. 1
   반복 상한 설정

   Strands Agent 생성자에는 상한 파라미터 없음 — 호출 시 limits(turns·output_tokens·total_tokens)가 1차 수단, 보조로 Hooks cancel_tool·Swarm max_iterations·Harness maxIterations

2. 2
   도구 선택 최적화

   불필요한 도구를 제거하면 시스템 프롬프트 토큰 감소 + 잘못된 호출 방지

3. 3
   결과 캐싱

   같은 도구 호출 결과를 단기 캐시 (DynamoDB TTL) — 동일 질문 반복 시 모델 호출 0

4. 4
   경량 도구 우선

   비용 높은 도구(Browser, Code Interpreter)는 필요 시에만 활성화

5. 5
   모델 분리

   오케스트레이터만 Opus, 실행 워커는 Haiku/Nova — 멀티에이전트 비용 최적화

비용 모니터링

귀속 · 계층 감시 · 자동 차단 — 비용을 놓치지 않는 체계

IAM Principal 비용 귀속

어떤 팀·에이전트가 얼마나 쓰는지 IAM 역할 기반으로 자동 분류 — 대시보드 시각화와 예산 알람까지

1. 1
   에이전트 호출

   IAM 역할 기반 Bedrock API 호출

2. 2
   자동 귀속

   IAM 사용자/역할별 비용 자동 분류

3. 3
   대시보드

   팀별·에이전트별·모델별 비용 시각화

4. 4
   알람

   예산 초과 시 CloudWatch 알람 → SNS 알림

4계층 모니터링 체계

실시간부터 예방까지 — 비용을 놓치지 않는 계층 설계

즉시 적용 체크리스트

오늘 바로 적용할 수 있는 6가지 최적화

1. 1
   maxTokens 설정

   태스크별 출력 한도 지정 — 분류 10~50, 요약 300~800 등 불필요한 생성 방지

2. 2
   Prompt Caching 활성화

   반복되는 시스템 프롬프트에 캐시 적용 — 캐시 히트 시 입력 토큰 90% 절감

3. 3
   모델 라우팅

   단순 태스크는 Haiku로 자동 분기 — 복잡한 추론만 Opus 사용

4. 4
   RAG Top-K 축소

   반환 청크를 Top-K=3 수준으로 제한 — LLM 입력 토큰 즉시 감소

5. 5
   반복 상한

   호출 시 limits + Swarm·Harness maxIterations로 에이전트 루프 통제 — 과금 폭주 차단

6. 6
   비용 태그

   팀·에이전트별 비용 귀속 태그 적용 — 측정이 통제의 시작