Home / Amazon Bedrock 추론 인프라 / 추론 최적화
Lab

추론 최적화

Batch Inference, Provisioned Throughput, Prompt Routing 설정과 비용 비교

⏱ 45분 33 / 189

실습 — 추론 최적화

모델 호출의 비용·성능·가용성을 제어하는 인프라 계층

추론 프로파일부터 서비스 티어, 비용 최적화까지 프로덕션 운영 설계

⏱ 45분

워크로드에 맞는 추론 방식을 직접 설정하고 비용을 비교합니다

학습 목표

  • Batch Inference — JSONL 준비부터 잡 생성 · 결과 회수까지
  • 처리량 확보 — Service Tiers와 레거시 PT 비교
  • Prompt Routing 설정과 비용 확인
설정 한 줄의 최적화부터, 약정은 트래픽이 증명한 뒤에.

Inference Profile · Service Tiers · Batch · Provisioned — 워크로드에 맞는 조합이 답입니다.