Note

Service Tiers

Reserved, Priority, Standard, Flex — SLA와 가격 모델

⏱ 20분 31 / 189

Reserved, Priority, Standard, Flex — SLA와 가격 모델

모델 호출의 비용·성능·가용성을 제어하는 인프라 계층

추론 프로파일부터 서비스 티어, 비용 최적화까지 프로덕션 운영 설계

Reserved · Priority · Standard · Flex

PART 3 · Service Tiers

같은 모델, 다른 우선순위와 가격 — 지원 티어는 모델별 상이(모델 카드 확인)

항목	Reserved	Priority	Standard	Flex
용량	예약 전용 용량	On-Demand 우선 큐	On-Demand 기본	On-Demand 최저가
약정	1·3개월	없음	없음	없음
성능	처리량·지연 보장 (99.5% uptime)	최대 25% 빠른 OTPS	베스트 에포트	가용 시 처리 (거부 가능)
용도	24/7 미션크리티컬	스파이크 · 간헐적 크리티컬	개발 · 일상 작업	배치 · 비긴급 대량

takeaway

위로 갈수록 보장이, 아래로 갈수록 가격이 내려갑니다 — 기본은 Standard, 조정은 요청 단위 serviceTier로 합니다.

PART 3 · Service Tiers

요청별로 티어를 동적 지정 — 미지정 시 Standard(default)

Standard (기본)

Flex — 최저 비용

Priority — 우선 처리

Reserved — 예약 보장

PART 3 · Service Tiers

요청 티어와 실제 서빙 티어의 불일치 가능성

takeaway

요청한 티어와 서빙된 티어는 다를 수 있습니다 — 과금은 ResolvedServiceTier 기준입니다.

설정 한 줄의 최적화부터, 약정은 트래픽이 증명한 뒤에.

Inference Profile · Service Tiers · Batch · Provisioned — 워크로드에 맞는 조합이 답입니다.