음성 AI 에이전트

Speech-to-Speech

텍스트 변환 없이 음성을 직접 이해하고 음성으로 응답하는 네이티브 처리

Speech-to-Speech vs 기존 파이프라인

3단계 변환의 레이턴시 누적·감정 소실 vs 단일 모델의 직접 처리 — 두 방식의 구조적 차이

Speech-to-Speech 성능 지표

TTFA 평균 ~1.09초 — 기존 파이프라인 대비 크게 단축된 응답 속도

음성 에이전트 아키텍처

WebRTC 양방향 스트림 위에 Speech-to-Speech 모델과 도구를 결합

1. 1
   오디오 입력

   마이크에서 16kHz LPCM 오디오를 캡처. WebRTC 또는 WebSocket을 통해 서버로 스트리밍 전송.

2. 2
   Speech-to-Speech 모델

   오디오 토큰을 직접 이해하고 추론. 도구 호출이 필요하면 JSON으로 의도를 반환, 아니면 바로 음성 토큰 생성.

3. 3
   도구 실행

   에이전틱 루프가 모델 결정에 따라 외부 도구를 호출. 실행 결과를 컨텍스트에 추가하고 모델에 반환.

4. 4
   오디오 출력

   모델이 생성한 24kHz LPCM 음성 청크를 스피커로 실시간 재생. 스트리밍 방식으로 첫 음절부터 즉시 출력.

Nova Sonic

Bedrock 네이티브 Speech-to-Speech 모델 — 양방향 실시간 음성 대화

Amazon Nova Sonic 핵심 기능

양방향 스트리밍·자동 턴 감지·다국어·도구 호출 — 실시간 대화를 지탱하는 4가지 기능

대화 장면 — barge-in의 순간

에이전트가 말하는 도중 사용자가 끼어들어도 이어지는 대화 — full-duplex 타임라인

BidiNovaSonicModel 초기화

Strands SDK에서 Nova Sonic 모델을 양방향 스트리밍 모드로 연결

핵심 포인트

BidiNovaSonicModel

model_id와 client_config(region)로 초기화 — Nova 2 Sonic 양방향 연결

BidiAudioIO()

마이크+스피커 통합 I/O — 오디오 포맷은 모델 설정이 결정(LPCM)

BidiAgent(model=, tools=)

양방향 세션 전용 에이전트 — 도구는 기존 방식 그대로 장착

agent.run(inputs=, outputs=)

audio_io.input()·output()을 연결해 양방향 음성 세션 시작

코드

from strands.experimental.bidi import BidiAgent, BidiAudioIO
from strands.experimental.bidi.models import BidiNovaSonicModel

# Nova Sonic 양방향 모델 초기화
model = BidiNovaSonicModel(
    model_id="amazon.nova-2-sonic-v1:0",
    client_config={"region": "us-east-1"},
)
audio_io = BidiAudioIO()  # 마이크 + 스피커 — 포맷은 모델 설정이 결정 (LPCM)

# BidiAgent 구성
agent = BidiAgent(
    model=model,
    tools=[get_weather, search_db],
)
# 실행 — await agent.run(inputs=[audio_io.input()], outputs=[audio_io.output()])

Nova Sonic 스펙 비교

경쟁 Speech-to-Speech 모델 대비 Nova Sonic의 포지셔닝