Agentic RAG

Agentic RAG

검색을 에이전트가 자율 제어 — 부족하면 다시, 불필요하면 건너뛰고, 여러 소스를 교차 검증

고정 파이프라인이 놓치는 것

단순 RAG는 성실함 — 문제는 어떤 질문이 와도 똑같이 성실하다는 것

1. 1
   질문 수신

   "안녕하세요" 같은 인사도, 여러 소스가 필요한 복합 질문도 같은 길로 들어갑니다.

2. 2
   항상 검색

   검색이 불필요한 질문에도 벡터 검색을 실행 — 비용과 레이턴시를 낭비합니다.

3. 3
   무조건 삽입

   관련 없는 결과도 그대로 프롬프트에 삽입 — 검색이 실패했다는 사실을 인지하지 못합니다.

4. 4
   생성

   부족한 컨텍스트로도 답변을 생성 — 검색 누락은 할루시네이션(환각)으로 이어집니다.

Naive RAG vs Agentic RAG

항상 검색 vs 판단 후 검색 — 기준은 질문의 복잡도와 실패 비용

같은 질문, 두 갈래 여정

첫 검색이 빗나간 순간 — 그대로 생성하는 파이프라인과 고쳐서 다시 검색하는 에이전트

검색의 도구화

에이전트에게 검색을 맡기는 방법 — Knowledge Base 검색을 @tool 하나로 감싸기

Knowledge Base 검색을 @tool로

Retrieve API 호출을 함수로 감싸고 @tool을 붙이면 — 에이전트가 필요할 때만 호출하는 검색 도구

from strands import tool
import boto3
bedrock_rt = boto3.client("bedrock-agent-runtime", region_name="us-east-1")

# ① 도구명 + @tool — 함수 하나가 곧 검색 도구
@tool
def search_terms(query: str) -> str:
    # ② docstring — 에이전트가 도구를 고르는 유일한 근거
    """레스토랑 정보를 검색합니다. 메뉴, 예약, 위치 관련 질문에 사용합니다."""
    response = bedrock_rt.retrieve(
        knowledgeBaseId="KB-RESTAURANT-001",
        retrievalQuery={"text": query},
        retrievalConfiguration={"vectorSearchConfiguration": {
            # ③ 상위 3개 청크만 + 하이브리드 검색
            "numberOfResults": 3,
            "overrideSearchType": "HYBRID",
        }},
    )
    # ④ 반환 문자열이 그대로 에이전트 컨텍스트에 들어간다
    return "\n\n".join(r["content"]["text"] for r in response["retrievalResults"])

에이전트가 보는 것은 docstring뿐

도구 선택의 유일한 근거 — 모호한 설명은 잘못된 도구 선택과 비용 낭비로 직결

소스 지도 — 질문별 담당 소스

소스마다 도구 하나 — 정적 문서는 Knowledge Base로, 실시간 데이터는 API로 분리

이 질문, 어디로

검색 생략까지 포함해 네 갈래 — 코드 분기가 아니라 docstring과 시스템 프롬프트가 만드는 판단 기준, 실행은 에이전트의 몫

멀티 소스 에이전트

도구 3개와 선택 기준을 주면 — 복합 질문은 에이전트가 순서대로 호출해 종합

설계 원칙

1 도구 = 1 소스

Knowledge Base 전용·API 전용으로 책임 분리 — 도구가 곧 소스의 경계

system_prompt

도구 선택 기준과 폴백을 명시해야 에이전트가 따릅니다.

복합 질문

에이전트가 여러 도구를 순서대로 호출 → 결과 종합

도구 수 제한

10개 이하 권장 — 많아지면 선택 정확도 하락

코드

# 멀티 소스 에이전트 — 도구 3개를 주면 선택은 에이전트가 한다
agent = Agent(
    model=model,
    system_prompt="""레스토랑 추천 컨시어지입니다.
도구 선택 기준:
1. 메뉴/정책/규정 → search_terms
2. 레스토랑 상품/가격/혜택 → search_restaurants
3. 실시간 좌석/예약 현황 → check_reservations
복합 질문은 여러 도구를 순서대로 호출하세요.""",
    tools=[search_terms, search_restaurants, check_reservations],
)

# 복합 질문 — "지금 레스토랑보다 싼 곳 있어? 바꾸면 취소 규정은?"
# → check_reservations(현재 예약 확인)
# → search_restaurants(더 저렴한 레스토랑)
# → search_terms(변경 취소 수수료) → 종합 답변 생성

자기 평가

첫 검색이 빗나가도 끝이 아니게 — 결과를 스스로 평가하고 부족하면 재검색

Self-RAG 루프

검색 → 평가 → 재작성 — 충분해질 때까지, 그러나 무한히는 아니게

루프 한 바퀴 — 실제 장면

"예약금 환불 규정이 어떻게 되나요?"가 답이 되기까지 — 검색 두 번 · 평가 두 번 · 재작성 한 번

판단 규칙을 프롬프트에

별도 파이프라인 없이 — 결과 품질 판단과 재검색 규칙을 시스템 프롬프트로 지시

핵심 포인트

판단 규칙

관련 · 부분 관련 · 무관 — 검색 결과 품질을 3단계로 자기 평가

재검색

무관하면 쿼리를 바꿔 재시도 — 횟수 제한으로 무한 루프 방지

폴백 응답

재검색 후에도 없으면 추측 대신 정직한 안내로 전환

추측 금지

검색 결과에 없는 내용 생성 차단 — 할루시네이션(환각) 방어선

코드

# 검색 결과 판단 규칙 — 자기 평가를 시스템 프롬프트로 지시
agent = Agent(
    model=model,
    system_prompt="""레스토랑 추천 컨시어지입니다.

검색 결과 판단 규칙:
1. 질문과 직접 관련 있으면 → 답변
2. 부분적으로만 관련 있으면 → 담당 팀 연결 안내
3. 전혀 관련 없으면 → 쿼리를 바꿔서 재검색 (최대 1회)
4. 재검색 후에도 없으면 → "전문 상담원 연결이 필요합니다"

절대 금지: 검색 결과에 없는 내용을 추측하여 답변""",
    tools=[search_terms, search_restaurants, check_reservations],
)

# "글루텐프리 메뉴" → 검색 0건 → 쿼리 변형 재검색
# → 여전히 없음 → "셰프에게 직접 문의가 필요합니다. 연결해드릴까요?"

그래도 못 찾으면 — 에스컬레이션 4레벨

자동 재시도에서 사람 연결까지 — 에이전트가 따르도록 각 레벨의 진입 조건을 프롬프트에 명시

전체 조립 — 도구화·라우팅·자기 평가를 한 에이전트로

새 개념 없이 조립만 — 세 재료가 Agent 생성자 하나에 담기는 완성형

# Agentic RAG 완성형 — 파트 2~4의 재료를 에이전트 하나로 조립
agent = Agent(
    model=model,
    # ① 도구 장착 — PART 2 검색의 도구화
    tools=[search_terms, search_restaurants, check_reservations],
    # ② 시스템 프롬프트 — PART 3 라우팅 기준 + PART 4 판단 규칙
    system_prompt="""레스토랑 추천 컨시어지입니다.

도구 선택 기준:
1. 메뉴/정책/규정 → search_terms
2. 상품/가격/혜택 → search_restaurants
3. 실시간 좌석/예약 → check_reservations

검색 결과 판단 규칙:
- 무관하면 쿼리를 바꿔 재검색 (최대 1회)
- 재검색 후에도 없으면 상담원 연결 안내
절대 금지: 검색 결과에 없는 내용을 추측하여 답변""",
)

# ③ 호출 상한 — 판단을 맡긴 대가로 한도를 건다 (운영 가드레일의 시작)
result = agent("예약금 환불 규정이 어떻게 되나요?",
               limits={"turns": 6, "total_tokens": 20_000})

구현 경로 — Strands vs AgentCore Gateway

조립한 에이전트를 어디에 올릴까 — 신규 Agentic RAG의 두 가지 권장 경로, 제어의 깊이로 선택

운영 가드레일

판단을 맡겼다면 판단을 감시하는 장치까지가 설계 — 비용 · 품질 · 도입 순서의 안전장치