RAG 품질 평가

RAG 평가

RAG 파이프라인이 어디서 실패하는지 수치로 진단하여 체계적으로 개선하는 프로세스

감에서 수치로

평가가 있으면 달라지는 같은 질문 — 감이 수치가 되는 순간

평가 루프

측정과 조정의 반복 — "체감상 좋아졌다"가 아니라 동일 데이터셋의 수치 비교로

평가에 필요한 것들

데이터셋 · 지표 · 방법 · 도구 — 넷이 갖춰져야 시작되는 측정

데이터셋 구성

한 건 = 질문 · 정답 · 근거의 3요소 — 러닝 예제 한 건을 그대로

파일 실물 — JSONL

한 줄 = 평가 1건 — JSON Lines가 평가 데이터셋의 사실상 표준

// eval-dataset.jsonl — 한 줄이 평가 1건
{"question": "예약금 환불 규정이 어떻게 되나요?",
 "ground_truth": "이용일 3일 전까지 취소하면 전액 환불, 1~2일 전은 50% 공제…",
 "reference_contexts": ["restaurant-policy.pdf#chunk-12"],
 "category": "환불"}
{"question": "노쇼하면 예약금은 어떻게 되나요?",
 "ground_truth": "당일 취소와 노쇼는 환불되지 않습니다…",
 "reference_contexts": ["restaurant-policy.pdf#chunk-12"],
 "category": "환불"}
{"question": "단체 예약은 몇 명부터인가요?",
 "ground_truth": "8인 이상은 단체 예약으로 전화 접수…",
 "reference_contexts": ["restaurant-policy.pdf#chunk-31"],
 "category": "예약"}

설계 원칙

규모 · 분포 · 고정 · 근거 — 데이터셋의 질이 평가 전체의 상한

평가 3축

검색 품질 · 생성 품질 · 전체 품질을 분리하여 실패 지점을 정확히 진단하는 프레임워크

채점의 실제 — 같은 질문, 두 답변

"예약금 환불 규정이 어떻게 되나요?" — 같은 질문에 대한 두 답변을 3축으로 나란히 채점한 결과

핵심 메트릭 정의

각 메트릭이 측정하는 것과 낮을 때의 의미 — 실무의 중심은 Context Precision과 Faithfulness

실패 패턴 진단과 개선

메트릭 조합이 가리키는 실패 유형 — 비용 낮은 조정부터 시도

자동 평가 방법의 스펙트럼

규칙 → 통계 → 임베딩 → LLM 판정 — 유연해질수록 비싸진다

규칙 · 통계 · 임베딩 — 가벼운 세 방법

Judge 앞단의 저비용 게이트 — 각자 몇 줄이면 충분

LLM-as-Judge

LLM에게 "이 답변의 품질을 채점하라"고 요청하여 자동 평가하는 패턴

자동 채점의 동작 원리

평가 전용 프롬프트가 결정하는 채점 기준과 출력 형식

1. 1
   평가 입력

   질문 + 검색 결과 + RAG가 생성한 답변을 평가자 LLM에 전달.

2. 2
   채점 프롬프트

   판정 기준(supported/unsupported)과 JSON 출력 형식을 명시 — 기준이 곧 메트릭 정의.

3. 3
   점수 + 근거

   점수와 함께 근거(reasoning)를 출력하게 하여 채점의 신뢰성을 확보.

4. 4
   집계

   데이터셋 전체 샘플의 점수를 평균해 메트릭 산출 — 낮은 샘플부터 원인 분석.

판정의 실제 — 주장 단위 채점

차단된 답변 B의 Faithfulness 0.33 — 평가자 LLM이 답변을 주장으로 쪼개 문서와 대조한 결과

평가 도구

규모 · 커스터마이징 · 환경에 따른 3택 1

도구 선택 기준

소규모 PoC는 직접 구현 · 프로덕션 자동화는 Bedrock Evaluations · 커스텀 메트릭은 RAGAS

Bedrock Evaluations — 유형과 내장 메트릭

관리형을 골랐다면 — 평가 유형 2종과 Builtin 메트릭의 정확한 이름

RAGAS

RAGAS(Retrieval Augmented Generation Assessment) — RAG 파이프라인을 자동 평가하는 오픈소스 프레임워크

RAGAS 메트릭 6종

정답(reference) 준비 여부가 결정하는 사용 가능 메트릭

데이터셋 구성과 평가 실행

SingleTurnSample로 케이스 구성, 클래스 메트릭으로 평가 실행

from ragas import evaluate, EvaluationDataset, SingleTurnSample
from ragas.metrics import Faithfulness, ResponseRelevancy, ContextPrecision

# ① 평가 케이스 — 질문·답변·검색 컨텍스트·정답 4필드를 하나로
sample = SingleTurnSample(
    user_input="예약금 환불 규정이 어떻게 되나요?",
    response="예약금은 이용일 3일 전까지 취소하면 전액 환불이 가능합니다.",
    retrieved_contexts=["예약금은 이용일 3일 전까지 취소하면 전액 환불됩니다."],
    reference="예약금은 이용일 3일 전까지 취소하시면 전액 환불이 가능합니다.",
)
# ② 샘플 모음 → 평가 데이터셋
dataset = EvaluationDataset(samples=[sample])

# ③ 평가 실행 — 메트릭은 클래스 인스턴스로 전달 (0.4.x)
results = evaluate(dataset=dataset,
                   metrics=[Faithfulness(), ResponseRelevancy(), ContextPrecision()])
print(results.to_pandas())  # ④ 샘플별 점수 DataFrame

RAGAS + Bedrock 연동

Bedrock의 Claude를 평가자로 — 외부 API 없이 AWS 환경에서 완결

핵심 포인트

ChatBedrockConverse

langchain-aws의 Bedrock 채팅 모델 — RAGAS 평가자로 사용

BedrockEmbeddings

Response Relevancy의 역질문 유사도 계산에 필요

llm= / embeddings=

LangChain 모델을 넘기면 RAGAS가 내부에서 자동 래핑

모델 분리

평가 모델은 생성 모델과 다르게 — 자기 평가 편향 방지

코드

from langchain_aws import ChatBedrockConverse, BedrockEmbeddings
from ragas import evaluate
from ragas.metrics import Faithfulness, ResponseRelevancy

# 평가자 LLM — Bedrock Claude를 채점자로 지정
evaluator_llm = ChatBedrockConverse(
    model_id="us.anthropic.claude-sonnet-4-6",
    region_name="us-east-1", temperature=0,
)
# 임베딩 — Response Relevancy 계산용 Titan 임베딩
evaluator_embeddings = BedrockEmbeddings(model_id="amazon.titan-embed-text-v2:0")

# evaluate에 전달 — LangChain 모델은 내부에서 자동 래핑
results = evaluate(dataset=dataset,
                   metrics=[Faithfulness(), ResponseRelevancy()],
                   llm=evaluator_llm, embeddings=evaluator_embeddings)

지표별 실행 코드

evaluate 한 벌은 그대로 — 축에 맞는 메트릭 인스턴스만 바꿔 끼운다