RAG 검색 파이프라인

검색 파이프라인

질문을 벡터로 바꿔 유사 문서를 찾는 온라인 구간 — 매 요청 실시간 실행

기존 검색 vs RAG의 검색

같은 "검색"이지만 찾는 방식이 다릅니다 — 단어 일치가 아니라 의미 거리

벡터 검색 동작 원리

키워드는 완전 일치만, 벡터는 동의어·유사 표현·다국어까지 포착

1. 1
   쿼리 임베딩

   질문을 벡터로 변환 — 인덱싱과 동일한 임베딩 모델 필수

2. 2
   벡터 검색 (ANN)

   수백만 벡터에서 유사 후보 수백 개를 밀리초에 탐색

3. 3
   하이브리드 (선택)

   키워드(BM25) 결과와 결합 — 고유명사·코드 매칭 보완

4. 4
   리랭킹

   후보를 쿼리와 1:1 정밀 비교하여 순위 재조정

5. 5
   Top-K 선택

   최종 상위 K개만 LLM 프롬프트에 주입

검색의 실제 — 유사도 점수와 Top-K

질문이 벡터가 되어 인덱스를 만나는 순간 — 점수로 줄 세우고 상위 K개만 통과

유사도 메트릭 3가지

벡터 간 "가까움"을 측정하는 방법 — 데이터 특성에 따라 선택

KNN — 모두와 비교하는 전수 검색

k-Nearest Neighbors — 질문 벡터를 인덱스의 모든 벡터와 비교해 가장 가까운 k개를 고른다

ANN — 지름길로 좁히는 근사 검색

Approximate Nearest Neighbor — 미리 만든 인덱스 구조로 후보를 좁혀 일부만 비교, "거의 정확한 답"을 밀리초에

KNN vs ANN — 정확도와 속도의 거래

KNN(k-Nearest Neighbors)은 정확하지만 느린 전수 비교 — ANN(Approximate Nearest Neighbor)은 인덱스로 "거의 정확한 답"을 밀리초에

ANN의 속 — HNSW

계층 그래프를 위에서 아래로 좁혀 내려가는 탐색 — 전수 비교 없이 밀리초를 만드는 구조

ANN의 속 — IVF

Inverted File Index — 군집 대표만 먼저 비교하고 가까운 군집만 여는 탐색, 후보 수를 줄이는 지렛대

ANN의 속 — PQ

Product Quantization — 벡터를 짧은 코드로 바꿔 압축한 채 비교, 메모리를 줄이는 지렛대

증강의 실제 — 프롬프트에 근거 넣기

Top-K로 고른 청크가 프롬프트에 들어가는 순간 — R·A·G의 A는 결국 프롬프트 설계

# ① 검색 결과(results)를 [문서 N]·출처 URI가 붙은 근거 블록으로 조립
context = "\n\n".join(
    f"[문서 {i+1}] (출처: {r['location']['s3Location']['uri']})\n"
    f"{r['content']['text']}"
    for i, r in enumerate(results)  # ② results는 Top-K개 — 컨텍스트 예산
)

# ③ 거절 지시 — 2행 / ④ 출처 표기 지시 — 3행
prompt = f"""아래 <근거> 문서만 사용해 질문에 답하세요.
근거에 없는 내용은 "문서에서 찾을 수 없습니다"라고 답합니다.
답변 끝에 사용한 문서 번호를 표기하세요.

<근거>
{context}
</근거>

질문: {question}"""