🎯 RAG 파이프라인

LLM의 4대 한계

모델 자체로는 해결할 수 없는 구조적 문제 — 외부 지식 주입이 만드는 차이

RAG vs Fine-tuning

외부 지식 주입 vs 모델 내부 학습 — 대체가 아니라 보완 관계

RAG 파이프라인 개요

질문 하나가 여섯 단계를 지나 근거 있는 답이 되는 과정 — 모듈 끝까지 이어지는 러닝 예제

R · A · G 3단계

Retrieval → Augmentation → Generation

오프라인 인덱싱 vs 온라인 검색

사전 준비(인덱싱)와 실시간 처리(검색+생성)의 분리

미리 알아둘 RAG의 한계

RAG는 만능이 아님 — 한계를 알아야 보이는 다음 기법

인덱싱 파이프라인

문서를 검색 가능한 상태로 바꾸는 오프라인 구간 — 한 번 구축하면 검색 시점에는 반복 없음

인덱싱이란?

질문이 오기 전에, 문서를 검색 가능한 형태로 미리 바꿔 두는 오프라인 준비 작업

인덱싱 4단계

문서를 검색 가능한 형태로 변환하는 과정

1. 1
   파싱

   PDF, HTML, DOCX에서 텍스트와 구조(제목·표) 추출
   기본 · 파운데이션 모델 파서 · Data Automation 3전략

2. 2
   청킹

   긴 텍스트를 의미 단위로 분할
   한국어 300~800자 + 50~100자 오버랩 권장

3. 3
   임베딩

   텍스트를 고차원 벡터로 변환
   Titan Embed v2 — 1,024차원, 최대 입력 8,192토큰

4. 4
   저장

   벡터 + 원문 청크 + 메타데이터를 인덱스에 기록
   OpenSearch, S3 Vectors, FAISS

청킹의 실제 — restaurant-policy.pdf

문서를 통째로 임베딩하면 유사도가 흐려집니다 — 의미 단위로 나눈 청크가 검색·주입·인용의 단위

청킹 전략 6가지

단순한 분할에서 정교한 분할로 — 어떻게 나누느냐가 검색 정확도를 결정

임베딩 — 의미를 좌표로

임베딩 모델은 텍스트를 1,024차원 공간의 좌표에 놓습니다 — 의미가 비슷하면 좌표가 가깝다

벡터 스토어 비교

워크로드에 따른 최적 벡터 스토어 선택

검색 파이프라인

질문을 벡터로 바꿔 유사 문서를 찾는 온라인 구간 — 매 요청 실시간 실행

기존 검색 vs RAG의 검색

같은 "검색"이지만 찾는 방식이 다릅니다 — 단어 일치가 아니라 의미 거리

벡터 검색 동작 원리

키워드는 완전 일치만, 벡터는 동의어·유사 표현·다국어까지 포착

1. 1
   쿼리 임베딩

   질문을 벡터로 변환 — 인덱싱과 동일한 임베딩 모델 필수

2. 2
   벡터 검색 (ANN)

   수백만 벡터에서 유사 후보 수백 개를 밀리초에 탐색

3. 3
   하이브리드 (선택)

   키워드(BM25) 결과와 결합 — 고유명사·코드 매칭 보완

4. 4
   리랭킹

   후보를 쿼리와 1:1 정밀 비교하여 순위 재조정

5. 5
   Top-K 선택

   최종 상위 K개만 LLM 프롬프트에 주입

검색의 실제 — 유사도 점수와 Top-K

질문이 벡터가 되어 인덱스를 만나는 순간 — 점수로 줄 세우고 상위 K개만 통과

유사도 메트릭 3가지

벡터 간 "가까움"을 측정하는 방법 — 데이터 특성에 따라 선택

KNN — 모두와 비교하는 전수 검색

k-Nearest Neighbors — 질문 벡터를 인덱스의 모든 벡터와 비교해 가장 가까운 k개를 고른다

ANN — 지름길로 좁히는 근사 검색

Approximate Nearest Neighbor — 미리 만든 인덱스 구조로 후보를 좁혀 일부만 비교, "거의 정확한 답"을 밀리초에

KNN vs ANN — 정확도와 속도의 거래

KNN(k-Nearest Neighbors)은 정확하지만 느린 전수 비교 — ANN(Approximate Nearest Neighbor)은 인덱스로 "거의 정확한 답"을 밀리초에

ANN의 속 — HNSW

계층 그래프를 위에서 아래로 좁혀 내려가는 탐색 — 전수 비교 없이 밀리초를 만드는 구조

ANN의 속 — IVF

Inverted File Index — 군집 대표만 먼저 비교하고 가까운 군집만 여는 탐색, 후보 수를 줄이는 지렛대

ANN의 속 — PQ

Product Quantization — 벡터를 짧은 코드로 바꿔 압축한 채 비교, 메모리를 줄이는 지렛대

증강의 실제 — 프롬프트에 근거 넣기

Top-K로 고른 청크가 프롬프트에 들어가는 순간 — R·A·G의 A는 결국 프롬프트 설계

# ① 검색 결과(results)를 [문서 N]·출처 URI가 붙은 근거 블록으로 조립
context = "\n\n".join(
    f"[문서 {i+1}] (출처: {r['location']['s3Location']['uri']})\n"
    f"{r['content']['text']}"
    for i, r in enumerate(results)  # ② results는 Top-K개 — 컨텍스트 예산
)

# ③ 거절 지시 — 2행 / ④ 출처 표기 지시 — 3행
prompt = f"""아래 <근거> 문서만 사용해 질문에 답하세요.
근거에 없는 내용은 "문서에서 찾을 수 없습니다"라고 답합니다.
답변 끝에 사용한 문서 번호를 표기하세요.

<근거>
{context}
</근거>

질문: {question}"""