RAG 개요

❓

RAG 필요성

환각 · 지식 단절 · 내부 데이터 · 출처

PART 1 · RAG 필요성

LLM의 4대 한계

모델 자체로는 해결할 수 없는 구조적 문제 — 외부 지식 주입이 만드는 차이

LLM 단독 RAG 적용

환각 그럴듯하지만 틀린 답 → 검색된 사실 기반 답변

지식 단절 학습 이후 정보 부재 → 실시간 데이터 접근

내부 데이터 회사 문서 접근 불가 → 프라이빗 Knowledge Base 연결

출처 어디서 왔는지 모름 → Citation 자동 생성

takeaway

할루시네이션은 없앨 수 없고 줄일 수만 있습니다.
잘못된 가격 안내·근거 없는 정책 답변은 곧 비즈니스 리스크 — 외부 지식 주입에 Citation·Guardrails를 병행합니다.

PART 1 · RAG 필요성

RAG vs Fine-tuning

외부 지식 주입 vs 모델 내부 학습 — 대체가 아니라 보완 관계

RAG

외부 지식 주입

• 데이터 갱신 즉시 반영 — 문서만 교체
• 모델 재학습 불필요
• 출처(Citation) 추적 가능
• 비용 낮음

"답변에 출처가 필요한가", "데이터가 자주 바뀌는가" — 하나라도 YES면 RAG입니다.

Fine-tuning

모델 가중치 변경

• 스타일·톤 변경에 적합
• 학습 데이터 필요 (수천~수만 건)
• 갱신마다 재학습 비용
• 도메인 용어 이해에 강점

모델이 도메인 용어 자체를 이해해야 할 때 — RAG와 병용(CPT+RAG)도 가능합니다.

takeaway

실무의 순서는 정해져 있습니다 — RAG를 먼저 구축하고, 정확도가 부족한 부분만 Fine-tuning으로 보완합니다.

🔄

RAG 전체 흐름

R · A · G 3요소 · 오프라인과 온라인

PART 2 · RAG 전체 흐름

RAG 파이프라인 개요

질문 하나가 여섯 단계를 지나 근거 있는 답이 되는 과정 — 모듈 끝까지 이어지는 러닝 예제

"예약금 환불 규정이 어떻게 되나요?"
질문 — 답은 사내 문서에만 있음

→

RAG 파이프라인 — 여섯 단계

오프라인 — 문서 업로드 시 미리 (배치·주기적)
① 인제스트→② 청킹→③ 임베딩·저장


온라인 — 질문마다 실시간
④ 검색→⑤ 증강→⑥ 생성

두 구간의 경계가 벡터 DB — ③이 쓰고 ④가 읽습니다

→

"예약금은 이용일 3일 전까지 취소하면 전액 환불됩니다 [문서 1]"
답변 — 출처가 첨부된 응답

takeaway

이 질문 하나가 인제스트 → 청킹 → 임베딩 → 검색 → 증강 → 생성 여섯 단계를 관통합니다 — 어느 한 단계가 부실하면 답도 부실해집니다.

PART 2 · RAG 전체 흐름

R · A · G 3단계

Retrieval → Augmentation → Generation

takeaway

모델은 그대로 두고 프롬프트에 근거를 주입합니다 — 답변에 출처가 첨부되어 신뢰를 확보합니다.

PART 2 · RAG 전체 흐름

오프라인 인덱싱 vs 온라인 검색

사전 준비(인덱싱)와 실시간 처리(검색+생성)의 분리

오프라인 (인덱싱)

사전 준비 — 배치·주기적

• 문서 파싱 → 텍스트 추출
• 청킹 → 의미 단위 분할
• 임베딩 → 벡터 변환
• 벡터 스토어 저장

새 문서 업로드 또는 주기적 스케줄로 실행 — 이 구간의 품질이 검색 정확도를 결정합니다.

온라인 (검색+생성)

실시간 — 매 요청

• 쿼리 임베딩 생성
• 벡터 유사도 검색
• 상위 K개 문서 선택
• 프롬프트 증강 → LLM 생성

사용자 질문마다 실시간 수행 — 수백 ms에서 수 초, 지연 시간이 핵심입니다.

takeaway

두 구간의 경계는 벡터 DB — 그리고 양쪽 모두 동일한 임베딩 모델을 사용해야 합니다.

PART 2 · RAG 전체 흐름

미리 알아둘 RAG의 한계

RAG는 만능이 아님 — 한계를 알아야 보이는 다음 기법

검색 의존

검색 실패 = 답변 실패

인덱싱 지연

실시간 반영에 분~시간 소요

멀티홉 추론

A→B→C 관계 추적에 약함

컨텍스트 길이

검색 결과가 많으면 잘림

takeaway

RAG 품질은 검색 품질이 좌우합니다 — 프롬프트 엔지니어링보다 인덱싱·검색 개선이 우선이며, 이어지는 두 파트가 바로 그 이야기입니다.