특수 데이터 RAG

특수 데이터 RAG

텍스트 청킹·임베딩만으로는 닿지 않는 데이터 — 형태에 맞춘 RAG 확장

벡터 검색이 놓치는 질문

"예약금 환불 규정이 어떻게 되나요?"는 restaurant-policy.pdf 청크로 풀렸습니다 — 다음 두 부류는 같은 방법으로 풀리지 않습니다

두 가지 확장 — 형태에 맞는 해법

문제의 성격이 다르면 해법도 두 갈래

Multimodal RAG

텍스트뿐 아니라 이미지·표·비디오·음성을 함께 인덱싱하고 검색하는 RAG

두 가지 인덱싱 경로 — 변환 vs 직접 임베딩

이미지를 벡터 공간에 올리는 두 경로 — 규모와 정확도 요구가 갈림길

멀티모달 임베딩 모델 — Titan vs Nova

직접 임베딩 경로의 모델 선택 — 모달리티 커버리지와 차원이 가르는 기준

이미지 속 표를 꺼내는 코드 — Vision 추출

가격 비교표 이미지를 마크다운 표로 변환해 기존 벡터 스토어에 추가

import boto3

bedrock = boto3.client("bedrock-runtime", region_name="us-east-1")

def extract_table_from_image(image_path: str) -> str:
    with open(image_path, "rb") as f:
        image_bytes = f.read()
    # ① 이미지와 텍스트를 한 메시지로 전달 — Vision 모델이 표를 읽음
    response = bedrock.converse(
        modelId="us.anthropic.claude-sonnet-4-6",
        messages=[{"role": "user", "content": [
            {"image": {"format": "png", "source": {"bytes": image_bytes}}},  # ② 표·차트는 PNG
            {"text": "이 가격 비교표를 마크다운 테이블로 변환해주세요. 모든 숫자를 정확하게 포함하세요."},  # ③ 추출 프롬프트
        ]}],
    )
    # ④ 반환된 마크다운 표 → 기존 텍스트 임베딩 파이프라인에 그대로 추가
    return response["output"]["message"]["content"][0]["text"]

표 이미지가 검색 가능한 텍스트로

Vision 추출의 입력과 출력 — 이미지였던 표가 임베딩 가능한 마크다운이 되는 순간

비디오·음성 — 트랜스크립트 + 타임스탬프

영상과 녹음을 검색 가능한 텍스트로 — 구간까지 짚어주는 답변

1. 1
   변환

   Amazon Transcribe로 음성을 텍스트로 — 한국어 포함 100+ 언어, 화자 분리·자동 언어 감지 지원.

2. 2
   청킹

   트랜스크립트를 60초 단위로 분할 — 비디오 1시간이면 약 60개 청크, 임베딩 비용은 미미.

3. 3
   메타데이터

   각 청크에 start_time·end_time과 원본 파일 경로를 기록 — 출처 추적의 재료.

4. 4
   답변

   "2분 30초~3분 30초 구간에서 설명합니다" — 프론트엔드에서 해당 구간 점프 링크 생성.

파싱 자동화 — Bedrock Data Automation

PDF의 표·이미지·텍스트를 자동 구조화 — Knowledge Base 파싱 전략으로 직접 연결

import boto3

bedrock_agent = boto3.client("bedrock-agent", region_name="us-east-1")
# ① Knowledge Base 데이터 소스에 Data Automation 파싱 전략 연결
bedrock_agent.create_data_source(
    knowledgeBaseId="KB-RESTAURANT-001",
    name="terms-with-tables",
    dataSourceConfiguration={
        "type": "S3",
        "s3Configuration": {"bucketArn": "arn:aws:s3:::restaurant-docs"},
    },
    vectorIngestionConfiguration={"parsingConfiguration": {
        # ② 파서 지정 — 인제스트 시 자동 파싱
        "parsingStrategy": "BEDROCK_DATA_AUTOMATION",
        # ③ MULTIMODAL — 텍스트 + 표 + 이미지를 모두 구조화 추출
        "bedrockDataAutomationConfiguration": {"parsingModality": "MULTIMODAL"},
    }},
)

GraphRAG

엔티티와 관계로 지식을 구조화해, 벡터 검색이 못 푸는 관계 질문에 답하는 RAG

GraphRAG 아키텍처

문서 하나에서 그래프와 벡터를 함께 만들고 검색에서 결합 — 벡터는 유사도, 그래프는 관계 담당

그래프 구축 과정

LLM 자동 추출 + 사람 검증 — 문서가 트리플이 되기까지 4단계

1. 1
   엔티티 추출

   LLM에 문서를 입력해 (엔티티, 타입)을 추출합니다 — 레스토랑 · 와인 · 코스 같은 도메인 개체.

2. 2
   관계 추출

   엔티티 쌍 사이의 관계 유형을 추론합니다 — includes · requires · pairs_with 같은 명시적 엣지.

3. 3
   사람 검증

   추출된 트리플을 도메인 전문가가 샘플 검증합니다 — LLM 오추출을 보정하는 품질 게이트.

4. 4
   적재 · 증분 갱신

   Neptune Analytics 또는 인메모리 그래프에 적재합니다 — 문서 변경 시 영향받는 엔티티·관계만 증분 업데이트.

그래프 + 벡터 — 하이브리드 에이전트

질문 유형에 따라 그래프 검색과 벡터 검색을 골라 쓰는 에이전트

핵심 포인트

search_graph

"페어링 가능한 와인 전부" — 관계·의존성 질문 담당

search_docs

"예약 취소 절차는?" — 정책·설명 텍스트 질문 담당

자동 선택

시스템 프롬프트의 기준대로 에이전트가 도구를 고름

복합 질문

"디너로 바꾸면 뭐가 달라지고, 취소 규정은?" — 두 도구 결합

코드

from strands import Agent, tool
import boto3
bedrock_rt = boto3.client("bedrock-agent-runtime", region_name="us-east-1")

# 그래프 검색 도구 — 엔티티의 관계를 직접 탐색
@tool
def search_graph(entity_name: str, relation: str = "") -> str:
    """레스토랑·와인·코스 간 관계를 그래프에서 검색합니다."""
    return format_relations(find_related(find_entity(entity_name), relation))

# 벡터 검색 도구 — 정책·설명 텍스트는 Knowledge Base Retrieve로, 선택은 에이전트가
@tool
def search_docs(query: str) -> str:
    """메뉴·정책·FAQ 텍스트를 벡터 검색합니다."""
    resp = bedrock_rt.retrieve(knowledgeBaseId="KB-RESTAURANT-001",
                               retrievalQuery={"text": query})
    return "\n\n".join(r["content"]["text"] for r in resp["retrievalResults"][:3])

agent = Agent(tools=[search_graph, search_docs])

그래프 적용 기준

모든 질문에 그래프가 필요한 것은 아님 — 두 번의 질문으로 판단

데이터 형태별 전략 선택

질문을 받으면 데이터 형태부터 — 형태가 전략과 도구를 결정