생성형 AI 기초

생성형 AI

패러다임 전환 · 4단계 진화 · 훈련과 추론

PART 1 · 생성형 AI

생성형 AI — 한눈에

규칙에서 학습으로, 다시 생성으로

하나의 모델로 수백 가지 태스크

이해·추론·생성을 하나의 모델로 통합한 패러다임입니다 — 태스크마다 전용 모델을 만들던 시대가 끝났습니다.

4단계 패러다임 — 규칙 → ML → 딥러닝 → 생성형 AI
프롬프트만 바꾸면 재학습 없이 대응
훈련과 추론 — 만드는 방식 vs 사용하는 방식

takeaway

태스크마다 모델을 학습하던 시대에서, 사전학습된 하나의 모델을 프롬프트로 사용하는 시대로 넘어왔습니다.

발표자 노트

핵심은 이 한 줄입니다. 예전에는 번역 모델 따로, 요약 모델 따로 만들었다면, 지금은 사전학습된 모델 하나에 프롬프트만 바꿔서 수백 가지 일을 시킵니다. 이게 어떻게 가능해졌는지 세 장에 걸쳐 순서대로 열어보겠습니다.

PART 1 · 생성형 AI

4단계 패러다임 전환

전문가가 코딩하던 규칙에서 스스로 배우는 모델로 — 4단계 진화의 궤적

1
규칙 기반 — 1950~2010
- if-else 규칙을 전문가가 직접 코딩
- 모든 경우를 사전 정의 — 유지보수 한계, 새 규칙 추가에 수 주 소요
2
머신러닝 — 2010~2017
- 데이터에서 패턴을 자동 학습 — Feature Engineering + 태스크마다 전용 모델
- 정형 데이터 예측에 강점, 학습에 수 주
3
딥러닝 — 2017~2022
- 신경망이 특징을 자동 추출 — 대규모 비정형 데이터 처리 (이미지, 음성)
- 여전히 단일 태스크 전용 모델
4
생성형 AI — 2022~현재
- 사전학습된 하나의 모델로 수백 가지 태스크 — 이해 · 추론 · 생성 통합
- 프롬프트만 바꾸면 재학습 없이 수 분 내 대응

수 주 → 수 분 새 태스크 대응 시간 — 재학습 없이 프롬프트만 교체

takeaway

단계가 내려올수록 사람이 정의하는 규칙은 줄고, 모델이 스스로 배우는 범위가 넓어집니다.

발표자 노트

규칙 기반 시절에는 전문가가 if-else를 직접 짰고, 머신러닝부터는 데이터에서 패턴을 배우기 시작했습니다. 단계가 내려올수록 사람이 정의하는 부분은 줄고 모델이 스스로 배우는 범위가 넓어지는 게 보이실 겁니다. 오른쪽 수치가 실무 임팩트인데, 새 태스크 대응이 수 주에서 수 분으로 줄었습니다. 재학습 대신 프롬프트만 교체하면 되기 때문입니다.

PART 1 · 생성형 AI

모델 훈련 — 만드는 방식

기존 ML은 태스크마다 팀이 직접 학습, 생성형 AI는 제공자가 사전훈련

기존 ML — 직접 학습

⏱ 수 주 ~ 수 개월

데이터 수집 — 정형 데이터 수만 건 라벨링
전처리 — Feature Engineering, 정규화
모델 훈련 — 태스크 전용 모델 학습 (수 시간~수 일)
평가/배포 — 목표 정확도를 넘으면 서빙

생성형 AI — 사전훈련 + 정렬

⏱ 수 개월 · 수억 달러 (제공자 부담)

대규모 데이터 수집 — 인터넷 텍스트 수조 토큰 (제공자가 수행)
사전훈련 (Pre-training) — 수천 GPU로 수 개월간 학습
정렬 (RLHF / DPO) — 인간 피드백으로 응답 품질 조정
(선택) 파인튜닝 — 사용자가 도메인 데이터로 추가 학습

takeaway

기존 ML은 태스크마다 팀이 직접 수 주를 들여 학습합니다 — 생성형 AI의 훈련 비용은 제공자가 부담하고, 사용자는 만들어진 모델을 그대로 씁니다.

발표자 노트

만드는 방식부터 비교해 보겠습니다. 왼쪽의 기존 ML은 데이터 수집부터 배포까지 전부 우리 팀 몫이었고, 태스크가 바뀌면 이 과정을 처음부터 반복했습니다. 오른쪽의 생성형 AI는 수천 GPU로 수 개월을 돌리는 사전훈련을 제공자가 대신 해주고, 우리는 완성된 모델을 가져다 쓰는 구조죠. 수억 달러짜리 훈련 비용이 제공자 부담으로 넘어간 것, 이게 진입 장벽을 무너뜨린 핵심입니다.

PART 1 · 생성형 AI

모델 추론 — 사용하는 방식

고정 스키마 입력의 예측 vs 자연어 프롬프트의 생성

기존 ML — 전용 모델

⏱ 밀리초 · 결정적 출력

정해진 Feature 입력 — 학습 시 정의된 컬럼만 허용 (스키마 고정)
모델 연산 — forward pass (ms 단위)
예측 출력 — 숫자/확률 1개 (예: 이탈 확률 0.73)

생성형 AI — 범용 모델

⏱ 초 단위 · 확률적 출력

지침(프롬프트) 입력 — 형식 제약 없음, 자연어로 태스크 정의
토큰 순차 생성 — 파운데이션 모델이 확률적으로 다음 토큰 생성
생성 출력 — 텍스트, 코드, 요약 등 자유 형식

takeaway

ML은 고정 입력 → 예측, 생성형 AI는 자연어 입력 → 생성입니다 — 프롬프트만 바꾸면 재학습 없이 새 태스크에 대응합니다.

발표자 노트

사용하는 방식도 다릅니다. 기존 ML은 학습할 때 정한 스키마 그대로 입력해야 하고 출력도 숫자 하나입니다. 생성형 AI는 자연어로 태스크를 정의하니까 "요약해줘"를 "번역해줘"로 바꾸는 것만으로 다른 모델이 되는 셈이죠. 대신 출력이 확률적이라는 점은 기억해 두세요. 같은 질문에 다른 답이 나올 수 있다는 건 뒤에서 다룰 한계와 샘플링 이야기로 이어집니다.

파운데이션 모델 생태계

100+ 파운데이션 모델 · 모델 선택 전략 · 멀티모달

PART 2 · 파운데이션 모델 생태계

파운데이션 모델 생태계 — 한눈에

진화의 흐름, 프로바이더 지형, 선택의 기준

100+ 모델, 선택의 문제

Amazon Bedrock에서 100+ 파운데이션 모델을 서버리스로 접근합니다 — 남는 것은 유스케이스에 맞는 선택입니다.

진화 타임라인 — Transformer → Agentic
대표 7개 프로바이더 비교
모델 선택 12축 · 4개 관점

takeaway

정답 모델은 없습니다 — 성능 · 비용 · 기술 · 운영 4개 관점으로 유스케이스에 맞춰 선택합니다.

발표자 노트

Bedrock에는 이미 100개가 넘는 모델이 올라와 있습니다. 그래서 질문이 바뀝니다. 어떤 모델이 있느냐가 아니라, 무엇을 기준으로 고르느냐입니다. 진화의 흐름을 먼저 보고, 프로바이더별 강점을 훑은 다음, 선택 기준 12축으로 마무리하겠습니다.

PART 2 · 파운데이션 모델 생태계

파운데이션 모델 진화 타임라인

Transformer 등장부터 에이전틱 모델까지

takeaway

2017년 Transformer가 기반을 만들고, 2024년 Reasoning이 "더 오래 생각하기"를 열었으며, 2026년은 Agent = Model + Harness의 시대입니다.

발표자 노트

2017년 Transformer 논문이 모든 것의 출발점입니다. RNN의 순차 처리를 병렬로 바꾸면서 대규모 학습이 가능해졌고, 2020년 GPT-3가 모델을 학습하지 않고 사용하는 시대를 열었습니다. 2022년 ChatGPT가 대중화의 기점이었다면, 2024년부터는 더 오래 생각하는 Reasoning 모델이 등장했고요. 지금 2026년의 키워드는 Agentic입니다. 모델 단독 성능보다 도구와 메모리를 갖춘 실행 환경이 품질을 좌우하는 시대인데, 이 얘기는 마지막 파트에서 자세히 하겠습니다.

PART 2 · 파운데이션 모델 생태계

Amazon Bedrock 모델 프로바이더

100+ 모델을 서버리스로 — 7개 프로바이더의 대표 모델과 호출 코드

1. Anthropic

2. Amazon

3. OpenAI

4. Meta

5. Google

6. Mistral

7. xAI

발표자 노트

일곱 개 프로바이더를 다 외우실 필요는 없고, 각자의 강점 축만 잡으시면 됩니다. Anthropic Claude는 추론과 코딩, Amazon Nova는 멀티모달과 비용 효율, Meta Llama는 오픈 웨이트라 온프레미스 배포까지 가능하죠. 호출 방식이 갈리는 점도 봐주세요. 대부분은 Converse나 invoke_model로 부르지만, OpenAI와 Gemma 4, Grok은 bedrock-mantle 엔드포인트에서 OpenAI SDK로 호출합니다.

PART 2 · 파운데이션 모델 생태계

모델 선택 기준 4대 카테고리

유스케이스에 맞는 모델을 고르는 판단 기준 — 12축을 4개 관점으로 조감

발표자 노트

선택 기준은 열두 개나 되지만, 크게 묶으면 네 관점입니다. 성능으로 후보를 찾고, 비용으로 지속 가능한지 보고, 기술 요건으로 아키텍처에 맞는지 확인하고, 운영 요건으로 걸러냅니다. 다음 장에서 이 네 관점을 열두 축으로 펼쳐보겠습니다.

PART 2 · 파운데이션 모델 생태계

모델 선택 12축 — 4개 관점

태스크 성능부터 비용·기능·운영 요건까지 카테고리별 검토 기준

성능

목적 (Task Fit) — 어떤 태스크를 수행하는가?
• SWE-bench, MMLU, 자체 평가셋
• 모델 카드에서 벤치마크 점수 확인
• 유사 도메인 모델로 시작
추론 능력 (Reasoning) — 표준 vs Deep Thinking?
• GPT-5.6 — reasoning effort 제어 (수초~수분)
• Claude Extended Thinking — 장문 사고
• 복잡 문제는 Reasoning 모델 필수

비용

비용 (Cost) — 월 예산 내에 들어오는가?
• 토큰 단가 × 예상 트래픽
• 모델 라우팅 (고가 ↔ 저가)
• 대화 길어질수록 급증
캐싱 (Caching) — 프롬프트 캐싱 가능?
• Prompt caching 90% 비용 절감
• 시스템 프롬프트, 문서 반복 활용
• 대규모 문서 처리 필수
배치 처리 (Batch) — 비동기·배치 API 필요?
• Batch API 50% 비용 절감
• 실시간 vs 배치 선택
• 야간 배치 처리로 비용 최적화

기술

컨텍스트 (Context) — 입력 데이터가 얼마나 긴가?
• 200K ~ 1M 토큰 범위 확인
• 문서·대화 토큰 프로파일링
• 문서 검색은 1M 필수
멀티모달 (Multimodal) — 텍스트 외 다른 모달리티 필요?
• 이미지·음성·비디오 입출력
• 각 모달리티별 지원 확인
• Vision + Audio 동시 필요 드물어
도구 호출 (Tool Use) — API·함수 호출 필요?
• 도구 호출, 에이전트 기능
• JSON Schema 지원
• 에이전트 구성시 필수

운영

지원 언어 (Languages) — 한국어/다국어 품질이 충분한가?
• 모델별 지원 언어 목록
• 실제 품질 테스트 필수
• 비영어권은 Gemma 강점
레이턴시 (Latency) — 실시간 대화? 배치 처리?
• TTFT (Time To First Token)
• Service Tiers (Priority/Standard/Flex/Reserved)
• 챗봇은 <1s 필수
라이선스 (License) — 온프레미스/커스터마이징 필요?
• 상용 API vs 오픈웨이트
• Apache 2.0 vs Llama License
• 맞춤형은 오픈소스 필수
안전성 (Compliance) — 규제·컴플라이언스 요건?
• HIPAA, 금융 규제 준수
• 데이터 잔류 리전 제한
• Guardrails, PII 마스킹

takeaway

12축을 한 번에 다 따지지 않습니다 — 성능으로 후보를 좁히고, 비용·기술·운영 요건으로 걸러냅니다.

발표자 노트

실무에서는 이 순서대로 쓰시면 됩니다. 먼저 성능 탭의 벤치마크와 자체 평가셋으로 후보를 두세 개로 좁히고, 비용 탭에서 토큰 단가에 예상 트래픽을 곱해 월 예산을 확인합니다. 캐싱 90%, 배치 50% 절감은 설계 단계에서 미리 반영할수록 효과가 큽니다. 기술과 운영은 탈락 조건에 가깝습니다. 컨텍스트 길이가 모자라거나 규제 요건을 못 맞추면 성능이 좋아도 못 쓰니까요.