🎯 생성형 AI 기초

핵심은 이 한 줄입니다. 예전에는 번역 모델 따로, 요약 모델 따로 만들었다면, 지금은 사전학습된 모델 하나에 프롬프트만 바꿔서 수백 가지 일을 시킵니다. 이게 어떻게 가능해졌는지 세 장에 걸쳐 순서대로 열어보겠습니다.

규칙 기반 시절에는 전문가가 if-else를 직접 짰고, 머신러닝부터는 데이터에서 패턴을 배우기 시작했습니다. 단계가 내려올수록 사람이 정의하는 부분은 줄고 모델이 스스로 배우는 범위가 넓어지는 게 보이실 겁니다. 오른쪽 수치가 실무 임팩트인데, 새 태스크 대응이 수 주에서 수 분으로 줄었습니다. 재학습 대신 프롬프트만 교체하면 되기 때문입니다.

만드는 방식부터 비교해 보겠습니다. 왼쪽의 기존 ML은 데이터 수집부터 배포까지 전부 우리 팀 몫이었고, 태스크가 바뀌면 이 과정을 처음부터 반복했습니다. 오른쪽의 생성형 AI는 수천 GPU로 수 개월을 돌리는 사전훈련을 제공자가 대신 해주고, 우리는 완성된 모델을 가져다 쓰는 구조죠. 수억 달러짜리 훈련 비용이 제공자 부담으로 넘어간 것, 이게 진입 장벽을 무너뜨린 핵심입니다.

사용하는 방식도 다릅니다. 기존 ML은 학습할 때 정한 스키마 그대로 입력해야 하고 출력도 숫자 하나입니다. 생성형 AI는 자연어로 태스크를 정의하니까 "요약해줘"를 "번역해줘"로 바꾸는 것만으로 다른 모델이 되는 셈이죠. 대신 출력이 확률적이라는 점은 기억해 두세요. 같은 질문에 다른 답이 나올 수 있다는 건 뒤에서 다룰 한계와 샘플링 이야기로 이어집니다.

Bedrock에는 이미 100개가 넘는 모델이 올라와 있습니다. 그래서 질문이 바뀝니다. 어떤 모델이 있느냐가 아니라, 무엇을 기준으로 고르느냐입니다. 진화의 흐름을 먼저 보고, 프로바이더별 강점을 훑은 다음, 선택 기준 12축으로 마무리하겠습니다.

2017년 Transformer 논문이 모든 것의 출발점입니다. RNN의 순차 처리를 병렬로 바꾸면서 대규모 학습이 가능해졌고, 2020년 GPT-3가 모델을 학습하지 않고 사용하는 시대를 열었습니다. 2022년 ChatGPT가 대중화의 기점이었다면, 2024년부터는 더 오래 생각하는 Reasoning 모델이 등장했고요. 지금 2026년의 키워드는 Agentic입니다. 모델 단독 성능보다 도구와 메모리를 갖춘 실행 환경이 품질을 좌우하는 시대인데, 이 얘기는 마지막 파트에서 자세히 하겠습니다.

일곱 개 프로바이더를 다 외우실 필요는 없고, 각자의 강점 축만 잡으시면 됩니다. Anthropic Claude는 추론과 코딩, Amazon Nova는 멀티모달과 비용 효율, Meta Llama는 오픈 웨이트라 온프레미스 배포까지 가능하죠. 호출 방식이 갈리는 점도 봐주세요. 대부분은 Converse나 invoke_model로 부르지만, OpenAI와 Gemma 4, Grok은 bedrock-mantle 엔드포인트에서 OpenAI SDK로 호출합니다.

선택 기준은 열두 개나 되지만, 크게 묶으면 네 관점입니다. 성능으로 후보를 찾고, 비용으로 지속 가능한지 보고, 기술 요건으로 아키텍처에 맞는지 확인하고, 운영 요건으로 걸러냅니다. 다음 장에서 이 네 관점을 열두 축으로 펼쳐보겠습니다.

실무에서는 이 순서대로 쓰시면 됩니다. 먼저 성능 탭의 벤치마크와 자체 평가셋으로 후보를 두세 개로 좁히고, 비용 탭에서 토큰 단가에 예상 트래픽을 곱해 월 예산을 확인합니다. 캐싱 90%, 배치 50% 절감은 설계 단계에서 미리 반영할수록 효과가 큽니다. 기술과 운영은 탈락 조건에 가깝습니다. 컨텍스트 길이가 모자라거나 규제 요건을 못 맞추면 성능이 좋아도 못 쓰니까요.

LLM을 한 문장으로 줄이면 다음 토큰 하나를 고르는 기계입니다. 이 단순한 정의에서 오늘 다룰 모든 것이 나옵니다. 원리를 배우는 이유는 시험이 아니라 설계 때문인데요, 토큰을 알면 비용이 보이고, Attention을 알면 컨텍스트 설계가 보이고, KV Cache를 알면 프롬프트 캐싱이 왜 싸고 빠른지가 보입니다.

"대한민국의 수도는"까지 넣으면 모델이 "서울"이라는 토큰 하나를 내놓습니다. 그 한 번을 위해 안에서 일곱 단계가 돌아가고요. 가운데 점선 묶음, Self-Attention과 FFN이 논문에서 말하는 Transformer 블록이고, 실제 모델에서는 이 묶음이 수십 층 반복됩니다. 아래 순환 표시가 중요한데, 만들어진 토큰을 입력 끝에 붙여서 다시 처음부터 돕니다. 100토큰짜리 답변이면 이 순환이 100번 돈 결과인 거죠. 이 그림 하나만 기억하시면, 이어지는 상세 슬라이드들은 전부 이 순환의 확대판입니다.

일곱 단계를 하나씩 열어보겠습니다. 토큰화가 문장을 조각내고, 임베딩이 조각을 벡터로 바꾸고, Attention이 문맥을 섞습니다. FFN을 지나면 Softmax가 후보들의 확률을 만들고, 샘플링이 하나를 고르고, 자기회귀가 그 결과를 다시 입력으로 돌려보내죠. 각 탭의 오른쪽 그림이 같은 예시 문장을 따라가니까, 빈칸 하나가 채워지는 과정으로 이어서 보시면 됩니다.

토큰화에서 실무적으로 중요한 건 두 가지입니다. 위쪽의 BPE는 사전에 없는 단어도 조각으로 조합한다는 것, 그래서 신조어나 고유명사도 처리가 되는 겁니다. 아래쪽이 돈 이야기인데, API 요금과 컨텍스트 한도가 전부 토큰 수 기준입니다. 같은 의미라도 한국어가 영어보다 토큰을 더 쓰는 경향이 있어서, 한국어 서비스는 비용 견적을 잡을 때 이 점을 감안하셔야 합니다.

실제 문장이 조각나는 모습을 그대로 보시죠. "대한민국의 수도는 서울입니다"가 일곱 조각이 되고, 조각마다 사전 번호가 붙어서 모델에게는 이 ID 시퀀스만 전달됩니다. 모델은 글자를 본 적이 없다는 것, 이게 포인트입니다. 아래 영어 문장은 같은 의미가 여섯 조각이고요. 자주 쓰는 단어는 큰 조각으로 잡히고 희귀한 단어는 잘게 쪼개지는 게 BPE의 성질입니다.

토큰 ID는 그냥 번호라서 의미가 없습니다. 임베딩이 이 번호를 수천 차원 좌표로 바꾸면서 의미가 생기는데, 왼쪽 그림처럼 왕에서 남자를 빼고 여자를 더하면 여왕 근처에 떨어집니다. 의미 관계가 방향으로 보존되는 거죠. 오른쪽은 순서 문제인데, 개가 사람을 문 것과 사람이 개를 문 건 같은 조각들이라도 완전히 다른 사건이잖아요. Attention 자체는 순서를 모르기 때문에 RoPE가 위치마다 회전각을 새겨 넣습니다. 이 벡터 공간이 나중에 RAG 검색의 원리가 되니까 잘 기억해 두세요.

임베딩까지는 토큰이 각자 따로 노는 상태입니다. Self-Attention이 여기에 문맥을 섞어주는데, 각 토큰이 질문 Q를 던지고 다른 토큰들의 K와 맞춰본 뒤 관련도만큼 V를 가져오는 구조입니다. 아래 예시를 보시면 "는" 토큰이 수도와 대한민국에 크게 주목하고 있죠. 그 결과 빈칸에는 도시 이름이 어울린다는 판단이 서는 겁니다. 모델이 어디에 주목하는지가 프롬프트에서 정보 배치 순서가 중요한 이유이고, 컨텍스트 엔지니어링의 근거가 됩니다.

모델의 마지막 출력은 후보마다 매겨진 점수, 로짓입니다. Softmax가 이걸 합이 1인 확률로 바꾸는데, 그 앞에서 Temperature로 나누는 게 핵심 장치입니다. 세 패널이 전부 같은 로짓이고 T만 다릅니다. 0.2면 서울이 86%로 거의 독식하고, 1.3이면 후보가 고르게 퍼지죠. Temperature는 정답을 바꾸는 게 아니라 분포의 뾰족함을 바꾼다, 이렇게 기억하시면 됩니다.

분포가 만들어졌으면 이제 하나를 골라야죠. Greedy는 항상 1등만 뽑으니까 코드 생성이나 분류처럼 재현성이 필요한 곳에 씁니다. Top-K는 후보를 개수로 자르는데, 분포 모양과 무관하게 개수가 고정이라 경직된 면이 있고요. 그래서 실전 기본값은 Top-P입니다. 누적 확률로 자르니까 분포가 뾰족하면 후보가 줄고 평평하면 늘어나는, 상황에 적응하는 방식입니다.

Top-P 0.9가 실제로 작동하는 순간입니다. 확률 순으로 쌓다가 누적 90%를 넘는 지점에서 자르니까 인천은 후보에서 빠지고, 남은 셋 중에서 확률 비율로 추첨합니다. 대체로 서울이 나오지만 가끔 부산도 나오는데, 그게 버그가 아니라 의도된 다양성입니다. 이 값들은 Bedrock Converse API의 inferenceConfig에서 직접 조절하실 수 있고, Playground 슬라이더로 한번 체감해 보시길 권합니다.

사이클 1에서 "서울"을 만들었으면, 그걸 입력 끝에 붙여 사이클 2를 돕니다. 그런데 매번 앞 토큰들을 전부 다시 계산하면 답이 길어질수록 느려지겠죠. 그래서 사이클 1에서 계산한 K·V를 캐시에 저장해 두고, 사이클 2에서는 새 토큰 몫만 계산합니다. 연산량이 N 제곱에서 N으로 내려가는 겁니다. 프롬프트 캐싱이 90% 할인되는 이유가 바로 이건데요, 시스템 프롬프트의 KV를 호출 간에 재사용하니까 계산 자체를 안 하는 겁니다. 참고로 긴 컨텍스트에서는 이 캐시 자체가 메모리 병목이라, 요즘 모델들은 GQA나 MLA처럼 K·V를 줄이는 구조로 설계됩니다. 1M 토큰 컨텍스트가 가능해진 배경입니다.

방금 보신 것처럼 LLM은 확률적으로 토큰을 고르는 기계라서, 태생적인 한계가 있습니다. 다행인 건 환각, 지식 단절, 비용, 보안 네 가지 모두 검증된 대응 패턴이 있다는 겁니다. 그리고 그 대응의 대부분은 모델 가중치를 건드리지 않습니다. 프롬프트, 컨텍스트, RAG, 그리고 에이전트까지 — 가중치를 바꾸지 않는 네 단계에서 대부분의 사용 사례가 해결됩니다.

왼쪽이 문제, 오른쪽이 처방입니다. 환각은 버그가 아니라 확률적 토큰 생성이라는 동작 방식 자체에서 나오고, 그래서 근거를 주입하는 RAG와 응답을 검증하는 Guardrails로 대응합니다. 지식 단절에는 RAG에 실시간 웹 검색을 더하고, 비용에는 캐싱·라우팅·배치 — 앞에서 본 KV Cache 원리가 Prompt Caching의 90% 할인으로 이어지는 거고요. 보안과 편향은 Guardrails 필터군입니다. 네 가지 모두 원인이 모델 안에 있어서 재학습으로 고치는 게 아니라 모델 밖 아키텍처로 풉니다. 새 요구사항이 나오면 어느 한계인지부터 분류해 보세요. 서비스 조합은 따라옵니다.

커스터마이징은 이 계단 순서대로 올라가시면 됩니다. 프롬프트를 다듬고, 컨텍스트를 설계하고, RAG로 외부 지식을 주입하고, 에이전트로 도구와 루프를 붙이는 4단계까지는 모델 가중치를 전혀 건드리지 않습니다. 주석에 있듯 대부분 여기까지로 충분하고, 2026년 기준으로는 에이전트까지가 표준 구간이 됐죠. 파인튜닝과 멀티턴 강화학습부터가 가중치를 바꾸는 진짜 투자 구간입니다. 아래 단계로 안 되는 걸 확인한 뒤에 올라가는 게 비용을 아끼는 순서입니다.

갈림길에서 던질 질문은 하나입니다. 모델 자체를 바꿔야 하는가. 응답 포맷이나 정확도 문제라면 왼쪽, 프롬프트와 RAG로 충분합니다. 도메인 말투나 전문성을 모델에 내재화해야 하거나 에이전트의 멀티스텝 판단력 자체를 키워야 할 때만 오른쪽 가중치 변경으로 갑니다. 오른쪽은 데이터와 비용과 시간이 전부 들어가는 길이니까, 왼쪽으로 안 된다는 증거를 먼저 확보하시길 권합니다.

흐름은 두 문장으로 요약됩니다. 컴퓨트는 학습에서 추론으로, 품질의 열쇠는 모델에서 하네스로. 모델을 더 키우는 경쟁이 한계에 부딪히면서 추론 시점에 투자하는 쪽으로 방향이 바뀌었고, 에이전트 시대가 되면서 모델을 감싸는 실행 환경이 승부처가 됐습니다. 하나씩 근거를 보겠습니다.

숫자 세 개가 상황을 말해줍니다. AI 컴퓨트의 3분의 2가 이미 추론에 쓰입니다. 2023년만 해도 3분의 1이었는데 역전됐고, 그걸 소비하는 주체가 에이전트예요. 그런데 에이전트를 프로덕션에서 실제로 돌리는 기업은 11%뿐이고, 투자 의향은 75%입니다. 이 격차가 의미하는 건 분명합니다. 수요는 확정됐는데 할 줄 아는 사람이 부족하다는 것, 지금 에이전트를 배워야 하는 이유입니다.

1세대 Kaplan의 법칙은 단순했습니다. 파라미터를 키우면 성능이 오른다. 그런데 공개 텍스트 데이터가 고갈되면서 수확 체감에 부딪혔죠. 2세대 Chinchilla는 데이터와 파라미터의 균형을 찾았지만, 이번에는 학습 비용이 기하급수로 늘었습니다. 그래서 3세대는 방향을 틀었습니다. 학습은 충분하니 추론 시점에 컴퓨트를 쓰자는 것이고, 이때 비용을 제어하는 손잡이가 Effort 파라미터입니다.

"더 오래 생각하면 더 정확하다"를 구현하는 방법이 네 갈래입니다. Chain-of-Thought가 중간 추론을 명시적으로 쓰게 하는 출발점이었고, Adaptive Thinking은 난이도에 따라 추론량을 모델이 스스로 조절합니다. 실무에서 직접 만지시게 될 건 Effort 파라미터인데, low부터 max까지 다섯 단계로 품질과 비용을 트레이드오프합니다. Tree Search는 여러 경로를 병렬로 탐색하는 방식이라 수학과 코딩에서 효과가 큽니다.

두 모델은 아키텍처가 다른 게 아닙니다. 같은 트랜스포머인데, 답하기 전에 사고 토큰을 먼저 쓰도록 훈련됐느냐의 차이죠. 왼쪽 표준 모델은 질문받자마자 답변 토큰부터 생성하니까 빠르고 싸지만, 다단계 논리에서 중간을 건너뛰다 오류가 쌓입니다. 오른쪽은 가설을 검토하고 스스로 검증한 뒤에 답합니다. 요약이나 분류는 표준으로, 수학·코딩·설계처럼 복잡한 문제는 Reasoning으로, 이렇게 나눠 쓰시면 됩니다.

실제 라인업으로 보면, OpenAI는 2024년 o1으로 이 계보를 열어서 지금은 GPT-5.6의 reasoning effort로 통합했고, Claude는 Extended Thinking에서 budget_tokens 없이 Effort 파라미터로 제어하는 방식으로 왔습니다. Fable 5는 멀티데이 자율 실행까지 가는 모델이고 SWE-Bench Pro에서 최고 성적을 기록하고 있죠. 마지막 Reflective Agents는 모델이 아니라 패턴인데, 생성하고 비판하고 수정하는 루프만으로 HumanEval 91%까지 끌어올린 사례입니다.

엔지니어링의 무게중심이 옮겨온 궤적을 보세요. 프롬프트를 다듬던 시대에서 컨텍스트를 설계하는 시대로, 그리고 지금은 하네스를 만드는 시대입니다. Agent는 Model 더하기 Harness입니다. 같은 모델이라도 오케스트레이션, 가드레일, 메모리, 도구, 평가를 어떻게 갖추느냐에 따라 프로덕션 품질이 갈립니다. AWS에서는 이 하네스 층을 AgentCore가 맡고, 이후 과정에서 계속 만나시게 됩니다.

오늘 내용을 한 문장으로 줄이면 이겁니다. 모델을 이해해야 에이전트를 만듭니다. 토큰과 Attention과 KV Cache가 비용과 컨텍스트와 캐싱 설계로 이어졌고, 4대 한계는 모델 밖 아키텍처로 풀었고, 2026년의 답은 모델 더하기 하네스였습니다. 이 토대 위에서 이후의 RAG와 에이전트 설계가 이어집니다.