LLM 동작 원리

LLM을 한 문장으로 줄이면 다음 토큰 하나를 고르는 기계입니다. 이 단순한 정의에서 오늘 다룰 모든 것이 나옵니다. 원리를 배우는 이유는 시험이 아니라 설계 때문인데요, 토큰을 알면 비용이 보이고, Attention을 알면 컨텍스트 설계가 보이고, KV Cache를 알면 프롬프트 캐싱이 왜 싸고 빠른지가 보입니다.

"대한민국의 수도는"까지 넣으면 모델이 "서울"이라는 토큰 하나를 내놓습니다. 그 한 번을 위해 안에서 일곱 단계가 돌아가고요. 가운데 점선 묶음, Self-Attention과 FFN이 논문에서 말하는 Transformer 블록이고, 실제 모델에서는 이 묶음이 수십 층 반복됩니다. 아래 순환 표시가 중요한데, 만들어진 토큰을 입력 끝에 붙여서 다시 처음부터 돕니다. 100토큰짜리 답변이면 이 순환이 100번 돈 결과인 거죠. 이 그림 하나만 기억하시면, 이어지는 상세 슬라이드들은 전부 이 순환의 확대판입니다.

일곱 단계를 하나씩 열어보겠습니다. 토큰화가 문장을 조각내고, 임베딩이 조각을 벡터로 바꾸고, Attention이 문맥을 섞습니다. FFN을 지나면 Softmax가 후보들의 확률을 만들고, 샘플링이 하나를 고르고, 자기회귀가 그 결과를 다시 입력으로 돌려보내죠. 각 탭의 오른쪽 그림이 같은 예시 문장을 따라가니까, 빈칸 하나가 채워지는 과정으로 이어서 보시면 됩니다.

토큰화에서 실무적으로 중요한 건 두 가지입니다. 위쪽의 BPE는 사전에 없는 단어도 조각으로 조합한다는 것, 그래서 신조어나 고유명사도 처리가 되는 겁니다. 아래쪽이 돈 이야기인데, API 요금과 컨텍스트 한도가 전부 토큰 수 기준입니다. 같은 의미라도 한국어가 영어보다 토큰을 더 쓰는 경향이 있어서, 한국어 서비스는 비용 견적을 잡을 때 이 점을 감안하셔야 합니다.

실제 문장이 조각나는 모습을 그대로 보시죠. "대한민국의 수도는 서울입니다"가 일곱 조각이 되고, 조각마다 사전 번호가 붙어서 모델에게는 이 ID 시퀀스만 전달됩니다. 모델은 글자를 본 적이 없다는 것, 이게 포인트입니다. 아래 영어 문장은 같은 의미가 여섯 조각이고요. 자주 쓰는 단어는 큰 조각으로 잡히고 희귀한 단어는 잘게 쪼개지는 게 BPE의 성질입니다.

토큰 ID는 그냥 번호라서 의미가 없습니다. 임베딩이 이 번호를 수천 차원 좌표로 바꾸면서 의미가 생기는데, 왼쪽 그림처럼 왕에서 남자를 빼고 여자를 더하면 여왕 근처에 떨어집니다. 의미 관계가 방향으로 보존되는 거죠. 오른쪽은 순서 문제인데, 개가 사람을 문 것과 사람이 개를 문 건 같은 조각들이라도 완전히 다른 사건이잖아요. Attention 자체는 순서를 모르기 때문에 RoPE가 위치마다 회전각을 새겨 넣습니다. 이 벡터 공간이 나중에 RAG 검색의 원리가 되니까 잘 기억해 두세요.

임베딩까지는 토큰이 각자 따로 노는 상태입니다. Self-Attention이 여기에 문맥을 섞어주는데, 각 토큰이 질문 Q를 던지고 다른 토큰들의 K와 맞춰본 뒤 관련도만큼 V를 가져오는 구조입니다. 아래 예시를 보시면 "는" 토큰이 수도와 대한민국에 크게 주목하고 있죠. 그 결과 빈칸에는 도시 이름이 어울린다는 판단이 서는 겁니다. 모델이 어디에 주목하는지가 프롬프트에서 정보 배치 순서가 중요한 이유이고, 컨텍스트 엔지니어링의 근거가 됩니다.

모델의 마지막 출력은 후보마다 매겨진 점수, 로짓입니다. Softmax가 이걸 합이 1인 확률로 바꾸는데, 그 앞에서 Temperature로 나누는 게 핵심 장치입니다. 세 패널이 전부 같은 로짓이고 T만 다릅니다. 0.2면 서울이 86%로 거의 독식하고, 1.3이면 후보가 고르게 퍼지죠. Temperature는 정답을 바꾸는 게 아니라 분포의 뾰족함을 바꾼다, 이렇게 기억하시면 됩니다.

분포가 만들어졌으면 이제 하나를 골라야죠. Greedy는 항상 1등만 뽑으니까 코드 생성이나 분류처럼 재현성이 필요한 곳에 씁니다. Top-K는 후보를 개수로 자르는데, 분포 모양과 무관하게 개수가 고정이라 경직된 면이 있고요. 그래서 실전 기본값은 Top-P입니다. 누적 확률로 자르니까 분포가 뾰족하면 후보가 줄고 평평하면 늘어나는, 상황에 적응하는 방식입니다.

Top-P 0.9가 실제로 작동하는 순간입니다. 확률 순으로 쌓다가 누적 90%를 넘는 지점에서 자르니까 인천은 후보에서 빠지고, 남은 셋 중에서 확률 비율로 추첨합니다. 대체로 서울이 나오지만 가끔 부산도 나오는데, 그게 버그가 아니라 의도된 다양성입니다. 이 값들은 Bedrock Converse API의 inferenceConfig에서 직접 조절하실 수 있고, Playground 슬라이더로 한번 체감해 보시길 권합니다.

사이클 1에서 "서울"을 만들었으면, 그걸 입력 끝에 붙여 사이클 2를 돕니다. 그런데 매번 앞 토큰들을 전부 다시 계산하면 답이 길어질수록 느려지겠죠. 그래서 사이클 1에서 계산한 K·V를 캐시에 저장해 두고, 사이클 2에서는 새 토큰 몫만 계산합니다. 연산량이 N 제곱에서 N으로 내려가는 겁니다. 프롬프트 캐싱이 90% 할인되는 이유가 바로 이건데요, 시스템 프롬프트의 KV를 호출 간에 재사용하니까 계산 자체를 안 하는 겁니다. 참고로 긴 컨텍스트에서는 이 캐시 자체가 메모리 병목이라, 요즘 모델들은 GQA나 MLA처럼 K·V를 줄이는 구조로 설계됩니다. 1M 토큰 컨텍스트가 가능해진 배경입니다.