13강에서 GPT 라는 이름을 뜯었다. G(생성형)와 T(트랜스포머)는 그 자리에서 풀었고, **P — Pretrained(사전학습)**만 "다음 강의에서"라며 미뤘다. 이번 강이 그 P 를 연다.

그런데 P 하나만 보고 끝나지 않는다. 지금 우리가 쓰는 ChatGPT, Claude 같은 모델은 사전학습만으로 완성되지 않는다. 사전학습 뒤에 한 단계가 더 있다. 그 두 단계 — 사전학습과 파인튜닝 — 이 이번 강의의 전부다.

첫 단계 — 사전학습, 넓게 읽힌다

12강에서 LLM 이 하는 일을 "다음 토큰을 확률로 고른다"고 했다. 사전학습은 바로 이 일을 인터넷 규모의 방대한 글로 수없이 반복시키는 단계다.

여기서 재밌는 지점이 하나 있다. 5강과 6강에서 지도학습(정답을 사람이 붙여준다)과 비지도학습(정답 없이 무리를 짓는다)을 갈랐다. 사전학습은 그 둘 중 어디에 속할까.

이 방식 덕분에 사람이 일일이 라벨을 붙이지 않고도, 인터넷에 널린 글 전체를 학습 재료로 쓸 수 있다. 그만큼 재료가 무한에 가깝다.

1. 인터넷 등 방대한 글을 모은다책·웹문서·코드 등, 사람이 따로 정답을 안 붙인 원본 텍스트
2. 다음 토큰 맞히기를 반복시킨다12강의 그 고리를 글자 그대로 수천억 번 돌린다
3. 문법·상식·세상 지식의 '감'이 손잡이에 쌓인다정답을 맞히려 애쓰는 과정에서 부산물처럼 딸려 나온다

둘째 단계 — 파인튜닝, 좁게 다듬는다

사전학습만 끝난 모델에게 "오늘 저녁 뭐 먹지?"라고 물으면, 대화 상대로 답하는 대신 그 문장 뒤에 자연스럽게 이어질 법한 글을 그냥 이어 쓴다. 질문이 아니라 이어 쓸 텍스트로 받아들이기 때문이다. 이 모델을 "질문엔 이렇게 답해야 한다"는 태도로 다듬는 단계가 파인튜닝이다.

사전학습 (pretraining)

넓게 읽힌다

• 인터넷 등 방대한 원본 텍스트
• 정답은 텍스트 자체 — 다음 토큰이 곧 정답
• 문법 · 상식 · 세상 지식의 감을 잡는다
• GPU 수천 장, 몇 달 단위의 막대한 비용

파인튜닝 (fine-tuning)

좁게 다듬는다

• 사람이 고른 (질문, 좋은 답) 예시 등
• 정답은 사람이 정한 '이렇게 답하라'는 형식
• 대화하듯 답하는 태도를 익힌다
• 사전학습보다 훨씬 적은 데이터 · 비용

파인튜닝에 쓰는 예시는 사람이 직접 "좋은 답"을 골라 만들거나, 모델이 낸 여러 답 중 사람이 더 나은 쪽을 골라주는 방식으로도 만든다. 사람의 선호를 학습에 반영하는 이런 방식에는 RLHF(사람 피드백 기반 강화학습)라는 이름이 붙어 있는데, 정확한 절차는 유료 실습의 몫이고 여기서는 "사람의 선호를 한 번 더 학습에 반영하는 단계가 있다" 정도만 잡으면 된다.

이름	어느 단계의 산출물인가
파운데이션 모델 (foundation model)	사전학습만 끝난 상태 — 대화하듯 안 답한다
인스트럭트 모델 / 챗 모델	파인튜닝까지 끝나 대화하듯 답하는 상태

정리하면

사전학습은 방대한 원본 텍스트로 다음 토큰 맞히기를 반복해 넓은 바탕을 깔고, 파인튜닝은 그 위에 적은 예시로 대화하는 태도를 입힌다.

1. 01

   사전학습은 다음 토큰 맞히기를 인터넷 규모로 반복하는 것이다

   정답은 텍스트 자체에 있다. 이런 방식을 자기지도학습이라 부른다.

2. 02

   사전학습만 끝난 모델은 대화하듯 답하지 않는다

   질문을 그냥 이어 쓸 텍스트로 받아들인다. 이 상태를 파운데이션 모델이라 부른다.

3. 03

   파인튜닝이 대화하는 태도를 입힌다

   사람이 고른 소량의 예시로, 질문엔 이렇게 답하라는 형식을 다듬는다.

4. 04

   파인튜닝은 새 지식을 넣어주는 단계가 아니다

   학습 데이터에 없던 정보는 여전히 모른다. 17강에서 이 문제를 정면으로 다룬다.

그런데 사전학습으로 아무리 넓게 읽혀도, 모델이 한 번에 붙잡고 볼 수 있는 글의 길이에는 한계가 있다. 그 한계 — 컨텍스트 윈도우 — 를 다음 강의에서 열고, 모델이 왜 가끔 그럴듯한 거짓말을 하는지도 함께 본다.