같은 모델에 같은 질문을 던졌는데, 누구는 쓸모 있는 답을 받고 누구는 뜬구름 잡는 답을 받는다. 모델이 그날그날 기분이 달라서가 아니다. 질문을 어떻게 던졌는지가 답의 질을 그대로 결정한다. 이걸 다루는 게 이번 강의, **프롬프트(prompt)**다.

신비로운 주문 같은 게 아니다. 12강에서 본 사실 — 모델은 지금까지 주어진 글(컨텍스트)을 보고 다음 토큰을 확률로 고른다 — 을 기억하면, 왜 질문을 던지는 방식이 곧 실력이 되는지 자연스럽게 풀린다.

프롬프트는 결국 "다음 토큰 확률"을 조종하는 것

15강에서 본 컨텍스트 윈도우를 다시 떠올려본다. 모델이 답을 낼 때 보는 건 그 순간까지 창 안에 들어와 있는 글 전체다. 프롬프트란 바로 이 창 안에 무엇을 채워 넣을지를 사람이 결정하는 일이다.

1. 사용자가 프롬프트를 쓴다질문·지시·예시 등, 창 안에 들어갈 글
2. 그 글 전체가 컨텍스트 윈도우를 채운다15강에서 본 그 창 — 시스템 지시문 + 대화 기록 + 지금 입력
3. 모델이 이 창을 보고 다음 토큰 확률을 계산한다12강의 그 고리. 창의 내용이 다르면 확률 분포도 달라진다
4. 달라진 확률 분포에서 답이 나온다같은 질문이라도 창을 채우는 방식이 다르면 다른 답이 나오는 이유

모호한 질문은 모호한 확률 분포를 만든다. "이거 어때?"라는 프롬프트는 "이거"가 뭘 가리키는지 창 안에 단서가 부족해, 모델이 그럴듯한 답 여러 갈래 사이에서 아무거나 고르게 된다. 반대로 맥락과 조건을 구체적으로 채워주면, 확률이 원하는 답 쪽으로 뚜렷하게 쏠린다.

좋은 프롬프트가 채우는 세 가지

프롬프트 기법은 여러 이름으로 불리지만, 결국 창 안에 무엇을 더 채워주느냐의 문제로 수렴한다.

"이 코드 리뷰해줘"

맥락이 창 안에 거의 없다

• 어떤 언어인지, 무엇을 기준으로 볼지 안 정해짐
• 모델이 임의로 톤 · 깊이 · 기준을 고른다
• 확률이 넓게 퍼져 있어 답이 매번 달라지기 쉽다

"자바 코드다. 보안 관점에서만, 3줄 이내로 지적해줘"

역할 · 기준 · 형식이 창 안에 채워짐

• 언어 · 관점 · 분량이 전부 명시됨
• 모델이 고를 확률 범위가 좁고 뚜렷해진다
• 같은 조건이면 답의 일관성도 올라간다

여기서 자주 나오는 몇 가지 이름을 개념만 짚어본다. 정확한 문구 작성법은 유료 실습의 몫이라, 여기서는 "이런 게 왜 통하는가"까지만 본다.

이름	창에 채우는 것	왜 통하나
시스템 프롬프트	역할 · 말투 · 지켜야 할 규칙	대화 내내 창 안에 남아 모든 답에 영향을 준다
제로샷	지시문만, 예시는 없음	모델이 사전학습·파인튜닝에서 익힌 감으로만 답한다
퓨샷	"이런 식으로 답해줘"라는 예시 몇 개	예시가 창 안에 있으니 그 패턴 쪽으로 확률이 쏠린다
단계별로 생각하기	"차근차근 풀어봐" 같은 지시	중간 풀이도 다음 토큰의 근거가 되어 최종 답의 정확도가 오른다

퓨샷(few-shot)이 특히 직관적이다. "이런 질문엔 이렇게 답해"라는 예시를 두세 개 창에 넣어주면, 모델은 그 예시들의 패턴을 다음 토큰 확률에 그대로 반영한다. 예시가 없는 제로샷(zero-shot)보다 훨씬 안정적인 형식의 답이 나오는 이유다.

프롬프트로 안 되는 것도 있다

프롬프트가 만능은 아니다. 14강과 15강에서 본 한계는 프롬프트로 못 넘는다.

정리하면

프롬프트는 모델을 설득하는 마법의 말이 아니라, 모델이 다음 토큰을 고를 때 참고하는 창 안의 재료를 사람이 채워 넣는 일이다. 재료가 구체적이고 관련성이 높을수록, 확률은 원하는 답 쪽으로 쏠린다.

1. 01

   프롬프트는 컨텍스트 윈도우를 채우는 일이다

   15강에서 본 그 창을 무엇으로 채우느냐가 답을 바꾼다.

2. 02

   구체적인 조건일수록 확률이 뚜렷하게 쏠린다

   역할 · 기준 · 형식을 명시하면 답의 일관성도 올라간다.

3. 03

   퓨샷과 단계별 사고는 같은 원리다

   예시나 중간 풀이를 창 안에 채워, 다음 토큰의 근거를 늘려주는 것이다.

4. 04

   프롬프트는 없는 지식을 만들어내지 못한다

   학습 데이터에 없는 정보는 여전히 모른다. 그 해법은 다음 부에서 다룬다.

Part 4가 끝났다. LLM 이 하는 일이 다음 토큰을 확률로 잇는 것이라는 사실(12강)부터 시작해, 그 계산을 가능케 하는 트랜스포머와 어텐션(13강), 넓게 읽히고 좁게 다듬는 두 단계(14강), 그리고 이 모든 게 왜 환각과 컨텍스트 윈도우라는 한계로 이어지는지(15강)와 그 한계 안에서 말을 잘 거는 법(16강)까지 왔다.

다음 부부터는 그 한계를 정면으로 다룬다. 모델이 모르는 내 문서를 어떻게 붙여주는지, 그 첫 조각을 5부에서 연다.