앞 편이 불편한 질문 하나를 남겼다. 모델이 벡터가 이미 낸 값을 그대로 낸다.

가운데 막대를 오른쪽 막대 쪽으로 밀어야 한다. 오늘 하는 일이 그것이다.

1. 손잡이가 넷 있다

2. 실험에는 규칙이 있다

조합을 표로 만들어둔다

손잡이를 돌릴 때마다 코드를 고치면 무엇을 무엇과 비교했는지 잊어버린다. 조합에 이름을 붙여 표로 둔다.

# 시키는 말은 따로 모아둔다. 프롬프트를 고칠 때 여기만 본다
TASKS = {
    "base": "좋은 순서대로 5개를 고른다.",
    "next_buy": ("이미 산 것과 비슷한 것을 또 고르지 마라. "
                 "이력을 보고 다음에 살 만한 것을 좋은 순서대로 5개 고른다."),
}

# 조합에 이름을 붙인다. dict(...) 는 {"n": 10, ...} 과 같은 뜻이다
CONFIGS = {
    "base":     dict(n=10, task="base",     reason="sentence"),
    "cand5":    dict(n=5,  task="base",     reason="sentence"),
    "cand20":   dict(n=20, task="base",     reason="sentence"),
    "next_buy": dict(n=10, task="next_buy", reason="sentence"),
    "short":    dict(n=10, task="base",     reason="short"),
}

이유 길이는 받을 모양을 바꾸는 것이라 10편의 클래스를 하나 더 만든다.

class ItemWithReason(BaseModel):
    product_id: str = Field(description="후보 목록에 있는 상품 번호")
    reason: str = Field(description="추천 이유 한 문장")


class ItemShort(BaseModel):
    product_id: str = Field(description="후보 목록에 있는 상품 번호")
    reason: str = Field(description="추천 이유. 40자 이내")


class ItemOnly(BaseModel):                 # 이유를 아예 안 받는다
    product_id: str = Field(description="후보 목록에 있는 상품 번호")

3. 🔴 조합을 비교하기 전에 — 자가 얼마나 흔들리나

아무것도 안 바꾸고 같은 조합을 네 번 돌렸다.

4. 손잡이를 하나씩 돌린다

조합마다 세 번 이상 돌렸다. **범위가 겹치면 「차이 없음」**으로 읽는다.

조합 하나를 세 번씩 돌려 범위를 본다.

import statistics

for name, cfg in CONFIGS.items():
    scores = []

    for _ in range(3):                      # 세 번씩. 한 번은 아무 증거가 아니다
        scores.append(run(name, cfg))       # 11편의 채점기를 설정만 바꿔 부른다

    # 평균만 적으면 안 된다. 최저와 최고를 같이 적는다
    print(f"{name:12s} {min(scores):5.1f} ~ {max(scores):5.1f}%  "
          f"평균 {statistics.mean(scores):5.1f}%")

후보 개수 — 늘리면 천장은 오르는데 점수가 안 따라온다

시키는 말 — 여기가 유일하게 움직였다

이유 길이 — 점수는 그대로, 시간과 돈이 준다

🔴 좋은 것 둘을 합치면 좋아질까

next_buy(26.0%)가 제일 좋았고 후보를 늘리면 천장이 오르니, 둘을 합쳐봤다.

5. 고객 문장을 바꾸면 — 여기는 모델이 필요 없다

넷째 손잡이는 고객 벡터를 만드는 방식이다. 이건 후보를 뽑는 단계라 모델을 안 부른다. 그래서 300명을 다 돌려도 몇 초다.

6. 오늘 고른 것

드디어 모델이 벡터를 넘었다. 다만 평균으로만 넘었다 — 나쁜 회차에는 23.3% 로 벡터와 같다.

이번 편에 나온 것

미션

TASKS = {
    "base": "좋은 순서대로 5개를 고른다.",
    "next_buy": (
        "이미 산 것과 비슷한 것을 또 고르지 마라. "
        "이력을 보고 다음에 살 만한 것을 좋은 순서대로 5개 고른다."
    ),
    # 여기에 내 것을 하나 더 만든다
    "mine": "...",
}

# 조합마다 세 번씩. 범위가 겹치면 차이 없음으로 읽는다
for name in ("base", "next_buy", "mine"):
    for _ in range(3):
        print(run(name, CONFIGS[name]))

정리하면

오늘 만든 것은 없다. 이미 있는 것의 손잡이를 넷 돌려봤고, 그중 하나만 실제로 움직였다.

제일 먼저 한 일이 조합 비교가 아니라 자가 얼마나 흔들리는지 재는 것이었다. 아무것도 안 바꾸고 네 번 돌렸더니 20.0%에서 26.7%까지 흔들렸다 — 30명 기준으로 두 명이다. 이걸 모르고 조합을 한 번씩 돌려 제일 높은 것을 고르면, 좋아진 것을 고른 게 아니라 운 좋은 회차를 고른 것이 된다.

후보 개수에서 제일 뜻밖의 것이 나왔다. 50개를 주면 천장이 50%까지 오르는데 점수는 21.7%다. 회수율이 43%로 무너진다. 10개일 때가 81%였다. 많이 주는 것과 잘 주는 것은 다르고, 그 사이 어딘가에 답이 있다.

실제로 점수를 움직인 것은 프롬프트 한 줄이었다. 「이미 산 것과 비슷한 것 말고 다음에 살 것」 — 평균이 24.4%에서 26.0%로, 무엇보다 바닥이 20.0%에서 23.3%로 올랐다. 그게 값을 한다. 서비스는 평균으로 도는 게 아니라 매 요청마다 돌기 때문이다.

그리고 이 한 줄이 들은 이유가 있다. 5편에서 「벡터는 비슷한 것을 찾지 다음에 살 것을 찾지 않는다」를 재서 알고 있었다. 그 약점을 말로 메운 것이라 우연이 아니다. 무엇을 틀리는지 모르면 무슨 말을 넣을지도 모른다.

이유 길이에서는 점수가 아니라 시간과 돈을 얻었다. 아예 빼면 시간이 절반 이하인데 점수는 거의 같다 — 그래도 화면에 이유가 없으면 사용자가 안 믿으니 40자로 제한하는 것이 답이었다. 공짜로 얻는 것은 챙긴다.

마지막으로 후기가 거의 일을 안 하고 있었다. 상품 이름만 넣어도 점수가 같다. 8·9편에서 후기의 개인정보를 가리느라 한 편 반을 썼는데, 애초에 안 꺼내면 그 문제가 통째로 사라진다. 재보기 전에는 못 하던 판단이다.

다음 편에서 서버를 세운다. 지금까지 만든 것은 전부 내 컴퓨터에서 파일을 실행하는 것이라 남이 못 쓴다. 브라우저에서 열리는 것으로 만들고, 그 앞에 자물쇠를 하나 단다.