앞 편에서 내 노트북에 모델을 얹었다. 이번 편은 선택이다 — 그게 너무 느리거나 답이 시원찮을 때 밖에 있는 모델을 빌려 쓰는 길이다.

1. 무엇에 값이 매겨지나 — 토큰

글자 수가 아니라 토큰 수로 센다.

키 하나로 여러 창구를 쓴다

여기서 한 가지를 짚고 간다. 채팅과 임베딩은 따로 사는 것이 아니다.

앞에서 임베딩은 내 컴퓨터에 모델을 받아서 했다. 그것도 빌려 쓸 수 있고, 키는 방금 만든 것 그대로다. 창구 주소만 다르다.

2. 크레딧을 산다

platform.openai.com 에서 결제 수단을 등록하고 미리 정해진 금액만큼 크레딧을 산다.

자동 충전을 끈다

결제 화면에서 Use auto-reload 라는 스위치를 찾는다. 기본값이 켜져 있다.

스위치를 끄면 아래 항목이 전부 사라진다. 이 상태로 저장한다.

끝나면 결제 화면이 이렇게 된다.

Auto-reload is OFF 옆의 안내가 우리가 원하던 문장이다 — 「잔액이 $0 이 되면 요청이 멈춥니다」. 켜두면 이 문장이 「멈추지 않습니다」가 된다.

사용량 한도(Usage limits)에서 월 상한도 같이 걸어두면 한 겹 더 안전하다.

3. 키를 받고 — 코드에 적지 않는다

키는 sk- 로 시작하는 긴 글자다. 발급 화면에서 만들면 그때 한 번만 보여준다. 따로 적어둔다.

만들 때 채울 것은 셋이다.

키는 코드 밖에 둔다.

OPENAI_API_KEY=sk-여기에실제키

.env

4. 접속 설정을 파일 하나로

앞으로 만들 파일이 스무 개쯤 된다. 접속 설정을 그 스무 개에 흩뿌리면 안 된다.

"""누구에게 물어볼지를 여기서 한 번만 정한다.

다른 파일은 전부 이렇게 쓴다 ─
    from config import client, MODEL
"""

# os 는 운영체제와 이야기하는 도구다. 여기서는 환경변수를 읽는 데만 쓴다
import os

from openai import OpenAI

# 어디로 보낼지. 회사가 정해둔 주소다
BASE_URL = "https://api.openai.com/v1"

# os.environ 은 컴퓨터에 등록된 환경변수 목록이다. 딕셔너리처럼 대괄호로 꺼낸다.
# 값이 없으면 여기서 바로 에러가 난다 — 몰래 빈 값으로 넘어가는 것보다 낫다.
# 이렇게 하면 코드에 키가 한 글자도 안 남는다
API_KEY = os.environ["OPENAI_API_KEY"]

# 부를 모델 이름
MODEL = "gpt-4o-mini"

# 이 한 줄로 "말을 걸 상대" 가 만들어진다. 다른 파일들은 이걸 가져다 쓴다
client = OpenAI(base_url=BASE_URL, api_key=API_KEY)

5. 첫 호출

from config import client, MODEL      # 접속 설정은 저기 한 군데에만 있다

res = client.chat.completions.create(
    model=MODEL,
    messages=[
        {"role": "user", "content": "화장품 추천 서비스를 한 문장으로 소개해줘"},
    ],
)

print(res.choices[0].message.content)

# usage 에는 이번 호출에 쓴 토큰 수가 들어 있다. 이게 곧 청구서다
print("입력", res.usage.prompt_tokens, "출력", res.usage.completion_tokens)

답이 거의 바로 온다. 계산을 남의 컴퓨터가 하기 때문이다. 대신 인터넷이 끊기면 아무것도 안 된다.

6. 사고가 나는 세 가지 모양

# 반복문을 돌리기 전에 이 세 줄을 습관으로 붙인다.
# input 은 사람이 뭔가 칠 때까지 기다렸다가 친 글자를 돌려준다.
# raise SystemExit 는 프로그램을 그 자리에서 끝낸다
print("이번에 부를 횟수:", len(targets))
if input("계속할까? (y) ") != "y":
    raise SystemExit

res = client.chat.completions.create(model=MODEL, messages=[{"role": "user", "content": "안녕"}])

# 한 줄에 두 개를 한꺼번에 담을 수 있다. 왼쪽 순서대로 짝지어 들어간다
n_in, n_out = res.usage.prompt_tokens, res.usage.completion_tokens

# 백만 토큰당 달러. 결제 화면에서 오늘 값을 확인해 넣는다
in_price, out_price = 0.15, 0.60

# 1_000_000 은 1000000 과 같다. 밑줄은 자릿수를 읽기 쉬우라고 넣는 것이고
# 파이썬이 무시한다. 백만 토큰당 값이니 백만으로 나눠 곱한다
per_call = n_in / 1_000_000 * in_price + n_out / 1_000_000 * out_price
print(f"한 번에 {per_call:.6f} 달러")
print(f"300번 돌리면 {per_call * 300:.3f} 달러")

7. 여러 명이 나눠 쓸 때 — 창구를 하나 세운다

혼자 쓸 것이면 여기는 건너뛴다. 여럿이 같이 배울 때 이야기다.

사람마다 결제하고 키를 발급받게 하면 가입 부담도 크고 비용도 흩어진다. 그래서 키를 든 서버를 하나 두고 모두 그리로 보낸다.

BASE_URL = "http://192.168.0.15:8000/v1"   # 안내받은 주소. 끝에 /v1 을 꼭 붙인다
API_KEY = "dcl-01"                          # 내게 배정된 번호. 진짜 키가 아니다
MODEL = "gpt-4o-mini"

창구를 쓰면 만나는 번호들

창구를 직접 띄우려면

python -m uvicorn main:app --host 0.0.0.0 --port 8000

--host 0.0.0.0 이 중요하다. 이게 없으면 그 컴퓨터 안에서만 접속된다. 남이 붙으려면 열어줘야 한다.

ipconfig 로 IPv4 주소 를 찾는다. 192.168. 이나 10. 으로 시작하는 값이고, 나눠줄 주소는 거기에 포트와 /v1 을 붙인 것이다.

이번 편에 나온 것

미션

import json
import os

LOG_FILE = "usage.json"
LIMIT = 1.0                      # 달러


def spent():
    if not os.path.exists(LOG_FILE):
        return 0.0
    return json.load(open(LOG_FILE))["달러"]


def add(n_in, n_out):
    value = spent() + n_in / 1_000_000 * 0.15 + n_out / 1_000_000 * 0.60
    json.dump({"달러": value}, open(LOG_FILE, "w"))
    return value


def safe_call(messages):
    if spent() >= LIMIT:
        raise SystemExit(f"한도 {LIMIT} 달러를 넘었다. 지금까지 {spent():.4f}")

    res = client.chat.completions.create(model=MODEL, messages=messages)
    total = add(res.usage.prompt_tokens, res.usage.completion_tokens)
    print(f"누적 {total:.4f} 달러")
    return res

정리하면

결제하고, 키를 받고, 첫 호출까지 왔다. 여기까지 왔으면 이후 편들은 그대로 따라온다.

제일 중요한 것은 자동 충전을 껐다는 것이다. 사둔 금액이 그대로 상한이면 사고가 나도 잃을 것이 정해져 있다. 그리고 키는 코드에 안 적었다. 공개 저장소에 올라간 키는 사람이 아니라 프로그램이 찾아간다 — .env 와 .gitignore 두 줄이면 막힌다.

config.py 를 따로 만든 것도 오늘의 소득이다. 주소·키·모델 세 값이 한 파일에만 있으니, 나중에 상대를 바꿔도 고칠 데가 한 군데다.

마지막으로 비용을 아끼는 순서를 봤다. 답을 짧게 시키는 것보다 안 보내도 되는 것을 빼는 쪽이 훨씬 크게 듣는다. 이건 8·9편의 개인정보 이야기와 정확히 같은 결론이 된다.

다음 편에서 개인정보를 다룬다. 추천을 만들려면 후기를 모델에게 줘야 하는데, 1,500건 중 152건에 전화번호가 들어 있다.

이 편으로 갈아탄 사람에게는 그게 남 이야기가 아니다. 앞 편의 내 노트북 방식은 글자가 컴퓨터 밖으로 안 나가지만, 여기서는 방금 그 글자들이 바깥 회사 서버까지 간다. 무엇을 빼고 보내야 하는지가 다음 편이다.