🔴 후기를 그대로 보내면 이름이 나간다

앞 편에서 이력을 꺼냈다. 이제 그걸 모델에게 줄 차례인데, 주기 전에 거쳐야 할 것이 있다.

글자가 어디까지 가나

우리 DB이름 · 전화 · 후기
프롬프트여기에 붙인다
내 노트북 안6편 — 여기서 멈춘다
바깥 회사 서버7편 — 통제 밖까지 간다

내 노트북에서 도는데 왜 이걸 배우나

내 노트북에서 도는 경우는 정말로 아무 데도 안 나간다. 그건 사실이고, 그 방식의 제일 큰 장점이 정확히 이것이다.

그런데 세 가지 이유로 이걸 배운다.

① 7편의 상용 API 로 갈아탔다면 지금 이미 나가고 있다. 같은 코드인데 상대만 다를 뿐이다.

② 이 서비스를 회사에서 진짜로 만들면 거의 반드시 바깥 모델을 쓴다. 노트북 20대에 모델을 얹어 서비스하지 않는다.

③ 면접에서 물어본다. 「개인정보는 어떻게 처리하셨어요」 — 「제 컴퓨터에서 돌려서 안 나갑니다」는 절반짜리 답이다.

그리고 여기서 배울 것의 절반은 어디로 보내든 해야 하는 일이다. 필요 없는 칸을 안 꺼내는 것은 보안 이전에 그냥 좋은 코드다.

1. 그대로 보내면 무엇이 나가나

먼저 프롬프트를 만들어서 화면에 찍어본다. 보내지는 않는다. 보내기 전에 눈으로 보는 것이 순서다.

05_prompt_peek.py

import sqlite3

con = sqlite3.connect("shop.db")
cur = con.cursor()

customer = cur.execute("""
    SELECT name, age, gender, skin_type, phone, email, city
    FROM customers WHERE customer_id = 'C007'
""").fetchone()

history = cur.execute("""
    SELECT products.name, products.price, purchases.rating, purchases.review
    FROM purchases
    JOIN products ON purchases.product_id = products.product_id
    WHERE purchases.customer_id = 'C007' AND purchases.is_holdout = 0
""").fetchall()

prompt = f"""아래 고객에게 어울릴 화장품을 추천해라.

[고객]
{customer}

[구매 이력]
"""
for name, price, rating, review in history:
    prompt += f"- {name} ({price}원, 별점 {rating}) : {review}\n"

print(prompt)

터미널 — 밖으로 나갈 글자들

아래 고객에게 어울릴 화장품을 추천해라.
[고객]
('한다은', 41, 'F', '건성', '010-3355-1847', 'daeun52@example.com', '수원')
[구매 이력]
- 병풀 링클 클렌징오일 (28100원, 별점 3) : 무난해요. 건성인데 자극 없이 잘 썼어요.
- 히알루론산 탄력 클렌징오일 (25000원, 별점 4) : 재구매입니다. 궁금하신 분은 010-3355-1847으로 문자주세요.
- 쌀겨 탄력 선크림 (19500원, 별점 5) : 두 통째 쓰는 중이에요. 향이 세지 않아서 좋아요.

2. 첫 처방 — 정규식으로 지운다

전화번호는 모양이 정해져 있다. 정규식으로 찾아 지우면 되겠다는 생각이 제일 먼저 든다. 맞는 생각이다.

14_mask.py

# re 는 정규식 도구다. 정규식은 "이런 모양의 글자를 찾아라" 를 적는 방법이다.
# 파이썬에 기본으로 들어 있다
import re
import sqlite3

con = sqlite3.connect("shop.db")
cur = con.cursor()

# 후기만 1,500개 꺼낸다. 결과는 ('무난해요...',) 처럼 묶음이라 r[0] 으로 글자만 꺼낸다
reviews = [r[0] for r in cur.execute("SELECT review FROM purchases").fetchall()]

# compile 은 찾을 모양을 미리 만들어두는 것이다. 1,500번 쓸 거라 미리 만들면 빠르다.
# 앞의 r 은 "역슬래시를 그대로 읽어라" 는 표시다. 이게 없으면 \d 가 다른 뜻이 된다.
#   \d      숫자 하나 (digit)
#   {4}     바로 앞의 것이 네 번
#   010-    이 글자 그대로
# 합치면 "010-네자리-네자리" 가 된다
phone = re.compile(r"010-\d{4}-\d{4}")

# search 는 "이 글에 그 모양이 있나" 를 본다. 있으면 찾은 것을, 없으면 None 을 준다.
# sum 은 더하는 함수인데, 여기서는 조건에 맞는 것마다 1을 세는 데 썼다
found = sum(1 for t in reviews if phone.search(t))
print(f"후기 {len(reviews)}건 중 전화번호가 잡힌 것 {found}건")

# sub 는 찾은 자리를 다른 글자로 바꾼다 (substitute). 원본은 안 바뀌고 바뀐 사본이 나온다
print(phone.sub("[전화번호]", reviews[3]))

낯선 이름 풀이

이름	무슨 뜻인가	왜 여기 나오나
`re`	정규식 도구	「이런 모양의 글자」를 찾으려고
`r` 접두어	역슬래시를 그대로 읽어라	안 붙이면 숫자 표시가 다른 뜻이 된다
역슬래시 + d	숫자 하나	뒤에 `{4}` 를 붙이면 네 자리
`compile`	찾을 모양을 미리 만들어둔다	1,500번 쓸 거라 미리
`search`	있나 없나 본다	있으면 찾은 자리, 없으면 `None`
`sub`	찾은 자리를 바꾼다	지우기가 곧 바꾸기다

터미널

후기 1500건 중 전화번호가 잡힌 것 42건
가격 생각하면 이 정도는 하는 것 같아요. 궁금하신 분은 [전화번호]으로 문자주세요.

잘 되는 것처럼 보인다. 그런데 42건이 맞나?

3. 🔴 110건을 놓쳤다

사람은 전화번호를 한 가지 모양으로만 쓰지 않는다. 후기를 직접 뒤져본다.

print(cur.execute("SELECT COUNT(*) FROM purchases WHERE review LIKE '%010%'").fetchone()[0])

터미널

같은 번호, 다른 모양

잡힌 것

42건

010-7600-2955
하이픈이 있는 것만

빠져나간 것

110건

010 8202 9049 — 띄어쓰기
01082029049 — 다 붙임
사람은 이렇게도 쓴다

정규식을 넓힌다.

phone = re.compile(r"01[016789][-\s]?\d{3,4}[-\s]?\d{4}")
#                   ^^^^^^^^^  대괄호 = "이 중 아무거나 하나". 010 말고 011·016 도 있다
#                            ^^^^^  \s = 빈칸, ? = "있어도 되고 없어도 된다"
#                                     ^^^^^  {3,4} = "세 개 또는 네 개". 옛날 번호는 가운데가 세 자리다

print(sum(1 for t in reviews if phone.search(t)))

터미널

이메일도 같이 처리한다.

email = re.compile(r"[\w.]+@[\w.]+\.\w+")
print(sum(1 for t in reviews if email.search(t)))    # 46

이번 편에 나온 것

정리

잰 것 · 안 것	숫자와 내용
후기에 전화번호	152건 / 1,500건
첫 정규식	42건만 잡았다. 110건을 놓쳤다
놓친 이유	띄어쓰기 · 붙여쓰기 · 옛날 번호
넓힌 정규식	152건 전부
이메일	46건
`re.compile` · `search` · `sub`	모양을 만들고 · 찾고 · 바꾼다
배운 것	지운 수와 원래 수를 나란히 봐야 놓친 걸 안다

미션

01
[필수] 내 프롬프트에서 번호를 지운다
mission_pii_1.py. 앞 편들에서 만든 고객 프롬프트에 넓힌 정규식을 걸어 전과 후를 나란히 찍는다.
02
[응용] 카톡 아이디와 사는 곳을 세어본다
mission_pii_2.py. 후기에 카톡 아이디가 49건, 사는 곳이 51건 들어 있다. 이건 개인정보인가 아닌가. 잡을 수 있는지 시도해보고 판단과 이유를 한 줄로 적는다.
03
[도전] 놓친 것을 스스로 찾아본다
mission_pii_3.py. 정규식으로 지운 뒤, 남은 글에 숫자가 몇 개나 남아 있는지 센다. 전화번호가 아닌 숫자와 어떻게 구분할까.

[응용] 카톡 아이디는 개인정보인가충분히 고민해본 뒤 꼭 필요한 경우에만 열어보세요

정답이 하나가 아니다. 그래서 이 미션을 냈다.

카톡 아이디는 그것만으로 사람을 찾을 수 있다. 전화번호와 성격이 같다. 그런데 모양이 정해져 있지 않아 정규식으로는 못 잡는다 — 「dohyun65」와 평범한 영어 단어를 구별할 방법이 없다.

사는 곳은 좀 다르다. 「수원」 하나로는 사람이 안 찾아진다. 그런데 이름·나이와 합쳐지면 찾아진다. 하나씩 보면 괜찮은데 모이면 위험해지는 것이 개인정보의 성질이다.

실무의 답은 이렇다 — 애매하면 안 보낸다. 추천에 카톡 아이디가 필요한가? 아니다. 그럼 그 문장을 통째로 빼도 손해가 거의 없다.

# 잡을 수 있는 것만 잡고, 못 잡는 것은 문장째 뺀다
kakao_re = re.compile(r"[^.]*카톡[^.]*\.")
contact_re = re.compile(r"[^.]*(문자|연락|공구|문의)[^.]*\.")


def drop_sentence(text):
    """연락을 주고받자는 문장은 통째로 버린다. 취향과 무관하다."""
    text = kakao_re.sub("", text)
    text = contact_re.sub("", text)
    return text.strip()


sample = "재구매입니다. 복합성인데 자극 없이 잘 썼어요. 카톡 아이디 dohyun65 입니다."
print(drop_sentence(sample))
# -> 재구매입니다. 복합성인데 자극 없이 잘 썼어요.

낱말을 지우는 것보다 문장을 버리는 쪽이 나을 때가 있다. 「카톡 아이디 [아이디] 입니다」는 남겨봐야 취향에 아무 도움이 안 된다.

기준은 하나다 — 이 문장이 추천에 도움이 되는가. 도움이 안 되면서 위험하기만 한 것은 버리는 게 맞다.

정리하면

첫 정규식이 152건 중 42건만 잡았다. 그걸 알아챈 방법은 정규식을 노려본 게 아니라 원본이 몇 건인지 세어본 것이다.

지운 수와 원래 수를 나란히 안 보면 놓친 것을 영영 못 본다. 「지웠습니다」로 끝내면 110건이 그대로 나가는데 아무도 모른다.

넓힌 정규식으로 152건을 다 잡았고, 이메일 46건도 같이 처리했다. 모양이 있는 것은 이렇게 잡힌다.

다음 편은 모양이 없는 것이다. 이름은 정규식으로 잡으려 하면 엉뚱한 것이 잡히고, 우리가 가진 고객표로 대조해도 구멍이 남는다. 거기서 순서를 뒤집게 된다.

디코드랩