import re

from app.core.db import query

reviews = [r for (r,) in query(
    "SELECT review FROM purchases WHERE review IS NOT NULL AND review != ''")]

# 7교시에서 만든 자 ― 정규식과 무관하게 센다
rough = [t for t in reviews if "010" in t.replace("-", "").replace(" ", "")]

FIRST = re.compile(r"01[016-9]-\d{3,4}-\d{4}")      # 첫 판 ― 하이픈만 잡는다
print(f"  들어 있는 후기    {len(rough):>4}건")
print(f"  첫 판이 잡은 것   {sum(1 for t in rough if FIRST.search(t)):>4}건\n")

print("  --- 첫 판이 놓친 것 둘 ---")
for t in [t for t in rough if not FIRST.search(t)][:2]:
    print(f"    {t}")

print("\n  --- 구분자별로 세면 ---")
SHAPES = (
    ("하이픈", re.compile(r"01[016-9]-\d{3,4}-\d{4}")),
    ("공백", re.compile(r"01[016-9]\s\d{3,4}\s\d{4}")),
    ("붙여 씀", re.compile(r"01[016-9]\d{7,8}")),
)
for label, pattern in SHAPES:
    print(f"  {label:8s} {sum(1 for t in rough if pattern.search(t)):>4}건")

"""개인정보 마스킹 ― 규칙만 있는 자리. **DB 를 모른다.**

도시 사전 · 이름 사전은 app/features/privacy.py 가 읽어서 **인자로 넣어 준다.**

여기서는 **지운다.** 지우면 못 되돌린다 ― 그래서 나가는 글에만 쓰고,
화면에 보여 줄 원문은 따로 들고 있는다.
"""

import re

# 🔴 010-1234-5678 · 010 1234 5678 · 01012345678 을 다 잡는다.
#    하이픈만 잡는 정규식은 152건 중 42건만 잡았다 (실측)
PHONE = re.compile(r"01[016-9][-.\s]?\d{3,4}[-.\s]?\d{4}")
EMAIL = re.compile(r"[\w.+-]+@[\w-]+\.[\w.]{2,}")

# 🔴 카톡 아이디는 모양이 정해져 있지 않다. 아이디를 잡는 대신 그 문장을 통째로 버린다
KAKAO = re.compile(r"[^.!?]*카톡[^.!?]*[.!?]?")
CONTACT = re.compile(r"[^.!?]*(문자|연락|공구|디엠|DM)[^.!?]*[.!?]?")


def build_address_pattern(cities):
    """도시 목록으로 주소 정규식을 만든다. 목록이 비면 None 을 준다.

    '천안 일산동' 처럼 도시 + 동네로 나온다.
    """
    if not cities:
        return None
    # 🔴 긴 도시 이름부터 시도한다. 짧은 게 먼저 먹으면 '천안'이 '천안시'를 조각낸다
    ordered = sorted(set(cities), key=len, reverse=True)
    return re.compile(r"(?:%s)(?:\s?[가-힣]+(?:동|구|읍|면|로|길))?" % "|".join(ordered))


def _tidy(text):
    """공백 정리 ― 가리고 나면 빈칸이 여러 개 생긴다."""
    return re.sub(r"\s{2,}", " ", text).strip()


def mask_text(text, *, address=None):
    """지운다. 되돌릴 수 없다 ― 나가는 글에만 쓴다.

    address  build_address_pattern() 이 만든 정규식. 안 주면 주소는 안 가린다
    """
    if not text:
        return text
    text = KAKAO.sub(" ", text)          # 먼저 문장을 버리고
    text = CONTACT.sub(" ", text)
    text = PHONE.sub("[연락처]", text)    # 남은 것에서 조각을 가린다
    text = EMAIL.sub("[메일]", text)
    if address is not None:
        text = address.sub("[주소]", text)
    return _tidy(text)

"""마스킹 조립 ― 규칙(domain)에 사전(DB)을 붙여 주는 자리.

앱의 다른 코드는 여기 mask_text() 하나만 부른다.

혼자 돌려볼 수 있다:  python -m app.features.privacy
"""

from app.core.db import query
from app.domain import masking

_address = None    # None = 아직 안 읽었다는 표시


def _load():
    """사전을 한 번만 읽어 둔다.

    🔴 파일 맨 위에서 읽지 않는다. 그러면 이 파일을 import 하는 것만으로
       DB 가 있어야 한다 ― 9교시에 시험을 붙일 때 그게 문제가 된다.
    """
    global _address
    if _address is not None:
        return
    cities = [city for (city,) in query("SELECT DISTINCT city FROM customers")]
    _address = masking.build_address_pattern(cities)


def mask_text(text):
    """지운다 ― 앱이 부르는 것은 이 함수다."""
    _load()
    return masking.mask_text(text, address=_address)


__all__ = ["mask_text"]


if __name__ == "__main__":
    import sys

    sys.stdout.reconfigure(errors="replace")
    _load()

    reviews = [r for (r,) in query(
        "SELECT review FROM purchases WHERE review IS NOT NULL AND review != ''")]
    print(f"후기 {len(reviews):,}건\n")

    # 왼쪽은 '자'(정규식과 무관하게 센 것), 오른쪽은 우리 정규식이 잡은 것
    print(f"  {'무엇':10s} {'들어 있는 후기':>12s} {'정규식이 잡은 것':>14s}")
    checks = (
        ("전화", lambda t: "010" in t.replace("-", "").replace(" ", ""), masking.PHONE),
        ("메일", lambda t: "@" in t, masking.EMAIL),
        ("카톡", lambda t: "카톡" in t, masking.KAKAO),
        ("주소", lambda t: _address.search(t) is not None, _address),
    )
    for label, has, pattern in checks:
        rough = sum(1 for t in reviews if has(t))
        caught = sum(1 for t in reviews if pattern.search(t))
        print(f"  {label:10s} {rough:>12,} {caught:>14,}")

    # 🔴 두 번째 채점 ― 마스킹한 결과를 다시 검사한다
    leaked = [t for t in reviews if "010" in mask_text(t).replace("-", "").replace(" ", "")]
    print(f"\n  마스킹 뒤에도 010 이 남은 후기: {len(leaked)}건")

    sample = next(t for t in reviews if masking.PHONE.search(t))
    print(f"\n  전: {sample}")
    print(f"  후: {mask_text(sample)}")

from app.core.db import query
from app.domain import masking

reviews = [r for (r,) in query(
    "SELECT review FROM purchases WHERE review IS NOT NULL AND review != ''")]

has_phone = [t for t in reviews if masking.PHONE.search(t)]
eaten = [t for t in has_phone
         if masking.KAKAO.search(t) or masking.CONTACT.search(t)]

print(f"   전화번호가 든 후기             {len(has_phone):>4}건")
print(f"   그중 카톡/연락 문장에 먹힌 것     {len(eaten):>4}건")
print(f"   [연락처] 로 바뀌는 것            {len(has_phone) - len(eaten):>4}건")

NAME = re.compile(r"[가-힣]{3}")     # 한글 세 글자

NAME = re.compile(r"[김이박최정강조윤장임][가-힣]{2}")

import re

from app.core.db import query

reviews = [r for (r,) in query(
    "SELECT review FROM purchases WHERE review IS NOT NULL AND review != ''")]
names = [n for (n,) in query("SELECT DISTINCT name FROM customers")]

# ① 사전이 잡은 것
hit = sum(1 for t in reviews if any(n in t for n in names))
print(f"  사전({len(names)}개)이 잡은 후기             {hit:>4}건")

# ② 자 ― 이름은 보통 호칭과 같이 나온다. 그걸로 거칠게 센다
NAMELIKE = re.compile(r"([가-힣]{2,4})\s*(?:고객님|님|씨)")
outside, examples = 0, []
for t in reviews:
    for m in NAMELIKE.finditer(t):
        if m.group(1) not in names:      # 사전에 없는 이름이 호칭과 함께 나왔다
            outside += 1
            examples.append(m.group(0))
            break
print(f"  '...님/씨' 인데 사전에 없는 후기       {outside:>4}건")
print(f"  예: {examples[:6]}")

# ③ 오탐 ― 고객 이름이 상품명에 섞여 있나
prods = [n for (n,) in query("SELECT name FROM products")]
false_hits = [n for n in names if any(n in p for p in prods)]
print(f"\n  상품명에 섞인 고객 이름(오탐 후보)      {len(false_hits)}개")

# ④ 정렬이 실제로 일하나 ― 다른 이름의 앞부분인 이름이 있나
pairs = [(a, b) for a in names for b in names if a != b and b.startswith(a)]
print(f"  다른 이름의 앞부분인 이름              {len(pairs)}쌍")

"""개인정보 마스킹 ― 규칙만 있는 자리. **DB 를 모른다.**

순서를 이렇게 잡는다.

    1) 안 꺼낸다      전화 · 메일 컬럼은 SELECT 에서 뺀다. 제일 확실하고 제일 싸다
    2) 가린다         후기처럼 뜻이 필요해서 뺄 수 없는 글만 정규식 · 대조로 처리
    3) 남는 걸 적는다  못 잡는 게 있다. 못 잡는다는 걸 아는 것과 모르는 것은 다르다

    🔴 이름 사전 방식의 한계 ― 우리 고객이 아닌 사람 이름은 못 잡는다.
       호칭이 붙은 것만 세어 **최소 31건**이 남는다 (호칭 없는 건 세지도 못했다).

여기서는 **지운다.** 지우면 못 되돌린다 ― 그래서 나가는 글에만 쓰고,
화면에 보여 줄 원문은 따로 들고 있는다.
"""

import re

# 🔴 010-1234-5678 · 010 1234 5678 · 01012345678 을 다 잡는다.
#    하이픈만 잡는 정규식은 152건 중 42건만 잡았다 (실측)
PHONE = re.compile(r"01[016-9][-.\s]?\d{3,4}[-.\s]?\d{4}")
EMAIL = re.compile(r"[\w.+-]+@[\w-]+\.[\w.]{2,}")

# 🔴 카톡 아이디는 모양이 정해져 있지 않다. 아이디를 잡는 대신 그 문장을 통째로 버린다
KAKAO = re.compile(r"[^.!?]*카톡[^.!?]*[.!?]?")
CONTACT = re.compile(r"[^.!?]*(문자|연락|공구|디엠|DM)[^.!?]*[.!?]?")


def build_address_pattern(cities):
    """도시 목록으로 주소 정규식을 만든다. 목록이 비면 None 을 준다.

    '천안 일산동' 처럼 도시 + 동네로 나온다.
    """
    if not cities:
        return None
    # 🔴 긴 도시 이름부터 시도한다. 짧은 게 먼저 먹으면 '천안'이 '천안시'를 조각낸다
    ordered = sorted(set(cities), key=len, reverse=True)
    return re.compile(r"(?:%s)(?:\s?[가-힣]+(?:동|구|읍|면|로|길))?" % "|".join(ordered))


def _tidy(text):
    """공백 정리 ― 가리고 나면 빈칸이 여러 개 생긴다."""
    return re.sub(r"\s{2,}", " ", text).strip()


def mask_text(text, *, names=(), address=None):
    """지운다. 되돌릴 수 없다 ― 나가는 글에만 쓴다.

    names    가릴 이름 목록. 안 주면 이름은 안 가린다
    address  build_address_pattern() 이 만든 정규식. 안 주면 주소는 안 가린다
    """
    if not text:
        return text
    text = KAKAO.sub(" ", text)          # 먼저 문장을 버리고
    text = CONTACT.sub(" ", text)
    text = PHONE.sub("[연락처]", text)    # 남은 것에서 조각을 가린다
    text = EMAIL.sub("[메일]", text)
    if address is not None:
        text = address.sub("[주소]", text)
    # 🔴 긴 이름부터 지운다 (짧은 게 먼저 먹으면 조각이 남는다)
    for name in sorted(set(names), key=len, reverse=True):
        if name in text:
            text = text.replace(name, "[이름]")
    return _tidy(text)

>>> t = "박은수 고객님"
>>> for name in ["박은", "박은수"]:          # 짧은 것부터
...     t = t.replace(name, "[이름]") if name in t else t
>>> t
'[이름]수 고객님'                            # 🔴 「수」 한 글자가 남는다

>>> t = "박은수 고객님"
>>> for name in sorted(["박은", "박은수"], key=len, reverse=True):
...     t = t.replace(name, "[이름]") if name in t else t
>>> t
'[이름] 고객님'

"""마스킹 조립 ― 규칙(domain)에 사전(DB)을 붙여 주는 자리.

앱의 다른 코드는 여기 mask_text() 하나만 부른다.

혼자 돌려볼 수 있다:  python -m app.features.privacy
"""

from app.core.db import query
from app.domain import masking

_names = None      # None = 아직 안 읽었다는 표시. 빈 목록([])과 구분해야 한다
_address = None


def _load():
    """사전을 한 번만 읽어 둔다.

    🔴 파일 맨 위에서 읽지 않는다. 그러면 이 파일을 import 하는 것만으로
       DB 가 있어야 한다 ― 9교시에 시험을 붙일 때 그게 문제가 된다.
    """
    global _names, _address
    if _names is not None:
        return
    # 🔴 이름 사전은 고객 표에서 그때그때 만든다. 하드코딩하면 고객이 늘 때 조용히 새어 나간다
    _names = [name for (name,) in query("SELECT DISTINCT name FROM customers")]
    cities = [city for (city,) in query("SELECT DISTINCT city FROM customers")]
    _address = masking.build_address_pattern(cities)


def mask_text(text):
    """지운다 ― 앱이 부르는 것은 이 함수다."""
    _load()
    return masking.mask_text(text, names=_names, address=_address)


__all__ = ["mask_text"]


if __name__ == "__main__":
    import sys

    sys.stdout.reconfigure(errors="replace")
    _load()

    reviews = [r for (r,) in query(
        "SELECT review FROM purchases WHERE review IS NOT NULL AND review != ''")]
    print(f"후기 {len(reviews):,}건 · 이름 사전 {len(_names)}개\n")

    # 왼쪽은 '자'(정규식과 무관하게 센 것), 오른쪽은 우리 정규식이 잡은 것
    print(f"  {'무엇':10s} {'들어 있는 후기':>12s} {'정규식이 잡은 것':>14s}")
    checks = (
        ("전화", lambda t: "010" in t.replace("-", "").replace(" ", ""), masking.PHONE),
        ("메일", lambda t: "@" in t, masking.EMAIL),
        ("카톡", lambda t: "카톡" in t, masking.KAKAO),
        ("주소", lambda t: _address.search(t) is not None, _address),
    )
    for label, has, pattern in checks:
        rough = sum(1 for t in reviews if has(t))
        caught = sum(1 for t in reviews if pattern.search(t))
        print(f"  {label:10s} {rough:>12,} {caught:>14,}")

    # 🔴 이름은 왼쪽 칸이 물음표다 ― 「원래 몇 건인지」를 셀 자가 없다
    hit_name = sum(1 for t in reviews if any(n in t for n in _names))
    print(f"  {'이름':10s} {'?':>12s} {hit_name:>14,}   <- 사전에 있는 이름만 잡힌다")

    # 🔴 두 번째 채점 ― 마스킹한 결과를 다시 검사한다
    leaked = [t for t in reviews if "010" in mask_text(t).replace("-", "").replace(" ", "")]
    print(f"\n  마스킹 뒤에도 010 이 남은 후기: {len(leaked)}건")

    sample = next(t for t in reviews if masking.PHONE.search(t))
    print(f"\n  전: {sample}")
    print(f"  후: {mask_text(sample)}")