from sentence_transformers import SentenceTransformer

# "만든사람/모델이름" 형식이다. 깃허브 저장소 주소와 같은 규칙이다.
# 처음 실행할 때만 인터넷에서 받고, 두 번째부터는 디스크에서 바로 읽는다.
model = SentenceTransformer("intfloat/multilingual-e5-small")

print("차원:", len(model.encode("아무 문장이나")))
# ↑ 문장 하나를 넣어보고 숫자가 몇 개 나오는지 센다
print("한 번에 읽는 최대 길이:", model.max_seq_length)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/multilingual-e5-small")

v = model.encode("환불은 어떻게 하나요")
# ↑ 문장을 넣으면 숫자 목록이 나온다. 이 목록을 벡터라고 부른다

print(v.shape)          # (384,) - 숫자 384개짜리 목록 하나
print(v[:6])            # 앞 6개만. 384개를 다 찍으면 화면이 넘친다

texts = ["환불은 어떻게 하나요", "결제를 취소하고 싶어요", "오늘 점심 뭐 먹지"]
vs = model.encode(texts)
# ↑ 목록으로 넣으면 한 번에 처리한다. 하나씩 넣는 것보다 훨씬 빠르다

print(vs.shape)         # (3, 384) - 3줄 384칸

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("intfloat/multilingual-e5-small")

question = "돈 돌려받고 싶다"
docs = [
    "주문 후 7일 이내에 환불 신청이 가능하다.",
    "배송은 결제일 기준 2~3일 걸린다.",
    "회원 등급은 매월 1일에 갱신된다.",
    "포인트는 적립일로부터 1년간 유효하다.",
]

scores = util.cos_sim(model.encode(question), model.encode(docs))[0]
# ↑ 두 벡터가 이루는 각도를 -1 ~ 1 사이 숫자로 바꾼다. 같은 방향이면 1
# [0] 은 결과가 표 모양으로 나와서 첫 줄만 꺼내는 것이다. 3강의 docs[0] 과 같다

print("질문:", question)

# sorted 의 key 로 점수를 주고 큰 것부터 - 3강에서 한 그대로다
for i in sorted(range(len(docs)), key=lambda i: -float(scores[i])):
    # 질문과 문서에 같은 글자가 몇 개나 들어 있는지도 같이 센다
    same = set(question.replace(" ", "")) & set(docs[i].replace(" ", ""))
    print(f"{float(scores[i]):.3f}  겹치는 글자 {len(same)}개  {docs[i]}")

# ... 여기까지는 11강 그대로 (load_documents · chunk_text · chunk_smart · build_chunks · build_chunks_plain)

from sentence_transformers import SentenceTransformer, util

_model = None       # 앞에 _ 를 붙인 것은 「바깥에서 직접 쓰지 말라」는 관례다


def get_model():
    """모델을 한 번만 불러 두고 계속 돌려쓴다."""
    global _model                    # 함수 밖 변수를 바꾸겠다는 선언
    if _model is None:               # 처음 부를 때만 실제로 불러온다
        _model = SentenceTransformer("intfloat/multilingual-e5-small")
    return _model


def embed_rank(chunks, query, answer_file):
    """정답 문서에서 나온 조각이 몇 위에 오는지 - 임베딩 판.

    11강의 rank_of_answer 와 하는 일이 같다. 점수 내는 방법만 다르다.
    """
    model = get_model()
    texts = [c["text"] for c in chunks]

    scores = util.cos_sim(model.encode(query), model.encode(texts))[0]

    ranked = sorted(range(len(texts)), key=lambda i: -float(scores[i]))
    for rank, i in enumerate(ranked, start=1):
        if chunks[i]["source"] == answer_file:
            return rank
    return len(ranked) + 1

import search

QUESTIONS = [
    ("인덱스가 뭔지 물어본다",        "backend.txt"),
    ("화면이 느리면 어떻게 되나",      "frontend.txt"),
    ("데이터가 틀리면 어떻게 되나",    "data.txt"),
    ("타입스크립트를 쓰나",           "frontend.txt"),
    ("파이프라인을 짜는 일",          "data.txt"),
    ("서버와 데이터베이스를 다루는 일", "backend.txt"),
]


def score_char(query, text):
    """11강의 글자 세기."""
    return sum(1 for ch in query if ch in text) / len(query)


def score_word(query, text):
    """11강 응용 문제의 단어 세기."""
    words = query.split()
    return sum(1 for w in words if w in text) / len(words)


def rank_by(chunks, query, answer_file, score_fn):
    """11강의 rank_of_answer 그대로."""
    ranked = sorted(
        [{"s": score_fn(query, c["text"]), "src": c["source"]} for c in chunks],
        key=lambda r: r["s"],
        reverse=True,
    )
    for i, r in enumerate(ranked, start=1):
        if r["src"] == answer_file:
            return i
    return len(ranked) + 1


chunks = search.build_chunks(size=60, min_size=20)

cases = [
    ("글자 세기",   lambda q, a: rank_by(chunks, q, a, score_char)),
    ("단어 세기",   lambda q, a: rank_by(chunks, q, a, score_word)),
    ("임베딩",     lambda q, a: search.embed_rank(chunks, q, a)),
]

for name, rank_fn in cases:
    ranks = [rank_fn(q, a) for q, a in QUESTIONS]
    top1 = sum(1 for r in ranks if r == 1)
    print(f"{name:8s} 1위 {top1}/{len(QUESTIONS)}  평균 {sum(ranks) / len(ranks):.2f}  {ranks}")

from pathlib import Path
from huggingface_hub import constants

cache = Path(constants.HF_HUB_CACHE)
print("캐시 폴더:", cache)

# 모델 하나당 폴더 하나다. 이름의 / 가 -- 로 바뀐다
for folder in sorted(cache.glob("models--*")):
    size = sum(f.stat().st_size for f in folder.rglob("*") if f.is_file())
    print(f"{folder.name:45s} {size / 1024 / 1024:8.1f} MB")

import os

os.environ["HF_HUB_OFFLINE"] = "1"
# ↑ 반드시 아래 import 보다 먼저 와야 한다. 라이브러리가 켜질 때 이 값을 읽는다

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/multilingual-e5-small")
print("인터넷 없이 불러오기 성공", model.encode("잘 되나").shape)