import time
import pathlib
import numpy as np
from sentence_transformers import SentenceTransformer
from langchain_text_splitters import RecursiveCharacterTextSplitter

# --- 1) 글을 읽어 조각으로 자른다 (앞 편에서 한 것) ---
texts = {
    p.stem: p.read_text(encoding="utf-8")
    for p in sorted(pathlib.Path("posts").glob("*.md"))
}

splitter = RecursiveCharacterTextSplitter(
    chunk_size=200, chunk_overlap=20,
    separators=["\n\n", "\n", ". ", " ", ""],
    keep_separator="end",
)
chunks = [
    {"slug": slug, "text": c}
    for slug, t in texts.items()
    for c in splitter.split_text(t) if c.strip()
]

# --- 2) 조각을 전부 벡터로 바꾼다 ---
model = SentenceTransformer("intfloat/multilingual-e5-small")

t = time.perf_counter()

vecs = model.encode(
    [c["text"] for c in chunks],
    batch_size=32,
    normalize_embeddings=True,    # 길이를 1로 맞춘다 (아래 설명)
    show_progress_bar=True,
)

sec = time.perf_counter() - t

print(f"조각 {len(chunks)}개  {sec:.1f}초  ({len(chunks) / sec:.0f}조각/초)")
print("벡터:", vecs.shape, f"{vecs.nbytes / 1024 / 1024:.1f} MB")

# --- 3) 파일로 저장한다 ---
# 벡터만 저장하면 몇 위가 어느 글인지 알 수 없다. 셋을 같이 저장한다.
np.savez(
    "index.npz",
    vecs=vecs.astype("float32"),
    slugs=np.array([c["slug"] for c in chunks]),
    texts=np.array([c["text"] for c in chunks], dtype=object),
)

import numpy as np
from sentence_transformers import SentenceTransformer

# allow_pickle=True — 안에 글자가 섞여 있어서 필요하다
data = np.load("index.npz", allow_pickle=True)
vecs, slugs, texts = data["vecs"], data["slugs"], data["texts"]

model = SentenceTransformer("intfloat/multilingual-e5-small")
print(f"조각 {len(vecs):,}개 준비됨\n")


def search(question, k=5):
    """질문과 가까운 글 k 개를 찾는다."""
    qv = model.encode([question], normalize_embeddings=True)[0]

    # 조각 벡터 전부와 한 번에 곱한다 -> 조각 수만큼 점수가 나온다
    scores = vecs @ qv

    best = {}
    # argsort() 는 정렬 순서(번호)를 준다. [::-1] 로 뒤집어 큰 것부터
    for i in scores.argsort()[::-1]:
        slug = str(slugs[i])

        # 글마다 "제일 잘 맞은 조각 하나"만 남긴다
        if slug not in best:
            best[slug] = (float(scores[i]), str(texts[i]))

        if len(best) >= k:
            break
    return best


for slug, (score, text) in search("청킹할 때 겹침을 왜 주나").items():
    print(f"{score:.3f}  {slug}")

import numpy as np
from sentence_transformers import SentenceTransformer

data = np.load("index.npz", allow_pickle=True)
vecs, slugs = data["vecs"], data["slugs"]
model = SentenceTransformer("intfloat/multilingual-e5-small")

# (질문, 이 질문의 답이 있는 글) 짝
QUESTIONS = [
    ("청킹할 때 겹침을 왜 주나",        "ai-eng-04-overlap"),
    ("브랜치를 왜 따로 만드나",         "git-21-branch"),
    ("같은 줄을 두 사람이 고치면",      "git-23-conflict"),
    ("조각이 잘 잘렸는지 어떻게 재나",  "ai-eng-06-measuring-chunks"),
    ("코드 리뷰를 요청하는 절차",       "git-24-pull-request"),
    ("엑셀 파일을 파이썬으로 다루기",   "ai-eng-07-excel-report"),
]


def rank_of(question, answer_slug):
    """정답 글이 몇 위에 오나. 끝까지 못 찾으면 999."""
    qv = model.encode([question], normalize_embeddings=True)[0]
    scores = vecs @ qv

    seen = []
    for i in scores.argsort()[::-1]:
        slug = str(slugs[i])
        if slug in seen:               # 같은 글의 다른 조각이면 건너뛴다
            continue
        seen.append(slug)
        if slug == answer_slug:
            return len(seen)
    return 999


ranks = [rank_of(q, a) for q, a in QUESTIONS]

print("1위", sum(1 for r in ranks if r == 1), "/", len(ranks))
print("평균", sum(ranks) / len(ranks))
print(ranks)

from pathlib import Path
from huggingface_hub import constants   # sentence-transformers 를 깔 때 같이 깔린다

cache = Path(constants.HF_HUB_CACHE)
print("캐시 폴더:", cache)

# 모델 하나당 폴더 하나다. 이름의 / 가 -- 로 바뀐다
for folder in sorted(cache.glob("models--*")):
    size = sum(f.stat().st_size for f in folder.rglob("*") if f.is_file())
    print(f"{folder.name:45s} {size / 1024 / 1024:8.1f} MB")

import os

# 반드시 아래 import 보다 먼저 와야 한다
os.environ["HF_HUB_OFFLINE"] = "1"

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/multilingual-e5-small")
print("인터넷 없이 불러오기 성공", model.encode("잘 되나").shape)