import search
from langchain_text_splitters import RecursiveCharacterTextSplitter

text = search.load_documents()[0]["text"]      # backend.txt

print("=== 우리가 만든 chunk_smart(60, 20) ===")
for i, c in enumerate(search.chunk_smart(text, 60, 20)):
    print(f"{i} ({len(c)}자) {c}")

print()
print("=== 라이브러리 기본값 ===")
splitter = RecursiveCharacterTextSplitter(
    chunk_size=60,       # 조각 하나의 최대 글자 수
    chunk_overlap=0,     # 겹치는 양. 9강에서 만든 그 개념이다
)
for i, c in enumerate(splitter.split_text(text)):
    print(f"{i} ({len(c)}자) {c}")

import search
from langchain_text_splitters import RecursiveCharacterTextSplitter

text = search.load_documents()[0]["text"]

splitter = RecursiveCharacterTextSplitter(
    chunk_size=60,
    chunk_overlap=0,
    separators=["\n\n", "\n", ". ", " ", ""],
    # ↑ 마침표+공백을 3순위로 끼워넣었다. 우리 cut_once 가 하던 일이다
)

for i, c in enumerate(splitter.split_text(text)):
    print(f"{i} ({len(c)}자) {c}")

import search
from langchain_text_splitters import RecursiveCharacterTextSplitter

text = search.load_documents()[0]["text"]

splitter = RecursiveCharacterTextSplitter(
    chunk_size=60,
    chunk_overlap=0,
    separators=["\n\n", "\n", ". ", " ", ""],
    keep_separator="end",
    # ↑ 구분자를 앞 조각의 끝에 남긴다. 기본값은 "start" 라 다음 조각 앞에 붙는다
)

for i, c in enumerate(splitter.split_text(text)):
    print(f"{i} ({len(c)}자) {c}")

# ... 12강까지의 내용 아래에 덧붙인다

from langchain_text_splitters import RecursiveCharacterTextSplitter


def chunk_lib(text, size=60, min_size=20):
    """라이브러리로 자르되, 짧은 꼬리 붙이기는 우리가 한다.

    10강의 chunk_smart 와 결과가 거의 같다. 자르는 일만 남에게 맡긴 것이다.
    """
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=size,
        chunk_overlap=0,
        separators=["\n\n", "\n", ". ", " ", ""],
        keep_separator="end",
    )

    out = []
    for piece in splitter.split_text(text):
        if out and len(piece) < min_size:
            out[-1] = out[-1] + " " + piece     # 10강에서 만든 그 줄 그대로다
        else:
            out.append(piece)
    return out


def build_chunks_lib(folder=None, size=60, min_size=20):
    """chunk_lib 판 build_chunks. 부르는 함수 하나만 다르다."""
    chunks = []
    for doc in load_documents(folder):
        for piece in chunk_lib(doc["text"], size, min_size):
            if piece.strip():
                chunks.append({"source": doc["source"], "text": piece})
    return chunks

import search
from langchain_text_splitters import RecursiveCharacterTextSplitter

docs = search.load_documents()

splitter = RecursiveCharacterTextSplitter(
    chunk_size=60,
    chunk_overlap=0,
    separators=["\n\n", "\n", ". ", " ", ""],
    keep_separator="end",
    add_start_index=True,
    # ↑ 조각이 원본의 몇 번째 글자에서 시작했는지 기록한다
)

out = splitter.create_documents(
    [d["text"] for d in docs],                          # 본문 목록
    metadatas=[{"source": d["source"]} for d in docs],  # 짝이 되는 정보 목록
)
# ↑ split_text 는 문자열만 준다. create_documents 는 정보를 같이 묶어 준다

print("총", len(out), "조각")
for d in out[:4]:
    print(d.metadata, "|", d.page_content[:28])

from langchain_text_splitters import MarkdownHeaderTextSplitter

md = """# 사내 규정

## 환불 정책

주문 후 7일 이내에 환불 신청이 가능하다.
단순 변심이면 왕복 배송비는 고객 부담이다.

## 배송 안내

배송은 결제일 기준 2~3일 걸린다.
5만원 이상이면 배송비가 없다.
"""

splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=[("#", "문서"), ("##", "섹션")],
    # ↑ 어느 제목에서 끊을지, 그 제목을 무슨 이름으로 저장할지
)

for d in splitter.split_text(md):
    print(d.metadata)
    print(" ", d.page_content.replace("\n", " / "))

import search
from langchain_text_splitters import RecursiveCharacterTextSplitter

QUESTIONS = [
    ("인덱스가 뭔지 물어본다",        "backend.txt"),
    ("화면이 느리면 어떻게 되나",      "frontend.txt"),
    ("데이터가 틀리면 어떻게 되나",    "data.txt"),
    ("타입스크립트를 쓰나",           "frontend.txt"),
    ("파이프라인을 짜는 일",          "data.txt"),
    ("서버와 데이터베이스를 다루는 일", "backend.txt"),
]

def build_plain_lib(size=60):
    """설정을 하나도 안 준 라이브러리 기본값. 비교용이라 여기서만 쓴다."""
    splitter = RecursiveCharacterTextSplitter(chunk_size=size, chunk_overlap=0)
    return [
        {"source": doc["source"], "text": piece}
        for doc in search.load_documents()
        for piece in splitter.split_text(doc["text"])
    ]


cases = [
    ("우리 chunk_smart",  search.build_chunks(size=60, min_size=20)),
    ("lib 기본값",        build_plain_lib(size=60)),
    ("lib 설정 맞춤",     search.build_chunks_lib(size=60, min_size=0)),
    ("lib + 꼬리붙이기",  search.build_chunks_lib(size=60, min_size=20)),
]

for name, chunks in cases:
    ranks = [search.embed_rank(chunks, q, a) for q, a in QUESTIONS]
    top1 = sum(1 for r in ranks if r == 1)
    print(f"{name:18s} 조각 {len(chunks):2d}개  1위 {top1}/6  평균 {sum(ranks) / 6:.2f}  {ranks}")