text = "백엔드 개발자는 서버와 데이터베이스를 다룬다. 사용자 눈에 보이지 않는 곳에서 데이터를 저장하고 꺼내는 일을 한다. 주로 쓰는 언어는 자바, 파이썬, 노드다. 요즘은 클라우드 지식도 함께 요구된다."

for start in range(0, len(text), 30):
    print(text[start:start + 30])

print("---")

# 2강의 반복문을 컴프리헨션 한 줄로 줄인 것이다. 하는 일은 같다.
chunks = [text[s:s + 30] for s in range(0, len(text), 30)]

# enumerate 로 번호를 같이 받고, if 로 거른 뒤, 담는 것은 값이 아니라 번호(i)다.
#   [ i    for i, c in enumerate(chunks)   if "..." in c ]
#     번호   번호와 값을 같이 꺼내서         이 말이 들어 있는 것만
print([i for i, c in enumerate(chunks) if "사용자 눈에 보이지 않는" in c])

text = "백엔드 개발자는 서버와 데이터베이스를 다룬다. 사용자 눈에 보이지 않는 곳에서 데이터를 저장하고 꺼내는 일을 한다. 주로 쓰는 언어는 자바, 파이썬, 노드다. 요즘은 클라우드 지식도 함께 요구된다."


# 인자가 하나 늘었다. overlap=0 이 기본값이라 예전처럼 불러도 그대로 동작한다.
def chunk_text(text, size=50, overlap=0):
    """긴 글을 size 글자씩 자른다. overlap 만큼 앞 조각과 겹친다."""
    result = []

    # 여기가 이번 강의의 전부다.
    #   가져오는 길이(size)는 그대로 두고, 건너뛰는 폭만 줄인다.
    #   30 을 가져오면서 20 씩만 건너뛰면 매번 앞의 10 글자가 다시 딸려온다.
    step = size - overlap

    for start in range(0, len(text), step):
        piece = text[start:start + size]     # 길이는 여전히 size 만큼 가져온다
        if piece:                            # 빈 문자열은 거짓이다. 끝에서 나올 수 있다
            result.append(piece)
    return result


without = chunk_text(text, 30, 0)      # 겹침 없음
with_ov = chunk_text(text, 30, 10)     # 10글자 겹침

# 쉼표로 값을 나열하면 튜플이 된다. 두 값을 한 번에 보려고 쓴다.
print(len(without), len(with_ov))

for i, c in enumerate(with_ov):
    # {len(c)}자 처럼 중괄호 바로 뒤에 글자를 붙여도 된다. 중괄호 안만 값으로 바뀐다.
    print(f"{i}  ({len(c)}자)  {c}")

print([i for i, c in enumerate(with_ov) if "사용자 눈에 보이지 않는" in c])

text = "백엔드 개발자는 서버와 데이터베이스를 다룬다. 사용자 눈에 보이지 않는 곳에서 데이터를 저장하고 꺼내는 일을 한다. 주로 쓰는 언어는 자바, 파이썬, 노드다. 요즘은 클라우드 지식도 함께 요구된다."


def chunk_text(text, size=50, overlap=0):
    """긴 글을 size 글자씩 자른다. overlap 만큼 앞 조각과 겹친다."""
    result = []
    step = size - overlap
    for start in range(0, len(text), step):
        piece = text[start:start + size]
        if piece:
            result.append(piece)
    return result


# 리스트를 그냥 돌면 값이 하나씩 나온다. range 처럼 숫자를 만들 필요가 없을 때 쓴다.
for ov in [0, 10, 20, 25]:
    # 콜론 뒤 :2d 는 "정수를 2칸에 오른쪽 맞춤으로". 숫자가 세로로 줄 맞는다.
    print(f"겹침 {ov:2d}  ->  {len(chunk_text(text, 30, ov)):2d}조각")

text = "백엔드 개발자는 서버와 데이터베이스를 다룬다. 사용자 눈에 보이지 않는 곳에서 데이터를 저장하고 꺼내는 일을 한다. 주로 쓰는 언어는 자바, 파이썬, 노드다. 요즘은 클라우드 지식도 함께 요구된다."


def chunk_text(text, size=50, overlap=0):
    """긴 글을 size 글자씩 자른다. overlap 만큼 앞 조각과 겹친다."""
    # raise 는 "여기서 일부러 멈춘다"는 뜻이다. 4강의 try/except 의 반대편이다.
    #   raise 는 에러를 내고, except 는 받는다.
    #   에러 메시지에 f-string 으로 실제 숫자를 넣는 게 중요하다 - 무엇이 얼마여서
    #   틀렸는지가 화면에 그대로 나오고, 그 한 줄이 질문을 몇 개 줄인다.
    if overlap >= size:
        raise ValueError(f"overlap({overlap})은 size({size})보다 작아야 한다")

    result = []
    step = size - overlap
    for start in range(0, len(text), step):
        piece = text[start:start + size]
        if piece:
            result.append(piece)
    return result


print(len(chunk_text(text, 30, 10)))    # 정상은 그대로 돈다
print(chunk_text(text, 30, 30))         # 여기서 우리가 만든 에러가 난다

# search.py - 문서를 읽고 겹치게 잘라 조각으로 만든다
import os
import glob


def load_documents(folder=None):
    """폴더 안 txt 를 전부 읽는다."""
    folder = folder or os.getenv("DOCS_DIR", "docs")
    paths = sorted(glob.glob(f"{folder}/*.txt"))

    if not paths:
        print(f"[경고] '{folder}' 에서 txt 파일을 못 찾았다.")
        return []

    result = []
    for path in paths:
        try:
            with open(path, "r", encoding="utf-8") as f:
                result.append({"source": os.path.basename(path), "text": f.read()})
        except UnicodeDecodeError:
            print(f"[건너뜀] {path} - utf-8 이 아니다")

    print(f"문서 {len(result)}건을 읽었다 (폴더: {folder})")
    return result


def chunk_text(text, size=200, overlap=30):
    """긴 글을 size 글자씩 자른다. overlap 만큼 앞 조각과 겹친다."""
    if overlap >= size:
        raise ValueError(f"overlap({overlap})은 size({size})보다 작아야 한다")

    result = []
    step = size - overlap
    for start in range(0, len(text), step):
        piece = text[start:start + size]
        if piece:
            result.append(piece)
    return result


def build_chunks(folder=None, size=200, overlap=30):
    """문서를 읽어 조각 목록으로 만든다. 조각마다 출처를 붙인다."""
    chunks = []
    for doc in load_documents(folder):
        for piece in chunk_text(doc["text"], size, overlap):
            if piece.strip():
                chunks.append({"source": doc["source"], "text": piece})
    return chunks

import search

# 이름을 붙여 넘기면(size=50) 순서를 안 지켜도 되고, 무엇을 주는지도 읽힌다.
a = search.build_chunks(size=50, overlap=0)
b = search.build_chunks(size=50, overlap=15)

print(len(a), len(b))
print(a[0]["source"], "|", a[0]["text"][:20])
print(b[1]["source"], "|", b[1]["text"][:20])