import requests
from bs4 import BeautifulSoup

soup = BeautifulSoup(
    requests.get("https://www.dcodelab.kr/p/git-21-branch", timeout=30).text,
    "html.parser",
)

# enumerate — 몇 번째인지를 같이 준다
for i, h in enumerate(soup.select("h1")):
    print(f"h1[{i}]  {h.get_text(strip=True)[:50]}")

# find — 태그 이름과 속성으로 찾는다
og = soup.find("meta", property="og:title")

# meta 는 안에 글자가 없고 content 속성에 값이 있다
print("og:title :", og.get("content"))

import re
import time
import pathlib
import requests
from bs4 import BeautifulSoup
from markdownify import markdownify as to_md

SITEMAP = "https://www.dcodelab.kr/sitemap.xml"
OUT = pathlib.Path("posts")


def post_urls():
    """사이트맵에서 글 주소만 골라 목록으로 돌려준다."""
    xml = requests.get(SITEMAP, timeout=30).text
    return [u for u in re.findall(r"<loc>(.*?)</loc>", xml) if "/p/" in u]


def fetch(url):
    """글 하나를 받아 딕셔너리로 돌려준다. 못 받으면 None."""
    soup = BeautifulSoup(requests.get(url, timeout=30).text, "html.parser")

    body = soup.select_one("div.prose")
    if body is None:
        return None           # 구조가 바뀌었다

    for junk in body.select("button, svg, script, style"):
        junk.decompose()

    og = soup.find("meta", property="og:title")

    return {
        # 주소 맨 뒤 조각이 글 이름이다
        "slug": url.rstrip("/").split("/")[-1],
        "title": og.get("content") if og else "",
        "url": url,
        "md": to_md(str(body), heading_style="ATX").strip(),
    }


def main(limit=None):
    OUT.mkdir(exist_ok=True)   # exist_ok=True — 이미 있어도 에러 내지 마

    urls = post_urls()
    print(f"글 주소 {len(urls)}개")
    urls = urls[:limit]

    ok, fail = 0, []
    for i, url in enumerate(urls, 1):
        try:
            post = fetch(url)
        except Exception as e:
            # 한 건이 실패해도 나머지는 계속 받는다
            post = None
            print(f"  [에러] {url} - {e}")

        if post is None or not post["md"]:
            fail.append(url)
            continue

        text = f'# {post["title"]}\n\n<{post["url"]}>\n\n{post["md"]}\n'
        (OUT / f'{post["slug"]}.md').write_text(text, encoding="utf-8")

        ok += 1
        if i % 25 == 0:
            print(f"  {i}/{len(urls)}")

        time.sleep(0.3)        # 요청 사이에 쉰다. 안 쉬면 공격과 구분이 안 된다

    print(f"\n성공 {ok}건, 실패 {len(fail)}건")
    for u in fail[:10]:
        print("  실패:", u)


if __name__ == "__main__":
    main(limit=5)              # 5개로 확인하고, 괜찮으면 None 으로 바꾼다

import pathlib

# glob("*.md") — 이름이 .md 로 끝나는 파일 전부
posts = sorted(pathlib.Path("posts").glob("*.md"))

# p.stem — 확장자를 뺀 파일 이름
sizes = {p.stem: len(p.read_text(encoding="utf-8")) for p in posts}
total = sum(sizes.values())

print(f"파일 {len(posts)}개")
print(f"총 {total:,}자, 평균 {total // len(posts):,}자")

# 정렬한 뒤 양 끝을 본다. 평균만 보면 분포를 놓친다
by_size = sorted(sizes.items(), key=lambda kv: kv[1])
print("가장 짧은 글:", by_size[0])
print("가장 긴 글  :", by_size[-1])