21강은 이미 학습을 마친 모델을 서비스로 만드는 법을 봤다. 이번 강의는 그 이야기를 거슬러 올라간다. 모델이 배우는 그 데이터는 애초에 어디서 오고, 어떤 손질을 거쳐 학습에 쓰일 준비를 마치나.

5강에서 지도학습을 "정답이 붙은 예시를 잔뜩 보여주는 것"이라 했다. 그 예시, 그 정답은 하늘에서 떨어지지 않는다. 누군가 모으고, 다듬고, 정답을 붙인다. 이 과정 전체를 데이터 파이프라인이라 부른다.

데이터가 모델에 닿기까지

1. 수집 (collection)웹 · 로그 · 문서 · 센서 등에서 원본 데이터를 끌어모은다
2. 정제 (cleaning)중복 · 오류 · 깨진 값을 걸러낸다. 대개 가장 오래 걸리는 단계
3. 라벨링 (labeling)7강의 그 라벨을 사람 또는 도구가 붙인다
4. 저장 · 버저닝 (storage · versioning)언제 어떤 데이터로 어떤 모델을 학습시켰는지 기록해둔다
5. 학습에 투입여기서부터 11강의 경사하강, 21강의 학습 과정이 시작된다

각 단계가 실무에서는 사람과 도구가 뒤섞여 굴러간다. 수집은 크롤러나 로그 시스템이, 정제는 스크립트가, 라벨링은 사람이(또는 이미 학습된 다른 모델이) 맡는 식이다. 이 편은 각 단계의 세부 도구를 다루지 않는다 — 그 존재와 순서만 잡으면 채용공고의 "데이터 파이프라인 구축 경험"이라는 문구가 무슨 일을 가리키는지 알 수 있다.

정제와 라벨링이 왜 품질을 가르나

정제되지 않은 원본

모은 그대로

• 같은 내용이 중복돼 여러 번 들어 있다
• 오타 · 깨진 인코딩 · 빈 값이 섞여 있다
• 라벨이 없거나, 사람마다 기준이 다르게 붙어 있다
• 이대로 학습시키면 모델이 그 오류까지 "규칙"으로 배운다

정제 · 라벨링을 거친 데이터

학습에 쓸 준비를 마친 것

• 중복 · 오류가 걸러졌다
• 일관된 기준으로 라벨이 붙어 있다
• 8강에서 본 학습 · 검증 · 테스트로 이미 나눠져 있다
• 모델이 배우는 건 진짜 패턴에 가까워진다

7강에서 특징(feature)과 라벨(label)을 모델이 먹는 재료라 했다. 이 재료의 품질을 결정하는 게 정제와 라벨링이다. 8강의 과적합도 다시 여기로 이어진다 — 데이터가 한쪽으로 치우쳐 있으면, 아무리 정교한 모델도 그 치우침을 그대로 배운다.

RAG 의 문서도 결국 같은 파이프라인이다

17~20강에서 본 RAG 를 떠올려보면, 회사 문서를 임베딩하고 벡터DB 에 저장하는 것도 사실 이 파이프라인의 축소판이다. 문서를 모으고(수집), 형식을 맞추고(정제), 최신 버전으로 유지하는 것(버저닝)까지 똑같이 필요하다.

단계	학습용 데이터	RAG 문서
수집	웹 · 로그 · 공개 데이터셋	사내 위키 · 매뉴얼 · 계약서
정제	중복 · 오류 제거	포맷 통일 · 낡은 문서 제외
라벨링	정답 태그를 붙인다	해당 없음 (라벨 대신 임베딩)
버저닝	어느 데이터로 어느 모델을 학습했는지	문서가 바뀌면 벡터DB 도 갱신해야 한다

정리하면

모델이 배우는 데이터는 저절로 준비되지 않는다. 수집 · 정제 · 라벨링 · 저장이라는 파이프라인을 거쳐야 학습에 쓸 수 있다. 이 파이프라인의 품질이 곧 모델이 배울 수 있는 상한선을 정한다.

1. 01

   데이터 파이프라인은 수집 → 정제 → 라벨링 → 저장 → 학습 투입 순이다

   각 단계가 부실하면 뒤에서 아무리 잘 학습시켜도 흔들린다.

2. 02

   정제와 라벨링이 학습 데이터의 품질을 가른다

   5강 지도학습의 그 "정답", 7강의 그 "라벨"이 여기서 만들어진다.

3. 03

   좋은 데이터와 좋은 모델은 대체재가 아니다

   둘 다 필요한 조건이다. 8강 과적합도 데이터 품질과 맞닿아 있다.

4. 04

   RAG 의 문서 관리도 같은 파이프라인의 축소판이다

   수집 · 정제 · 버저닝이 여기서도 그대로 필요하다.

지금까지 21강에서 모델을 서비스로 만드는 법, 이번 강의에서 그 모델이 배우는 데이터가 오는 길을 봤다. 다음 강의에서는 이 둘을 포함한 전체 흐름 — 데이터부터 학습, 배포, 그리고 그 모든 과정에 드는 비용까지 — 을 관리하는 일을 다룬다. MLOps라는 이름이 붙은 영역이다.