8교시 슬라이드 — 브라우저에서 직접 만져보는 하둡

이 시리즈는 20강짜리 글입니다. 읽기에는 좋은데, 수업으로 진행하기에는 결이 조금 다릅니다. 한 교시 안에서 개념을 보여주고, 손으로 만져보게 하고, 확인 문제로 마무리해야 하니까요.

그래서 같은 내용을 8교시 분량 슬라이드로 다시 묶었습니다. 교시당 30분, 총 253장입니다.

좌우 화살표로 넘기고 M 을 누르면 목차가 열립니다.

가장 큰 차이는 만져볼 수 있다는 것

글로는 "블록이 128MB 로 잘려서 3벌씩 흩어집니다"라고 쓸 수밖에 없습니다. 슬라이드에서는 파일 크기를 직접 밀어보고, 서버를 고장 내보고, 복구되는 걸 눈으로 봅니다.

교시별 내용과 실습

교시	내용	브라우저에서 해보는 것
1교시	왜 하둡인가 — 한 대로 안 되는 순간	데이터 크기·서버 대수를 밀어보며 시간 변화 확인
2교시	HDFS — 자르고 복제하기	가짜 터미널, 블록 분할 · 서버 고장 · 자동 복구
3교시	MapReduce — 개표소 비유로	문장을 직접 넣고 Map → Shuffle → Reduce 단계별 진행
4교시	터미널 · 명령어 · 웹 화면	명령 실습, 하둡 웹 UI 둘러보기, 실행 로그 재생
5교시	파이썬 15줄로 직접 돌리기	파이프라인 실행, 문제가 바뀌면 코드가 어떻게 바뀌는지
6교시	YARN — 자리를 나눠 주는 심판	작업 제출 · 컨테이너 배치, 스케줄러 3종 비교
7교시	Hive 와 생태계	SQL 이 어떤 MapReduce 가 되는지 나란히 보기
8교시	처음부터 끝까지	파이프라인 설계 5문제를 직접 결정해보기

슬라이드가 글을 요약한 게 아닙니다. 같은 내용을 다른 순서로 묶었습니다. 수업에서는 저장을 한 번에 몰아서 보는 편이 낫고, 글에서는 나눠 읽는 편이 낫기 때문이에요.

슬라이드 ↔ 글 대응

눌러보게 되어 있는 것들

01
가짜 HDFS 터미널
-ls · -mkdir · -put · -cat · -du · fsck 가 실제로 동작합니다. 폴더 없이 -put 을 하면 진짜와 같은 오류가 나요. 틀려봐야 배우는 것들이라 일부러 그렇게 뒀습니다.
02
블록 · 복제 · 고장
파일 크기를 바꾸면 조각 수가 달라지고, 서버를 죽이면 어느 블록이 위험해지는지 보입니다. 복제를 1벌로 낮추고 고장을 내보는 것이 이 실습의 핵심이에요.
03
MapReduce 단계 진행
문장을 직접 바꿔 넣고 ① 입력 → ② Split → ③ Map → ④ Shuffle → ⑤ Reduce → ⑥ 결과를 한 단계씩 넘겨봅니다. Map 이 세지 않고 흩기만 하는 게 눈에 들어옵니다.
04
YARN 자원 배분
작업을 던지면 컨테이너가 어디에 뜨는지, 자리가 없으면 어떻게 되는지 봅니다. 스케줄러 세 가지를 같은 상황에서 비교해볼 수도 있어요.
05
SQL 변환기와 설계 문제
SQL 한 줄이 어떤 MapReduce 가 되는지 나란히 보여주고, 마지막 교시에서는 파이프라인 설계 다섯 가지를 직접 고르게 합니다. 고를 때마다 왜 맞고 틀린지 바로 나옵니다.