Part 2 끝에서 예고했다. 딥러닝이 뭔지 알려면 신경망이 어떻게 생겼는지부터 봐야 한다고. 2강에서 "손잡이가 수백만 개인 기계"라 불렀던 그것의 진짜 모양이다.

이번 강은 코드 없이 그림 세 장으로 간다. 뉴런, 층, 가중치. 이 세 단어만 잡으면 신경망의 겉모습은 다 본 거다. 속에서 벌어지는 계산까지 완전히 이해할 필요는 없다 — 마법이 아니라는 것만 확인하면 된다.

뉴런 하나는 아주 작은 계산기다

"신경망"이라는 이름 때문에 뇌를 흉내 낸 대단한 무언가를 상상하기 쉽다. 그런데 뉴런 하나가 하는 일은 놀랍도록 단순하다.

1. 입력을 받는다여러 숫자가 동시에 들어온다
2. 가중치를 곱해 더한다입력마다 다른 비중을 곱한 뒤 전부 더한다
3. 문턱을 넘는지 본다합이 어떤 기준을 넘으면 신호를 내보낸다
4. 다음 뉴런으로 전달이 출력값이 다음 층의 입력이 된다

입력을 받고, 곱해서 더하고, 문턱과 비교해서, 다음으로 넘긴다. 이게 전부다. 곱셈과 덧셈, 그리고 비교. 초등학교 산수 수준의 연산이다. 다만 이 단순한 계산을 아주 많이, 아주 여러 겹으로 이어붙이면 이야기가 달라진다.

뉴런을 늘어놓으면 층, 층을 쌓으면 신경망

뉴런 하나로는 할 수 있는 일이 적다. 그래서 뉴런을 옆으로 잔뜩 늘어놓는다. 이렇게 나란히 놓인 뉴런 묶음을 **층(layer)**이라 부른다. 그리고 이 층을 위로 여러 겹 쌓으면 신경망이 된다.

• 출력층 — 최종 답을 내놓는다
• 은닉층 2 — 그 결과를 또 한 번 계산한다
• 은닉층 1 — 뉴런들이 한 번 계산한다
• 입력층 — 데이터가 처음 들어오는 층

데이터가 흐르는 방향 ↑

데이터는 맨 아래 입력층으로 들어와, 한 층씩 위로 올라가며 뉴런들의 계산을 거친다. 중간에 낀 층들은 겉에서 안 보인다고 해서 **은닉층(hidden layer)**이라 부르고, 맨 위 출력층이 최종 답을 내놓는다. "딥(deep)러닝"의 "딥"이 가리키는 게 바로 이 은닉층의 개수다 — 은닉층을 여러 겹 깊게 쌓은 신경망이라는 뜻이다. 왜 굳이 깊게 쌓아야 이득인지는 다음 강에서 본다.

가중치는 2강의 그 손잡이였다

뉴런과 뉴런을 잇는 연결선 하나하나에는 숫자가 하나씩 붙어 있다. 이게 **가중치(weight)**다. 그리고 이 가중치가, 2강에서 "학습은 손잡이를 돌리는 일"이라 했던 그 손잡이의 정체다.

2강의 비유	정확한 이름	학습이 하는 일
손잡이	가중치(weight)	연결선마다 붙은 숫자를 조금씩 조정한다
손잡이가 수백만 개인 기계	층을 여러 겹 쌓은 신경망	층이 많고 뉴런이 많을수록 가중치도 많아진다
예측 → 채점 → 조정 고리	순전파 → 손실 계산 → 가중치 갱신	이 고리를 수만 번 도는 게 학습이다

층 하나에 뉴런이 수백 개씩 있고, 그 뉴런들이 다음 층 뉴런 전부와 연결선을 만드니, 가중치 개수는 금세 수백만, 수십억으로 불어난다. 2강에서 "딥러닝은 손잡이가 수백만 개인 기계"라 했던 문장이 여기서 정확히 맞아떨어진다. 이 많은 가중치를 어느 방향으로, 얼마나 조정하는지가 11강의 경사하강이다.

정리하면

신경망은 뉴런(작은 계산기)을 늘어놓아 층을 만들고, 그 층을 여러 겹 쌓은 구조다. 층 사이 연결선에 붙은 가중치가 바로 학습으로 조정되는 그 손잡이다.

1. 01

   뉴런은 곱하고 더하고 비교하는 계산기다

   뇌세포를 흉내 낸 게 아니라, 이름만 빌려온 단순한 수학 연산이다.

2. 02

   뉴런을 늘어놓으면 층, 층을 쌓으면 신경망이다

   입력층 → 은닉층(여러 겹) → 출력층. "딥"은 은닉층을 깊게 쌓았다는 뜻이다.

3. 03

   가중치가 2강의 손잡이였다

   연결선마다 붙은 숫자. 학습은 이 숫자들을 조정하는 일이다.

4. 04

   층이 많을수록 손잡이도 기하급수로 늘어난다

   그래서 딥러닝은 손잡이가 수백만~수십억 개인 기계가 된다.

그런데 층을 그냥 많이 쌓기만 하면 좋은 걸까? 다음 강의에서는 왜 굳이 "깊게" 쌓아야 하는지 — 그리고 그게 왜 최근 몇 년의 성과를 만든 전환점이었는지를 본다.