튜토리얼 · 3

곡선 맞추기

직선은 휘지 못한다. 이 튜토리얼은 은닉층과 비선형이 실제로 무엇을 더하는지를, 선형 모델이 원리상 닿을 수 없는 곡선으로 보여준다 — 손실 수가 아니라 맞은 모양을 보면서.

1 · 목표, 그리고 직선이 할 수 있는 것

목표는 [−2, 2] 위의 sin(3x) · x 다. 먼저 선형 한 층으로 맞춰 보고 결과를 본다. 손실이 더 안 내려가고, 그 이유를 그림이 설명한다.

2 · 은닉층 하나

선형 두 층 사이에 Tanh 하나. 비선형이 없으면 이것도 여전히 직선이다 — 행렬곱 둘은 하나로 접힌다. 활성이 차이의 전부이고, 지워 보면 그 말을 확인할 수 있다.

3 · 눈으로 보기

숫자 열은 판단하기 어렵다. 두 곡선을 그림에 그린다 — 참값을 한 채널, 맞춘 것을 다른 채널에 넣어서, 겹치는 자리는 옅어지고 갈리는 자리는 색이 갈라지게.

4 · 어디서 무너지나

본 적 없는 x 를 물어본다. 신경망은 사이를 메우지 밖을 잇지 않는다. 범위 안에서 완벽해 보이는 맞춤이 한 발짝 밖에서는 아무 말이나 한다. 일찍 한 번 보아 둘 값이 있다.