델타 규칙

2. 델타 규칙의 유도

델타 규칙은 경사 하강법을 통해 신경망의 출력을 최소화하려고 시도하여 파생된다. $j$개의 출력을 가진 신경망의 오차는 다음과 같이 측정할 수 있다.

:$$E\; =\; \backslash sum\_\{j\}\; \backslash tfrac\{1\}\{2\}\; \backslash left(t\_j-y\_j\backslash right)^2\; .$$

이 경우, 우리는 각 가중치에 대한 오차 함수의 기울기에 비례하여 뉴런의 "가중치 공간"(뉴런의 모든 가중치의 모든 가능한 값의 공간)을 이동하고자 한다. 이를 위해 우리는 각 가중치에 대한 오차의 편미분을 계산한다. $i$번째 가중치의 경우, 이 미분은 다음과 같이 쓸 수 있다.

:$$\backslash frac\{\backslash partial\; E\}\{\; \backslash partial\; w\_\{ji\}\; \}\; .$$

우리는 $j$번째 뉴런에만 집중하고 있으므로, 합계를 생략하면서 위의 오차 공식을 대체할 수 있다.

:$$\backslash frac\{\backslash partial\; E\}\{\; \backslash partial\; w\_\{ji\}\; \}\; =\; \backslash frac\{\; \backslash partial\; \}\{\; \backslash partial\; w\_\{ji\}\; \}\; \backslash left\; [\backslash frac\{1\}\{2\}\; \backslash left(\; t\_j-y\_j\; \backslash right\; )\; ^2\; \backslash right\; ]$$

다음으로 우리는 연쇄 법칙을 사용하여 이것을 두 개의 미분으로 나눈다.

:$$\backslash frac\{\backslash partial\; E\}\{\backslash partial\; w\_\{ji\}\}\; =\; \backslash frac\{\; \backslash partial\; \backslash left\; (\; \backslash frac\{1\}\{2\}\; \backslash left(\; t\_j-y\_j\; \backslash right\; )\; ^2\; \backslash right\; )\; \}\{\; \backslash partial\; y\_j\; \}\; \backslash frac\{\; \backslash partial\; y\_j\; \}\{\; \backslash partial\; w\_\{ji\}\; \}$$

왼쪽 미분을 찾기 위해 멱법칙과 연쇄 법칙을 간단히 적용한다.

:$$\backslash frac\{\backslash partial\; E\}\{\backslash partial\; w\_\{ji\}\}\; =\; -\; \backslash left\; (\; t\_j-y\_j\; \backslash right\; )\; \backslash frac\{\; \backslash partial\; y\_j\; \}\{\; \backslash partial\; w\_\{ji\}\; \}$$

오른쪽 미분을 찾기 위해 다시 연쇄 법칙을 적용하고, 이번에는 $j$에 대한 총 입력 $h\_j$에 대해 미분한다.

:$$\backslash frac\{\backslash partial\; E\}\{\backslash partial\; w\_\{ji\}\}\; =\; -\; \backslash left\; (\; t\_j-y\_j\; \backslash right\; )\; \backslash frac\{\; \backslash partial\; y\_j\; \}\{\; \backslash partial\; h\_j\; \}\; \backslash frac\{\; \backslash partial\; h\_j\; \}\{\; \backslash partial\; w\_\{ji\}\; \}$$

$j$번째 뉴런의 출력 $y\_j$는 뉴런의 활성화 함수 $g$가 뉴런의 입력 $h\_j$에 적용된 것임을 주목하십시오. 따라서 $y\_j$의 미분을 $h\_j$에 대해 간단히 $g$의 1차 미분으로 쓸 수 있다.

:$$\backslash frac\{\backslash partial\; E\}\{\backslash partial\; w\_\{ji\}\}\; =\; -\; \backslash left\; (\; t\_j-y\_j\; \backslash right\; )\; g\text{'}(h\_j)\; \backslash frac\{\; \backslash partial\; h\_j\; \}\{\; \backslash partial\; w\_\{ji\}\; \}$$

다음으로 마지막 항에서 $h\_j$를 모든 $k$ 가중치에 대한 합으로 다시 쓰고, 각 가중치 $w\_\{jk\}$와 해당 입력 $x\_k$를 곱한다.

:$$\backslash frac\{\backslash partial\; E\}\{\backslash partial\; w\_\{ji\}\}\; =\; -\; \backslash left\; (\; t\_j-y\_j\; \backslash right\; )\; g\text{'}(h\_j)\; \backslash ;\; \backslash frac\{\; \backslash partial\}\{\; \backslash partial\; w\_\{ji\}\; \}\; \backslash !\backslash !\backslash left[\; \backslash sum\_\{i\}\; x\_i\; w\_\{ji\}\; \backslash right]$$

우리는 $i$번째 가중치에만 관심을 가지므로, 합계에서 관련있는 유일한 항은 $x\_i\; w\_\{ji\}$입니다. 분명히,

:$$\backslash frac\{\; \backslash partial\; (x\_i\; w\_\{ji\})\; \}\{\; \backslash partial\; w\_\{ji\}\; \}\; =\; x\_i.$$

기울기에 대한 최종 방정식을 제공한다.

:$$\backslash frac\{\backslash partial\; E\}\{\; \backslash partial\; w\_\{ji\}\; \}\; =\; -\; \backslash left\; (\; t\_j-y\_j\; \backslash right\; )\; g\text{'}(h\_j)\; x\_i$$

위에서 언급했듯이, 경사 하강법은 각 가중치에 대한 변경이 기울기에 비례해야 함을 알려줍니다. 비례 상수 $\backslash alpha$를 선택하고 오차를 최소화하기 위해 기울기의 음의 방향으로 가중치를 이동할 수 있도록 마이너스 부호를 제거하면, 대상 방정식에 도달한다.

:$$\backslash Delta\; w\_\{ji\}=\backslash alpha(t\_j-y\_j)\; g\text{'}(h\_j)\; x\_i\; .$$

2. 1. 오차 함수의 정의

2. 2. 경사 하강법 적용

2. 3. 연쇄 법칙 활용

2. 4. 활성화 함수 미분

2. 5. 최종 가중치 업데이트 공식