연쇄 법칙

3. 역사

고트프리트 빌헬름 라이프니츠가 연쇄 법칙을 처음 사용한 것으로 보인다. 그는 √a + bz + cz²^영어의 도함수를 제곱근 함수와 a + bz + cz²^영어 함수의 합성 함수로 계산했다. 그는 1676년 회고록에서 처음 언급했지만, 계산에 부호 오류가 있었다.^[2] 연쇄 법칙의 일반적인 표기법은 라이프니츠 덕분이다.^[3] 기욤 드 로피탈은 그의 저서 《무한소 해석》에서 연쇄 법칙을 암묵적으로 사용했다. 레온하르트 오일러의 해석학 책에는 라이프니츠의 발견 후 100년 이상이 지났음에도 연쇄 법칙이 나타나지 않는다. 연쇄 법칙의 첫 번째 "현대적인" 버전은 라그랑주의 1797년 저서 《Théorie des fonctions analytiques》에 나오는 것으로 여겨지며, 코시의 1823년 저서 《Résumé des Leçons données a L’École Royale Polytechnique sur Le Calcul Infinitesimal》에도 등장한다.^[3]

4. 증명

연쇄 법칙은 여러 가지 방법으로 증명할 수 있다.

함수 $f$가 열린 구간 $I$에서 미분 가능하고, 함수 $g$가 열린 구간 $J$에서 미분 가능하며, $g$와 $f$가 합성 가능하면(즉, $g(J)\; \backslash subset\; I$), 합성 함수 $f\; \backslash circ\; g$도 열린 구간 $J$에서 미분 가능하며, 그 도함수는 다음 관계식을 만족한다.

:$(f\; \backslash circ\; g)\text{'}(x)\; =\; f\text{'}(g(x))\; g\text{'}(x)$

이를 연쇄 법칙이라고 한다.^[6] 라이프니츠 표기법을 사용하면 다음과 같이 나타낼 수 있다.

:$\backslash frac\{df\}\{dx\}\; =\; \backslash frac\{df\}\{dg\}\; \backslash cdot\; \backslash frac\{dg\}\{dx\}$

적분에서는 치환 적분에 대응한다.

일반적인 증명 방법은 다음과 같다.

미분의 정의에 의해

:$$

\begin{align}

(f \circ g)'(a) ~ &= \lim_{x \rightarrow a} {(f \circ g)(x) - (f \circ g)(a) \over x - a} \\

&= \lim_{x \rightarrow a} {f(g(x)) - f(g(a)) \over x - a} \\

&= \lim_{x \rightarrow a} \left [ {f(g(x)) - f(g(a)) \over g(x) - g(a)} \cdot {g(x) - g(a) \over x - a}\right ] \\

&= \lim_{x \rightarrow a} {f(g(x)) - f(g(a)) \over g(x) - g(a)} \cdot \lim_{x \rightarrow a} {g(x) - g(a) \over x - a} \\

&= f'(g(a)) \cdot g'(a)

\end{align}



와 같이 된다. 하지만, $a$에 아무리 가까운 곳에도 $g(x)\; =\; g(a)$가 되는 $x$가 존재하는 경우(예를 들어 $g(x)$가 상수 함수인 경우)에는 0으로 나누기가 포함되므로, 이 증명은 잘못되었다.

위의 증명을 수정하여 올바른 증명으로 만들려면 다음과 같이 할 수 있다.

미분의 정의에 의해:

:$(f\; \backslash circ\; g)\text{'}(a)\; =\; \backslash lim\_\{x\; \backslash to\; a\}\; \backslash frac\{f(g(x))\; -\; f(g(a))\}\{x\; -\; a\}.$

$g(x)$가 $a$ 근처의 임의의 $x$에 대해 $g(a)$와 같지 않다고 가정하면, 위 식은 다음과 같이 두 인수의 곱으로 나타낼 수 있다.

:$\backslash lim\_\{x\; \backslash to\; a\}\; \backslash frac\{f(g(x))\; -\; f(g(a))\}\{g(x)\; -\; g(a)\}\; \backslash cdot\; \backslash frac\{g(x)\; -\; g(a)\}\{x\; -\; a\}.$

그러나 $g$가 $a$ 근처에서 진동하는 경우, 아무리 $a$에 가까이 가더라도 $g(x)\; =\; g(a)$를 만족하는 더 가까운 $x$가 항상 존재할 수 있다. 예를 들어, $g(x)\; =\; x^2\backslash sin(1\; /\; x)$에 대해 점 $a\; =\; 0$ 근처에서 이러한 현상이 발생한다. 이 경우 위 식은 0으로 나누기를 포함하므로 정의되지 않는다.

이 문제를 해결하기 위해 다음과 같이 함수 $Q$를 도입한다.

:$Q(y)\; =\; \backslash begin\{cases\}$

\dfrac{f(y) - f(g(a))}{y - g(a)}, & y \neq g(a), \\

f'(g(a)), & y = g(a).

\end{cases}

$f\; \backslash circ\; g$에 대응하는 차분 몫은 항상 다음과 같다.

:$Q(g(x))\; \backslash cdot\; \backslash frac\{g(x)\; -\; g(a)\}\{x\; -\; a\}.$

$g(x)\; \backslash neq\; g(a)$일 때는 $g(x)\; -\; g(a)$가 상쇄되므로 명확하다. $g(x)\; =\; g(a)$일 때는 $f(g(x))\; =\; f(g(a))$이므로 $f\; \backslash circ\; g$의 차분 몫은 0이며, 위 곱은 $f\text{'}(g(a))$ 곱하기 0과 같으므로 0이다. 따라서 위 곱은 항상 차분 몫과 같다.

$f\; \backslash circ\; g$의 $a$에서의 미분 존재성을 보이고 그 값을 결정하기 위해서는, 위 곱의 $x$가 $a$로 갈 때 극한이 존재함을 보이고 그 값을 결정하면 된다. 곱의 극한은 그 인수의 극한이 존재하면 존재하며, 이 경우 두 인수의 곱의 극한은 인수의 극한의 곱과 같다. 두 인수는 $Q(g(x))$와 $(g(x)\; -\; g(a))\; /\; (x\; -\; a)$이다. 후자는 $g$의 $a$에서의 차분 몫이며, 가정에 의해 $g$는 $a$에서 미분 가능하므로, $x$가 $a$로 갈 때 그 극한은 $g\text{'}(a)$와 같다.

$Q(g(x))$의 경우, $Q$는 $f$가 정의될 때마다 정의된다. 또한, $f$는 $g(a)$에서 미분 가능하므로 $Q$는 $g(a)$에서 연속이다. $g$는 $a$에서 미분 가능하므로 $a$에서 연속이며, 따라서 $Q\; \backslash circ\; g$는 $a$에서 연속이다. 따라서 $x$가 $a$로 갈 때 그 극한은 $Q(g(a))$와 같으며, 이는 $f\text{'}(g(a))$이다.

결론적으로 두 인수의 극한이 모두 존재하고 각각 $f\text{'}(g(a))$와 $g\text{'}(a)$와 같으므로, $f\; \backslash circ\; g$의 $a$에서의 미분은 존재하고 $f\text{'}(g(a))g\text{'}(a)$와 같다.

4. 1. 극한을 이용한 증명 (카라테오도리 보조정리)

4. 2. 선형 근사를 이용한 증명

5. 응용

함수 $f$가 열린 구간 $I$에서 미분 가능하고, 함수 $g$가 열린 구간 $J$에서 미분 가능하며, $g$와 $f$가 합성 가능하면 (즉, $g(J) \subset I$), 합성 함수 $f \circ g$도 열린 구간 $J$에서 미분 가능하다. 이때 그 도함수는 다음 관계식을 만족한다.

:$(f \circ g)'(x) = f'(g(x)) g'(x)$

이를 연쇄 법칙이라고 한다.^[1] 라이프니츠 표기법을 사용하면 다음과 같이 나타낼 수 있다.

:$\frac{df}{dx} = \frac{df}{dg} \cdot \frac{dg}{dx}$

이는 적분법에서 치환 적분에 대응한다.

$y = \log ({\cos {x}})$를 $x$에 대해 미분하는 예시를 통해 연쇄 법칙을 적용하는 방법을 살펴보자.

먼저, 주어진 함수는 다음과 같이 두 함수로 분해할 수 있다.

• $y = \log {u}$
• $u = \cos {x}$

• $\frac{dy}{du} = \frac{1}{u}$
• $\frac{du}{dx} = - \sin{x}$

5. 1. 두 개 이상의 함수 합성

5. 2. 몫의 법칙 유도

5. 3. 역함수의 미분

5. 4. 역전파 알고리즘 (인공지능, 심층 학습)

6. 고계 도함수

파아 디 브루노의 공식은 연쇄 법칙을 고계 도함수로 일반화한 것이다. y = f(u)이고 u = g(x)라고 가정하면, 처음 몇 개의 도함수는 다음과 같다.

:$$$$

\begin{align}

\frac{dy}{dx} & = \frac{dy}{du} \frac{du}{dx} \\

\frac{d^2 y }{d x^2} & =

\frac{d^2 y}{d u^2} \left(\frac{du}{dx}\right)^2

+ \frac{dy}{du} \frac{d^2 u}{dx^2} \\

\frac{d^3 y }{d x^3} & =

\frac{d^3 y}{d u^3} \left(\frac{du}{dx}\right)^3

+ 3 \, \frac{d^2 y}{d u^2} \frac{du}{dx} \frac{d^2 u}{d x^2}

+ \frac{dy}{du} \frac{d^3 u}{d x^3} \\

\frac{d^4 y}{d x^4} & =

\frac{d^4 y}{du^4} \left(\frac{du}{dx}\right)^4

+ 6 \, \frac{d^3 y}{d u^3} \left(\frac{du}{dx}\right)^2 \frac{d^2 u}{d x^2}

+ \frac{d^2 y}{d u^2} \left( 4 \, \frac{du}{dx} \frac{d^3 u}{dx^3}

+ 3 \, \left(\frac{d^2 u}{dx^2}\right)^2\right)

+ \frac{dy}{du} \frac{d^4 u}{dx^4}.

\end{align}



단변수 함수의 고계 도함수에 대한 파아 디 브루노의 공식은 다변수 경우로 일반화된다. y = f(u)가 u = g(x)의 함수라면, f ∘ g의 이계도함수는 다음과 같다.

:$$\backslash frac\{\backslash partial^2\; y\}\{\backslash partial\; x\_i\; \backslash partial\; x\_j\}\; =\; \backslash sum\_k\; \backslash left(\backslash frac\{\backslash partial\; y\}\{\backslash partial\; u\_k\}\backslash frac\{\backslash partial^2\; u\_k\}\{\backslash partial\; x\_i\; \backslash partial\; x\_j\}\backslash right)\; +\; \backslash sum\_\{k,\; \backslash ell\}\; \backslash left(\backslash frac\{\backslash partial^2\; y\}\{\backslash partial\; u\_k\; \backslash partial\; u\_\backslash ell\}\backslash frac\{\backslash partial\; u\_k\}\{\backslash partial\; x\_i\}\backslash frac\{\backslash partial\; u\_\backslash ell\}\{\backslash partial\; x\_j\}\backslash right).$$

7. 다변수 함수의 연쇄 법칙

'''a''' ∈ '''R'''ⁿ, ''g'' : '''R'''ⁿ → '''R'''^m, ''f'' : '''R'''^m → '''R'''^p라고 하자. 만약 ''g''가 '''a'''에서 미분가능하고, ''f''가 ''g''('''a''')에서 미분가능하다면 ''f''∘''g''는 '''a'''에서 미분가능하고 그 값은 아래와 같다.

:$D(f\; \backslash circ\; g)\; (\backslash mathbf\{a\})\; =\; Df(g(\backslash mathbf\{a\}))\; D\; g(\backslash mathbf\{a\})$

다변수 함수의 연쇄 법칙은 전미분 또는 야코비 행렬을 이용하여 표현된다.

• '''전미분을 이용한 표현''': 전미분은 모든 방향 도함수를 단일 공식으로 포착하는 선형 변환이다.
• '''야코비 행렬을 이용한 표현''': 야코비 행렬은 전미분에 해당하는 행렬이며, 두 도함수의 합성은 야코비 행렬의 곱에 해당한다.
• '''편미분을 이용한 표현''': 합성함수의 편미분은 위 행렬을 직접 계산하지 않고 간단하게 쓸 수 있다.

7. 1. 전미분을 이용한 표현

7. 2. 야코비 행렬을 이용한 표현

7. 3. 편미분을 이용한 표현

8. 일반화

연쇄 법칙은 다양체, 바나흐 공간의 프레셰 도함수, 미분 대수학, 확률적 미적분학 등 미적분학의 다양한 확장에도 적용된다.^[8] 이러한 확장들에서 공식은 대체로 동일하게 유지되지만, 그 의미는 매우 다를 수 있다.

다양체의 경우, 연쇄 법칙은 합성함수의 도함수가 각 함수의 도함수의 합성임을 나타낸다. 즉, 의 도함수는 의 도함수와 의 도함수의 합성이다. 이 정리는 고차원 연쇄 법칙의 직접적인 결과이며, 동일한 공식을 가진다.

바나흐 공간의 프레셰 도함수에도 연쇄 법칙이 유효하며, 이전과 동일한 공식이 적용된다.^[8] 이 경우와 이전 경우는 바나흐 다양체에 대한 동시 일반화를 허용한다.

미분 대수학에서 도함수는 케일러 미분 모듈의 사상으로 해석된다. 가환환의 환 준동형 사상 은 케일러 미분의 사상 을 결정하며, 이 사상은 원소 을 즉, 의 외미분으로 보낸다. 공식 는 이러한 맥락에서도 성립한다.

이러한 예들의 공통적인 특징은 도함수가 함자의 일부라는 아이디어를 표현한다는 것이다. 함자는 공간과 그 사이의 함수에 대한 연산이다. 각 공간에 새로운 공간을, 두 공간 사이의 각 함수에 해당하는 새로운 공간 사이의 새로운 함수를 할당한다. 위의 각 경우에서 함자는 각 공간을 그 접다발로 보내고 각 함수를 그 도함수로 보낸다. 예를 들어 다양체의 경우 도함수는 -다양체를 -다양체(그 접다발)로, -함수를 그 전도함수로 보낸다. 이것이 함자가 되기 위한 하나의 요구 사항은 합성 함수의 도함수가 도함수의 합성이어야 한다는 것이다. 이것이 바로 공식 이다.

확률적 미적분학에도 연쇄 법칙이 존재한다. 이토의 보조정리는 두 번 미분 가능한 함수 ''f''를 사용하여 이토 과정(또는 더 일반적으로 준마팅게일) ''dX''_''t''의 합성을 나타낸다. 이토의 보조정리에서 합성 함수의 도함수는 ''dX''_''t''와 ''f''의 도함수뿐만 아니라 ''f''의 이계도함수에도 의존한다. 이계도함수에 대한 의존성은 확률 과정의 0이 아닌 2차 변분의 결과이며, 일반적으로 이 과정은 매우 거칠게 위아래로 움직일 수 있음을 의미한다. 연쇄 법칙의 이 변형은 합성되는 두 함수의 유형이 다르기 때문에 함자의 예가 아니다.

함수 $f$가 열린 구간 $I$에서 미분 가능한 함수이고, 함수 $g$가 열린 구간 $J$에서 미분 가능한 함수일 때, $g$와 $f$가 합성 가능하다면 (즉, $g(J)\; \backslash subset\; I$), 합성 함수 $f\; \backslash circ\; g$도 열린 구간 $J$에서 미분 가능하며, 그 도함수는 다음 관계식을 만족한다.

:$(f\; \backslash circ\; g)\text{'}(x)\; =\; f\text{'}(g(x))\; g\text{'}(x)$

이것을 연쇄 법칙이라고 한다. 라이프니츠 표기법을 사용하면 다음과 같이 나타낼 수 있다.

:$\backslash frac\{df\}\{dx\}\; =\; \backslash frac\{df\}\{dg\}\; \backslash cdot\; \backslash frac\{dg\}\{dx\}$

적분법에서는 치환 적분에 대응한다.

참조

_[1] 서적 Calculus with Analytic Geometry
_[2] 논문 THE MANUSCRIPTS OF LEIBNIZ ON HIS DISCOVERY OF THE DIFFERENTIAL CALCULUS. PART II (Continued) https://www.jstor.or[...]
_[3] 논문 A Semiotic Reflection on the Didactics of the Chain Rule https://scholarworks[...] 2019-08-04
_[4] 서적 Mathematical analysis Addison Wesley
_[5] 서적 Deep learning MIT
_[6] 논문 The Derivative á la Carathéodory
_[7] 서적 Calculus on Manifolds Addison-Wesley
_[8] 서적 Analysis for Applied Mathematics Springer