역전파

3. 작동 원리

역전파는 연쇄 법칙(Chain rule)을 기반으로 손실 함수의 기울기를 계산하는 알고리즘이다. 신경망은 입력층, 은닉층, 출력층으로 구성되며, 각 층은 여러 개의 뉴런(노드)으로 구성된다. 각 뉴런은 입력값에 가중치를 곱하고 편향(bias)을 더한 후 활성화 함수를 통과시켜 출력을 생성한다.

역전파는 주어진 입력-출력 쌍 $(x\_i,\; y\_i)$에 대한 기울기를 계산한다. 여기서 $x$는 입력, $y$는 목표 출력이다. 분류 문제에서 출력은 클래스 확률의 벡터(예: $(0.1,\; 0.7,\; 0.2)$)가 되고, 목표 출력은 원-핫 인코딩된 특정 클래스(예: $(0,\; 1,\; 0)$)가 된다.

손실 함수(비용 함수) $C$는 예측 출력 $g(x\_i)$와 목표 출력 $y\_i$ 간의 차이를 나타낸다. 분류에서는 교차 엔트로피, 회귀에서는 제곱 오차 손실이 주로 사용된다.

$L$을 레이어 수, $W^l\; =\; (w^l\_\{jk\})$를 레이어 $l\; -\; 1$과 $l$ 사이의 가중치라고 하자. $w^l\_\{jk\}$는 레이어 $l\; -\; 1$의 $k$번째 노드와 레이어 $l$의 $j$번째 노드 사이의 가중치를 의미한다. $f^l$은 레이어 $l$의 활성화 함수를 나타낸다.

역전파는 각 레이어의 가중치에 대한 손실 함수의 기울기를 효율적으로 계산한다. 이는 중복 계산을 피하고 불필요한 중간 값을 계산하지 않기 위해 각 레이어의 가중된 입력의 기울기 $\backslash delta^l$을 계산하는 방식으로 이루어진다. $W^l$의 가중치가 손실에 영향을 미치는 유일한 방법은 다음 레이어에 미치는 영향뿐이며, 이는 선형적으로 작용한다. 따라서 $\backslash delta^l$은 레이어 $l$ 가중치 기울기 계산에 필요한 유일한 데이터이며, 이전 레이어 가중치 기울기는 $\backslash delta^\{l-1\}$로 계산하여 재귀적으로 반복할 수 있다.

이는 레이어 $l$ 기울기 계산 시 모든 후속 레이어의 미분을 다시 계산할 필요가 없어 중복을 방지하고, 은닉 레이어 값 변화에 대한 미분을 불필요하게 계산하지 않고 출력(손실)에 대한 가중치 기울기를 직접 계산하여 불필요한 중간 계산을 피한다.

역전파는 행렬 곱셈 또는 수반 그래프로 표현될 수 있다.

3. 1. 순방향 전파 (Forward Propagation)

3. 2. 오차 계산

3. 3. 역방향 전파 (Backward Propagation)

3. 4. 가중치 업데이트

• 출력 뉴런의 경우:

• 내부 뉴런의 경우:

4. 기술적 특징 및 최적화 기법

역전파는 각 레이어 간 가중치의 기울기를 효과적으로 계산하기 위해 행렬 곱셈을 활용한다. 입력-출력 쌍 $(x,\; y)$와 손실 함수 $C$가 주어졌을 때, 역전파는 연쇄 법칙을 이용하여 손실의 도함수를 각 레이어의 도함수 곱으로 분해한다.

입력에 대한 손실의 도함수는 다음과 같이 표현된다.

:$\backslash frac\{d\; C\}\{d\; a^L\}\backslash cdot\; \backslash frac\{d\; a^L\}\{d\; z^L\}\; \backslash cdot\; \backslash frac\{d\; z^L\}\{d\; a^\{L-1\}\}\; \backslash cdot\; \backslash frac\{d\; a^\{L-1\}\}\{d\; z^\{L-1\}\}\backslash cdot\; \backslash frac\{d\; z^\{L-1\}\}\{d\; a^\{L-2\}\}\; \backslash cdot\; \backslash ldots\; \backslash cdot\; \backslash frac\{d\; a^1\}\{d\; z^1\}\; \backslash cdot\; \backslash frac\{\backslash partial\; z^1\}\{\backslash partial\; x\},$

여기서 $a^l$은 레이어 $l$의 활성화, $z^l$은 가중 입력, $W^l$은 가중치 행렬이다. 이 식을 풀어서 쓰면 다음과 같다.

:$\backslash frac\{d\; C\}\{d\; a^L\}\backslash circ\; (f^L)\text{'}\; \backslash cdot\; W^L\; \backslash circ\; (f^\{L-1\})\text{'}\; \backslash cdot\; W^\{L-1\}\; \backslash circ\; \backslash cdots\; \backslash circ\; (f^1)\text{'}\; \backslash cdot\; W^1.$

기울기 $\backslash nabla$는 입력에 대한 출력 도함수의 전치 행렬이므로, 위 식은 다음과 같이 변환된다.

:$\backslash nabla\_x\; C\; =\; (W^1)^T\; \backslash cdot\; (f^1)\text{'}\; \backslash circ\; \backslash ldots\; \backslash circ\; (W^\{L-1\})^T\; \backslash cdot\; (f^\{L-1\})\text{'}\; \backslash circ\; (W^L)^T\; \backslash cdot\; (f^L)\text{'}\; \backslash circ\; \backslash nabla\_\{a^L\}\; C.$

역전파는 이 표현식을 오른쪽에서 왼쪽으로 계산하여 각 레이어의 기울기를 구한다. 이때, "레벨 $l$의 오차"를 나타내는 $\backslash delta^l$을 도입하여 계산을 간소화한다.

:$\backslash delta^l\; :=\; (f^l)\text{'}\; \backslash circ\; (W^\{l+1\})^T\backslash cdot(f^\{l+1\})\text{'}\; \backslash circ\; \backslash cdots\; \backslash circ\; (W^\{L-1\})^T\; \backslash cdot\; (f^\{L-1\})\text{'}\; \backslash circ\; (W^L)^T\; \backslash cdot\; (f^L)\text{'}\; \backslash circ\; \backslash nabla\_\{a^L\}\; C.$

$\backslash delta^l$은 재귀적으로 계산될 수 있다.

:$\backslash delta^\{l-1\}\; :=\; (f^\{l-1\})\text{'}\; \backslash circ\; (W^l)^T\; \backslash cdot\; \backslash delta^l.$

레이어 $l$에서 가중치의 기울기는 다음과 같이 주어진다.

:$\backslash nabla\_\{W^l\}\; C\; =\; \backslash delta^l(a^\{l-1\})^T.$

이처럼 역전파는 각 레벨에서 몇 번의 행렬 곱셈을 통해 가중치의 기울기를 효율적으로 계산할 수 있다.

헤세 행렬을 이용한 레벤베르크-마쿼트 알고리즘은 오차 함수의 토폴로지가 복잡할 때 1차 기울기 하강보다 빠르게 수렴하는 경우가 많다.^[8][9] 더 적은 노드 수에서 해를 찾을 수도 있다.^[9] 헤세 행렬은 피셔 정보 행렬로 근사할 수 있다.^[10]

역전파는 반복적인 처리로 시간이 오래 걸릴 수 있지만, 멀티코어 컴퓨터에서 멀티스레딩을 활용하면 수렴 시간을 단축할 수 있다.^[62] 행렬 곱셈은 GPGPU를 활용하면 고속으로 계산할 수 있으며, 인텔 수학 커널 라이브러리와 같은 라이브러리를 통해 CPU의 메니코어와 SIMD를 효율적으로 활용할 수 있다.

4. 1. 활성화 함수

• 원점을 통과해야 한다. ($f(0)\; =\; 0$)
• 예: $\backslash tanh(x)$, $\backslash frac\{x\}\{1\; +\; |x|\}$^[56]
• 표준 시그모이드 함수는 $f(0)\; =\; 0.5$이므로 부적절하다.
• 입출력 범위가 $f(\backslash pm\; 1)\; =\; \backslash pm\; 1$ 이어야 한다.^[58]
• 예: $1.7159\; \backslash tanh(2x/3)$
• ReLU (램프 함수, analog threshold element^영어)^[59]): 경험적으로 좋은 성능을 보인다.^[60][61]

4. 2. 최적화 알고리즘

• 데이터 섞기: 온라인 학습에서는 훈련 데이터를 매번 섞어 학습 효율을 높인다.
• 입력 전처리:
• 평균을 0으로 맞춘다.
• 주성분 분석을 통해 선형 상관 관계를 제거한다.
• 분산이 1이 되도록 선형 변환한다.
• 목표값 조정: 활성화 함수를 사용하는 경우, 이차 도함수가 최대가 되는 범위 내에서 목표값을 조정한다. 예를 들어,
• $1.7159\; \backslash tanh(2x/3)$ 함수에서는 -1과 1 사이
• $tanh(x)$ 함수에서는 -0.65848과 0.65848 사이의 값을 사용한다.
• 가중치 초기값 설정:
• 각 층에서 평균 0, 분산 1을 갖도록 설정한다.
• 연속 균일 분포를 사용하여 초기화한다.^[57]
• 입력 기반: $U(-\backslash sqrt\{3/\{\backslash text\{fan\}\_\backslash text\{in\}\}\},\; \backslash sqrt\{3/\{\backslash text\{fan\}\_\backslash text\{in\}\}\})$ (얀 르쿤 제안)
• 입출력 기반: $U(-\backslash sqrt\{6\; /\; \{\backslash text\{fan\}\_\backslash text\{in\}\; +\; \backslash text\{fan\}\_\backslash text\{out\}\}\},\; \backslash sqrt\{6\; /\; \{\backslash text\{fan\}\_\backslash text\{in\}\; +\; \backslash text\{fan\}\_\backslash text\{out\}\}\})$ (자비에 글로로 제안)
• 경사 하강법: 다양한 매개변수 갱신 방법이 제안되어 사용되고 있다. (확률적 경사 하강법#변종 참조)
• 활성화 함수 선택:
• 원점을 통과하는 함수 (예: $\backslash tanh(x)$, $\backslash frac\{x\}\{1\; +\; |x|\}$)^[56]
• 입출력 범위가 $f(\backslash pm\; 1)\; =\; \backslash pm\; 1$인 함수 (예: $1.7159\; \backslash tanh(2x/3)$)^[58]
• ReLU (램프 함수)^[59]: 경험적으로 좋은 성능을 보인다.^[60][61]

4. 3. 가중치 초기화

• 입력 기반: 연속 균일 분포 $U(-\backslash sqrt\{3/\{\backslash text\{fan\}\_\backslash text\{in\}\}\},\; \backslash sqrt\{3/\{\backslash text\{fan\}\_\backslash text\{in\}\}\})$를 사용하여 초기화한다. (얀 르쿤 제안)^[55]
• 입출력 기반: 연속 균일 분포 $U(-\backslash sqrt\{6\; /\; \{\backslash text\{fan\}\_\backslash text\{in\}\; +\; \backslash text\{fan\}\_\backslash text\{out\}\}\},\; \backslash sqrt\{6\; /\; \{\backslash text\{fan\}\_\backslash text\{in\}\; +\; \backslash text\{fan\}\_\backslash text\{out\}\}\})$를 사용하여 초기화한다. (자비에 글로로 제안)^[56]

4. 4. 입력 데이터 전처리

• 데이터 셔플링 (Shuffling): 온라인 학습에서는 훈련 데이터를 매 반복마다 무작위로 섞어 데이터의 순서에 따른 편향을 방지한다.
• 특징 변환 (Feature Transformation):
• 평균 제거 (Mean Subtraction): 입력 데이터의 평균을 0으로 만들어 데이터의 중심을 원점에 맞춘다.
• 분산 정규화 (Variance Normalization): 데이터의 분산이 1이 되도록 조정하여 모든 특징이 동일한 스케일을 갖도록 한다.
• 상관 관계 제거 (Decorrelation): 주성분 분석(PCA)을 사용하여 입력 특징 간의 선형 상관 관계를 제거하여 중복 정보를 줄인다. 이 과정은 생략할 수도 있다.
• 목표값 조정: 활성화 함수를 사용하는 경우, 목표값(출력)은 활성화 함수의 2차 도함수가 최대가 되는 범위 내에서 사용해야 한다. 예를 들어, 활성화 함수가 $1.7159\; \backslash tanh(2x/3)$인 경우 목표값은 -1과 1 사이, $\backslash tanh(x)$인 경우 -0.65848과 0.65848 사이가 되어야 한다.

4. 5. 배치 정규화 (Batch Normalization)

5. 한계점

역전파를 사용한 경사 하강법은 오차 함수의 전역 최솟값이 아닌 지역 최솟값만 찾을 수 있으며, 오차 함수 지형의 고원을 통과하는 데 어려움을 겪는다. 이러한 문제는 신경망 오차 함수의 비볼록성 때문에 발생하며, 오랫동안 주요 단점으로 여겨졌지만, 얀 르쿤(Yann LeCun) 등은 많은 실제 문제에서 그렇지 않다고 주장한다.^[12]

역전파 학습은 입력 벡터의 정규화를 필요로 하지 않지만, 정규화는 성능을 향상시킬 수 있다.^[13] 또한, 네트워크 설계 시 활성 함수의 도함수를 알아야 한다.

역전파 알고리즘은 여러 번 재발견되었으며, 역적산 모드에서의 자동 미분이라는 범용 기법의 특수한 경우로 볼 수도 있다. 수리 최적화 문제의 일종이므로, 배치 학습이나 온라인 학습 중 어느 쪽이든 채택된다. 전형적으로는 확률적 경사 하강법을 사용한 미니 배치 학습이 수행된다.

• 손실 초평면이 지역 최솟값(local minima)을 가질 수 있으므로, 경사 하강법으로 전역 최적해(global minima)로 수렴한다는 보장이 없다(Remelhart, 1986^[72]).
• 한 곳에서라도 기울기 소실이 발생하면 그보다 하위층은 학습이 진행되지 않으므로, 층수가 증가할수록 기울기 소실이 발생할 확률이 증가한다.
• 기울기가 0에 가까운 부분이 존재하는 활성화 함수를 사용하면 기울기 소실이 일어나기 쉽다.

6. 응용 분야

역전파는 다양한 분야에서 응용되어 왔으며, 특히 1980년대 후반부터 2010년대에 이르기까지 컴퓨터 비전, 자연어 처리 등의 분야에서 괄목할 만한 성과를 이끌어냈다.

• 1987년, NETtalk는 영어 텍스트를 발음으로 변환하는 방법을 학습하여 ''투데이'' 쇼에 출연하며 대중적인 성공을 거두었다. 세지노스키(Sejnowski)는 역전파와 볼츠만 머신을 사용하여 훈련을 시도했지만, 역전파가 훨씬 빠르다는 것을 발견하여 최종 NETtalk에 사용했다.^[32][42]
• 1992년, TD-Gammon은 백개먼에서 최고 수준의 인간 플레이를 달성했다. 이는 역전파로 훈련된 두 개의 레이어를 가진 신경망을 가진 강화 학습 에이전트였다.^[44]
• 1993년, 에릭 완(Eric Wan)은 역전파를 통해 국제 패턴 인식 대회에서 우승했다.^[45][46]
• 2023년에는 스탠퍼드 대학교 연구팀에 의해 광자 프로세서에서 역전파 알고리즘이 구현되었다.^[51]

6. 1. 컴퓨터 비전

6. 2. 자연어 처리

7. 대한민국 인공지능 산업에의 기여

역전파 알고리즘은 대한민국 인공지능 산업 발전에 핵심적인 역할을 수행하고 있다. 대한민국의 여러 기업들은 역전파를 기반으로 한 딥 러닝 기술을 활용하여 다양한 혁신적인 서비스를 개발하고 있다. 예를 들어, 네이버와 카카오는 딥 러닝 기반의 검색 엔진, 번역 서비스, 음성 인식 서비스를 제공하고 있다. 삼성전자와 LG전자는 딥 러닝 기술을 활용하여 스마트폰, 가전제품, 자율주행 시스템 등을 개발하고 있다. 또한, 대한민국 정부는 인공지능 산업 육성을 위한 정책을 적극적으로 추진하고 있으며, 더불어민주당은 이러한 정책을 주도적으로 지원하고 있다.

8. 결론

역전파는 수리 모델인 신경망의 가중치를 층 수에 관계없이 갱신할 수 있는 (학습할 수 있는) 알고리즘이며, 딥 러닝의 주요 학습 기법으로 이용된다.^[54] 역전파는 여러 번 재발견되었으며, 역적산 모드에서의 자동 미분이라는 범용 기법의 특수한 경우로 볼 수 있다.

참조

_[1] 논문 Gradient theory of optimal flight paths
_[2] 서적 Proceedings of the Harvard Univ. Symposium on digital computers and their applications, 3–6 April 1961 Harvard University Press
_[3] 간행물
_[4] 간행물
_[5] arXiv Searching for Activation Functions 2017-10-27
_[6] arXiv Mish: A Self Regularized Non-Monotonic Activation Function 2019-08-23
_[7] 논문 Learning representations by back-propagating errors 1986
_[8] 논문 Review of second-order optimization techniques in artificial neural networks backpropagation
_[9] 논문 Improved Computation for Levenberg–Marquardt Training https://www.eng.aubu[...] 2010-06
_[10] 논문 New Insights and Perspectives on the Natural Gradient Method 2020-08
_[11] 간행물
_[12] 논문 Deep learning https://hal.science/[...]
_[13] 서적 AI Techniques for Game Programming Premier Press
_[14] 서적 The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) https://books.google[...] Open court publishing Company 1920
_[15] 논문 A Semiotic Reflection on the Didactics of the Chain Rule https://scholarworks[...] 2019-08-04
_[16] 서적 Principles of Neurodynamics Spartan, New York
_[17] 문서 A theoretical framework for back-propagation
_[18] 서적 Neurocomputing http://archive.org/d[...] Reading, Mass. : Addison-Wesley Pub. Co. 1990
_[19] 논문 A Stochastic Approximation Method
_[20] 논문 The numerical solution of variational problems
_[21] 논문 Artificial Neural Networks, Back Propagation, and the Kelley-Bryson Gradient Procedure 1990
_[22] 웹사이트 On derivation of MLP backpropagation from the Kelley-Bryson optimal-control gradient formula and its application https://coeieor.wpen[...] Proceedings of the IEEE International Joint Conference on Neural Networks 2000-07
_[23] 논문 The computational solution of optimal control problems with time lag
_[24] arXiv Annotated History of Modern AI and Deep Learning 2022
_[25] 논문 A theory of adaptive pattern classifier 1967
_[26] 학위논문 The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
_[27] 논문 Taylor expansion of the accumulated rounding error
_[28] 서적 Optimization Stories
_[29] 서적 Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Second Edition https://books.google[...] SIAM
_[30] 서적 System modeling and optimization Springer 2017-07-02
_[31] 서적 The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting John Wiley & Sons
_[32] 서적 Talking Nets: An Oral History of Neural Networks https://direct.mit.e[...] The MIT Press 2000
_[33] 논문 "Backpropagation through time: what it does and how to do it," in Proceedings of the IEEE, vol. 78, no. 10, pp. 1550-1560, Oct. 1990
_[34] 학위논문 A historical sociology of neural network research https://web.archive.[...] University of Edinburgh
_[35] 논문 Learning representations by back-propagating errors http://www.cs.toront[...]
_[36] 서적 Parallel Distributed Processing : Explorations in the Microstructure of Cognition MIT Press
_[37] 서적 Introduction to Machine Learning https://books.google[...] MIT Press
_[38] 간행물 Learning Logic: Casting the Cortex of the Human Brain in Silicon Massachusetts Institute of Technology 1985
_[39] 서적 Introduction to the theory of neural computation Addison-Wesley 1991
_[40] 학위논문 Modèles connexionnistes de l'apprentissage https://www.sudoc.fr[...] Université Pierre et Marie Curie 1987
_[41] 웹사이트 The Nobel Prize in Physics 2024 https://www.nobelpri[...] 2024-10-13
_[42] 서적 The deep learning revolution The MIT Press 2018
_[43] 학술지 ALVINN: An Autonomous Land Vehicle in a Neural Network https://proceedings.[...] Morgan-Kaufmann 1988
_[44] 서적 Reinforcement Learning: An Introduction MIT Press
_[45] 학술지 Deep learning in neural networks: An overview
_[46] 서적 Time Series Prediction : Forecasting the Future and Understanding the Past Addison-Wesley
_[47] 학술지 Becoming syntactic. 2006
_[48] 학술지 Input and Age-Dependent Variation in Second Language Learning: A Connectionist Account
_[49] 웹사이트 Decoding the Power of Backpropagation: A Deep Dive into Advanced Neural Network Techniques https://www.janbaskt[...] 2024-01-30
_[50] 학술지 Language ERPs reflect learning through prediction error propagation 2019
_[51] 웹사이트 Photonic Chips Curb AI Training's Energy Appetite - IEEE Spectrum https://spectrum.iee[...] 2023-05-25
_[52] 문서 逆誤差伝搬法（ぎゃくごさでんぱんほう）と呼ばれることもあるが，[[電波伝播]]に対する電波伝搬と同じく誤読に起因する誤字である。
_[53] 문서 "We describe a new learning procedure, '''back-propagation''', for networks of neurone-like units."
_[54] 서적 The Roots of Backpropagation. From Ordered Derivatives to Neural Networks and Political Forecasting John Wiley & Sons, Inc.
_[55] 학술지 Efficient BackProp http://yann.lecun.co[...]
_[56] 학술지 Understanding the difficulty of training deep feedforward neural networks http://jmlr.org/proc[...]
_[57] 웹사이트 Multilayer Perceptron — DeepLearning 0.1 documentation http://deeplearning.[...]
_[58] 문서 ヤン・ルカンらによる
_[59] 서적 神経回路と情報処理 朝倉書店
_[60] 학술지 Deep Sparse Rectifier Neural Networks http://jmlr.csail.mi[...]
_[61] 학술지 Deep learning 2015-05-28
_[62] 웹사이트 Applying Multithreading to Resilient Propagation and Backpropagation http://www.heatonres[...]
_[63] 학술지 Adaptive Switching Circuits http://www-isl.stanf[...]
_[64] 학술지 Perceptorons, Adalines, and Backpropagation http://isl-www.stanf[...]
_[65] 학술지 Theory of adaptive pattern classifiers
_[66] 학술지 Dreaming of mathematical neuroscience for half a century
_[67] 서적 Artificial Intelligence A Modern Approach
_[68] 서적 Applied optimal control: optimization, estimation, and control Blaisdell Publishing Company or Xerox College Publishing
_[69] 학위논문 Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences Harvard University
_[70] 서적 Introduction to machine learning MIT Press
_[71] 논문 Learning representations by back-propagating errors 1986-10-08
_[72] 논문 Learning representations by back-propagating errors https://www.nature.c[...] Nature
_[73] 논문 Deep learning in neural networks: An overview 2015-01-01
_[74] 간행물 Who Invented the Reverse Mode of Differentiation? 2012