다층 퍼셉트론

3. 이론

다층 퍼셉트론(MLP)은 지도 학습 알고리즘으로, 입력 데이터를 특정 범주로 분류하거나 입력과 출력 간의 관계를 학습하는 데 사용된다. MLP는 여러 층의 인공 뉴런(퍼셉트론)으로 구성되어 있으며, 각 층은 이전 층의 출력을 입력으로 받는다.

MLP의 작동 방식은 다음과 같다.

1. 입력 층: 입력 데이터는 첫 번째 층인 입력 층에 제공된다.

2. 은닉 층: 입력 층의 출력은 하나 이상의 은닉 층으로 전달된다. 각 은닉 층의 뉴런은 입력 값을 가중치와 결합하고, 활성화 함수를 적용하여 출력을 생성한다. 활성화 함수는 뉴런의 출력을 결정하는 비선형 함수로, 시그모이드 함수, ReLU 등이 있다.

3. 출력 층: 마지막 은닉 층의 출력은 출력 층으로 전달된다. 출력 층의 뉴런은 문제에 따라 적절한 방식으로 출력을 생성하는데, 예를 들어 분류 문제에서는 각 범주에 대한 확률을 출력할 수 있다.

MLP는 역전파 알고리즘을 사용하여 학습된다. 역전파는 출력 층의 오류를 계산하고, 이를 사용하여 가중치를 조정하여 오류를 줄이는 과정이다. 학습은 여러 번의 반복(에포크)을 거쳐 수행되며, 각 반복마다 모든 훈련 데이터를 사용하여 가중치를 업데이트한다.

MLP는 이미지 인식, 자연어 처리, 음성 인식 등에서 널리 사용된다.

3. 1. 구조

3. 2. 활성화 함수

• 첫 번째는 −1에서 1까지의 범위를 갖는 쌍곡 탄젠트이다.
• 다른 하나는 모양은 비슷하지만 0에서 1까지의 범위를 갖는 로지스틱 함수이다.

4. 용어

다층 퍼셉트론(MLP)은 여러 층으로 구성된 퍼셉트론 네트워크를 의미하며, 단일 퍼셉트론을 의미하지 않는다. "다층 퍼셉트론 네트워크"라고도 한다. MLP에서 "퍼셉트론"은 엄밀한 의미의 퍼셉트론, 즉 헤비사이드 계단 함수를 사용하는 인공 뉴런이 아니라, 임의의 활성화 함수를 사용하는 인공 뉴런을 의미한다.^[1]

진정한 퍼셉트론은 이항 분류를 수행하지만, MLP 뉴런은 활성화 함수에 따라 분류나 회귀를 자유롭게 수행할 수 있다.^[1]

이후 "다층 퍼셉트론"이라는 용어는 노드나 층의 특성에 관계없이, 즉 퍼셉트론뿐만 아니라 임의로 정의된 뉴런으로 구성된 네트워크에도 적용되게 되었다. 이는 인공 뉴런을 일반적으로 의미하는 "퍼셉트론"의 정의 완화를 피하기 위한 것이다.^[1]

5. 응용

다층 퍼셉트론(MLP)은 복잡한 문제를 확률적으로 해결하는 능력을 가지고 있어 여러 연구 분야에서 유용하게 사용된다. 시벤코 정리에서 볼 수 있듯이, MLP는 범용 근사자^[34]이므로 회귀분석을 통해 수학적 모델을 만드는 데 활용될 수 있다. 특히 반응변수가 이분변인인 경우, 분류는 회귀분석의 특수한 형태이므로 MLP는 효과적인 분류 알고리즘으로 사용된다.

1980년대에 MLP는 머신러닝 분야에서 주목받는 해결책으로 떠올라 음성 인식, 이미지 인식(컴퓨터 비전), 기계 번역 등 다양한 분야에 응용되었다.^[35] 그러나 이후에는 더 간단한 방식인 서포트 벡터 머신과의 경쟁에 직면했다.^[36] 딥 러닝 기술이 발전하면서 역전파 네트워크에 대한 관심이 다시 높아지고 있다.

대한민국에서는 1980년대부터 다층 퍼셉트론 관련 기술이 연구되기 시작했으며, 현재는 4차 산업혁명 시대의 핵심 기술 중 하나로 인식되고 있다. 특히, 딥 러닝 기반 기술 발전과 함께 다양한 산업 분야에서 그 활용이 점차 증가하는 추세이다.

참조

_[1] 논문 Approximation by superpositions of a sigmoidal function 1989
_[2] 학위논문 The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
_[3] 학술지 Gradient theory of optimal flight paths
_[4] 서적 Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Spartan Books 1961
_[5] 서적 System modeling and optimization Springer 2017-07-02
_[6] 논문 Learning Internal Representations by Error Propagation https://apps.dtic.mi[...] MIT Press 1986
_[7] 서적 The Elements of Statistical Learning: Data Mining, Inference, and Prediction Springer 2009
_[8] 웹사이트 Why is the ReLU function not differentiable at x=0? https://sebastianras[...]
_[9] 서적 Handbook of Neural Computation https://www.taylorfr[...] CRC Press
_[10] 학술지 Artificial neural networks (the multilayer perceptron)—a review of applications in the atmospheric sciences https://www.scienced[...] Elsevier
_[11] 학술지 A logical calculus of the ideas immanent in nervous activity https://doi.org/10.1[...] 1943-12-01
_[12] 학술지 The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain
_[13] 서적 Principles of Neurodynamics Spartan, New York
_[14] 서적 Cybernetic Predicting Devices https://books.google[...] CCM Information Corporation
_[15] 서적 Cybernetics and forecasting techniques https://books.google[...] American Elsevier Pub. Co.
_[16] arXiv Annotated History of Modern AI and Deep Learning 2022
_[17] 학술지 A theory of adaptive pattern classifier 1967
_[18] 학위논문 The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
_[19] 학술지 Taylor expansion of the accumulated rounding error
_[20] 서적 Talking Nets: An Oral History of Neural Networks https://direct.mit.e[...] The MIT Press 2000
_[21] 서적 System modeling and optimization Springer 2017-07-02
_[22] 학술지 Learning representations by back-propagating errors https://www.nature.c[...] 1986-10
_[23] 논문 Learning Internal Representations by Error Propagation https://apps.dtic.mi[...] MIT Press 1986
_[24] 학술지 A neural probabilistic language model https://dl.acm.org/d[...] 2003-03
_[25] 웹사이트 Papers with Code – MLP-Mixer: An all-MLP Architecture for Vision https://paperswithco[...]
_[26] 서적 Neural Networks: A Comprehensive Foundation Prentice Hall
_[27] 서적 Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Spartan Books
_[28] 서적 Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation MIT Press
_[29] 학술지 Approximation by superpositions of a sigmoidal function
_[30] 서적 The Elements of Statistical Learning: Data Mining, Inference, and Prediction Springer
_[31] 서적 Neural Networks: A Comprehensive Foundation Prentice Hall
_[32] 학술지 Neural networks. II. What are they and why is everybody so interested in them now?
_[33] 학술지 Links between Perceptrons, MLPs and SVMs https://ronan.collob[...]
_[34] 논문 Approximation by superpositions of a sigmoidal function 1989
_[35] 학술지 Neural networks. II. What are they and why is everybody so interested in them now?
_[36] 논문 Links between Perceptrons, MLPs and SVMs 2004