순방향 신경망

3. 역사

인공신경망 연구는 다음과 같은 역사를 거쳤다.

• 1800년경, 르장드르와 가우스는 최소제곱법으로 훈련되는 가장 단순한 형태의 순방향 네트워크를 만들었다. 이는 선형 회귀라고도 불리며, 행성 움직임을 예측하는 데 사용되었다.^{[11][12][21][13][14]}
• 1943년, 워렌 맥컬록과 월터 피츠는 생물학적 신경망의 논리적 모델로 이진 인공 뉴런을 제안했다.^[15]
• 1958년, 프랭크 로젠블랫은 다층 퍼셉트론 모델을 제안했다.^[16] R. D. Joseph는 이보다 이른 시기에 퍼셉트론과 유사한 장치를 언급했다.^[17][21]
• 1960년, Joseph는 적응형 은닉 계층을 가진 다층 퍼셉트론에 대해 논의했다.^[17]
• 1970년, 세포 린나이마는 석사 논문에서 오차 역전파의 현대적 형태를 발표했다.^[23][24][21]
• 1982년, 폴 워보스는 신경망에 오차 역전파를 적용했다.^[26][27]
• 1986년, 데이비드 E. 루멜하트 등은 오차 역전파를 대중화했다.^[30][8]
• 2003년, 요슈아 벤지오 연구팀은 딥 러닝을 언어 모델링에 적용하여 큰 성공을 거두었다.^[31]

3. 1. 초기 모델 (19세기 말 ~ 20세기 중반)

• 1800년경, 르장드르(1805)와 가우스(1795)는 선형 활성화 함수를 가진 단일 가중치 레이어로 구성된 가장 단순한 순방향 네트워크를 만들었다. 이는 최소 제곱법으로 훈련되었으며, 평균 제곱 오차를 최소화하여 선형 회귀라고도 불린다. 르장드르와 가우스는 훈련 데이터를 기반으로 행성 움직임을 예측하는 데 사용했다.^{[11][12][21][13][14]}
• 1943년, 워렌 맥컬록과 월터 피츠는 생물학적 신경망의 논리적 모델로 이진 인공 뉴런을 제안했다.^[15]
• 1958년, 프랭크 로젠블랫은 입력 계층, 학습하지 않는 무작위 가중치를 가진 은닉 계층, 학습 가능한 연결을 가진 출력 계층으로 구성된 다층 퍼셉트론 모델을 제안했다.^[16] R. D. Joseph (1960)^[17]는 이보다 훨씬 더 이른 퍼셉트론과 유사한 장치를 언급했다.^[21] "MIT 링컨 연구소의 팔리(Farley)와 클락(Clark)은 실제로 로젠블랫보다 먼저 퍼셉트론과 유사한 장치를 개발했다." 그러나 "그들은 이 주제를 중단했다."
• 1960년, Joseph^[17]는 적응형 은닉 계층을 가진 다층 퍼셉트론에 대해서도 논의했다. 로젠블랫 (1962)^[18]은 이러한 아이디어를 인용하고 채택했으며, H. D. 블록(Block)과 B. W. 나이트(Knight)의 작업도 언급했다.

3. 2. 퍼셉트론 (1950년대 ~ 1960년대)

• 1800년경, 르장드르(1805)와 가우스(1795)는 선형 활성화 함수를 가진 단일 가중치 레이어로 구성된 가장 단순한 순방향 네트워크를 만들었다. 이는 최소 제곱법으로 훈련되었으며, 평균 제곱 오차를 최소화하여 선형 회귀라고도 불린다. 르장드르와 가우스는 훈련 데이터를 기반으로 행성 움직임을 예측하는 데 사용했다.^{[11][12][21][13][14]}

• 1943년, 워렌 맥컬록과 월터 피츠는 생물학적 신경망의 논리적 모델로 이진 인공 뉴런을 제안했다.^[15]
• 1958년, 프랭크 로젠블랫은 입력 계층, 학습하지 않는 무작위 가중치를 가진 은닉 계층, 학습 가능한 연결을 가진 출력 계층으로 구성된 다층 퍼셉트론 모델을 제안했다.^[16] R. D. Joseph (1960)^[17]는 이보다 훨씬 더 이른 퍼셉트론과 유사한 장치를 언급했다:^[21] "MIT 링컨 연구소의 팔리(Farley)와 클락(Clark)은 실제로 로젠블랫보다 먼저 퍼셉트론과 유사한 장치를 개발했다." 그러나 "그들은 이 주제를 중단했다."

• 1960년, Joseph^[17]는 적응형 은닉 계층을 가진 다층 퍼셉트론에 대해서도 논의했다. 로젠블랫 (1962)^[18]은 이러한 아이디어를 인용하고 채택했으며, H. D. 블록(Block)과 B. W. 나이트(Knight)의 작업도 언급했다. 불행히도 이러한 초기 노력은 은닉 유닛, 즉 딥 러닝을 위한 작동하는 학습 알고리즘으로 이어지지 못했다.

3. 3. 침체기 (1970년대)

3. 4. 부활과 발전 (1980년대 ~ 현재)

4. 주요 모델

인공신경망의 대표적인 모델은 다음과 같다.

• 단층 퍼셉트론: 가장 단순한 형태의 신경망으로, 출력 노드들의 단층으로 구성된다. 입력은 가중치를 통해 출력에 직접 전달된다.^[32]
• 다층 퍼셉트론: 여러 층의 연산 유닛으로 구성되며, 일반적으로 피드포워드(feedforward) 방식으로 서로 연결되어 있다. 한 층의 각 뉴런은 다음 층의 뉴런으로 방향이 있는 연결을 가진다.
• 기타 피드포워드 네트워크: 컨볼루션 신경망, 방사 기저 함수 네트워크 등이 있으며, 이들은 서로 다른 활성화 함수를 사용한다.

  

4. 1. 단층 퍼셉트론

4. 2. 다층 퍼셉트론 (MLP)

4. 3. 기타 피드포워드 네트워크

참조

_[1] 서적 Neural Networks for Babies Sourcebooks
_[2] 서적 Simulation Neuronaler Netze Addison-Wesley
_[3] 저널 Deep learning in neural networks: An overview 2015-01-01
_[4] 학위논문 The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
_[5] 저널 Gradient theory of optimal flight paths
_[6] 서적 Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Spartan Books, Washington DC
_[7] 서적 System modeling and optimization Springer 2017-07-02
_[8] 문서 Learning Internal Representations by Error Propagation https://apps.dtic.mi[...] MIT Press
_[9] 서적 The Elements of Statistical Learning: Data Mining, Inference, and Prediction Springer, New York, NY
_[10] 서적 Neural Networks: A Comprehensive Foundation Prentice Hall
_[11] 간행물 A List of Writings Relating to the Method of Least Squares: With Historical and Critical Notes Academy
_[12] 저널 Gauss and the Invention of Least Squares
_[13] 서적 Linear Algebra With Applications Prentice Hall
_[14] 서적 The History of Statistics: The Measurement of Uncertainty before 1900 https://archive.org/[...] Harvard
_[15] 저널 A logical calculus of the ideas immanent in nervous activity https://doi.org/10.1[...] 1943-12-01
_[16] 저널 The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain
_[17] 서적 Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo
_[18] 서적 Principles of Neurodynamics Spartan, New York
_[19] 서적 Cybernetic Predicting Devices CCM Information Corporation
_[20] 서적 Cybernetics and forecasting techniques American Elsevier Pub. Co.
_[21] 논문 Annotated History of Modern AI and Deep Learning 2022
_[22] 저널 A theory of adaptive pattern classifier 1967
_[23] 학위논문 The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
_[24] 저널 Taylor expansion of the accumulated rounding error
_[25] 간행물 On the computation of derivatives
_[26] 서적 System modeling and optimization Springer 2017-07-02
_[27] 웹사이트 Talking Nets: An Oral History of Neural Networks https://direct.mit.e[...] The MIT Press 2000
_[28] 서적 The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting John Wiley & Sons
_[29] 웹사이트 Who Invented Backpropagation? https://people.idsia[...] IDSIA, Switzerland 2014-10-25
_[30] 저널 Learning representations by back-propagating errors https://www.nature.c[...] 1986-10
_[31] 저널 A neural probabilistic language model https://dl.acm.org/d[...] 2003-03
_[32] 저널 A learning rule for very simple universal approximators consisting of a single layer of perceptrons http://www.igi.tugra[...] 2009-09-08
_[33] 간행물 Approximation by superpositions of a sigmoidal function
_[34] 서적 Simulation Neuronaler Netze Addison-Wesley
_[35] 저널 Deep learning in neural networks: An overview 2015-01-01