퍼셉트론

3. 구조 및 원리

1943년에 발표된 형식 뉴런을 기반으로 한 퍼셉트론은, 1970년대 데이비드 마^[46]와 제임스 앨버스^[47]에 의해 소뇌가 퍼셉트론이라는 가설이 제기되었다. 이후 이토 마사오 등의 전정안구반사 연구^[48]를 통해 평행섬유-푸르키네 세포 간 시냅스의 장기억압(LTD)이 발견되면서 소뇌 퍼셉트론설은 지지를 받고 있다.

퍼셉트론은 반복적 학습 방법을 통해 연결 강도를 조정하며, 특정 목적에 맞는 정확한 연결 강도에 수렴하는 것으로 입증되었다.^[51] 초기에는 인지 능력이 있다는 점에서 주목받았으나, AND, OR 연산과 같이 선형 분리가 가능한 문제만 해결할 수 있다는 한계가 있었다.^[51] 퍼셉트론 학습은 입력을 기대하는 출력값으로 변환할 수 있는 최적의 가중치를 찾는 작업이다.

3. 1. 구조

• 감각 유닛(S-유닛): 20x20 그리드로 배열된 400개의 광전지 어레이로, "입력 망막"이라고도 불린다. 각 S-유닛은 최대 40개의 A-유닛에 연결될 수 있다.
• 연관 유닛(A-유닛): 512개의 퍼셉트론으로 구성된 은닉 계층이다.
• 반응 유닛(R-유닛): 8개의 퍼셉트론으로 구성된 출력 계층이다.

3. 2. 작동 원리

4. 학습 알고리즘

• $r$은 퍼셉트론의 학습률이다. 학습률은 0과 1사이의 값으로, 값이 클수록 가중치 변화가 커진다.
• $y\; =\; f(\backslash mathbf\{z\})$는 입력 벡터 $\backslash mathbf\{z\}$에 대한 퍼셉트론의 ''출력''을 나타낸다.
• $D\; =\; \backslash \{(\backslash mathbf\{x\}\_1,d\_1),\backslash dots,(\backslash mathbf\{x\}\_s,d\_s)\backslash \}$는 $s$개의 샘플로 구성된 ''훈련 집합''이며, 여기서:
• * $\backslash mathbf\{x\}\_j$는 $n$차원 입력 벡터이다.
• * $d\_j$는 해당 입력에 대한 퍼셉트론의 원하는 출력 값이다.

• $x\_\{j,i\}$는 $j$번째 훈련 ''입력 벡터''의 $i$번째 특징의 값이다.
• $x\_\{j,0\}\; =\; 1$이다.

• $w\_i$는 ''가중치 벡터''의 $i$번째 값으로, $i$번째 입력 특징의 값과 곱해진다.
• $x\_\{j,0\}\; =\; 1$이기 때문에 $w\_0$는 편향 상수 $b$ 대신 사용하는 편향 역할을 한다.

• $w\_i(t)$는 시간 $t$에서의 가중치 $i$이다.

4. 1. 단층 퍼셉트론 학습 알고리즘

• $r$은 퍼셉트론의 학습률이다. 학습률은 일반적으로 1보다 작은 양수로 선택되며, 값이 클수록 가중치 변화의 변동성이 커진다.
• $y\; =\; f(\backslash mathbf\{z\})$는 입력 벡터 $\backslash mathbf\{z\}$에 대한 퍼셉트론의 ''출력''이다.
• $D\; =\; \backslash \{(\backslash mathbf\{x\}\_1,d\_1),\backslash dots,(\backslash mathbf\{x\}\_s,d\_s)\backslash \}$는 $s$개의 샘플로 구성된 ''훈련 집합''이다.
• * $\backslash mathbf\{x\}\_j$는 $n$차원 입력 벡터이다.
• * $d\_j$는 해당 입력에 대한 퍼셉트론의 원하는 출력 값이다.

• $x\_\{j,i\}$는 $j$번째 훈련 ''입력 벡터''의 $i$번째 특징의 값이다.
• $x\_\{j,0\}\; =\; 1$이다.

• $w\_i$는 $i$번째 입력 특징의 값과 곱해지는 ''가중치 벡터''의 $i$번째 값이다.
• $x\_\{j,0\}\; =\; 1$이기 때문에 $w\_0$는 편향 상수 $b$ 대신 사용하는 편향 역할을 한다.

• $w\_i(t)$는 시간 $t$에서의 가중치 $i$이다.

$x$가 $\backslash \{-1,\; +1\backslash \}^n$이고 $y\; =\; \backslash theta(x\_i)$인 데이터셋을 생각해 보자. 양의 $x\_i$를 갖는 모든 데이터 포인트는 $y=1$이고, 그 반대의 경우도 마찬가지이다. 퍼셉트론 수렴 정리에 따르면, 퍼셉트론은 최대 $n$번의 실수 후에 수렴한다.^[41]

만약 동일한 작업을 수행하는 논리 프로그램을 작성한다면, 각 양성 예제는 좌표 중 하나가 올바른 좌표임을 보여주고, 각 음성 예제는 그 '보완물'이 양성 예제임을 보여준다. 알려진 모든 양성 예제를 수집함으로써, 결국 하나의 좌표를 제외한 모든 좌표를 제거하게 되고, 그 시점에서 데이터셋을 학습하게 된다.^[41]

이 경계는 최악의 경우에 대해 점근적으로 정확하다. 최악의 경우, 처음 제시된 예제는 완전히 새로운 것이며 $n$비트의 정보를 제공하지만, 그 후의 각 예제는 이전 예제와 최소한으로 다를 것이며 각각 1비트의 정보를 제공한다. $n+1$개의 예제 후에는 $2n$비트의 정보가 있으며, 이는 퍼셉트론에 충분하다.^[32]

그러나 예제가 균일하게 무작위로 제시되는 경우 기대값 측면에서는 정확하지 않다. 첫 번째 예제는 $n$비트, 두 번째 예제는 $n/2$비트 등의 정보를 제공하며, 총 $O(\backslash ln\; n)$개의 예제를 사용하기 때문이다.^[41]

단층 퍼셉트론은 입력층과 출력층만으로 구성되며 단일 뉴런을 갖는다.^[49] 단순 퍼셉트론은 선형 분리 가능한 문제를 유한 번의 반복으로 해결할 수 있다.^[50] 반면, 선형 비분리 문제를 해결할 수 없다는 사실이 마빈 민스키와 시모어 페퍼트에 의해 지적되었다.

4. 2. 수렴성

5. 한계와 극복

마빈 민스키와 시모어 페퍼트는 1969년 저서 "퍼셉트론"에서 단층 퍼셉트론은 XOR 연산이 불가능하지만, 다층 퍼셉트론으로는 XOR 연산이 가능하다는 것을 보였다.^[53]

민스키와 페퍼트는 인공지능 연구자들이 퍼셉트론 연구로 몰려가는 것을 우려하여, "퍼셉트론(1969)"이라는 책을 출간하고 퍼셉트론을 공격하기 시작했다. 과학사회학자 미켈 올라자란(M. Olazaran)은 기호주의 진영이 과학적 반대뿐 아니라 인공지능 연구 주도권을 놓고 연결주의 진영과 정치적 경쟁을 했다고 평가했다. 이를 퍼셉트론 논쟁(Perceptron Controversy)이라고 한다.^[54]

초기에 퍼셉트론은 유망해 보였지만, 여러 종류의 패턴을 인식하도록 훈련시킬 수 없다는 것이 곧 증명되었다. 단층 퍼셉트론은 선형적으로 분리 가능한 패턴만 학습할 수 있기 때문이다.^[22] 분류 작업에서 단일 노드는 패턴을 형성하는 데이터 포인트를 나누는 하나의 선을 가지며, 더 많은 노드는 더 많은 분할 선을 만들 수 있지만, 복잡한 분류를 위해서는 이러한 선들이 결합되어야 한다.

이러한 한계로 인해 인공 신경망 연구는 몇 년간 침체기를 겪었으나, 두 개 이상의 층을 가진 전방향 신경망(다층 퍼셉트론)이 단층 퍼셉트론보다 더 큰 처리 능력을 가진다는 것이 인식되면서 다시 활발해졌다.

민스키와 페퍼트의 저서 ''퍼셉트론''은 단층 퍼셉트론이 XOR 함수를 학습할 수 없음을 보여주었지만, 그들은 이미 다층 퍼셉트론이 XOR 함수를 생성할 수 있다는 것을 알고 있었다.

포켓 알고리즘(Gallant, 1990)은 최상의 해를 "주머니에" 보관하는 방식으로 퍼셉트론 학습의 안정성 문제를 해결했으며, 분리 가능하지 않은 데이터 집합에도 사용될 수 있다. 맥스오버 알고리즘(Wendemuth, 1995)은 데이터 집합의 선형 분리 가능성에 대한 지식 없이도 수렴하여 오분류 수가 적은 해를 반환한다. 투표 퍼셉트론(Freund and Schapire, 1999)은 여러 가중 퍼셉트론을 사용하고, 각 퍼셉트론은 잘못 분류하기 전에 올바르게 분류한 예제의 수에 해당하는 가중치를 받는다.

최적 안정성의 퍼셉트론은 민-오버 알고리즘^[38] 또는 아다트론^[43]과 같은 반복적인 훈련 및 최적화로 결정될 수 있다. 아다트론은 이차 최적화 문제가 볼록하다는 점을 이용하여 서포트 벡터 머신의 개념적 기초가 되었다.

<math>\alpha</math>-퍼셉트론은 고정된 무작위 가중치의 전처리 계층과 임계값 출력 유닛을 추가하여, 이진 공간으로 투영함으로써 아날로그 패턴을 분류할 수 있었다. 충분히 높은 차원의 투영 공간에서는 패턴이 선형적으로 분리될 수 있다.

다층을 사용하지 않고 비선형 문제를 해결하는 또 다른 방법은 고차 네트워크(시그마-파이 유닛)를 사용하는 것이다. 이 네트워크에서는 입력 벡터의 각 요소가 곱해진 입력의 각 쌍별 조합(2차)으로 확장된다.

그러나 모든 훈련 데이터를 완벽하게 분류하는 분류기가 반드시 최상의 것은 아니다. 데이터가 등방향 가우스 분포에서 나온다는 사전 제약 조건이 있다면 입력 공간에서의 선형 분리가 최적이며, 비선형 해는 과적합을 유발한다.

다른 선형 분류 알고리즘으로는 위노우, 서포트 벡터 머신, 로지스틱 회귀 등이 있다.

5. 1. XOR 문제

5. 2. 다층 퍼셉트론과 오차 역전파

6. 응용 분야

2002년부터 퍼셉트론 훈련은 자연어 처리 분야에서 품사 태깅, 구문 분석 (Collins, 2002)과 같은 작업에 널리 사용되기 시작했으며, 분산 컴퓨팅 환경에서 대규모 기계 학습 문제에도 적용되었다.^[44]

참조

_[1] 서적 Neurocomputing Addison-Wesley 1991
_[2] 논문 The Perceptron: A Model for Brain Functioning. I https://link.aps.org[...] 1962-01-01
_[3] 논문 A Logical Calculus of Ideas Immanent in Nervous Activity https://www.bibsonom[...] 1943
_[4] 논문 The Perceptron—a perceiving and recognizing automaton https://bpb-us-e2.wp[...] Cornell Aeronautical Laboratory
_[5] 논문 Perceptron Simulation Experiments https://ieeexplore.i[...] March 1960
_[6] 논문 Undercover Algorithm: A Secret Chapter in the Early History of Artificial Intelligence and Satellite Imagery https://www.tandfonl[...] 2022-06-21
_[7] 논문 The perceptron: A probabilistic model for information storage and organization in the brain. http://dx.doi.org/10[...] 1958
_[8] 간행물 Two Theorems of Statistical Separability in the Perceptron H. M. Stationery Office 1959
_[9] 기술보고서 Cognitive Systems Research Program https://apps.dtic.mi[...] Cornell University 1971
_[10] 기술보고서 Project Para, Perceiving and Recognition Automata https://apps.dtic.mi[...] Cornell Aeronautical Laboratory, Incorporated 1963
_[11] 논문 Inventing Intelligence: On the History of Complex Information Processing and Artificial Intelligence in the United States in the Mid-Twentieth Century https://www.reposito[...] [object Object] 2021-01-11
_[12] 논문 Controversy and the State: Lord ARPA and Intelligent Computing https://www.jstor.or[...] 1998
_[13] 웹사이트 Perceptron, Mark I https://americanhist[...] 2023-10-30
_[14] 서적 The Quest for Artificial Intelligence https://www.cambridg[...] Cambridge University Press 2009
_[15] 서적 Talking Nets: An Oral History of Neural Networks https://direct.mit.e[...] The MIT Press 2000
_[16] 서적 Pattern Recognition and Machine Learning Springer
_[17] 기술보고서 Mark I perceptron operators' manual (Project PARA) / https://apps.dtic.mi[...] Cornell Aeronautical Laboratory 1960
_[18] 논문 A Sociological Study of the Official History of the Perceptrons Controversy
_[19] 웹사이트 Perception Concepts to Photo-Interpretation https://www.cia.gov/[...] 2024-11-14
_[20] 논문 Artificial Worlds and Perceptronic Objects: The CIA's Mid-century Automatic Target Recognition https://direct.mit.e[...] 2024-09-11
_[21] 간행물 Principles of neurodynamics: Perceptrons and the theory of brain mechanisms https://archive.org/[...] Cornell Aeronautical Laboratory 1961-03-15
_[22] 서적 The Deep Learning Revolution https://books.google[...] MIT Press 2018
_[23] 기술보고서 A Description of the Tobermory Perceptron Cornell University 1962
_[24] 기술보고서 System and circuit designs for the Tobermory perceptron Cornell University 1963
_[25] 논문 Neural networks-then and now
_[26] 논문 Theoretical foundations of the potential function method in pattern recognition learning
_[27] 논문 Large margin classification using the perceptron algorithm http://cseweb.ucsd.e[...]
_[28] arXiv Perceptron Mistake Bounds
_[29] 서적 Foundations of Machine Learning https://mitpress.mit[...] MIT Press
_[30] 논문 Linear Summation of Excitatory Inputs by CA1 Pyramidal Neurons
_[31] 서적 Learning Behaviors of Perceptron iConcept Press
_[32] 서적 Information Theory, Inference and Learning Algorithms https://books.google[...] Cambridge University Press 2003-09-25
_[33] 논문 Geometrical and Statistical Properties of Systems of Linear Inequalities with Applications in Pattern Recognition https://ieeexplore.i[...] June 1965
_[34] 논문 General-Purpose Computation with Neural Networks: A Survey of Complexity Theoretic Results https://direct.mit.e[...] 2003-12-01
_[35] 웹사이트 Introduction to Machine Learning, Chapter 3: Perceptron https://openlearning[...] 2023-10-27
_[36] 논문 On convergence proofs for perceptrons 1963
_[37] 서적 Pattern Recognition and Machine Learning Springer Science+Business Media, LLC 2006-08-17
_[38] 논문 Learning algorithms with optimal stability in neural networks
_[39] 논문 On the boundedness of an iterative procedure for solving a system of linear inequalities https://www.ams.org/[...] 1970
_[40] 간행물 The perceptron correction procedure in nonseparable situations 1964
_[41] 서적 The Sciences of the Artificial, reissue of the third edition with a new introduction by John Laird The MIT Press 2019-08-13
_[42] 논문 Learning the Unlearnable
_[43] 논문 The AdaTron: an adaptive perceptron algorithm
_[44] 논문 Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the ACL Association for Computational Linguistics
_[45] 논문 The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
_[46] 논문 A theory of cerebellar cortex
_[47] 논문 A theory of cerebellar function
_[48] 논문 Climbing fibre induced depression of both mossy fibre responsiveness and glutamate sensitivity of cerebellar Purkinje cells
_[49] 웹사이트 What is Perceptron? A Beginners Guide [Updated] Simplilearn https://www.simplile[...] 2021-05-26
_[50] 웹사이트 有意に無意味な話: 単純パーセプトロンの収束定理と限界 https://starpentagon[...] 2020-08-16
_[51] 웹인용 [네이버 지식백과] 퍼셉트론 [perceptron] (실험심리학용어사전, 2008., 곽호완, 박창호, 이태연, 김문수, 진영선) https://terms.naver.[...]
_[52] 서적 모두의 딥러닝 길벗
_[53] 서적 Perceptrons MIT Press 1969
_[54] 서적 인공지능과 인간: 과학문화 함께 만들기 드림미디어 2022