익스트림 러닝 머신

3. 알고리즘

ELM은 단일 은닉층을 가정하며, $i$번째 은닉 노드의 출력 함수는 $h\_i(\backslash mathbf\{x\})=G(\backslash mathbf\{a\}\_i,b\_i,\backslash mathbf\{x\})$이다. 여기서 $\backslash mathbf\{a\}\_i$와 $b\_i$는 $i$번째 은닉 노드의 파라미터이다. $L$개의 은닉 노드를 가진 단일 은닉층 피드포워드 네트워크(SLFN)에 대한 ELM의 출력 함수는 다음과 같다.

$f\_L(\{\backslash bf\; x\})=\backslash sum\_\{i=1\}^L\{\backslash boldsymbol\; \backslash beta\}\_ih\_i(\{\backslash bf\; x\})$이며, 여기서 $\{\backslash boldsymbol\; \backslash beta\}\_i$는 $i$번째 은닉 노드의 출력 가중치이다.

$\backslash mathbf\{h\}(\backslash mathbf\{x\})=[h\_i(\backslash mathbf\{x\}),...,h\_L(\backslash mathbf\{x\})]$는 ELM의 은닉층 출력 매핑이다. $N$개의 훈련 샘플이 주어지면, ELM의 은닉층 출력 행렬 $\backslash mathbf\{H\}$는 다음과 같이 주어진다:

$\{\backslash bf\; H\}=\backslash left[\backslash begin\{matrix\}$

{\bf h}({\bf x}_1)\\

\vdots\\

{\bf h}({\bf x}_N)

\end{matrix}\right]=\left[\begin{matrix}

G({\bf a}_1, b_1, {\bf x}_1) &\cdots & G({\bf a}_L, b_L, {\bf x}_1)\\

\vdots &\vdots&\vdots\\

G({\bf a}_1, b_1, {\bf x}_N) &\cdots & G({\bf a}_L, b_L, {\bf x}_N)

\end{matrix}\right]



그리고 $\backslash mathbf\{T\}$는 훈련 데이터 목표 행렬이다:

$\{\backslash bf\; T\}=\backslash left[\backslash begin\{matrix\}$

{\bf t}_1\\

\vdots\\

{\bf t}_N

\end{matrix}\right]



일반적으로 ELM은 일종의 정규화 신경망이지만, 조정되지 않은 은닉층 매핑(임의 은닉 노드, 커널 또는 기타 구현으로 구성됨)을 사용하며, 목표 함수는 다음과 같다.

$$

\text{최소화: } \|{\boldsymbol \beta}\|_p^{\sigma_1}+C\|{\bf H}{\boldsymbol \beta}-{\bf T}\|_q^{\sigma_2}



여기서 $\backslash sigma\_1>0,\; \backslash sigma\_2>0,\; p,q=0,\; \backslash frac\{1\}\{2\},\; 1,\; 2,\; \backslash cdots,\; +\backslash infty$이다.

$\backslash sigma\_1$, $\backslash sigma\_2$, $p$ 및 $q$의 다양한 조합을 사용하여 회귀, 분류, 희소 코딩, 압축, 특징 학습 및 클러스터링을 위한 다양한 학습 알고리즘을 얻을 수 있다.

특별한 경우로, 가장 간단한 ELM 훈련 알고리즘은 (단일 은닉층 시그모이드 신경망의 경우) 다음과 같은 형태의 모델을 학습한다.

:$\backslash mathbf\{\backslash hat\{Y\}\}\; =\; \backslash mathbf\{W\}\_2\; \backslash sigma(\backslash mathbf\{W\}\_1\; x)$

여기서 $\backslash mathbf\{W\}\_1$은 입력에서 은닉층으로 가는 가중치 행렬이고, $\backslash sigma$는 활성화 함수이며, $\backslash mathbf\{W\}\_2$는 은닉층에서 출력층으로 가는 가중치 행렬이다. 이 알고리즘은 다음과 같이 진행된다.

# $\backslash mathbf\{W\}\_1$을 임의의 값(예: 가우시안 임의 잡음)으로 채운다.

# 설계 행렬 $\backslash mathbf\{X\}$가 주어지면, 유사역행렬 $\backslash cdot^+$를 사용하여 계산된 응답 변수 $\backslash mathbf\{Y\}$ 행렬에 대한 최소 자승 적합으로 $\backslash mathbf\{W\}\_2$를 추정한다.

#:$\backslash mathbf\{W\}\_2\; =\; \backslash sigma(\backslash mathbf\{W\}\_1\; \backslash mathbf\{X\})^+\; \backslash mathbf\{Y\}$

4. 아키텍처

대부분의 경우, 익스트림 러닝 머신(ELM)은 단일 은닉층 피드포워드 네트워크(SLFN) 형태로 사용된다. 이는 시그모이드 네트워크, RBF 네트워크, 임계값 네트워크, 퍼지 추론 네트워크, 복합 신경망, 웨이블릿 네트워크, 푸리에 변환, 라플라스 변환 등을 포함한다. 회귀, 분류, 희소 코딩, 압축, 특징 학습, 클러스터링 등 다양한 학습 알고리즘이 구현되면서, 여러 ELM을 결합하여 다중 은닉층 네트워크, 딥 러닝 또는 계층적 네트워크를 구성하는 데에도 활용되고 있다.^[15][16][35]

ELM에서 은닉 노드는 단순히 고전적인 인공 뉴런으로만 간주될 필요는 없으며, 계산 요소로서의 역할을 한다. 이 은닉 노드는 고전적인 인공 뉴런일 수도 있고, 기저 함수이거나 여러 은닉 노드가 모여 형성된 서브 네트워크일 수도 있다.^[11]

5. 이론

ELM에 대한 보편적인 근사 및 분류 능력^[5][34]이 문헌에서 증명되었다. 특히, 광빈 황과 그의 팀은 ELM의 보편적인 근사 능력에 대한 엄격한 증명에 거의 7년(2001-2008)을 쏟았다.^[8][11][12]

5. 1. 보편적 근사 능력

5. 2. 분류 능력

6. 뉴런

다양한 비선형 구간별 연속 함수 $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})$가 ELM의 은닉 뉴런에서 사용될 수 있으며, 예를 들어 다음과 같다.

• 시그모이드 함수: $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})=\backslash frac\{1\}\{1+\backslash exp(-(\backslash mathbf\{a\}\backslash cdot\backslash mathbf\{x\}+b))\}$
• 푸리에 함수: $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})=\backslash sin(\backslash mathbf\{a\}\backslash cdot\backslash mathbf\{x\}+b)$
• 하드 리미트 함수:
• 가우시안 함수: $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})=\backslash exp(-b\backslash |\backslash mathbf\{x\}-\backslash mathbf\{a\}\backslash |^2)$
• 멀티쿼드릭스 함수: $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})=(\backslash |\backslash mathbf\{x\}-\backslash mathbf\{a\}\backslash |^2+b^2)^\{1/2\}$
• 웨이블릿: $G(\backslash mathbf\{a\},\; b,\; \backslash mathbf\{x\})=\backslash |a\backslash |^\{-1/2\}\backslash Psi\backslash left(\backslash frac\{\backslash mathbf\{x\}-\backslash mathbf\{a\}\}\{b\}\backslash right)$ 여기서 $\backslash Psi$는 단일 모(母) 웨이블릿 함수이다.
• 원형 함수:
• $\backslash tan(z)=\; \backslash frac\{e^\{iz\}-e^\{-iz\}\}\{i(e^\{iz\}+e^\{-iz\})\}$
• $\backslash sin(z)=\; \backslash frac\{e^\{iz\}-e^\{-iz\}\}\{2i\}$
• 역 원형 함수:
• $\backslash arctan(z)=\; \backslash int\_0^z\backslash frac\{dt\}\{1+t^2\}$
• $\backslash arccos(z)=\; \backslash int\_0^z\backslash frac\{dt\}\{(1-t^2)^\{1/2\}\}$
• 쌍곡선 함수:
• $\backslash tanh(z)=\; \backslash frac\{e^z-e^\{-z\}\}\{e^z+e^\{-z\}\}$
• $\backslash sinh(z)=\; \backslash frac\{e^z-e^\{-z\}\}\{2\}$
• 역 쌍곡선 함수:
• $\backslash text\{arctanh\}(z)=\backslash int\_0^z\backslash frac\{dt\}\{1-t^2\}$
• $\backslash text\{arcsinh\}(z)=\backslash int\_0^z\backslash frac\{dt\}\{(1+t^2)^\{1/2\}\}$

7. 신뢰성

일반적으로 신경망, 특히 익스트림 러닝 머신(ELM)은 내부 작동 원리를 파악하기 어려운 블랙 박스 특징을 지닌다. 이는 엔지니어들이 안전이 중요한 자동화 작업에 ELM을 적용하는 것을 주저하게 만드는 주요 원인 중 하나이다.

이러한 신뢰성 문제를 해결하기 위해 여러 연구가 진행되었다. 한 가지 접근 방식은 임의의 입력값에 대한 의존도를 줄이는 것이다.^[27][28] 또 다른 접근 방식은 특정 작업에 대한 사전 지식으로부터 얻어진 연속적인 제약 조건을 ELM의 학습 과정에 통합하는 데 중점을 둔다.^[29][30] 많은 응용 분야에서 기계 학습 솔루션은 안전한 작동을 보장해야 하므로, 이러한 접근은 타당성을 가진다. 연구에 따르면, ELM의 특별한 형태는 기능적 분리와 선형 판독 가중치를 통해 입력 공간의 미리 정의된 영역에서 연속 제약 조건을 효율적으로 통합하는 데 특히 적합한 것으로 나타났다.

8. 논쟁

익스트림 러닝 머신(ELM) 연구에 대해 학계에서는 크게 두 가지 비판이 제기되었다. 첫째는 ELM이 기존 아이디어를 단순히 재발명하고 무시한다는 점이며, 둘째는 'ELM'이라는 이름 자체의 부적절함과 이를 대중화하려는 시도에 대한 비판이다. 이러한 논쟁은 2008년과 2015년에 있었던 일부 학술적 논의에서 드러났다.^[31]

특히, ''IEEE Transactions on Neural Networks'' 편집자에게 보내진 한 편지에서는 ELM의 핵심 아이디어 중 하나인 '무작위로 훈련되지 않은 가중치를 가진 은닉층 사용'이 이미 1980년대 후반 RBF 네트워크 관련 초기 연구에서 제시된 개념이라고 지적했다.^[32] 이에 대해 ELM 연구를 주도한 광빈 황(Guang-Bin Huang)은 두 방법 간에 미묘한 차이점이 존재한다고 반박했다.^[33]

2015년 발표된 논문에서^[34] 황은 기존에 존재하던 방법에 ELM이라는 이름을 붙인 것에 대한 비판에 대해 강하게 반발했다. 그는 이러한 비판들이 "다양한 이유와 의도로 인해 학문적 또는 전문적인 방식으로 ELM에 대한 매우 부정적이고 도움이 되지 않는 의견"을 제시하며, "화합적인 연구 환경을 파괴하려는 무책임한 익명의 공격"이라고 주장했다. 황은 자신의 연구가 계층적 구조를 포함한 다양한 유형의 신경망에 대한 "통합적인 학습 플랫폼을 제공한다"고 강조했다.^[34][35] 같은 해, 황은 자신이 "악의적이고 공격적인" 것으로 간주하는 비판들에 대해 공식적인 반박 입장을 발표하기도 했다.^[36]

9. 오픈 소스

• MATLAB 라이브러리
• 파이썬 라이브러리^[38]

참조

_[1] 논문 An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels http://www.ntu.edu.s[...] 2014
_[2] 논문 The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain
_[3] 서적 Principles of Neurodynamics Spartan, New York
_[4] 논문 Extreme learning machine: theory and applications
_[5] 논문 Extreme Learning Machine for Regression and Multiclass Classification http://www.ntu.edu.s[...] 2017-08-19
_[6] 논문 An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels http://www.ntu.edu.s[...] 2014
_[7] 논문 Can Threshold Networks Be Trained Directly? http://www.ntu.edu.s[...] 2017-08-22
_[8] 논문 Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes http://www.ntu.edu.s[...] 2017-08-22
_[9] 논문 Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning https://people.eecs.[...] 2008
_[10] 논문 Composite Function Wavelet Neural Networks with Extreme Learning Machine
_[11] 논문 Convex Incremental Extreme Learning Machine http://www.ntu.edu.s[...] 2017-08-22
_[12] 논문 Enhanced Random Search Based Incremental Extreme Learning Machine http://www.ntu.edu.s[...] 2017-08-22
_[13] 논문 Clustering in Extreme Learning Machine Feature Space http://www.intsci.ac[...] 2014
_[14] 논문 Dimension Reduction With Extreme Learning Machine http://www.ntu.edu.s[...] 2016
_[15] 논문 Local Receptive Fields Based Extreme Learning Machine http://www.ntu.edu.s[...] 2017-08-22
_[16] 논문 Extreme Learning Machine for Multilayer Perceptron http://www.ntu.edu.s[...] 2017-08-22
_[17] 논문 The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off 2013
_[18] 논문 The Importance of Mixed Selectivity in Complex Cognitive Tasks 2013
_[19] 논문 Why Neurons Mix: High Dimensionality for Higher Cognition http://www.ntu.edu.s[...] 2015
_[20] 논문 LU triangularization extreme learning machine in EEG cognitive task classification 2017
_[21] arXiv Regularized HessELM and Inclined Entropy Measurement forCongestive Heart Failure Prediction 2019-07-12
_[22] 논문 Diagnosis of Chronic Obstructive Pulmonary Disease using Deep Extreme Learning Machines with LU Autoencoder Kernel https://www.research[...] 2018
_[23] 웹사이트 Classic Papers: Articles That Have Stood The Test of Time https://www.nottingh[...] University of Nottingham 2017-06-15
_[24] 웹사이트 "List of 10 classic AI papers from 2006" https://scholar.goog[...] 2017
_[25] 논문 Extreme learning machine: theory and applications https://www.scienced[...] 2006-12
_[26] 논문 A fast and accurate online sequential learning algorithm for feedforward networks https://ieeexplore.i[...] 2006-11
_[27] 논문 Batch intrinsic plasticity for extreme learning machines https://pub.uni-biel[...] 2011
_[28] 논문 Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity https://pub.uni-biel[...] 2013
_[29] 논문 Reliable integration of continuous constraints into extreme learning machines https://pub.uni-biel[...] 2013
_[30] 서적 Reliability https://pub.uni-biel[...] University Library Bielefeld
_[31] 웹사이트 The Official Homepage on Origins of Extreme Learning Machines (ELM) http://elmorigin.wix[...] 2018-12-15
_[32] 논문 Comments on "The Extreme Learning Machine"
_[33] 논문 Reply to "comments on 'the extreme learning machine' " 2008
_[34] 논문 What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle http://www.ntu.edu.s[...] 2015-07-30
_[35] 간행물 2015 International Joint Conference on Neural Networks (IJCNN) 2015-07-01
_[36] 웹사이트 WHO behind the malign and attack on ELM, GOAL of the attack and ESSENCE of ELM http://www.ntu.edu.s[...] 2015
_[37] 서적 2014 International Joint Conference on Neural Networks (IJCNN) 2014-07-01
_[38] 간행물 High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications 2015