정칙화

3. 주요 정칙화 기법

통계 및 기계 학습에서 정칙화는 모델의 매개변수 학습에 사용되며, 특히 과적합을 방지하고 일반화 성능을 높이는 데 사용된다.

기계 학습에서 가장 일반적인 것은 L1 정칙화 (''p''=1)와 L2 정칙화 (''p''=2)이다. 손실 함수 $E(\backslash boldsymbol\{w\})$ 대신,

: $E(\backslash boldsymbol\{w\})\; +\; \backslash lambda\; \backslash frac\{1\}\{p\}\; \backslash |\; \backslash boldsymbol\{w\}\; \backslash |\_p^p\; =\; E(\backslash boldsymbol\{w\})\; +\; \backslash lambda\; \backslash frac\{1\}\{p\}\; \backslash sum\_i\; |w\_i|^p$

를 사용한다. $\backslash boldsymbol\{w\}$는 매개변수의 벡터이며, $\backslash |\; \backslash cdot\; \backslash |\_p$는 L1 노름 (''p''=1) 또는 L2 노름 (''p''=2) 등이다. $\backslash lambda$는 하이퍼파라미터이며, 양의 상수이고, 클수록 정칙화의 효과가 강해지지만, 교차 검증 등으로 결정한다.

손실 함수를 매개변수로 편미분하면,

; L2 정칙화의 경우

: $\backslash frac\{\; \backslash partial\; E(\backslash boldsymbol\{w\})\; \}\{\; \backslash partial\; w\_i\; \}\; +\; \backslash lambda\; w\_i$

; L1 정칙화의 경우

: $\backslash frac\{\; \backslash partial\; E(\backslash boldsymbol\{w\})\; \}\{\; \backslash partial\; w\_i\; \}\; +\; \backslash lambda\; \backslash sgn(w\_i)$

가 되며, 이는 최급강하법이나 확률적 경사 하강법을 사용하는 경우, L2 정칙화는 매개변수의 크기에 비례하는 만큼, L1 정칙화는 $\backslash lambda$만큼 0에 가깝게 한다는 것을 의미한다.

이 기법은 다양한 모델에서 이용할 수 있다. 선형 회귀 모델에 이용한 경우, L1의 경우에는 라쏘 회귀^[19], L2의 경우에는 릿지 회귀^[18]라고 부른다. 로지스틱 회귀, 신경망, 서포트 벡터 머신, 조건부 확률장 등에서도 사용된다. 신경망 분야에서는, L2 정칙화를 가중치 감쇠(weight decay)라고도 부른다.

다음은 일반화 선형 모형에 사용되는 정칙화 기법의 목록이다.

== L1 정칙화 (Lasso) ==

L1 정칙화 (LASSO)는 계수의 절댓값을 기반으로 페널티를 추가하여 희소 모델을 만든다.^[4] 이는 가중치의 절댓값 합에 비례하는 페널티를 부여하는 방식으로, 일부 가중치를 0으로 만들어 특성 선택 효과를 얻을 수 있다.^[14][15]

== L2 정칙화 (Ridge) ==

L2 정칙화(릿지 회귀)는 가중치의 제곱 합에 비례하는 페널티를 비용 함수에 추가하여 가중치가 작아지도록 유도한다.^[4] 이는 모델의 복잡도를 제한하고 과적합을 방지하는 효과가 있다. L2 정칙화는 L1 정칙화에 비해 특성 선택 효과는 약하지만, 수치적으로 안정적인 해를 제공한다는 특징이 있다.

이 기법은 적분 방정식에 정규화를 적용하고 다른 여러 분야에서 중요한 기여를 한 안드레이 니콜라예비치 티호노프의 이름을 따서 티호노프 정규화라고도 불린다. 알 수 없는 벡터 $w$로 특징지어지는 선형 함수 $f(x)\; =\; w\; \backslash cdot\; x$를 학습할 때, 노름이 작은 해를 선호하기 위해 벡터 $w$의 $L\_2$ 노름을 손실 식에 추가할 수 있으며, 이는 다음과 같이 표현된다.

$$\backslash min\_w\; \backslash sum\_\{i=1\}^\{n\}\; V(\backslash hat\; x\_i\; \backslash cdot\; w,\; \backslash hat\; y\_i)\; +\; \backslash lambda\; \backslash left\backslash |w\backslash right\backslash |\_2^2,$$

여기서 $(\backslash hat\; x\_i,\; \backslash hat\; y\_i),\; \backslash ,\; 1\; \backslash leq\; i\; \backslash leq\; n,$는 훈련에 사용된 샘플을 나타낸다.

일반적인 함수의 경우, 해당 함수의 재생 커널 힐베르트 공간에서의 노름은 다음과 같다.

$$\backslash min\_f\; \backslash sum\_\{i=1\}^\{n\}\; V(f(\backslash hat\; x\_i),\; \backslash hat\; y\_i)\; +\; \backslash lambda\; \backslash left\backslash |f\backslash right\backslash |\_\{\backslash mathcal\{H\}\}^2$$

$L\_2$ 노름은 미분 가능하므로, 경사 하강법을 통해 학습을 진행할 수 있다.^[4]

다음은 일반화 선형 모형에 사용되는 정칙화 기법의 목록중 하나이다.^[18]

== 엘라스틱 넷 (Elastic Net) ==

엘라스틱 넷(^[20])은 L1 정칙화 (LASSO)와 L2 정칙화를 결합한 방식이다.^[4] L1 정칙화는 계수의 절대값을 기반으로 페널티를 추가하여 희소 모델을 만들고, L2 정칙화는 계수의 제곱을 기반으로 페널티를 추가하여 더 작고 균등하게 분산된 가중치를 만든다.^[4] 엘라스틱 넷은 두 정칙화 방법의 장점을 모두 활용하여 희소성과 모델 복잡도 제어를 동시에 달성할 수 있다.

엘라스틱 넷의 엔트로피 척도는 \(\lambda_1 \|\beta\|_1 + \lambda_2 \|\beta\|_2\)로 주어진다.^[20] 여기서 \(\lambda_1\)과 \(\lambda_2\)는 각각 L1 정칙화와 L2 정칙화의 비중을 조절하는 하이퍼파라미터이다.

== 드롭아웃 (Dropout) ==

드롭아웃은 신경망 학습 과정에서 무작위로 뉴런을 제거하여 학습하는 방법이다.^[4] 각 뉴런이 독립적으로 중요한 특징을 학습하도록 유도하여 과적합을 방지한다. 앙상블 효과를 통해 모델의 일반화 성능을 향상시킬 수 있다.

== 조기 종료 (Early Stopping) ==

조기 종료는 검증 데이터(Validation Data)에 대한 성능 개선이 멈추는 시점에 학습을 중단하는 방법이다.^[4] 과적합이 발생하기 전에 학습을 종료하여 모델의 일반화 성능을 높일 수 있다. 조기 종료는 훈련용 데이터 세트, 검증용 통계적으로 독립적인 데이터 세트, 그리고 테스트용 데이터 세트를 사용하여 구현된다. 모델은 검증 세트의 성능이 더 이상 개선되지 않을 때까지 훈련된 다음, 테스트 세트에 적용된다.^[4]

조기 종료는 시간적 정규화로 볼 수 있다. 경사 하강과 같은 훈련 절차는 반복 횟수가 증가함에 따라 점점 더 복잡한 함수를 학습하는 경향이 있는데, 시간에 대한 정규화를 통해 모델 복잡성을 제어하여 일반화 성능을 향상시킬 수 있다.^[4]

3. 1. L1 정칙화 (Lasso)

3. 2. L2 정칙화 (Ridge)

3. 3. 엘라스틱 넷 (Elastic Net)

3. 4. 드롭아웃 (Dropout)

3. 5. 조기 종료 (Early Stopping)

3. 6. 데이터 증강 (Data Augmentation)

4. 정칙화 기법의 응용

4. 1. 역문제 (Inverse Problem)

4. 2. 반지도 학습 (Semi-Supervised Learning)

4. 3. 다중 작업 학습 (Multi-Task Learning)

5. 정칙화와 관련된 개념

5. 1. 정보량 기준 (Information Criterion)

사전 확률을 사용하는 베이지안 학습법에서는 복잡한 모델에 더 작은 확률을 할당할 수 있다. 자주 사용되는 모델 선택 기법으로는 AIC, MDL, BIC 등이 있다.

5. 2. 베이즈 학습 (Bayesian Learning)

참조

_[1] 논문 Deep Arbitrage-Free Learning in a Generalized HJM Framework via Arbitrage-Regularization Data https://mdpi.com/222[...]
_[2] 서적 Statistics for High-Dimensional Data https://archive.org/[...]
_[3] 서적 Deep Learning Book https://www.deeplear[...] 2021-01-29
_[4] 웹사이트 AI Notes: Regularizing neural networks https://deeplearning[...] 2024-02-04
_[5] 웹사이트 Linear / Ridge Regression https://www.cs.corne[...] Cornell 2018-07-11
_[6] 논문 Sparse Approximate Solutions to Linear Systems http://epubs.siam.or[...] 1995-04-01
_[7] 서적 Pattern recognition and machine learning Springer 2007
_[8] 서적 Pattern classification + computer manual : hardcover set Wiley 2004
_[9] 논문 Regression Shrinkage and Selection via the Lasso http://www-stat.stan[...] 2009-03-19
_[10] 논문 Ridge regression: Biased estimation for nonorthogonal problems
_[11] 간행물 Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning 2006
_[12] 논문 The Dantzig selector: Statistical estimation when ''p'' is much larger than ''n''
_[13] 논문 Statistical estimation and testing via the ordered L1 norm
_[14] 논문 Scalable training of L₁-regularized log-linear models
_[15] 간행물 Stochastic gradient descent training for l1-regularized log-linear models with cumulative penalty http://aclweb.org/an[...]
_[16] 서적 Pattern recognition and machine learning Springer 2007
_[17] 서적 Pattern classification + computer manual : hardcover set Wiley 2004
_[18] 논문 Ridge regression: Biased estimation for nonorthogonal problems
_[19] 논문 Regression Shrinkage and Selection via the Lasso http://statweb.stanf[...]
_[20] 논문 Regularization and variable selection via the Elastic Net https://web.stanford[...]
_[21] 간행물 Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning 2006
_[22] 논문 The Dantzig selector: Statistical estimation when ''p'' is much larger than ''n''
_[23] 논문 Statistical estimation and testing via the ordered L1 norm
_[24] 논문 Об устойчивости обратных задач