릿지 회귀

3. 기본 원리

릿지 회귀의 가장 단순한 형태는 최소제곱법 추정기와 유사하게 다음과 같이 표현된다.^[8]

: $\backslash hat\{\backslash beta\}\_\{R\}\; =\; \backslash left(\backslash mathbf\{X\}^\{\backslash mathsf\{T\}\}\; \backslash mathbf\{X\}\; +\; \backslash lambda\; \backslash mathbf\{I\}\backslash right)^\{-1\}\; \backslash mathbf\{X\}^\{\backslash mathsf\{T\}\}\; \backslash mathbf\{y\}$

여기서 $\backslash mathbf\{y\}$는 피회귀변수, $\backslash mathbf\{X\}$는 설계 행렬, $\backslash mathbf\{I\}$는 항등 행렬이며, 릿지 파라미터 $\backslash lambda\; \backslash geq\; 0$는 모멘트 행렬의 주대각선을 이동시키는 상수 역할을 한다. 이 추정량은 최소제곱법 문제의 해로서 제약 조건 $\backslash beta^\backslash mathsf\{T\}\backslash beta\; =\; c$를 가지며, 이는 라그랑지안으로 표현할 수 있다.^[9]

: $\backslash min\_\{\backslash beta\}\; \backslash ,\; \backslash left(\backslash mathbf\{y\}\; -\; \backslash mathbf\{X\}\; \backslash beta\backslash right)^\backslash mathsf\{T\}\; \backslash left(\backslash mathbf\{y\}\; -\; \backslash mathbf\{X\}\; \backslash beta\backslash right)\; +\; \backslash lambda\; \backslash left(\backslash beta^\backslash mathsf\{T\}\backslash beta\; -\; c\backslash right)$

이는 $\backslash lambda$가 제약 조건의 라그랑주 승수임을 보여준다. 일반적으로 $\backslash lambda$는 휴리스틱 기준에 따라 선택되므로 제약 조건이 정확히 충족되지 않는다. 특히 $\backslash lambda\; =\; 0$인 경우, 즉 제약 조건이 구속력이 없는 경우, 릿지 추정기는 최소제곱법으로 축소된다.

$n\backslash times\; 1$ 열 벡터 $y$는 $n\backslash times\; p$ 계획 행렬 $X$(일반적으로 $p\; \backslash ll\; n$)의 열 공간에 투영되며, 그 열은 고도로 상관되어 있다고 가정한다. 정사영 $X\backslash beta$를 얻기 위한 계수 $\backslash beta\backslash in\backslash mathbb\; R^\{p\backslash times1\}$의 최소제곱 추정량 $\backslash widehat\backslash beta$는 다음과 같다.

: $\backslash widehat\backslash beta\; =\; (X\text{'}X)^\{-1\}X\text{'}y$

이에 비해 릿지 회귀 추정량 $\backslash widehat\backslash beta\_\backslash text\{ridge\}$는 다음과 같다.

: $\backslash widehat\backslash beta\_\backslash text\{ridge\}\; =\; (X^\backslash top\; X\; +\; kI\_p)^\{-1\}X^\backslash top\; y$

여기서, $I\_p$는 $p\backslash times\; p$ 단위 행렬이며, $k>0$는 작은 값이다.

4. 티호노프 정규화 (Tikhonov Regularization)

티호노프 정규화는 릿지 회귀의 일반적인 형태로, 다양한 문제에 적용될 수 있다. 선형 방정식 $A\backslash mathbf\{x\}\; =\; \backslash mathbf\{b\}$에서 해가 유일하지 않거나 존재하지 않는 경우(부정 문제), 티호노프 정규화는 해의 안정성을 높이고 노이즈에 대한 민감도를 줄인다.

일반적으로 최소제곱법은 제곱된 잔차의 합을 최소화하여 해를 구한다.

:$$\backslash left\backslash |A\backslash mathbf\{x\}\; -\; \backslash mathbf\{b\}\backslash right\backslash |\_2^2,$$

여기서 $\backslash |\backslash cdot\backslash |\_2$는 유클리드 노름이다.

그러나 해가 유일하지 않거나 데이터에 노이즈가 많은 경우, 최소제곱법만으로는 안정적인 해를 구하기 어렵다. 티호노프 정규화는 이러한 문제를 해결하기 위해 정규화 항을 추가한다.

:$$\backslash left\backslash |A\backslash mathbf\{x\}\; -\; \backslash mathbf\{b\}\backslash right\backslash |\_2^2\; +\; \backslash left\backslash |\backslash Gamma\; \backslash mathbf\{x\}\backslash right\backslash |\_2^2$$

여기서 $\backslash Gamma$는 '''티호노프 행렬'''이다. 이 행렬은 주로 항등 행렬의 스칼라 배수($\backslash Gamma\; =\; \backslash alpha\; I$)로 선택되며, 이 경우 더 작은 노름을 가진 해를 선호하게 된다. 이를 L₂^영어 정규화라고 한다.^[20]

티호노프 정규화를 통해 얻어진 해는 다음과 같다.

:$$\backslash hat\{x\}\; =\; \backslash left(A^\backslash mathsf\{T\}\; A\; +\; \backslash Gamma^\backslash mathsf\{T\}\; \backslash Gamma\backslash right)^\{-1\}\; A^\backslash mathsf\{T\}\; \backslash mathbf\{b\}.$$

정규화의 효과는 티호노프 행렬 $\backslash Gamma$의 스케일에 따라 달라진다. 만약 $\backslash Gamma\; =\; 0$이면, 정규화되지 않은 최소제곱 해로 축소된다.

L₂^영어 정규화는 선형 회귀뿐만 아니라 로지스틱 회귀, 서포트 벡터 머신,^[21] 행렬 분해 등^[22] 다양한 통계적 분류 및 머신 러닝 기법에도 활용된다.

이 방법은 안드레이 니콜라예비치 티호노프와 데이비드 L. 필립스의 연구에서 널리 알려지게 되었으며,^{[10][11][12][13][14][15]} 일부 저자는 '티호노프-필립스 정규화'라는 용어를 사용하기도 한다.

4. 1. 기존 적합 결과에 대한 응용

4. 2. 일반화된 티호노프 정규화 (Generalized Tikhonov Regularization)

5. 라브렌티예프 정규화 (Lavrentyev Regularization)

특정 상황에서는 미하일 라브렌티예프가 제안한 것처럼 전치 행렬 $A^\backslash mathsf\{T\}$를 사용하지 않아도 된다.^[24] 예를 들어, $A$가 대칭 양의 정부호 행렬, 즉 $A\; =\; A^\backslash mathsf\{T\}\; >\; 0$이면, 그 역행렬 $A^\{-1\}$도 마찬가지이므로, 이를 일반화된 티호노프 정규화에서 가중 노름 제곱 $\backslash left\backslash |\backslash mathbf\; x\backslash right\backslash |\_P^2\; =\; \backslash mathbf\; x^\backslash mathsf\{T\}\; A^\{-1\}\; \backslash mathbf\; x$를 설정하는 데 사용할 수 있다. 이는 다음 식을 최소화하는 문제로 이어진다.

:$\backslash left\backslash |A\; \backslash mathbf\; x\; -\; \backslash mathbf\; b\backslash right\backslash |\_\{A^\{-1\}\}^2\; +\; \backslash left\backslash |\backslash mathbf\; x\; -\; \backslash mathbf\; x\_0\; \backslash right\backslash |\_Q^2$

상수 항까지 고려하면 다음과 같다.

:$\backslash mathbf\; x^\backslash mathsf\{T\}\; \backslash left(A+Q\backslash right)\; \backslash mathbf\; x\; -\; 2\; \backslash mathbf\; x^\backslash mathsf\{T\}\; \backslash left(\backslash mathbf\; b\; +\; Q\; \backslash mathbf\; x\_0\backslash right).$

이 최소화 문제는 최적 해 $\backslash mathbf\; x^*$를 가지며, 다음 공식으로 표현할 수 있다.

:$\backslash mathbf\; x^*\; =\; \backslash left(A\; +\; Q\backslash right)^\{-1\}\; \backslash left(\backslash mathbf\; b\; +\; Q\; \backslash mathbf\; x\_0\backslash right),$

이는 $A\; =\; A^\backslash mathsf\{T\}\; =\; P^\{-1\}$인 일반화된 티호노프 문제의 해와 같다.

라브렌티예프 정규화는 라브렌티예프 행렬 $A\; +\; Q$가 티호노프 행렬 $A^\backslash mathsf\{T\}\; A\; +\; \backslash Gamma^\backslash mathsf\{T\}\; \backslash Gamma$에 비해 조건이 더 좋을 수 있으며(더 작은 조건수를 가질 수 있다), 이 경우 원래의 티호노프 정규화보다 유리하다.

6. 힐베르트 공간에서의 정규화 (Regularization in Hilbert Space)

일반적으로 불량 조건의 이산 선형 문제는 적분 방정식의 이산화로 인해 발생하며, 원래 무한 차원 상황에서 티호노프 정규화를 공식화할 수 있다. 위에서 $A$를 힐베르트 공간에서의 콤팩트 연산자로 해석할 수 있으며, $x$와 $b$는 $A$의 정의역과 치역의 원소로 해석할 수 있다. 그러면 연산자 $A^*\; A\; +\; \backslash Gamma^\backslash mathsf\{T\}\; \backslash Gamma$는 자기 수반 유계 가역 연산자이다.

7. 특잇값 분해(Singular Value Decomposition)와의 관계

$\backslash Gamma\; =\; \backslash alpha\; I$인 경우, 릿지 회귀 해는 특잇값 분해를 통해 분석할 수 있다. 특잇값 $\backslash sigma\; \_i$를 갖는 특잇값 분해는 다음과 같다.

:$A\; =\; U\; \backslash Sigma\; V^\backslash mathsf\{T\}$

이때, 릿지 회귀 해는 다음과 같이 표현된다.^[25]

:$\backslash hat\{x\}\; =\; V\; D\; U^\backslash mathsf\{T\}\; b,$

여기서 $D$는 대각 행렬이며, 대각선 값은 다음과 같다.

:$D\_\{ii\}\; =\; \backslash frac\{\backslash sigma\_i\}\{\backslash sigma\_i^2\; +\; \backslash alpha^2\}$

이는 정규화 파라미터 $\backslash alpha$가 조건수에 미치는 영향을 보여준다. 일반화된 경우에는 일반화된 특잇값 분해를 사용하여 유사한 표현을 도출할 수 있다.^[25]

8. 최적의 릿지 파라미터 결정

최적의 정규화 매개변수 $\backslash alpha$는 일반적으로 알려져 있지 않으며, 실제 문제에서는 종종 "임시 변통" 방식으로 결정된다. 이를 결정하기 위한 접근 방식으로는 불일치 원리, 교차 검증, L-곡선 방법^[26], 제한된 최대 우도 추정, 편향되지 않은 예측 위험 추정기 등이 있다. 그레이스 와바는 leave-one-out 교차 검증을 통해 최적의 매개변수를 찾는 방법을 제시했다.^[27][28]

9. 확률적 공식화와의 관계

역문제의 확률적 공식화에서는 모델 매개변수에 대한 사전 불확실성을 나타내는 공분산 행렬 $C\_M$과 관측된 매개변수에 대한 불확실성을 나타내는 공분산 행렬 $C\_D$를 도입한다.^[29] 이 두 행렬이 대각선이고 등방성인 특별한 경우, 즉 $C\_M\; =\; \backslash sigma\_M^2\; I$와 $C\_D\; =\; \backslash sigma\_D^2\; I$인 경우, 역 이론의 방정식은 $\backslash alpha\; =\; \{\backslash sigma\_D\}/\{\backslash sigma\_M\}$로 축소되어 릿지 회귀 방정식과 같아진다.^[30][31]

$n\; \backslash times\; 1$ 열 벡터 $y$를 $n\; \backslash times\; p$ 계획 행렬 $X$(일반적으로 $p\; \backslash ll\; n$)의 열 공간에 투영하여 정사영 $X\backslash beta$를 얻는다고 가정하자. 이때 계획 행렬 $X$의 열들은 서로 상관관계가 높다고 가정한다. 이 경우, 계수 $\backslash beta\; \backslash in\; \backslash mathbb\{R\}^\{p\; \backslash times\; 1\}$의 최소제곱 추정량 $\backslash widehat\{\backslash beta\}$는 다음과 같다.

:$\backslash widehat\{\backslash beta\}\; =\; (X\text{'}X)^\{-1\}X\text{'}y$

반면, 릿지 회귀 추정량 $\backslash widehat\{\backslash beta\}\_\backslash text\{ridge\}$는 다음과 같이 표현된다.

:$\backslash widehat\{\backslash beta\}\_\backslash text\{ridge\}\; =\; (X^\backslash top\; X\; +\; kI\_p)^\{-1\}X^\backslash top\; y$

여기서 $I\_p$는 $p\; \backslash times\; p$ 단위 행렬이며, $k\; >\; 0$는 작은 양수 값이다.

10. 베이지안 해석

릿지 회귀는 베이즈 관점에서 정당화될 수 있다.^[32] 불량 조건 문제의 경우 고유한 해를 얻기 위해 추가적인 가정을 도입해야 한다. 통계적으로, $x$의 사전 확률 분포는 때때로 다변량 정규 분포로 간주된다.^[33] 여기서는 단순성을 위해 다음과 같은 가정을 한다. 평균은 0이다. 그 구성 요소는 독립적이다. 구성 요소는 동일한 표준 편차 $\backslash sigma\; \_x$를 가진다. 데이터 역시 오차의 영향을 받으며, $b$의 오차도 0의 평균과 표준 편차 $\backslash sigma\; \_b$를 가지며 독립적이라고 가정한다. 이러한 가정 하에서, 티호노프 정규화된 해는 베이즈 정리에 따라, 데이터와 $x$의 ''사전'' 분포가 주어졌을 때, 가장 확률적인 해이다.^[34]

만약 정규성 가정이 등분산성 및 오차의 비상관성에 대한 가정으로 대체되고, 여전히 0의 평균을 가정한다면, 가우스-마르코프 정리는 그 해가 최소 비편향 선형 추정량임을 수반한다.^[35]

참조

_[1] 서적 Ridge, a computer program for calculating ridge regression estimates https://www.biodiver[...] 1977
_[2] 서적 A Guide to Econometrics https://books.google[...] The MIT Press
_[3] 서적 Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators https://books.google[...] CRC Press
_[4] 논문 Ridge Regression: Biased Estimation for Nonorthogonal Problems 1970
_[5] 논문 Ridge Regression: Applications to Nonorthogonal Problems 1970
_[6] 서적 Principal Component Analysis https://books.google[...] Springer Science & Business Media 2006
_[7] 서적 Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators https://books.google[...] CRC Press 1998
_[8] 논문 Choosing Ridge Parameter for Regression Problems
_[9] arXiv Lecture notes on ridge regression 2021-05-31
_[10] 논문 Об устойчивости обратных задач http://a-server.math[...]
_[11] 논문 О решении некорректно поставленных задач и методе регуляризации
_[12] 서적 Solution of Ill-posed Problems Winston & Sons
_[13] 서적 Numerical Methods for the Solution of Ill-Posed Problems https://www.springer[...] Springer Netherlands 2018-08-09
_[14] 서적 Nonlinear ill-posed problems https://www.springer[...] Chapman & Hall 2018-08-09
_[15] 논문 A Technique for the Numerical Solution of Certain Integral Equations of the First Kind
_[16] 논문 Application of Ridge Analysis to Regression Problems 1962
_[17] 논문 An Application of the Wiener-Kolmogorov Smoothing Theory to Matrix Inversion
_[18] 논문 Ridge regression: Biased estimation for nonorthogonal problems
_[19] 논문 Ridge Regression: A Historical Context https://www.tandfonl[...] 2020-10-01
_[20] conference Feature selection, L1 vs. L2 regularization, and rotational invariance https://icml.cc/Conf[...]
_[21] 논문 LIBLINEAR: A library for large linear classification
_[22] 논문 Online nonnegative matrix factorization with robust stochastic approximation
_[23] 논문 Post-hoc regularisation of unfolded cross-section measurements 2022
_[24] 서적 Some Improperly Posed Problems of Mathematical Physics Springer
_[25] 서적 Rank-Deficient and Discrete Ill-Posed Problems: Numerical Aspects of Linear Inversion SIAM 1998-01-01
_[26] 문서 P. C. Hansen, "The L-curve and its use in the numerical treatment of inverse problems" https://www.sintef.n[...]
_[27] 논문 Spline Models for Observational Data Society for Industrial and Applied Mathematics
_[28] 논문 Generalized cross-validation as a method for choosing a good ridge parameter http://www.stat.wisc[...]
_[29] 서적 Inverse Problem Theory and Methods for Model Parameter Estimation http://www.ipgp.juss[...] Society for Industrial and Applied Mathematics (SIAM) 2018-08-09
_[30] 논문 Traction force microscopy with optimized regularization and automated Bayesian parameter selection for comparing cells
_[31] 논문 A Bayesian traction force microscopy method with automated denoising in a user-friendly software package
_[32] 서적 Advanced Econometrics: A Bridge to the Literature John Wiley & Sons
_[33] 논문 Traction force microscopy with optimized regularization and automated Bayesian parameter selection for comparing cells
_[34] 서적 Computational methods for inverse problems Society for Industrial and Applied Mathematics
_[35] 서적 Advanced Econometrics https://archive.org/[...] Harvard University Press
_[36] 웹사이트 Ridge, a computer program for calculating ridge regression estimates https://books.google[...] 2021-06-25
_[37] 서적 Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators https://books.google[...] 1998-02-26
_[38] 논문 Ridge Regression: Biased Estimation for Nonorthogonal Problems www.jstor.org/stable[...] 1970
_[39] 논문 Ridge Regression: Applications to Nonorthogonal Problems www.jstor.org/stable[...] 1970
_[40] 서적 Parameter Estimation in Engineering and Science https://books.google[...]
_[41] 서적 Principal Component Analysis https://books.google[...] 2006-05-09
_[42] 서적 Ridge, a computer program for calculating ridge regression estimates https://www.biodiver[...] 1977
_[43] 서적 A Guide to Econometrics https://books.google[...] The MIT Press
_[44] 서적 Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators https://books.google[...] CRC Press
_[45] 저널 Ridge Regression: Biased Estimation for Nonorthogonal Problems https://archive.org/[...] 1970
_[46] 저널 Ridge Regression: Applications to Nonorthogonal Problems 1970
_[47] 서적 Parameter Estimation in Engineering and Science https://books.google[...] James Beck 1977
_[48] 서적 Principal Component Analysis https://books.google[...] Springer Science & Business Media 2006
_[49] 서적 Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators https://books.google[...] CRC Press 1998