맨위로가기

라쏘

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

라쏘(Lasso)는 회귀 모델의 예측 정확도와 해석 가능성을 높이기 위해 개발된 통계 기법이다. 1996년 로버트 티브시라니에 의해 대중화되었으며, 회귀 계수의 절댓값 합에 제약을 가하여 일부 계수를 0으로 만들어 변수 선택을 수행하는 특징을 갖는다. 이는 릿지 회귀와 유사하게 과적합을 방지하면서도, 모델의 해석력을 높이는 데 기여한다. 라쏘는 최소 제곱법, 일반화 선형 모형 등 다양한 모델에 적용 가능하며, 경제, 금융, 사회과학 등 여러 분야에서 활용된다. 정규화 매개변수 선택을 위해 교차 검증, 정보량 기준 등이 사용된다.

2. 역사적 배경

라쏘(Lasso)는 회귀 모델의 예측 정확성과 해석 가능성을 동시에 높이기 위해 개발된 통계 기법이다.[2][1] 이는 모델에 포함될 설명 변수의 수를 효과적으로 줄여, 보다 간결하고 이해하기 쉬운 모델을 만드는 데 목적을 둔다.

이 기법은 1986년 지구물리학 분야에서 처음 아이디어가 제시되었고, 이후 1996년 통계학자 로버트 티브시라니에 의해 재발견되어 널리 알려졌다.[1][4] 라쏘는 특정 회귀 계수를 0으로 만들어 직접적인 변수 선택 기능을 수행하며, 이는 기존의 릿지 회귀 등 다른 기법들과 구별되는 주요 특징이다. 이를 통해 모델의 예측 성능 향상과 함께 해석력을 높이는 데 기여한다.

2. 1. 지구물리학 분야의 기원

라쏘는 1986년 지구물리학 문헌에서 처음 등장했다. 이는 계수의 적합과 페널티 부여에 L1 노름 페널티를 사용한 이전 연구들을 바탕으로 한다.[1] 통계학자 로버트 티브시라니는 레오 브레이먼의 비음(nonnegative) 가로테(garrote)를 바탕으로 1996년에 라쏘를 다시 발견하고 널리 알렸다.[1][4]

2. 2. 티브시라니의 재발견과 대중화

라쏘는 1986년 지구물리학 문헌에서 독립적으로 개발되었으며, 이는 계수(coefficient)의 적합(fitting)과 페널티(penalization) 모두에 L1 노름 페널티를 사용한 이전 연구를 기반으로 한다. 통계학자 로버트 티브시라니는 레오 브레이먼의 비음(nonnegative) 가로테(garrote)를 기반으로 1996년에 라쏘를 독립적으로 재발견하고 대중화했다.[1][4]

2. 3. 단계적 회귀 및 릿지 회귀와의 비교

라쏘 회귀가 개발되기 이전에는 주로 단계적 회귀와 릿지 회귀가 변수 선택 및 예측 정확도 향상을 위해 사용되었다.

단계적 회귀는 특정 상황, 예를 들어 소수의 공변량만이 결과와 강한 연관성을 가질 때 예측 정확도를 높일 수 있는 방법이다.[1][4] 하지만 모든 경우에 효과적인 것은 아니며, 때로는 예측 오류를 오히려 증가시키기도 한다.

한편, 릿지 회귀는 회귀 계수의 크기를 줄여 과적합을 방지하고 예측 정확도를 개선하는 데 널리 사용되었다.[1][4] 그러나 릿지 회귀는 계수를 완전히 0으로 만들지는 않기 때문에, 모델에 포함된 변수를 직접 선택하는 기능은 수행하지 못한다. 이는 모델의 해석 가능성을 높이는 데는 한계가 있음을 의미한다.

3. 기본 원리

라쏘(Lasso, Least Absolute Shrinkage and Selection Operator)는 회귀 분석에서 모델의 예측 정확도와 해석 가능성을 향상시키기 위해 사용되는 기법이다.[40][42] 라쏘는 기존의 최소 제곱법에 제약 조건을 추가하여, 회귀 계수의 절대값 합(L1 노름)이 특정 값 이하가 되도록 제한한다.

라쏘의 기본적인 목표는 다음 최적화 문제를 푸는 것이다.

\min_{ \beta_0, \beta } \biggl\{ \sum_{i=1}^N \bigl(y_i - \beta_0 - x_i^T \beta\bigr)^2 \biggr\} \text{ subject to } \sum_{j=1}^p |\beta_j| \leq t.

여기서 y_i는 i번째 관측치의 결과값, x_i는 공변량 벡터, \beta_0는 절편, \beta = (\beta_1, \dots, \beta_p)는 회귀 계수 벡터이다. t는 미리 정해진 값으로, 회귀 계수 절대값 합의 상한선을 나타낸다. 이 제약 조건 \sum_{j=1}^p |\beta_j| \leq t 때문에 라쏘는 일부 회귀 계수 \beta_j를 정확히 0으로 만드는 특징이 있다. 이는 불필요하거나 덜 중요한 변수를 모델에서 제외하는 변수 선택(feature selection) 효과를 가져와 모델을 더 단순하고 해석하기 쉽게 만든다.

라쏘는 과적합을 줄이기 위해 계수 크기를 축소하는 릿지 회귀와 유사한 목적을 가지지만, 릿지 회귀는 계수를 0으로 만들지 못한다는 점에서 차이가 있다. 라쏘는 계수 축소와 변수 선택을 동시에 수행한다.

일반적으로 라쏘를 적용하기 전에 공변량들을 표준화하여 평균이 0, 분산이 1이 되도록 만든다. 이렇게 하면 각 변수의 측정 단위에 영향을 받지 않고 공평하게 계수에 제약을 가할 수 있다.

3. 1. 최소 제곱법과 라쏘

라쏘(LASSO)는 최소 제곱법(Ordinary Least Squares, OLS)을 기반으로 한 회귀 분석 방법 중 하나이다. 최소 제곱법은 예측 오차의 제곱합을 최소화하는 방식으로 회귀 계수를 추정하지만, 변수의 수가 많거나 변수 간 다중공선성이 높은 경우 모델이 불안정해지고 과적합(overfitting) 문제가 발생할 수 있다. 라쏘는 이러한 문제를 해결하기 위해 최소 제곱법의 비용 함수(cost function)에 L1 정규화(L1 regularization) 항을 추가한다.

라쏘의 목표는 다음 식을 최소화하는 상수 계수 \beta_0와 계수 벡터 \beta를 찾는 것이다.

\min_{ \beta_0, \beta } \biggl\{ \sum_{i=1}^N \bigl(y_i - \beta_0 - x_i^T \beta\bigr)^2 \biggr\} \text{ subject to } \sum_{j=1}^p |\beta_j| \leq t.

여기서 N은 관측치의 개수, p는 공변량(독립 변수)의 개수이다. y_i는 i번째 관측치의 결과값(종속 변수), x_i = (x_{i1}, x_{i2}, \dots, x_{ip})^T는 i번째 관측치의 공변량 벡터이다. \beta_0는 절편 항, \beta = (\beta_1, \beta_2, \dots, \beta_p)^T는 각 공변량에 대한 회귀 계수 벡터이다.

라쏘의 핵심은 제약 조건 \sum_{j=1}^p |\beta_j| \leq t이다. 이는 회귀 계수들의 절대값의 합(L1 노름)이 특정 값 t보다 작거나 같도록 제한하는 역할을 한다. t는 사용자가 미리 지정하는 하이퍼파라미터로, 모델의 복잡도를 조절한다. t 값이 작을수록 제약이 강해져 더 많은 회귀 계수가 0으로 추정된다. 이는 결과적으로 모델에서 덜 중요하거나 불필요한 변수의 계수를 정확히 0으로 만들어 해당 변수를 모델에서 제외하는 변수 선택(feature selection) 효과를 가져온다.

일반적으로 데이터를 분석하기 전에 각 공변량의 평균을 0으로, 표준편차를 1로 만드는 표준화 과정을 거친다. 또한 결과 변수 y_i도 평균 \bar{y}를 빼서 중앙화한다 (y_i - \bar{y} 사용). 이렇게 하면 절편 \beta_0는 0으로 간주할 수 있고(\hat{\beta}_0 = \bar{y} 이므로 중앙화된 y의 평균은 0), 모든 변수가 동일한 척도를 갖게 되어 특정 변수의 단위에 따라 계수 크기가 달라지는 문제를 방지할 수 있다. 데이터가 표준화 및 중앙화되었다고 가정하면 라쏘 문제는 다음과 같이 더 간단하게 표현할 수 있다.

\min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 \right\} \text{ subject to } \| \beta \|_1 \leq t.

여기서 y는 중앙화된 결과값 벡터, X는 표준화된 공변량 행렬, \| \cdot \|_2^2는 제곱합(L2 노름의 제곱), \| \beta \|_1은 계수 벡터의 L1 노름이다.

이 제약 조건이 있는 최적화 문제는 라그랑주 승수법을 이용하여 다음과 같은 페널티(penalty)가 추가된 형태로 변형할 수 있다.

\min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 + \lambda \| \beta \|_1 \right\}

여기서 \lambda는 정규화의 강도를 조절하는 또 다른 하이퍼파라미터이다. \lambda가 클수록 L1 노름 항의 영향력이 커져 더 많은 계수가 0이 된다. t와 \lambda는 서로 역관계에 있으며(\lambda=0이면 t=\infty, \lambda=\infty이면 t=0), 데이터에 따라 그 관계가 결정된다.

라쏘는 예측 정확도와 모델 해석력을 향상시키기 위해 제안되었다.[40][42] 이전에는 단계적 선택과 같은 방법이 변수 선택에 사용되었으나, 특정 상황에서는 예측 오차를 오히려 키울 수 있었다. 또한 릿지 회귀는 L2 정규화(계수 제곱합, \|\beta\|_2^2 항 추가)를 통해 계수 크기를 줄여 과적합을 완화하지만, 계수를 0으로 만들지는 못해 변수 선택 기능은 없다. 라쏘는 L1 정규화를 사용하여 계수 축소와 변수 선택을 동시에 수행함으로써, 더 간결하고 해석하기 쉬운 모델을 만드는 데 유용하다.

3. 2. 정규 직교 공변량

라쏘 추정량의 기본적인 속성 중 하나는 공변량(covariates)이 정규 직교일 때 나타난다. 공변량 벡터 x_i들이 서로 직교하고 각 벡터의 노름이 1인 경우, 즉 내적 (x_i \mid x_j) = \delta_{ij} (여기서 \delta_{ij}는 크로네커 델타이다) 또는 행렬 형태로 X^T X = I (여기서 I는 단위 행렬)인 경우를 가정한다.

이러한 정규 직교 가정 하에서, 라쏘 추정값 \hat{\beta}_j는 최소제곱추정량(OLS) \hat{\beta}^\text{OLS}_j를 이용하여 다음과 같이 명시적으로 표현될 수 있다.[40]

:

\begin{align}

\hat{\beta}_j = {} & S_{N \lambda}( \hat{\beta}^\text{OLS}_j ) = \hat{\beta}^\text{OLS}_j \max \left( 0, 1 - \frac{ N \lambda }{ |\hat{\beta}^\text{OLS}_j| } \right) \\

& \text{ where } \hat{\beta}^\text{OLS} = (X^T X)^{-1} X^T y = X^T y

\end{align}



여기서 S_\alpha 는 소프트 임계값 연산자(soft-thresholding operator)라고 불린다. 이 연산자는 입력값(\hat{\beta}^\text{OLS}_j)을 0 방향으로 상수(N\lambda)만큼 이동시키고, 만약 이동 후 부호가 바뀌거나 0이 되면(즉, 원래 값의 절대값이 N\lambda보다 작거나 같으면) 결과값을 0으로 만든다. 이는 특정 임계값보다 작은 값을 0으로 만들고 큰 값은 그대로 두는 하드 임계값 연산자(hard-thresholding operator) H_\alpha 와는 구별된다.

라쏘의 이러한 특징은 다른 정규화 방법인 릿지 회귀 및 최적 부분 집합 선택과 비교할 때 더 명확해진다.

  • 릿지 회귀: 릿지 회귀는 \ell_2 노름 페널티를 사용하며, 정규 직교 가정 하에서 추정값은 다음과 같다.

: \hat{\beta}_j = ( 1 + N \lambda )^{-1} \hat{\beta}^\text{OLS}_j

릿지 회귀는 모든 계수를 동일한 비율 (1 + N \lambda)^{-1} 로 축소시키지만, 계수를 정확히 0으로 만들지는 않는다.

  • 최적 부분 집합 선택: 이 방법은 모델에 포함될 변수의 개수 자체를 제한하는 방식으로, \ell_0 노름 페널티(\|\beta\|_0, 0이 아닌 계수의 개수)를 사용한다. 정규 직교 가정 하에서 추정값은 하드 임계값 연산자를 사용하여 다음과 같이 표현된다.

: \hat{\beta}_j = H_{ \sqrt{ N \lambda } } \left( \hat{\beta}^\text{OLS}_j \right) = \hat{\beta}^\text{OLS}_j \mathrm{I} \left( \left| \hat{\beta}^\text{OLS}_j \right| \geq \sqrt{ N \lambda } \right)

여기서 \mathrm{I}는 지시 함수이다. 즉, 최소제곱추정량의 절대값이 특정 임계값(\sqrt{N\lambda})보다 작으면 계수를 0으로 만들고, 그렇지 않으면 원래 값을 유지한다.

결론적으로 라쏘는 릿지 회귀처럼 모든 계수의 크기를 축소하는 효과와 최적 부분 집합 선택처럼 일부 계수를 0으로 만들어 변수 선택을 수행하는 효과를 동시에 가진다. 릿지 회귀가 모든 계수를 같은 비율로 줄이는 반면, 라쏘는 소프트 임계값 연산을 통해 계수 값에서 일정한 크기(N\lambda)를 빼는 방식으로 0에 가깝게 만들며, 그 과정에서 값이 0을 넘어가면 0으로 고정시킨다.

3. 3. 상관된 공변량

특수한 경우로, 두 개의 공변량(예: ''j''와 ''k'')이 모든 관측치에 대해 동일한 값( x_{(j)} = x_{(k)} , 즉 모든 ''i''에 대해 x_{(j),i} = x_{(k),i} )을 가지는 상황을 생각해 볼 수 있다. 이러한 경우, 라쏘 목적 함수를 최소화하는 계수 \beta_j 와 \beta_k 의 값은 하나로 유일하게 결정되지 않는다.

만약 어떤 해 \hat{\beta} 가 \hat{\beta}_j \hat{\beta}_k \geq 0 를 만족한다면, \hat{\beta}_j 를 s ( \hat{\beta}_j + \hat{\beta}_k ) 로, \hat{\beta}_k 를 (1 - s ) ( \hat{\beta}_j + \hat{\beta}_k ) 로 바꾸어도 (여기서 ''s''는 0과 1 사이의 임의의 값) 여전히 라쏘 목적 함수를 최소화하는 해가 된다. 다른 계수 \hat{\beta}_i 들은 그대로 둔다. 이는 라쏘 목적 함수를 최소화하는 해가 무수히 많이 존재할 수 있음을 의미한다.[2]

이러한 라쏘의 단점을 보완하기 위해 엘라스틱 넷을 포함한 여러 가지 변형된 라쏘 기법들이 개발되었다.

4. 일반적인 형태와 확장

라쏘 정규화는 원래 최소 제곱법의 맥락에서 도입되었으나,[40] 일반화 선형 모형, 일반화 추정 방정식, 비례 위험 모형, M-추정량 등 다양한 통계 모델과 목적 함수로 확장될 수 있다.[2][40][41]

일반적으로 목적 함수가 \frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta ) 와 같은 형태일 때, 라쏘 정규화된 추정량은 다음 최적화 문제를 푸는 해로 정의된다.[2]

\min_{ \alpha, \beta } \frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta ) \quad \text{subject to } \| \beta \|_1 \leq t

여기서 t는 정규화의 정도를 조절하는 미리 정해진 파라미터이며, \beta 벡터에만 \ell^1 노름 제약이 가해진다. 파라미터 \alpha 는 제약을 받지 않으며, 이는 기본적인 라쏘 회귀에서 절편항 \beta_0 가 제약을 받지 않는 것과 유사하다. 이처럼 라쏘는 다양한 문제 설정에 맞게 유연하게 적용될 수 있는 정규화 기법이다.

4. 1. 일반화 선형 모형으로의 확장

라쏘 정규화는 일반화 선형 모형, 일반화 추정 방정식, 비례 위험 모형, M-추정량 등 다양한 통계 모델에 적용될 수 있다.[2][40][41] 이러한 모델들에서 목적 함수가 다음과 같은 일반적인 형태를 가질 때,

\frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta )

라쏘 정규화된 추정량은 아래의 최적화 문제를 푸는 해로 정의된다.

\min_{ \alpha, \beta } \frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta ) \quad \text{subject to } \| \beta \|_1 \leq t

여기서 \beta 는 페널티(벌점)를 받는 파라미터 벡터이고, \alpha 는 페널티를 받지 않는 파라미터 벡터이다. 이는 기본적인 라쏘 회귀에서 절편항 \beta_0 가 페널티를 받지 않은 것과 유사하며, \alpha 는 허용된 범위 내에서 어떤 값이든 자유롭게 가질 수 있다.

4. 2. 엘라스틱 넷

2005년 조우(Zou)와 하스티(Hastie)는 라쏘의 단점을 보완하기 위해 엘라스틱 넷을 제안했다.[2][43] 라쏘는 공변량의 수(''p'')가 표본 크기(''n'')보다 클 때(''p'' > ''n''), 실제 결과와 관련 있는 공변량이 더 많더라도 최대 ''n''개의 공변량만 선택할 수 있다. 또한, 상관관계가 매우 높은 공변량 그룹에서는 하나의 공변량만 선택하는 경향이 있다. 반면, 표본 크기가 공변량 수보다 큰 경우(''n'' > ''p'')라도 공변량 간 상관관계가 강하면 릿지 회귀가 라쏘보다 더 나은 성능을 보이기도 한다.

엘라스틱 넷은 이러한 라쏘의 한계를 극복하기 위해 릿지 회귀와 유사한 \ell^2 벌점(penalty) 항을 추가하여 라쏘를 확장한다.[11] 이를 통해 예측 변수의 수가 표본 크기보다 클 때 성능을 개선하고, 강하게 상관된 변수들을 함께 선택하며, 전반적인 예측 정확도를 높일 수 있다.[11] 엘라스틱 넷의 목적 함수는 다음과 같다.

\min_{ \beta \in \mathbb{R}^p } \left\{ \left\| y - X \beta \right\|_2^2 + \lambda_1 \| \beta \|_1 + \lambda_2 \| \beta \|_2^2 \right\},

여기서 \lambda_1은 라쏘 벌점의 크기를, \lambda_2는 릿지 벌점의 크기를 조절하는 매개변수이다. 이 문제는 아래와 동일한 제약 조건을 가진 최적화 문제로 표현할 수 있다.

\begin{align}

\min_{ \beta_0, \beta } \left\{ \left\| y - \beta_0 - X \beta \right\|_2^2 \right\} & \text{ subject to } ( 1 - \alpha ) \| \beta \|_1 + \alpha \| \beta \|_2^2 \leq t, \\

& \text{ where } \alpha = \frac{\lambda_2}{\lambda_1 + \lambda_2}.

\end{align}

\alpha는 라쏘 벌점과 릿지 벌점 사이의 비율을 조절하며, \alpha=1이면 릿지 회귀, \alpha=0이면 라쏘가 된다.

엘라스틱 넷 문제는 특정 변환을 통해 단순한 라쏘 문제 형태로 바꾸어 풀 수 있다.[2] 변환된 문제는 다음과 같다.

\min_{ \beta^* \in \mathbb{R}^p } \left\{ \left\| y^* - X^* \beta^* \right\|_2^2 + \lambda^* \| \beta^* \|_1 \right\}

이때 사용되는 변환은 다음과 같다.

X_{(n+p) \times p}^* = ( 1 + \lambda_2 )^{-1/2} \binom{X}{ \lambda_2^{1/2} I_{p \times p} },

y_{(n+p)}^* = \binom{y}{0^p}, \qquad \lambda^* = \frac{ \lambda_1 }{ \sqrt{ 1 + \lambda_2 } },

\beta^* = \sqrt{ 1 + \lambda_2 } \beta.

변환된 문제의 해 \hat{\beta}^*를 구한 뒤, 원래 문제의 해 \hat{\beta}는 \hat{\beta} = \frac{ \hat{\beta}^* }{ \sqrt{ 1 + \lambda_2 } } 로 얻을 수 있다.

만약 공변량들이 서로 직교(orthogonal)한다면, 엘라스틱 넷의 해는 다음과 같이 표현된다.

\hat{\beta}_j

= \frac{ \hat\beta{}_j^{\!\;*,\text{OLS}} }{ \sqrt{ 1 + \lambda_2 } } \max \Biggl( 0, 1 - \frac{ \lambda^* }{ \bigl| \hat\beta{}_j^{\!\;*,\text{OLS}} \bigr| } \Biggr)

= \frac{\hat\beta{}_j^{\!\;\text{OLS}} }{ 1 + \lambda_2 } \max \Biggl( 0, 1 - \frac{ \lambda_1 }{ \bigl| \hat\beta{}_j^{\!\;\text{OLS}} \bigr| } \Biggr) = ( 1 + \lambda_2 )^{-1} \hat{\beta}{}^\text{lasso}_j.



이는 엘라스틱 넷 벌점이 라쏘 벌점과 릿지 벌점의 효과를 결합한 것임을 보여준다. 즉, 라쏘처럼 변수를 선택하는 동시에 릿지처럼 계수를 축소시키는 효과를 가진다.

엘라스틱 넷의 벌점 함수는 엄격히 볼록(strictly convex)하므로, 만약 두 공변량 x_{(j)}와 x_{(k)}가 같다면( x_{(j)} = x_{(k)} ), 그 계수 추정치도 같다( \hat{\beta}_j = \hat{\beta}_k ). 이는 라쏘와 다른 중요한 특징이다.[2] 더 일반적으로, 상관관계가 높은 공변량들은 유사한 회귀 계수를 갖는 경향이 있다. 두 계수 \hat{\beta}_j와 \hat{\beta}_k가 모두 0이 아닐 때(\hat{\beta}_j \hat{\beta_k} > 0), 그 차이는 다음과 같은 상계를 가진다.

\frac{ | \hat{\beta}_j - \hat{\beta_k} | }{ \| y \| } \leq \lambda_2^{-1} \sqrt{ 2 ( 1 - \rho_{jk} ) }, \text{ where } \rho = X^t X,

여기서 \rho_{jk}는 공변량 j와 k 사이의 표본 상관계수이다 (단, x는 정규화되었다고 가정).

따라서 상관관계가 높은 공변량들은 비슷한 크기의 회귀 계수를 가지게 되며, 그 유사성의 정도는 \| y \|_1과 \lambda_2 값에 따라 달라진다. 이러한 현상을 그룹 효과(group effect)라고 부른다.[2] 그룹 효과는 특정 응용 분야에서 매우 유용하다. 예를 들어, 유전자와 질병 간의 연관성을 찾는 연구에서 라쏘는 상관된 유전자 그룹 중 하나만 선택하는 경향이 있지만, 엘라스틱 넷은 관련된 유전자들을 함께 찾아낼 가능성이 높다. 또한, 상관된 변수 그룹에서 하나만 선택하는 것은 모델의 견고성을 떨어뜨려 예측 오류를 증가시킬 수 있는데, 엘라스틱 넷은 그룹 효과를 통해 이러한 문제를 완화하여 릿지 회귀처럼 더 안정적인 예측 성능을 보일 수 있다.[2]

엘라스틱 넷 모델을 사용할 때 최적의 정규화 매개변수 \lambda_1과 \lambda_2를 결정하는 것은 모델 성능에 매우 중요하다. 일반적으로 교차 검증 방법을 사용하여 데이터에 가장 적합한 매개변수 조합을 찾는다.

4. 3. 그룹 라쏘

그룹 라쏘(Group Lasso)는 관련된 공변량(covariate) 그룹을 하나의 단위로 취급하여, 모델을 만들 때 해당 그룹 전체를 포함시키거나 제외하는 방법이다.[12] 이는 2006년 위안(Yuan)과 린(Lin)에 의해 제안되었으며,[2] 특정 공변량들을 개별적으로 다루기보다는 논리적으로 묶어서 함께 고려하는 것이 더 의미 있는 경우에 유용하게 사용된다.[12]

예를 들어, 범주형 변수를 여러 개의 이진(binary) 변수로 변환하여 사용할 때, 그룹 라쏘는 이 변수들을 하나의 그룹으로 묶어 모두 함께 선택되거나 제외되도록 할 수 있다.[2] 생물학 연구에서도 유용하게 쓰이는데, 유전자나 단백질은 특정 생물학적 경로(pathway)에 속해 있는 경우가 많다. 이때 그룹 라쏘를 사용하면 개별 유전자의 중요성보다는 어떤 경로가 결과 변수와 관련이 있는지를 파악하는 데 집중할 수 있다.[2]

그룹 라쏘의 목적 함수(objective function)는 표준 라쏘 목적 함수를 일반화한 형태이다.[2]

\min_{ \beta \in \mathbb{R}^p } \biggl\{ \biggl\| y - \sum_{j=1}^J X_j \beta_j \biggr\|_2^2 + \lambda \sum_{j=1}^J \| \beta_j \|_{K_j} \biggr\}, \qquad \| z \|_{K_j} = ( z^t K_j z )^{1/2}

여기서 설계 행렬 X 와 공변량 벡터 \beta 는 J 개의 그룹으로 나뉘어, 각 그룹 j 에 해당하는 설계 행렬 X_j 와 공변량 벡터 \beta_j 로 표현된다. 페널티 항은 각 그룹의 공변량 벡터 \beta_j 에 대한 \ell^2 -노름( \| \beta_j \|_{K_j} )의 합으로 주어지며, 이때 K_j 는 양의 정부호 행렬(positive definite matrix)이다.[2]

만약 모든 공변량이 각각 하나의 그룹을 이루고( J=p ) 모든 K_j 가 단위 행렬( I )이라면, 그룹 라쏘는 표준 라쏘와 동일해진다. 반대로, 모든 공변량이 단 하나의 그룹에 속하고( J=1 ) K_1 = I 라면, 이는 릿지 회귀와 같아진다.[2] 그룹 라쏘의 페널티는 각 그룹에 대해 \ell^2 -노름을 사용하기 때문에, 그룹 내의 일부 공변량만 선택하는 것은 불가능하다. 즉, 특정 그룹이 선택되면 해당 그룹의 모든 공변량이 모델에 포함되고, 선택되지 않으면 모두 제외된다. 하지만 페널티 항이 여러 그룹 노름의 합으로 이루어져 있어 미분 불가능한 지점을 가지므로, 일부 그룹의 계수 벡터 전체를 정확히 0으로 만들 수 있다(그룹 수준의 희소성).[2]

그룹 라쏘에는 몇 가지 확장된 형태가 있다. 희소 그룹 라쏘(Sparse Group Lasso)는 그룹 내에서도 개별 변수를 선택할 수 있도록 각 그룹에 추가적인 \ell^1 -페널티를 적용한다.[13][14][2] 중첩 그룹 라쏘(Overlapping Group Lasso)는 하나의 공변량이 여러 그룹에 속할 수 있도록 허용하는데, 예를 들어 특정 유전자가 여러 생물학적 경로에 관여하는 경우 등에 적용할 수 있다.[13][14][2]

R에서는 "gglasso" 패키지를 통해 그룹 라쏘 모델을 빠르고 효율적으로 구현할 수 있다.[16]

4. 4. 융합 라쏘

융합 라쏘(Fused Lasso)는 분석 대상이 되는 현상이 시계열 데이터나 이미지 기반 데이터처럼 중요한 공간적 또는 시간적 구조를 가질 때 유용하게 사용될 수 있는 방법이다.[15] 2005년에 Tibshirani 등은 이러한 유형의 데이터에 라쏘 기법을 확장 적용하기 위해 융합 라쏘를 제안했다.[2]

융합 라쏘는 변수들의 계수 자체의 크기를 제한하는 일반적인 라쏘 제약 조건에 더하여, 순서상 인접한 변수들 간의 계수 차이에도 제약을 가한다. 이는 시간적으로나 공간적으로 연속된 데이터에서 계수가 급격하게 변하는 것을 막아 부드럽게 변화하도록 유도하며, 이를 통해 데이터에 내재된 구조적 특성을 더 잘 반영하는 모델을 만들 수 있다.[15] 융합 라쏘의 목적 함수는 아래와 같이 정의된다.

\begin{align}

& \min_\beta \biggl\{ \frac{1}{N} \sum_{i=1}^N \left( y_i - x_i^T \beta \right)^2 \biggr\} \\[4pt]

& \text{ subject to } \sum_{j=1}^p |\beta_j| \leq t_1 \text{ and } \sum_{j=2}^p |\beta_j - \beta_{j-1}| \leq t_2.

\end{align}

여기서 첫 번째 제약 조건(\sum_{j=1}^p |\beta_j| \leq t_1)은 일반적인 라쏘 제약 조건이며, 변수 계수들의 절댓값 합을 제한하여 변수 선택 효과를 가진다. 두 번째 제약 조건(\sum_{j=2}^p |\beta_j - \beta_{j-1}| \leq t_2)은 인접한 계수(\beta_j와 \beta_{j-1}) 간의 차이의 절댓값 합을 제한한다. 이 제약은 시간적 또는 공간적 순서가 있는 변수들의 계수가 서로 유사한 값을 가지도록 유도하여, 계수들이 부드럽게 변화하도록 만든다.

클러스터 라쏘(Cluster Lasso)[17]는 융합 라쏘를 일반화한 방법 중 하나로, 계수 값에 기반하여 관련 있는 변수들을 식별하고 그룹화하는 데 초점을 맞춘다. 이는 계수들 간의 차이에 제약을 가함으로써 0이 아닌 계수들이 서로 비슷한 값을 가지며 군집(cluster)을 이루도록 유도한다. 클러스터 라쏘의 제약 조건은 다음과 같이 표현될 수 있다.

\sum_{i

이와는 다른 접근 방식으로, 서로 연관된 변수들을 미리 그룹으로 묶은 다음, 각 그룹에서 하나의 대표 변수만을 선택하는 방법도 있다.[18]

융합 라쏘 문제와 이를 일반화한 문제들을 풀기 위한 효율적인 알고리즘이 개발되어 있으며, 이 알고리즘은 유한한 단계의 계산을 통해 정확한 해를 구할 수 있다.[19]

5. 라쏘의 이론적 해석

라쏘는 통계학 및 기계 학습에서 사용되는 회귀 분석 방법으로, 모델의 복잡도를 줄이고 변수 선택을 수행하는 데 유용하다. 라쏘는 다양한 이론적 관점에서 해석될 수 있으며, 주요 해석 방식은 다음과 같다.


  • 기하학적 관점: 라쏘는 최소 제곱 오차를 최소화하면서 동시에 회귀 계수들의 ℓ¹-노름 합을 특정 값 이하로 제한한다. 이 제약 조건은 계수 공간에서 각 축 위에 뾰족한 모서리를 가지는 마름모(또는 고차원에서의 교차 다면체) 형태의 영역을 만든다. 최적 해를 찾는 과정에서 목적 함수의 등고선이 이 제약 영역의 모서리와 만날 가능성이 높아 특정 계수가 0이 되는 변수 선택 효과가 나타난다. 이는 원형 제약 영역을 가지는 릿지 회귀와 구별되는 특징이다.
  • 베이지안 관점: 베이지안 통계학에서는 라쏘 추정량을 회귀 계수에 대해 라플라스 분포를 사전 확률 분포로 가정한 모델의 MAP 추정량과 동일하게 본다. 라플라스 분포는 평균값(0)에서 뾰족한 모양을 가지며 0에 가까운 값에 높은 확률을 부여하는데, 이것이 일부 계수를 0으로 만드는 라쏘의 특성을 설명한다.
  • 볼록 완화 관점: 라쏘는 최적의 변수 부분 집합을 찾는 문제(0이 아닌 계수의 개수를 제한하면서 목적 함수를 최소화하는 문제)에 대한 볼록 완화로 이해할 수 있다. 0이 아닌 계수의 개수를 세는 것은 비볼록(non-convex) ℓ⁰-노름과 관련되어 최적화가 어렵다. 라쏘는 이 문제를 다루기 쉬운 볼록 문제로 근사하기 위해, ℓ⁰-노름 대신 가장 가까운 볼록 노름인 ℓ¹-노름을 사용한다.

5. 1. 기하학적 해석

라쏘(ℓ¹-노름)와 릿지 회귀(ℓ²-노름)의 2차원 제약 영역 비교. 라쏘의 제약 영역은 축 위에 모서리가 있는 마름모(또는 회전된 정사각형) 형태이고, 릿지의 제약 영역은 원 형태이다.


라쏘는 일부 계수를 0으로 만들어 변수 선택의 효과를 가지지만, 유사해 보이는 릿지 회귀는 그렇지 않다. 이는 두 방법이 사용하는 제약 조건의 기하학적 형태가 다르기 때문이다. 라쏘와 릿지 회귀 모두 동일한 최소 제곱 목적 함수를 최소화하는 문제로 볼 수 있다.

\min_{ \beta_0, \beta } \left\{ \frac{1}{N} \left\| y - \beta_0 - X \beta \right\|_2^2 \right\}

하지만 각각 다른 제약 조건을 가진다.

  • 라쏘: 계수 벡터 \beta의 ℓ¹-노름 합이 특정 값 t보다 작거나 같아야 한다. ( \| \beta \|_1 \leq t )
  • 릿지 회귀: 계수 벡터 \beta의 ℓ²-노름 제곱 합이 특정 값 t보다 작거나 같아야 한다. ( \| \beta \|_2^2 \leq t )


이 제약 조건의 차이는 기하학적으로 시각화할 수 있다. 2차원 계수 공간(\beta_1, \beta_2)에서 보면,

  • 라쏘의 제약 영역(|\beta_1| + |\beta_2| \leq t)은 각 축 위에 꼭짓점(모서리)이 놓이는 마름모 또는 회전된 정사각형 형태이다. 일반적으로 p차원에서는 교차 다면체가 된다.
  • 릿지 회귀의 제약 영역(\beta_1^2 + \beta_2^2 \leq t)은 원점을 중심으로 하는 원 형태이다. 일반적으로 p차원에서는 n-구가 되며, 이는 회전에 대해 불변이므로 뾰족한 모서리가 없다.


최소 제곱 문제의 해는 목적 함수의 등고선(타원 형태)이 제약 영역과 처음으로 만나는 지점이다. 그림에서 볼 수 있듯이, 라쏘의 마름모꼴 제약 영역은 축 위에 뾰족한 모서리를 가지고 있다. 따라서 등고선이 확장되다가 제약 영역과 만날 때, 이 모서리 부분에서 만날 가능성이 높다. 모서리는 특정 계수가 0인 지점(\beta_j = 0)에 해당하므로, 라쏘는 자연스럽게 일부 계수를 0으로 만드는 경향이 있다.

반면, 릿지 회귀의 원형 제약 영역에는 특별한 모서리가 없다. 등고선이 제약 영역과 접하는 지점은 원 위의 어느 점이든 될 수 있으며, 특정 계수가 0인 축 위의 점이라고 해서 다른 점들보다 선택될 확률이 높지 않다. 따라서 릿지 회귀는 계수의 크기를 줄일 뿐, 0으로 만들지는 않는다.[40][42]

5. 2. 베이지안 해석

라플라스 분포는 정규 분포에 비해 평균에서 뾰족하게 나타나며, 더 많은 확률 밀도가 여기에 집중되어 있다.


릿지 회귀가 계수에 정규 사전 확률 분포를 할당한 선형 회귀로 해석될 수 있는 것처럼, 라쏘는 계수에 라플라스 분포의 사전 확률 분포를 할당한 선형 회귀로 해석될 수 있다.[10] 라플라스 분포는 0에서 뾰족하며(첫 번째 도함수는 0에서 불연속이다) 정규 분포보다 0에 더 가까운 확률 질량을 집중시킨다. 이는 라쏘가 일부 계수를 0으로 설정하는 경향이 있고 릿지 회귀는 그렇지 않은 이유에 대한 또 다른 설명을 제공한다.[2]

베이즈 정리의 관점에서 보면, 계수의 사전 분포로 정규 분포를 가정한 경우의 MAP(Maximum A Posteriori) 추정값이 릿지 회귀에 해당하는 것과 마찬가지로, 계수의 사전 분포로 라플라스 분포를 가정한 경우의 MAP 추정값은 라쏘 회귀에 해당한다.[40]

MAP 추정을 위한 로그 사후 확률(log posterior probability)은 베이즈 정리에 따라 다음과 같이 표현될 수 있다.

: \log{p(\boldsymbol{\beta} \mid \mathbf{y}, \mathbf{X})} \propto \log{p(\mathbf{y} \mid \boldsymbol{\beta}, \mathbf{X})} + \log{p(\boldsymbol{\beta} \mid \mathbf{X})}

여기서 p(\mathbf{y} \mid \boldsymbol{\beta}, \mathbf{X})는 우도 함수이고 p(\boldsymbol{\beta} \mid \mathbf{X})는 사전 분포이다. 수식을 풀어서 쓰면 다음과 같다.

: \log{p(\mathbf{y}, \boldsymbol{\beta} \mid \mathbf{X})} = \sum_{n=1}^N \log{p(y_n \mid \boldsymbol{\beta}, \mathbf{x}_n)} + \sum_{k=0}^K \log{p(\beta_k)}

데이터 \mathbf{y}가 평균 \mathbf{X} \boldsymbol{\beta}, 분산 \sigma^2의 정규 분포를 따른다고 가정하면 (즉, 오차가 정규 분포를 따른다고 가정하면), 로그 우도 함수 항(우변 제1항)은 다음과 같다.

:

\sum_{n=1}^N \log{\left( \frac{1}{\sqrt{2\pi}\,\sigma} \exp{\left( -\frac{(y_n - \mathbf{x}_n^\top \boldsymbol{\beta})^2}{2\sigma^2} \right)} \right)} = - N \log(\sqrt{2\pi}\,\sigma) - \frac{1}{2\sigma^2} \sum_{n=1}^N (y_n - \mathbf{x}_n^\top \boldsymbol{\beta})^2

이제 파라미터 \boldsymbol{\beta}의 사전 분포로 평균 0, 스케일 파라미터 b(분산 2b^2)의 라플라스 분포를 가정하면, 로그 사전 분포 항(우변 제2항)은 다음과 같다.

: \sum_{k=0}^K \log{\left( \frac{1}{2b}\exp{\left( - \frac

{b} \right)} \right)} = - (K + 1) \log(2b) - \frac{1}{b} \sum_{k=0}^K | \beta_k |

따라서 전체 로그 사후 확률은 다음과 같이 정리된다.

: \log{p(\boldsymbol{\beta} \mid \mathbf{y}, \mathbf{X})} = - \frac{1}{2\sigma^2} \sum_{n=1}^N (y_n - \mathbf{x}_n^\top \boldsymbol{\beta})^2 - \frac{1}{b} \sum_{k=0}^K | \beta_k | + \mathrm{const.}

여기서 \mathrm{const.}는 \boldsymbol{\beta}와 무관한 항들을 나타낸다. 이 로그 사후 확률을 최대화하는 것은 다음 식을 최소화하는 것과 같다.

: \min_{ \boldsymbol{\beta} } \left\{ \sum_{n=1}^N (y_n - \mathbf{x}_n^\top \boldsymbol{\beta})^2 + \frac{2\sigma^2}{b} \sum_{k=0}^K | \beta_k | \right\}

만약 \lambda = \frac{2\sigma^2}{Nb} (원본 소스의 정의 \lambda = \frac{2\sigma^2}{bN}와 동일하며, 일반적으로 사용되는 형태)로 설정하면, 이는 정규화된 최소 제곱법 문제와 동일한 형태가 된다.

: \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \sum_{n=1}^N (y_n - \mathbf{x}_n^\top \boldsymbol{\beta})^2 + \lambda \sum_{k=0}^K | \beta_k | \right\}

이는 라그랑주 승수법을 이용한 라쏘의 목적 함수와 일치한다. 즉, 라쏘 추정량은 라플라스 사전 분포를 가정한 모델에서의 MAP 추정량으로 해석될 수 있다.

5. 3. 볼록 완화 해석

라쏘는 최적 부분 집합 선택 회귀 문제의 볼록 완화(convex relaxation)로 해석될 수 있다. 최적 부분 집합 선택 문제는 주어진 개수(k) 이하의 공변량(covariate)만을 사용하여 목적 함수를 최소화하는 부분 집합을 찾는 문제이다 (여기서 n은 전체 공변량의 수). 이 문제는 벡터에서 0이 아닌 성분의 개수를 세는 "\ell^0 노름" (\| \cdot \|_0)과 관련이 깊다.

\ell^0 노름은 \ell^p 노름 (\textstyle \| x \|_p = \left( \sum_{j=1}^n | x_j |^p \right)^{1/p})에서 p가 0으로 갈 때의 극한으로 볼 수 있다. 하지만 p < 1일 때 \| \cdot \|_p는 실제로 노름이 아니며, 볼록하지 않아 삼각 부등식이 성립하지 않는다.

p=1일 때의 \ell^1 노름은 \ell^p 노름 중에서 볼록하면서 실제 노름이 되는 가장 작은 p 값이다. 따라서 \ell^1 노름을 사용하는 라쏘는 \ell^0 노름을 사용하는 최적 부분 집합 선택 문제에 대한 가장 좋은 볼록 근사라고 할 수 있다. 이는 \| x \|_1 \leq t로 정의되는 영역이 p < 1인 경우의 \| x \|_p \leq t 영역들의 볼록 껍질이기 때문이다.

6. 정규화 매개변수 선택

라쏘 모델의 성능은 정규화 매개변수(\lambda)의 선택에 크게 좌우된다.[7] \lambda 값은 모델에서 예측 변수 계수의 축소(shrinkage) 정도와 변수 선택 여부를 결정하며, 적절히 선택하면 모델의 예측 정확도를 높이고 해석을 용이하게 한다.

정규화 매개변수(\lambda) 값에 따른 계수 변화 경로. 파란색 선은 라쏘(\ell_1 놈)를, 녹색 점선은 릿지 회귀(\ell_2 놈)를 나타낸다. 라쏘는 \lambda가 특정 지점을 넘으면 계수가 정확히 0이 되어 변수 선택 효과를 보인다.


하지만 \lambda 값이 너무 크면 중요한 예측 변수가 모델에서 제외되거나 계수가 과도하게 축소되어 예측 성능이 저하될 수 있다. 따라서 최적의 \lambda 값을 찾는 것이 중요하며, 이를 위해 교차 검증이나 아카이케 정보량 기준(AIC), 베이즈 정보량 기준(BIC)과 같은 정보 기준 등의 방법이 사용된다.[33][46]

6. 1. 교차 검증

라쏘에서 정규화 매개변수(\lambda)를 선택하는 것은 기본적인 부분이다. 좋은 값은 라쏘의 성능에 필수적인데, 이는 축소 및 변수 선택의 강도를 제어하며, 적절하게 조절하면 예측 정확도와 해석 가능성을 모두 향상시킬 수 있기 때문이다. 그러나 정규화가 너무 강해지면 중요한 변수가 생략되고 계수가 과도하게 축소되어 예측 능력과 추론 모두에 해를 끼칠 수 있다. 교차 검증은 종종 정규화 매개변수 \lambda를 찾는 데 사용된다.

베이즈 정보 기준(BIC) 및 아카이케 정보 기준(AIC)과 같은 정보 기준은 계산 속도가 빠르고 작은 표본에서 성능 변동성이 적기 때문에 교차 검증보다 선호될 수 있다.[46] 정보 기준은 모델의 유효 매개변수/자유도를 페널티로 부과하면서 모델의 표본 내 정확도를 최대화하여 추정기의 정규화 매개변수를 선택한다.

6. 2. 정보량 기준

라쏘에서 정규화 매개변수(\lambda)를 선택하는 것은 매우 중요하다. 좋은 값을 선택하는 것은 라쏘의 성능에 필수적인데, 이는 축소 및 변수 선택의 강도를 제어하며, 적절하게 조절하면 예측 정확도와 해석 가능성을 모두 향상시킬 수 있기 때문이다.[7] 하지만 정규화가 너무 강하면 중요한 변수가 모델에서 제외되거나 계수가 과도하게 축소되어 예측 능력과 추론 모두에 해를 끼칠 수 있다.

정규화 매개변수 \lambda를 선택하는 방법으로 교차 검증이 자주 사용된다.

아카이케 정보량 기준(AIC)이나 베이즈 정보량 기준(BIC)과 같은 정보량 기준은 교차 검증 방법보다 계산 속도가 빠르고, 작은 표본(데이터 수가 적은 경우)에서도 성능 변동이 적기 때문에 교차 검증 대신 선호될 수 있다.[33][46] 정보량 기준은 모델이 주어진 데이터를 얼마나 잘 설명하는지(표본 내 정확도)를 나타내는 값과 모델의 복잡성(유효 매개변수/자유도)을 함께 고려하여 최적의 정규화 매개변수를 선택한다. 즉, 모델의 정확도를 최대한 높이면서도 너무 복잡해지지 않도록 페널티를 부과하는 방식이다.

모델의 복잡성을 측정하는 방법 중 하나로 Zou 등은 0이 아닌 예측 변수의 개수를 세는 방법을 제안했다.[34] 하지만 이 방법은 모델의 자유도가 정규화 매개변수에 의해 더 강하게 페널티를 받을 때조차 증가할 수 있다는 문제점이 Kaufman과 Rosset[35] 및 Janson 등[36]에 의해 지적되었다. 대안으로, 상대적 단순성 측정을 사용하여 유효 매개변수의 수를 계산하는 방법이 있다.[33] 라쏘의 경우, 이 측정값은 다음과 같이 주어진다.

\hat{\mathcal{P}} = \sum_{i=1}^p \frac

{\frac{1}{p} \sum_{l} |b_{\text{OLS},l}-\beta_{0,l}|},

이 값은 정규화 매개변수가 \infty에서 0으로 감소함에 따라 0에서 p(전체 예측 변수의 수)까지 단조롭게 증가한다.

7. 응용 분야

라쏘는 통계학 및 기계 학습 분야에서 널리 사용되는 기법으로, 변수 선택과 정규화를 통해 모델의 복잡성을 줄이고 예측 성능을 향상시키는 데 유용하다. 이러한 특징으로 인해 경제, 금융, 생물정보학 등 다양한 학문 및 산업 분야에서 중요한 변수를 식별하거나 예측 모델을 구축하는 데 활발히 응용되고 있다.

7. 1. 경제 및 금융

LASSO는 경제 및 금융 분야에 적용되었으며, 예측 능력을 향상시키고 때로는 간과되었던 변수를 선택하는 데 도움이 되는 것으로 밝혀졌다. 예를 들어, 기업 파산 예측 연구[37] 또는 고성장 기업 예측에 사용된다.[38]

참조

[1] 논문 Linear inversion of band-limited reflection seismograms. SIAM
[2] 논문 Regression Shrinkage and Selection via the lasso Wiley
[3] 논문 The lasso Method for Variable Selection in the Cox Model
[4] 논문 Better Subset Regression Using the Nonnegative Garrote
[5] 논문 Ridge regression https://wires.online[...] 2022-08-22
[6] 논문 Comparing Ridge and LASSO estimators for data analysis 2017-01-01
[7] 서적 Science: Under Submission Hoornweg Press 2018
[8] 논문 Accelerating Big Data Analysis through LASSO-Random Forest Algorithm in QSAR Studies 2021-10
[9] 웹사이트 The Adaptive Lasso and Its Oracle Properties http://pages.cs.wisc[...]
[10] 논문 Sparse inference and active learning of stochastic differential equations from data
[11] 논문 Regularization and Variable Selection via the Elastic Net Wiley
[12] 논문 Model Selection and Estimation in Regression with Grouped Variables Wiley
[13] 간행물 A Multidimensional Shrinkage-Thresholding Operator https://hal-supelec.[...]
[14] 간행물 Group Lasso with Overlap and Graph LASSO http://videolectures[...]
[15] 논문 Sparsity and Smoothness via the Fused Lasso https://www.jstor.or[...] 2005
[16] 논문 A fast unified algorithm for solving group-lasso penalize learning problems http://link.springer[...] 2015-11
[17] 논문 Sparse regression with exact clustering
[18] 논문 Sparse regression and marginal testing using cluster prototypes 2015
[19] 논문 On the Complexity of the Weighted Fused Lasso 2018
[20] 간행물 The Bridge versus the Lasso https://www.jstor.or[...] Taylor & Francis
[21] 간행물 On the Surprising Behavior of Distance Metrics in High Dimensional Space. http://kops.uni-kons[...]
[22] 간행물 Piece-wise quadratic approximations of arbitrary error functions for fast and robust machine learning. https://arxiv.org/ab[...]
[23] 기타 PQSQ-regularized-regression repository https://github.com/M[...] GitHub
[24] 논문 Adaptive Lasso for Cox's proportional hazards model https://academic.oup[...] 2007-08-05
[25] 논문 Variable selection with prior information for generalized linear models via the prior lasso method
[26] 간행물 Regularization Paths for Generalized Linear Models via Coordinate Descent https://www.jstatsof[...]
[27] 논문 Least Angle Regression https://www.jstor.or[...] 2004
[28] 논문 Regularization Paths for Generalized Linear Models via Coordinate Descent 2010
[29] 논문 Regularization Paths for Cox's Proportional Hazards Model via Coordinate Descent 2011
[30] 논문 Elastic Net Regularization Paths for All Generalized Linear Models 2023
[31] 논문 Celer: a Fast Solver for the Lasso with Dual Extrapolation https://proceedings.[...] 2018
[32] 논문 Dual Extrapolation for Sparse GLMs http://jmlr.org/pape[...] 2020
[33] 서적 Science: Under Submission Hoornweg Press
[34] 논문 On the 'Degrees of Freedom' of the Lasso
[35] 논문 When does more regularization imply fewer degrees of freedom? Sufficient conditions and counterexamples
[36] 논문 Effective degrees of freedom: a flawed metaphor
[37] 논문 Variable selection and corporate bankruptcy forecasts
[38] 논문 Catching Gazelles with a Lasso: Big data techniques for the prediction of high-growth firms
[39] 논문 Linear inversion of band-limited reflection seismograms. SIAM
[40] 논문 Regression Shrinkage and Selection via the lasso Wiley
[41] 논문 The lasso Method for Variable Selection in the Cox Model
[42] 논문 Linear inversion of band-limited reflection seismograms. SIAM
[43] 논문 Regularization and Variable Selection via the Elastic Net Wiley
[44] 논문 The Adaptive Lasso and Its Oracle Properties https://www.tandfonl[...] 2006
[45] 논문 Variable selection for multiply-imputed data with application to dioxin exposure study 2013-09-20
[46] 서적 Science: Under Submission Hoornweg Press


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com