최소제곱법

3. 문제 정의

어떤 계에서 $n$개의 관측값 $(X_i, y_i)$ ($1 \le i \le n$)가 있을 때, 설명변수와 종속변수 간의 관계식을 추정하고자 한다. 회귀식의 설명변수는 $m$개가 있다고 가정한다. 설명변수 $x_{ij}$는 표본의 $i$번째 관측값의 $j$번 설명변수의 값으로 표기한다. 이 경우 회귀식은 다음과 같이 표현할 수 있다.

:$y_i=\beta_0 + \beta_1 x_{i1} +\beta_2 x_{i2}+ ...+\beta_m x_{im}+\epsilon$

이 식을 행렬의 꼴로 축약해 나타내면 다음과 같은 형태로 표현할 수 있다.

:$\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon}$

여기서 $\mathbf{y}$는 종속변수 관측값을 나타낸 벡터이고, $\mathbf{X}$는 설명변수를 모아 둔 디자인 행렬이다. $\boldsymbol{\beta}$는 모수 벡터이고, $\boldsymbol{\epsilon}$은 오차항을 모은 벡터이다. 이들을 행렬로 나타내면 다음과 같다.

:$\mathbf{y}=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}$, $\mathbf{X}=\begin{bmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1m} \\

1 & x_{21} & x_{22} & \cdots & x_{2m} \\

\vdots & \vdots & \vdots & \cdots & \vdots \\

1 & x_{n1} & x_{n2} & \cdots & x_{nm} \\

\end{bmatrix}$, $\boldsymbol{\beta}=\begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_m \end{bmatrix}$, $\boldsymbol{\epsilon}=\begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{bmatrix}$

오차항의 제곱합 $S(\boldsymbol{\beta})=\sum_i \left[y_i - (\beta_0 + \beta_1 x_{i1} +\beta_2 x_{i2}+ ...+\beta_m x_{im})\right]^2$ 의 값을 최소로 만드는 $\boldsymbol \beta$를 구하는 것이 문제의 목표이다.

4. 선형 최소제곱법

선형 최소제곱법은 모델 함수가 매개변수들의 선형 결합으로 표현되는 경우에 적용된다. 예를 들어, 모델 함수는 다음과 같이 표현할 수 있다.

:$$f(x,\; \backslash boldsymbol\; \backslash beta)\; =\; \backslash sum\_\{j\; =\; 1\}^m\; \backslash beta\_j\; \backslash phi\_j(x),$$

여기서 함수 $\backslash phi\_j$는 $x$의 함수이다.^[12]

$X\_\{ij\}=\; \backslash phi\_j(x\_\{i\})$로 놓고 독립 변수와 종속 변수를 각각 행렬 $X$와 $Y$에 넣으면, 최소 제곱법을 행렬을 사용하여 표현할 수 있다.^[12][13]

:$$L(D,\; \backslash boldsymbol\{\backslash beta\})\; =\; \backslash left\backslash |Y\; -\; X\backslash boldsymbol\{\backslash beta\}\; \backslash right\backslash |^2$$

= (Y - X\boldsymbol{\beta})^\mathsf{T} (Y - X\boldsymbol{\beta})

= Y^\mathsf{T}Y- Y^\mathsf{T}X\boldsymbol{\beta}- \boldsymbol{\beta}^\mathsf{T}X^\mathsf{T}Y + \boldsymbol{\beta}^\mathsf{T}X^\mathsf{T}X\boldsymbol{\beta}

손실 함수의 기울기를 0으로 설정하고 $\backslash boldsymbol\{\backslash beta\}$에 대해 풀면 다음을 얻는다.^[13][12]

:$$\backslash boldsymbol\{\backslash hat\{\backslash beta\}\}\; =\; \backslash left(X^\backslash mathsf\{T\}X\backslash right)^\{-1\}\; X^\backslash mathsf\{T\}Y$$

최소제곱법은 잔차의 제곱합을 최소화하는 방식으로 작동한다. 잔차는 실제 값과 모델 예측 값의 차이를 의미한다. 제곱합의 최소값은 기울기를 0으로 설정하여 찾는다. 모델에 ''m''개의 매개변수가 포함되어 있으므로, ''m''개의 기울기 방정식이 있다.^[12]

:$$\backslash frac\{\backslash partial\; S\}\{\backslash partial\; \backslash beta\_j\}=2\backslash sum\_i\; r\_i\backslash frac\{\backslash partial\; r\_i\}\{\backslash partial\; \backslash beta\_j\}\; =\; 0,\backslash \; j=1,\backslash ldots,m,$$

그리고 $r\_i=y\_i-f(x\_i,\backslash boldsymbol\; \backslash beta)$이므로, 기울기 방정식은 다음과 같다.^[12]

:$$-2\backslash sum\_i\; r\_i\backslash frac\{\backslash partial\; f(x\_i,\backslash boldsymbol\; \backslash beta)\}\{\backslash partial\; \backslash beta\_j\}=0,\backslash \; j=1,\backslash ldots,m.$$

이 방정식은 모든 최소제곱 문제에 적용된다.

간단한 예시로, 용수철의 늘어남이 가해지는 힘 ''F''에 비례한다는 후크의 법칙을 생각해보자.

:$$y\; =\; f(F,k)\; =\; k\; F$$

여기서 ''F''는 독립 변수이고, ''k''는 힘 상수이다. ''k''를 추정하기 위해 최소 제곱을 사용하며, 최소화할 제곱합은 다음과 같다.^[12]

:$$S\; =\; \backslash sum\_\{i=1\}^n\; \backslash left(y\_i\; -\; k\; F\_i\backslash right)^2.$$

힘 상수 ''k''의 최소 제곱 추정값은 다음과 같다.

:$$\backslash hat\; k\; =\; \backslash frac\{\backslash sum\_i\; F\_i\; y\_i\}\{\backslash sum\_i\; F\_i^2\}.$$

일반적으로, 측정값은 $x,\; y$의 이차원 평면에 분포하고, 예상되는 분포(모델 함수)가 $y=f(x)$ 형태인 경우, 예상 함수 $f$는 알려진 함수 $g(x)$의 선형 결합으로 표시된다.

:$f(x)=\backslash sum\_\{k=1\}^\{m\}\; a\_k\; g\_k(x)$

예를 들어 ''$m\; =\; 2$''일 때는 $f(x)=\; a\_1\; +\; a\_2\; x$라는 직선에 의한 근사(선형 회귀)가 된다.

측정으로 얻어진 수치 집합 $\backslash \{(x\_1,\; y\_1),\backslash \; (x\_2,\; y\_2),\backslash \; \backslash ldots\; ,\backslash \; (x\_n,\; y\_n)\backslash \}$이 있고, 이들의 분포가 $y\; =\; f(x)$라는 모델 함수를 따른다고 가정했을 때, 이론값으로부터의 오차의 분산의 추정값은 잔차의 제곱합으로 주어진다.

:$J\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; f(x\_i))^2$

''$J$''가 최소가 되도록 예상 분포 $f$를 정하면 된다. ''$J$''를 ''$a\_k$''에 대해 편미분한 것을 0으로 놓고, 이렇게 얻어진 ''$m$''개의 연립 방정식(정규 방정식)을 풀어 ''$a\_k$''를 결정한다.

적합하려는 함수 ''$f$''와 최소화해야 할 함수 ''$J$''는 다음과 같다.

:$f(x)=\; (g\_1(x),\; g\_2(x),\; \backslash ldots,\; g\_m(x))(a\_1,\; a\_2,\; \backslash ldots,\; a\_m)^\backslash textrm\{T\}$

:$$

\begin{align}

J (\boldsymbol{a}) &= (G \boldsymbol{a}-\boldsymbol{y})^\textrm{T} \, (G \boldsymbol{a}-\boldsymbol{y}) \\

&= \left(\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix} \right)^\textrm{T} \, \left(\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix} \right)

\end{align}



''$J$''를 $\backslash boldsymbol\{a\}$의 각 성분으로 편미분하여 0으로 둔 ''$m$''개의 식(정규 방정식)은 행렬을 사용하여 나타낼 수 있다.

:$G^\backslash textrm\{T\}\; G\; \backslash boldsymbol\{a\}=\; G^\backslash textrm\{T\}\; \backslash boldsymbol\{y\}$

이것을 '''정규 방정식'''()이라고 부른다. 이 정규 방정식을 풀면 계수 해 $\backslash boldsymbol\{a\}$를 구할 수 있다.

계수 해 $\backslash boldsymbol\{a\}$는 역행렬, 콜레스키 분해, QR 분해, 특이값 분해 등을 사용하여 정규 방정식을 풀어 구할 수 있다.^[29][30] 유사 역행렬을 사용하는 방법도 있지만,^[31] 계산 효율이 좋지 않아 잘 사용되지 않는다.

4. 1. 1차 방정식의 경우

5. 비선형 최소제곱법

모델 함수가 매개변수들의 선형 결합으로 표현되지 않는 경우(예: β^2, e^(βx) 등)에는 비선형 최소제곱법을 사용한다. 비선형 최소제곱법은 일반적으로 반복적인 수치 알고리즘을 통해 해를 구하며, 가우스-뉴턴 알고리즘^[33], 레벤베르크-마쿼트 알고리즘^{[34][35][36][37][38]} 등이 사용된다.

어떤 경우에는 비선형 최소제곱 문제에 대한 폐쇄형 해가 존재하지만, 일반적으로는 그렇지 않다. 폐쇄형 해가 없는 경우, 목표를 최소화하는 매개변수 $\backslash beta$의 값을 찾기 위해 수치 알고리즘이 사용된다. 대부분의 알고리즘은 매개변수의 초기 값을 선택하는 것을 포함한다. 그런 다음 매개변수는 반복적으로 개선된다. 즉, 값은 연속적인 근사로 얻어진다.

:$\{\backslash beta\_j\}^\{k+1\}\; =\; \{\backslash beta\_j\}^k+\backslash Delta\; \backslash beta\_j,$

여기서 위첨자 ''k''는 반복 횟수이고, 증가 벡터 $\backslash Delta\; \backslash beta\_j$는 이동 벡터라고 한다. 일반적으로 사용되는 일부 알고리즘에서는 각 반복에서 모델을 $\backslash boldsymbol\; \backslash beta^k$에 대한 1차 테일러 급수 확장을 통해 선형화할 수 있다.

:$\backslash begin\{align\}$

f(x_i,\boldsymbol \beta)

&= f^k(x_i,\boldsymbol \beta) +\sum_j \frac{\partial f(x_i,\boldsymbol \beta)}{\partial \beta_j} \left(\beta_j-{\beta_j}^k \right) \\[1ex]

&= f^k(x_i,\boldsymbol \beta) +\sum_j J_{ij} \,\Delta\beta_j.

\end{align}

야코비 행렬 '''J'''는 상수, 독립 변수, 매개변수의 함수이므로 반복마다 변경된다. 잔차는 다음과 같다.

:$r\_i\; =\; y\_i\; -\; f^k(x\_i,\; \backslash boldsymbol\; \backslash beta)-\; \backslash sum\_\{k=1\}^\{m\}\; J\_\{ik\}\backslash ,\backslash Delta\backslash beta\_k\; =\; \backslash Delta\; y\_i-\; \backslash sum\_\{j=1\}^m\; J\_\{ij\}\backslash ,\backslash Delta\backslash beta\_j.$

$r\_i$의 제곱합을 최소화하기 위해, 기울기 방정식을 0으로 설정하고 $\backslash Delta\; \backslash beta\_j$에 대해 풀면, '''정규 방정식'''이 되는 ''m''개의 연립 선형 방정식이 된다.

:$\backslash sum\_\{i=1\}^\{n\}\backslash sum\_\{k=1\}^m\; J\_\{ij\}\; J\_\{ik\}\; \backslash ,\; \backslash Delta\; \backslash beta\_k=\backslash sum\_\{i=1\}^n\; J\_\{ij\}\; \backslash ,\; \backslash Delta\; y\_i\; \backslash qquad\; (j=1,\backslash ldots,m).$

정규 방정식은 행렬 표기법으로 다음과 같이 쓸 수 있다.

:$\backslash left(\backslash mathbf\{J\}^\backslash mathsf\{T\}\; \backslash mathbf\{J\}\backslash right)\; \backslash Delta\; \backslash boldsymbol\; \backslash beta\; =\; \backslash mathbf\{J\}^\backslash mathsf\{T\}\backslash Delta\; \backslash mathbf\{y\}.$

이것들은 가우스-뉴턴 알고리즘의 정의 방정식이다.

선형 최소제곱법(LLSQ)과 비선형 최소제곱법(NLLSQ)의 주요 차이점은 다음과 같다.^[12]

• 모델 함수: LLSQ에서 모델 함수는 매개변수들의 선형 결합이다. NLLSQ에서는 매개변수가 $\backslash beta^2,\; e^\{\backslash beta\; x\}$ 등과 같은 함수로 나타난다.
• 초기값: NLLSQ는 매개변수의 초기값이 필요하지만, LLSQ는 그렇지 않다.
• 해법 알고리즘: NLLSQ는 반복적인 알고리즘을 사용해야 하는 경우가 많다.
• 비수렴: NLLSQ에서는 알고리즘이 최솟값을 찾지 못하는 비수렴 문제가 발생할 수 있다.
• 최솟값: NLLSQ에서는 제곱합에 여러 개의 최솟값이 존재할 수 있다.

6. 가중 최소제곱법

'''가중 최소 제곱법'''은 각 관측값의 오차 분산이 다른 경우(이분산성)에 사용되는 방법이다. 이 방법은 오차가 큰 관측값보다 오차가 작은 관측값에 더 큰 가중치를 부여하여 모수를 추정한다. 즉, 잔차 제곱합 대신 가중 잔차 제곱합을 최소화하는 방식으로 동작한다.^[10]

7. 정규화

티호노프 정규화(릿지 회귀)는 파라미터 벡터의 제곱 $\backslash ell\_2$-노름인 $\backslash left\backslash |\backslash beta\backslash right\backslash |\_2^2$이 주어진 값보다 크지 않다는 제약 조건을 최소제곱법 공식에 추가하여 제약된 최소화 문제를 유도한다.^[17] 이는 목적 함수가 잔차 제곱합과 페널티 항 $\backslash alpha\; \backslash left\backslash |\backslash beta\backslash right\backslash |\_2^2$의 합이고 $\backslash alpha$가 튜닝 파라미터인 비제약 최소화 문제와 동일하다. 베이즈 맥락에서 이는 파라미터 벡터에 평균이 0인 정규 분포 사전을 배치하는 것과 동일하다.

Lasso (최소 절대 수축 및 선택 연산자)는 파라미터 벡터의 L₁-노름인 $\backslash |\backslash beta\backslash |\_1$이 주어진 값보다 크지 않다는 제약 조건을 사용한다.^[18][19][20] 이는 $\backslash alpha\backslash |\backslash beta\backslash |\_1$이 추가된 최소제곱 벌점의 제약 없는 최소화와 동일하다. 베이즈 맥락에서 이는 파라미터 벡터에 평균이 0인 라플라스 사전 분포를 적용하는 것과 동일하다.^[21] 최적화 문제는 2차 계획법 또는 더 일반적인 볼록 최적화 방법뿐만 아니라 최소 각도 회귀 알고리즘과 같은 특정 알고리즘을 사용하여 해결할 수 있다.

Lasso와 릿지 회귀의 주요 차이점 중 하나는 릿지 회귀에서는 벌점을 증가시키면 모든 파라미터가 0이 아닌 상태로 감소하는 반면, Lasso에서는 벌점을 증가시키면 점점 더 많은 파라미터가 0으로 수렴된다는 것이다. 이는 Lasso가 릿지 회귀보다 갖는 장점인데, 파라미터를 0으로 수렴시키면 회귀에서 특징을 선택 해제하기 때문이다. 따라서 Lasso는 자동으로 더 관련 있는 특징을 선택하고 다른 특징은 버리는 반면, 릿지 회귀는 어떠한 특징도 완전히 버리지 않는다. Bolasso(샘플을 부트스트랩한다.)를 포함하여 LASSO를 기반으로 개발된 일부 특징 선택 기술이 있다.^[22]

''L''¹-정규화 공식은 더 적은 변수에 의존하는 솔루션을 제공하여, 더 많은 파라미터가 0인 솔루션을 선호하는 경향이 있기 때문에 일부 맥락에서 유용하다.^[18] 이러한 이유로 Lasso와 그 변형은 압축 센싱 분야의 기본이다. 이 접근 방식의 확장은 엘라스틱 넷 정규화이다.

8. 최소제곱법의 한계

최소제곱법은 종속 변수의 오차만을 고려하며, 독립 변수의 오차는 무시한다.^[11] 독립 변수에 오차가 있는 경우에는 측정 오차 모델을 사용하거나, 총 최소 자승법 등을 고려할 수 있다.^[11]

또한, 최소제곱법은 이상치에 민감하게 반응하여 모델의 정확도를 크게 떨어뜨릴 수 있다. 따라서 이상치 제거 등의 전처리 과정이 필요할 수 있다.^[39] 예를 들어, 수정된 톰슨-τ 방법 등을 통해 이상치를 제거할 수 있다.^[39]

최소제곱법의 이론적 기반에는 다음과 같은 전제가 있다.^[26][24][25]

• 측정값의 오차에는 편향이 없다. 즉, 오차의 평균값은 0이다.
• 측정값의 오차의 분산은 알려져 있다. (단, 측정 데이터마다 달라도 된다.)
• 각 측정은 서로 독립이며, 오차의 공분산은 0이다.
• 오차는 정규 분포한다.
• ''m''개의 파라미터^[27]를 포함하는 모델 함수 *f*가 알려져 있으며, 측정량의 참값을 근사 오차 없이 재현할 수 있는 파라미터가 존재한다.

9. 응용

상수도 시설의 규모를 결정할 때, 해당 상수도를 이용하게 될 도시의 장래 인구수를 추정해야 한다. 최소제곱법은 과거의 인구 통계 자료를 바탕으로 장래 인구수를 예측하는 방법 중 하나이다. 이 방법을 통해 연도에 따른 인구수의 방정식을 구하고, 이를 이용하여 장래 인구수를 계산할 수 있다.^[12]

n개의 연도와 인구 수 자료가 있을 때, 구하고자 하는 방정식은 $y\; =\; ax\; +\; b$ 형태이다. 여기서 상수 a와 b를 계산하여 장래 연도 x를 대입하면 장래 인구수 y를 예측할 수 있다.

예를 들어, 1990년부터 1996년까지 기록된 인구 자료를 바탕으로 최소제곱법을 적용하면 다음과 같다.

위 표와 같이 연도를 치환하고, 최소제곱법을 통해 계산하면 다음과 같은 방정식을 얻을 수 있다.

:$\backslash begin\{align\}$

Y & = aX + b \\

& = 4235.714 X + 191000

\end{align}

1993년을 X=0으로 설정했으므로, 2000년은 X=7에 해당한다. 이 값을 방정식에 대입하면 2000년의 인구수는 220,650명으로 예측된다.

이처럼 최소제곱법은 상수도 시설 규모 결정, 도시의 장래 인구수 추정 등 다양한 분야에 응용될 수 있다. 급수(상하수도 공학)에서 최소제곱법을 활용하여 과거 인구 통계 자료를 바탕으로 장래 인구수를 예측하고, 이를 기반으로 상수도 시설의 적정 규모를 결정할 수 있다.

참조

_[1] 논문 The Equivalence of Generalized Least Squares and Maximum Likelihood Estimates in the Exponential Family
_[2] 문서 A List of Writings Relating to the Method of Least Squares
_[3] 서적 Linear Algebra With Applications Prentice Hall
_[4] 논문 Gauss and the Invention of Least Squares
_[5] 논문 The discovery of the method of least squares https://hedibert.org[...] 1972
_[6] 서적 The History of Statistics: The Measurement of Uncertainty Before 1900 https://archive.org/[...] Belknap Press of Harvard University Press
_[7] 간행물 Nouvelles méthodes pour la détermination des orbites des comètes https://books.google[...] F. Didot
_[8] 웹사이트 The Discovery of Statistical Regression https://priceonomics[...] 2023-04-04
_[9] 논문 Doing Least Squares: Perspectives from Gauss and Yule
_[10] 서적 A modern introduction to probability and statistics: understanding why and how Springer 2005
_[11] 서적 Measurement Error Models John Wiley & Sons
_[12] 서적 Quantifying measurement: the tyranny of numbers 2016-11
_[13] 서적 Methods of Multivariate Analysis https://books.google[...] John Wiley & Sons 2012-08-15
_[14] 서적 Mechanics of Materials Cengage Learning 2013
_[15] 백과사전 Gauss-Markov Theorem https://onlinelibrar[...] Wiley 2023-10-18
_[16] 논문 A New Approach to Least-Squares Estimation, with Applications 1987-06
_[17] arXiv Lecture notes on ridge regression
_[18] 논문 Regression shrinkage and selection via the lasso
_[19] 서적 The Elements of Statistical Learning http://www-stat.stan[...] Springer-Verlag 2009
_[20] 서적 Statistics for High-Dimensional Data: Methods, Theory and Applications Springer 2011
_[21] 논문 The Bayesian Lasso 2008
_[22] 논문 Proceedings of the 25th international conference on Machine learning - ICML '08 2008
_[23] 논문 Scoring relevancy of features based on combinatorial analysis of Lasso with application to lymphoma diagnosis 2013
_[24] 서적 Solving Least Squares Problems https://epubs.siam.o[...] Society for Industrial and Applied Mathematics
_[25] 서적 Numerical Methods for Least Squares Problems https://epubs.siam.o[...] Society for Industrial and Applied Mathematics
_[26] 서적 最小二乗法による実験データ解析 東京大学出版会
_[27] 문서
_[28] 문서
_[29] 서적 数値解析入門 サイエンス社 2003-06
_[30] 논문 The truncated SVD as a method for regularization https://doi.org/10.1[...] Springer
_[31] 문서
_[32] 웹사이트 Chi-Squared Distribution https://mathworld.wo[...]
_[33] 서적 A contemporary study of iterative methods: convergence, dynamics and applications https://books.google[...] Academic Press
_[34] 웹사이트 Levenberg-Marquardt Method https://mathworld.wo[...]
_[35] 논문 The Levenberg-Marquardt algorithm : Implementation and theory https://link.springe[...]
_[36] 간행물 Levenberg-marquardt training 2011
_[37] 학술지 The levenberg-marquardt algorithm https://sites.cs.ucs[...]
_[38] 학술지 Levenberg-Marquardt法の局所収束性について (最適化の数理科学) https://hdl.handle.n[...] 京都大学数理解析研究所 2000-10
_[39] Matlab Find Outliers with Thompson Tau https://www.mathwork[...] 2020-05-17
_[40] 서적 The total least squares problem: computational aspects and analysis SIAM 1991
_[41] 학술지 An analysis of the total least squares problem https://doi.org/10.1[...] SIAM
_[42] 서적 The coordinate-free approach to Gauss-Markov estimation Springer Science & Business Media 2012
_[43] 서적 Fitting models to biological data using linear and nonlinear regression: a practical guide to curve fitting Oxford University Press 2004