잔차 제곱합

1. 개요

잔차 제곱합(RSS)은 통계학에서 회귀 모델의 적합성을 평가하는 데 사용되는 지표이다. 독립 변수가 하나인 모델에서 RSS는 예측값과 실제 값의 차이(잔차)를 제곱하여 합산한 값으로 계산된다. RSS는 피어슨 상관 계수와 관련이 있으며, 결정 계수가 1에 가까울수록 RSS는 작아져 회귀 모델이 데이터를 더 잘 설명함을 의미한다. RSS는 카이제곱 분포와 관련이 있으며, 자유도와 함께 회귀 모형의 적합도를 평가하는 데 사용될 수 있다.

2. 정의

잔차 제곱합(Residual Sum of Squares, RSS)은 예측값과 실제 값의 차이, 즉 잔차를 제곱하여 모두 더한 값이다. 이 값은 회귀 모형의 적합도를 평가하는 데 사용된다.

단일 설명 변수를 사용하는 모형에서 잔차 제곱합은 다음과 같이 주어지며,

:$\backslash operatorname\{RSS\}\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; f(x\_i))^2$

이는 하나의 종속변수에 대해서 계산하는 식이다.

n개의 관측치와 k개의 설명변수를 갖는 다중 회귀 모형에서, 잔차 제곱합은 다음과 같이 행렬을 사용하여 표현할 수 있다.

:$y\; =\; X\; \backslash beta\; +\; e$

여기서,
* y는 종속 변수 관측값의 n × 1 벡터이다.
* X는 n × k 행렬로, 각 열은 k개 설명변수 각각에 대한 관측값 벡터이다.
* $\backslash beta$는 실제 계수의 k × 1 벡터이다.
* e는 실제 오차의 n × 1 벡터이다.

이때 잔차 제곱합은 다음과 같다.

:$\backslash operatorname\{RSS\}\; =\; \backslash hat\; e\; ^\backslash operatorname\{T\}\; \backslash hat\; e\; =\; \backslash |\; \backslash hat\; e\; \backslash |^2$

이는 잔차의 노름 제곱과 같다.

2.1. 하나의 독립변수

독립변수가 하나인 모델에서 잔차 제곱합(RSS)은 다음과 같이 계산된다.

:$\backslash operatorname\{RSS\}\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; f(x\_i))^2$

여기서 y_i는 i번째 예측할 변수 값이고, x_i는 i번째 독립변수의 값이며, $f(x\_i)$는 y_i의 예측값($\backslash hat\{y\_i\}$라고도 함)이다. 표준 선형 단순 회귀모델에서는 $y\_i\; =\; \backslash alpha\; +\; \backslash beta\; x\_i+\backslash varepsilon\_i\backslash ,$와 같이 표현되며, 여기서 $\backslash alpha$와 $\backslash beta$는 계수이고, y와 x는 각각 종속변수와 독립변수이며, ε는 오차이다.

잔차 제곱합은 잔차 $\backslash widehat\{\backslash varepsilon\backslash ,\}\_i$의 제곱합이며, 다음과 같이 표현된다.

:$\backslash operatorname\{RSS\}\; =\; \backslash sum\_\{i=1\}^n\; (\backslash widehat\{\backslash varepsilon\backslash ,\}\_i)^2\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; (\backslash widehat\{\backslash alpha\backslash ,\}\; +\; \backslash widehat\{\backslash beta\backslash ,\}\; x\_i))^2$

여기서 $\backslash widehat\{\backslash alpha\backslash ,\}$는 상수 $\backslash alpha$의 추정 값이고, $\backslash widehat\{\backslash beta\backslash ,\}$는 기울기 계수 $\backslash beta$의 추정 값이다.

2.2. 일반적인 경우 (행렬 표현식)

n개의 관측값과 k개의 설명변수(첫 번째 설명변수는 상수항을 의미하는 단위 벡터)를 갖는 일반적인 선형 회귀 모형에서 잔차 제곱합(RSS)은 행렬을 사용하여 표현할 수 있다.

선형 회귀 모형은 다음과 같다.

:$y\; =\; X\; \backslash beta\; +\; e$

여기서,
* y는 종속 변수 관측값의 n × 1 벡터이다.
* X는 n × k 행렬로, 각 열은 k개 설명변수 각각에 대한 관측값 벡터이다.
* $\backslash beta$는 실제 계수의 k × 1 벡터이다.
* e는 실제 오차의 n × 1 벡터이다.

최소제곱법으로 추정된 회귀 계수 $\backslash hat\; \backslash beta$는 다음과 같다.

:$\backslash hat\; \backslash beta\; =\; (X^\backslash operatorname\{T\}\; X)^\{-1\}X^\backslash operatorname\{T\}\; y.$

잔차 벡터 $\backslash hat\; e\; =\; y\; -\; X\; \backslash hat\; \backslash beta\; =\; y\; -\; X\; (X^\backslash operatorname\{T\}\; X)^\{-1\}X^\backslash operatorname\{T\}\; y$를 이용해 RSS를 계산하면 다음과 같다.

:$\backslash operatorname\{RSS\}\; =\; \backslash hat\; e\; ^\backslash operatorname\{T\}\; \backslash hat\; e\; =\; \backslash |\; \backslash hat\; e\; \backslash |^2$

이는 잔차의 노름 제곱과 같다. 위 식은 다음과 같이 다시 정리할 수 있다.

:$\backslash operatorname\{RSS\}\; =\; y^\backslash operatorname\{T\}\; y\; -\; y^\backslash operatorname\{T\}\; X(X^\backslash operatorname\{T\}\; X)^\{-1\}\; X^\backslash operatorname\{T\}\; y\; =\; y^\backslash operatorname\{T\}\; [I\; -\; X(X^\backslash operatorname\{T\}\; X)^\{-1\}\; X^\backslash operatorname\{T\}]\; y\; =\; y^\backslash operatorname\{T\}\; [I\; -\; H]\; y$

여기서 H는 모자행렬 또는 선형 회귀에서의 투영 행렬이다.

3. 피어슨 상관 계수와의 관계

최소제곱 회귀선은 $y=ax+b$로 표현될 때, 잔차 제곱합($\backslash operatorname\{RSS\}$)은 피어슨 상관 계수(r)를 통해 다음과 같이 나타낼 수 있다.

:$\backslash operatorname\{RSS\}=S\_\{yy\}(1-r^2).$

여기서 $r$은 피어슨 상관 계수이고, $S\_\{yy\}=\backslash sum\_\{i=1\}^n\; (\backslash bar\{y\}-y\_i)^2$이다. $r^2$는 결정 계수를 의미하며, 결정 계수가 1에 가까울수록 $\backslash operatorname\{RSS\}$는 작아진다. 이는 회귀 모형이 데이터를 더 잘 설명한다는 것을 의미한다.

4. 추가 설명자료

카이제곱 분포는 잔차 제곱합과 관련이 있으며, 자유도와 함께 고려하여 회귀 모형의 적합도를 평가하는 데 사용될 수 있다. 아카이케 정보 기준(AIC)은 최소제곱법과 비교하여 모형의 복잡성과 적합도의 균형을 평가하는 데 사용되는 또 다른 지표이다.