자유도 (통계학)

3. 표기법

자유도를 나타내는 일반적인 기호는 ''ν'' (소문자 그리스 문자 뉴)이며, "d.f."라는 약어도 일반적으로 사용된다. 로널드 A. 피셔는 ''n''을 사용했지만, 현대에는 ''n''이 표본 크기를 나타내는 데 사용된다.^[6] 통계적 가설 검정 결과를 보고할 때는 검정 통계량 옆에 아래 첨자 또는 괄호 안에 자유도를 표시한다.^[6]

4. 확률 벡터와 자유도

기하학적으로 자유도는 특정 벡터 부분 공간의 차원으로 해석될 수 있다. 독립적으로 정규 분포를 따르는 관측치 표본 \\(X_1,\dots,X_n\\)이 있다고 가정하면, 이는 ''n''차원 확률 벡터로 나타낼 수 있다.

:$\backslash begin\{pmatrix\}\; X\_1\backslash \backslash \; \backslash vdots\; \backslash \backslash \; X\_n\; \backslash end\{pmatrix\}.$

이 확률 벡터는 ''n''차원 공간 어디에나 위치할 수 있으므로, ''n''개의 자유도를 갖는다.

표본 평균을 이용하여 확률 벡터를 분해하면, 평균에 대한 벡터는 1개의 자유도를, 잔차 벡터는 ''n''-1개의 자유도를 갖는다. (자세한 내용은 하위 섹션인 "예시: 벡터 확률 분해" 참조)

4. 1. 예시: 벡터 확률 분해

4. 2. 잔차 제곱합과 자유도

5. 구조 방정식 모형 (SEM)에서의 자유도

구조 방정식 모형(SEM)의 결과가 제시될 때, 일반적으로 하나 이상의 전체 모형 적합도 지수가 포함되며, 가장 흔한 지수는 ''χ''² 통계량이다. 이는 일반적으로 보고되는 다른 지수의 기반을 형성한다. 다른 통계량이 가장 일반적으로 해석되지만, 모형 적합도와 모형 자체의 본질을 이해하는 데에는 ''χ''²의 자유도가 필수적이다.

SEM에서 자유도는 분석에 입력으로 사용되는 고유한 정보 조각 수(때로는 알려진 값이라고 함)와 고유하게 추정되는 매개변수 수(때로는 알 수 없는 값이라고 함)의 차이로 계산된다. 예를 들어, 4개의 항목을 가진 단일 요인 확인적 요인 분석에서 10개의 알려진 값(4개 항목 간의 6개의 고유 공분산과 4개 항목의 분산)과 8개의 알 수 없는 값(4개의 요인 적재량과 4개의 오차 분산)이 있어 자유도는 2이다. 다른 모든 조건이 동일할 때 자유도가 적을수록 ''χ''²와 같은 지표가 더 좋아지기 때문에 자유도는 모형 적합도를 이해하는 데 중요하다.

자유도는 SEM을 포함하는 논문을 읽는 사람이 해당 논문의 저자가 실제로 올바른 모형 적합도 통계를 보고하고 있는지 여부를 결정하는 데 사용될 수 있다는 것이 밝혀졌다. 예를 들어, 조직 과학 분야에서 최고 저널에 게재된 논문의 거의 절반이 해당 논문에서 설명된 모형과 일치하지 않는 자유도를 보고하여 독자가 실제로 어떤 모형이 검증되었는지 의아하게 만든다.^[7]

6. 잔차의 자유도

데이터에 통계 모델을 적합할 때, 잔차 벡터는 벡터의 구성 요소 수보다 작은 차원의 공간에 놓이도록 제한된다. 이 작은 차원이 '오차에 대한 자유도'의 수이며, '잔차 자유도'라고도 한다.

이보다 조금 덜 간단한 예는 모델에서 ''a''와 ''b''를 최소 제곱법으로 추정하는 경우이다.

:$Y\_i=a+bx\_i+e\_i\backslash text\{\; for\; \}\; i=1,\backslash dots,n$

여기서 ''x''_''i''는 주어지지만, e_''i''와 그에 따라 ''Y''_''i''는 확률적이다. $\backslash widehat\{a\}$와 $\backslash widehat\{b\}$를 ''a''와 ''b''의 최소 제곱 추정값이라고 하자. 그러면 잔차

:$\backslash widehat\{e\}\_i=y\_i-(\backslash widehat\{a\}+\backslash widehat\{b\}x\_i)$

는 다음 두 개의 방정식으로 정의된 공간 안에 놓이도록 제한된다.

:$\backslash widehat\{e\}\_1\; +\; \backslash cdots\; +\; \backslash widehat\{e\}\_n=0,$

:$x\_1\; \backslash widehat\{e\}\_1\; +\; \backslash cdots\; +\; x\_n\; \backslash widehat\{e\}\_n=0.$

따라서 오차에 대해 ''n'' − 2 자유도가 있다고 말한다.

표기법적으로는 모델을 지정할 때는 대문자 ''Y''를 사용하고, 잔차의 정의에는 소문자 ''y''를 사용한다. 이는 전자는 가설 확률 변수이고 후자는 실제 데이터이기 때문이다.

이것은 여러 개의 매개변수와 공변량(예: ''p'' − 1개의 예측 변수와 하나의 평균(=회귀에서의 절편))을 포함하는 다중 회귀로 일반화할 수 있으며, 이 경우 "적합의 자유도"에서 발생하는 비용은 ''p''가 되며, 이는 오차에 대해 ''n - p'' 자유도를 남긴다.

6. 1. 예시: 잔차 계산

7. 선형 모형에서의 자유도

선형 모형, 선형 회귀, 분산 분석 등에서 자유도는 벡터 분해를 통해 설명될 수 있다. 세 평균 비교 예시에서, 전체 평균은 1자유도, 그룹 간 차이는 2자유도, 잔차는 3''n''-3 자유도를 갖는다.^[8]

세 개의 모집단, $X\_1,\backslash ldots,X\_n$, $Y\_1,\backslash ldots,Y\_n$ 및 $Z\_1,\backslash ldots,Z\_n$에 대해 독립적인 관측이 이루어진다고 가정한다. 세 그룹과 동일한 표본 크기로 제한하면 표기법이 단순해지지만, 아이디어는 쉽게 일반화된다.

관측값은 다음과 같이 분해될 수 있다.

:$\backslash begin\{align\}$

X_i &= \bar{M} + (\bar{X}-\bar{M}) + (X_i-\bar{X})\\

Y_i &= \bar{M} + (\bar{Y}-\bar{M}) + (Y_i-\bar{Y})\\

Z_i &= \bar{M} + (\bar{Z}-\bar{M}) + (Z_i-\bar{Z})

\end{align}

여기서 $\backslash bar\{X\},\; \backslash bar\{Y\},\; \backslash bar\{Z\}$는 개별 표본의 평균이며, $\backslash bar\{M\}=(\backslash bar\{X\}+\backslash bar\{Y\}+\backslash bar\{Z\})/3$는 모든 3''n'' 관측값의 평균이다. 벡터 표기법으로 이 분해는 다음과 같이 쓸 수 있다.

:$$

\begin{pmatrix} X_1 \\ \vdots \\ X_n \\ Y_1 \\ \vdots \\ Y_n \\ Z_1 \\ \vdots \\ Z_n \end{pmatrix}

= \bar{M} \begin{pmatrix}1 \\ \vdots \\ 1 \\ 1 \\ \vdots \\ 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix}

+ \begin{pmatrix}\bar{X}-\bar{M}\\ \vdots \\ \bar{X}-\bar{M} \\

\bar{Y}-\bar{M}\\ \vdots \\ \bar{Y}-\bar{M} \\

\bar{Z}-\bar{M}\\ \vdots \\ \bar{Z}-\bar{M} \end{pmatrix}

+ \begin{pmatrix} X_1-\bar{X} \\ \vdots \\ X_n-\bar{X} \\

Y_1-\bar{Y} \\ \vdots \\ Y_n-\bar{Y} \\

Z_1-\bar{Z} \\ \vdots \\ Z_n-\bar{Z} \end{pmatrix}.



왼쪽의 관측 벡터는 3''n'' 자유도를 갖는다. 오른쪽에서 첫 번째 벡터는 전체 평균에 대해 1자유도(또는 차원)를 갖는다. 두 번째 벡터는 세 개의 확률 변수, $\backslash bar\{X\}-\backslash bar\{M\}$, $\backslash bar\{Y\}-\backslash bar\{M\}$ 및 $\backslash overline\{Z\}-\backslash overline\{M\}$에 의존한다. 그러나 이들은 합이 0이어야 하므로 제약이 있으며, 따라서 벡터는 2차원 부분 공간에 놓여야 하며, 2자유도를 갖는다. 나머지 3''n'' − 3 자유도는 잔차 벡터에 있다(각 모집단 내에서 ''n'' − 1 자유도로 구성됨).

8. 분산 분석 (ANOVA)에서의 자유도

어떤 실험에서 피험자들을 각 30명씩 4개 집단에 무선배치했을 때, 전체 자유도, 집단 내 자유도, 집단 간 자유도는 다음과 같다.

• 전체 자유도: $df\_\{total\}\; =\; (4\; \backslash times\; 30)\; -\; 1\; =\; 119$
• 집단 내 자유도: $df\_\{within\}\; =\; 4\; \backslash times\; (30\; -\; 1)\; =\; 116$
• 집단 간 자유도: $df\_\{between\}\; =\; 4\; -\; 1\; =\; 3$

9. 확률 분포에서의 자유도

스튜던트 t-분포, 카이 제곱 분포, F-분포와 같은 통계적 분포는 "자유도"라는 매개변수를 갖는다. 이 매개변수는 많은 경우 기본 무작위 벡터의 자유도를 반영한다. 예를 들어, $X\_i;\; i=1,\backslash ldots,n$이 독립적인 정규 $(\backslash mu,\backslash sigma^2)$ 확률 변수라면, 다음 통계량은 ''n'' − 1 자유도를 가진 카이 제곱 분포를 따른다.

:$\backslash frac\{\; \backslash sum\_\{i=1\}^n\; (X\_i\; -\; \backslash bar\{X\})^2\; \}\{\backslash sigma^2\}$

여기서 자유도는 잔차 제곱합에서 발생하며, 잔차 벡터 $\backslash \{X\_i-\backslash bar\{X\}\backslash \}$의 ''n'' − 1 자유도에서 비롯된다.

이러한 분포를 선형 모형에 적용할 때 자유도 매개변수는 정수 값만 가질 수 있다. 그러나 기본 분포군은 분수 값의 자유도 매개변수를 허용할 수 있으며, 이는 유효 자유도를 기반으로 하는 카이 제곱 근사와 같은 문제에서 나타날 수 있다. 헤비 테일 데이터를 모델링하는 경우처럼 t-분포 또는 ''F''-분포가 경험적 모델로 사용될 때, "자유도"라는 용어는 계속 사용되지만, 분포 매개변수에 대한 특별한 해석은 없을 수 있다.

10. 비표준 회귀에서의 자유도

정규화 최소 제곱(예: 릿지 회귀), 선형 스무더, 스무딩 스플라인, 반모수적 회귀 등은 일반 최소 제곱 투영에 기반하지 않고, 정규화된 (일반화된 및/또는 페널티가 적용된) 최소 제곱에 기반한다. 따라서 차원성을 기준으로 정의된 자유도는 일반적으로 이러한 절차에 유용하지 않다.

그러나 이러한 절차는 여전히 관찰값에 대해 선형이며, 회귀의 적합 값은 다음과 같은 형식으로 표현할 수 있다.

:$\backslash hat\{y\}\; =\; Hy,$

여기서 $\backslash hat\{y\}$는 적합된 모델에서 원래 공변량 값 각각에 대한 적합 값의 벡터이고, ''y''는 원래 반응 값의 벡터이며, ''H''는 햇 행렬 (또는 스무더 행렬)이다.

통계적 추론을 위해 제곱합은 여전히 구성될 수 있다. 모델 제곱합은 $\backslash |Hy\backslash |^2$이고, 잔차 제곱합은 $\backslash |y-Hy\backslash |^2$이다. ''H''가 일반 최소 제곱 적합에 해당하지 않으므로(즉, 직교 투영이 아님), 이러한 제곱합은 (스케일링된, 비중심) 카이제곱 분포를 갖지 않으며, 차원적으로 정의된 자유도는 유용하지 않다.

이러한 적합의 유효 자유도는 적합도 검정, 교차 검증 및 기타 통계적 추론 절차를 구현하기 위해 다양하게 정의될 수 있다.

10. 1. 회귀 유효 자유도

10. 2. 잔차 유효 자유도

10. 3. 일반적인 유효 자유도

11. 다른 표현들

비모수 회귀의 '등가 자유도',^[17] 대기 연구의 '신호의 자유도',^[18][19] 측지학의 '비정수 자유도'가 있다.^[20][21]

참조

_[1] 웹사이트 Degrees of Freedom http://www.animateds[...] Animated Software 2008-08-21
_[2] 웹사이트 Degrees of Freedom http://davidmlane.co[...] Statistics Solutions 2008-08-21
_[3] 논문 Degrees of Freedom http://www.nohsteach[...] 1940-04
_[4] 논문 The Probable Error of a Mean https://zenodo.org/r[...] 1908-03
_[5] 논문 On the Interpretation of χ2 from Contingency Tables, and the Calculation of P https://zenodo.org/r[...] 1922-01
_[6] 논문 Reporting statistical methods and outcome of statistical analyses in research articles https://link.springe[...] 2020-06-01
_[7] 문서 Degrees of freedom in SEM: Are we testing the models that we claim to test? 2017
_[8] 서적 Plane Answers to Complex Questions: The Theory of Linear Models Springer
_[9] 서적 The elements of statistical learning: data mining, inference, and prediction https://books.google[...]
_[10] 서적 Nonparametric Simple Regression: Smoothing Scatterplots https://books.google[...] SAGE Publications 2020-08-28
_[11] 간행물 On Measuring and Correcting the Effects of Data Mining and Model Selection 1998
_[12] 서적 Local regression and likelihood https://books.google[...]
_[13] 서적 Generalized additive models https://books.google[...] CRC Press
_[14] 서적 Generalized additive models: an introduction with R https://books.google[...] CRC Press
_[15] 서적 Semiparametric Regression Cambridge University Press
_[16] 서적 Richly Parameterized Linear Models https://books.google[...] CRC Press
_[17] 서적 Nonparametric regression and generalized linear models: a roughness penalty approach https://books.google[...] CRC Press
_[18] 서적 Inverse methods for atmospheric sounding: theory and practice World Scientific
_[19] 서적 Numerical Regularization for Atmospheric Inverse Problems Springer
_[20] 논문 Estimating regional deformation from a combination of space and terrestrial geodetic data 1997
_[21] 간행물 On the Use of Incomplete Prior Information in Regression Analysis 1963
_[22] 문서 Statistical analysis of empirical models fitted by optimisation 1983
_[23] 서적 측량학1 형설출판사 2013