점 추정

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

점 추정은 모수 공간에서 모수의 참값으로 간주되는 단일 값을 선택하는 통계적 추정 방법이다. 점 추정의 성질로는 불편성, 일치성, 효율성, 충분성이 있으며, 모수의 추정에 사용되는 방법으로는 최대 우도 추정, 적률법, 최소 제곱 추정, 최소 분산 불편 추정량 등이 있다. 베이즈 점 추정은 사후 평균, 사후 중앙값, 최대 사후 확률을 활용하며, 정규 분포의 경우 불편 추정과 최대 우도 추정을 통해 평균과 표준 편차를 추정한다. 점 추정은 신뢰 구간 추정과 비교되며, 신뢰 구간 추정은 특정 신뢰 수준에서 참 모수 값을 포함하는 값의 범위를 제공한다.

더 읽어볼만한 페이지

추정 이론 - 기댓값 최대화 알고리즘
추정 이론 - 델파이 기법
델파이 기법은 전문가들의 의견을 반복적인 피드백을 통해 수렴하여 문제를 해결하는 하향식 의견 도출 방법으로, 익명성, 정보 흐름의 구조화, 정기적인 피드백을 특징으로 하며 다양한 분야에서 활용된다.

점 추정

2. 점 추정의 성질

점 추정량이 갖는 바람직한 성질에는 불편성, 일치성, 효율성, 충분성 등이 있다.

2. 1. 불편성 (Unbiasedness)

추정량의 기댓값과 실제 모숫값의 차이를 편향(bias)이라고 한다. 모수의 기대값이 측정된 모수에 가까울수록 편향이 적다고 할 수 있다. 추정값과 실제 값이 같으면 그 추정량은 편향되지 않았다고 하며, 이를 ''불편 추정량''이라고 한다. 추정량이 최소 분산을 가지면 ''최량 불편 추정량''이 된다. 그러나 작은 분산을 가진 편향된 추정량이 큰 분산을 가진 불편 추정량보다 유용할 수 있다.^[1] 가장 중요한 것은, 가장 작은 평균 제곱 오차를 가진 점 추정량을 선호한다는 것이다.

확률 표본 X₁,X₂, . . . , X_n에 기반한 추정량을 T = h(X₁,X₂, . . . , X_n)라고 할 때, E[T] = θ이면 (θ값에 관계없이) T는 모수 θ에 대한 불편 추정량이다.^[1] 예를 들어, 동일한 확률 표본에서 E(x̄) = μ (평균)이고 E(s²) = σ² (분산)이면, x̄과 s²는 μ와 σ²에 대한 불편 추정량이다. T의 편향은 E[T ] − θ로 나타내며, 이 차이가 0이 아니면 T는 편향된 추정량이다.

2. 2. 일치성 (Consistency)

표본 크기가 커질수록 추정량이 실제 모수에 가까워져야 한다는 성질이다.^[1] 일치성은 대규모 데이터 분석에서 중요한 역할을 한다. 예를 들어, 빅데이터 기반의 경제 분석에서 일치성을 갖는 추정량은 보다 정확한 예측을 가능하게 한다.^[1] 점 추정량이 일치성을 가지려면, 추정량의 기댓값과 분산이 모수의 실제 값에 가까워야 한다.^[1] 불편향 추정량의 분산의 극한이 0이면 그 불편향 추정량은 일치성을 갖는다.^[1]

2. 3. 효율성 (Efficiency)

동일한 모수 ''θ''에 대한 두 불편 추정량 ''T''₁과 ''T''₂가 있을 때, ''θ''의 값에 관계없이 Var(''T''₂) < Var(''T''₁)이면 추정량 ''T''₂가 ''T''₁보다 "더 효율적"이라고 한다.^[1] 가장 효율적인 추정량은 결과의 변동성이 가장 작은 추정량이다. 즉, 추정량의 표본 간 분산이 가장 작다면, 이는 가장 효율적이고 불편추정량이다. 관심 모수가 동일할 때, T₂의 평균 제곱 오차(MSE)가 T₁의 MSE보다 작다면 추정량 T₂가 추정량 T₁보다 더 효율적이라고 할 수 있다.^[1]

추정량의 효율성을 결정할 때는 모집단의 분포를 고려해야 한다. 예를 들어, 정규 분포에서는 평균이 중앙값보다 더 효율적이지만, 비대칭 또는 왜곡된 분포에서는 그렇지 않다.

2. 4. 충분성 (Sufficiency)

통계학에서 통계학자의 역할은 수집한 데이터를 해석하고 조사 대상 모집단에 대해 통계적으로 유효한 결론을 도출하는 것이다. 그러나 많은 경우에 저장하기에는 너무 많고 비용이 많이 드는 원시 데이터는 이러한 목적에 적합하지 않다. 따라서 통계학자는 일부 통계를 계산하여 데이터를 압축하고, 관련 정보의 손실 없이 이러한 통계를 기반으로 분석을 수행하고자 한다. 즉, 통계학자는 표본에 포함된 모수에 대한 모든 정보를 소진하는 통계를 선택하고자 한다. 충분 통계량은 다음과 같이 정의한다. X =( X₁, X₂, ... ,X_n)을 임의 표본이라고 할 때, 통계량 T(X)가 θ(또는 분포의 family)에 대해 충분하다고 하는 것은 T가 주어졌을 때 X의 조건부 분포가 θ와 무관할 경우이다.^[2]

3. 점 추정의 방법

점 추정에는 일반적으로 다음과 같은 방법들이 사용된다. 어떤 방법을 사용할지는 상황과 연구 목적에 따라 달라진다.

정규 분포의 경우, 평균과 표준 편차 두 가지 매개변수로 분포를 나타낼 수 있다. 점 추정은 추정 방법에 대한 명확한 규정은 없지만, 정규 분포에서는 불편 추정과 최대 우도 추정에서 서로 다른 결과가 나올 수 있으며, 기본적으로 불편 추정을 사용한다.

불편 추정: 추정 표준 편차를 계산할 때 표본 분산 대신 불편 분산을 사용한다. 표본 크기를 n이라고 할 때, 추정 평균과 추정 표준 편차는 다음과 같이 계산된다.
$\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n}x_i$
$\hat{\sigma} = \sqrt{\frac {\sum_{i=1}^{n}(x_i - \hat{\mu})^2}{n-1}}$

모집단이 왜곡되어 평균값으로 대칭을 이루지 않는 경우에는, 평균값 대신 중앙값이나 최빈값을 사용하는 것이 분포의 특징을 더 잘 파악하게 해 줄 수 있다.

베이즈 통계학(베이즈 추정)에서는 추정 문제의 답으로 사후 확률 분포를 구한 후, 평균, 중앙값, 최빈값 등을 점 추정값으로 사용하는 경우가 많다.

평균 - 사후 기대값
중앙값 - 사후 중앙값
최빈값 - 사후 확률 최대값. 최대 사후 확률을 점 추정값으로 사용한다.

3. 1. 최대 우도 추정 (Maximum Likelihood Estimation, MLE)

최대 우도 추정은 R.A. 피셔(R.A. Fisher)가 개발한 방법으로, 주어진 표본 데이터에서 관측될 확률(우도)을 최대화하는 모수 값을 찾는 방법이다.^[9] 이 방법은 알려진 모델(예: 정규 분포)을 사용하고, 우도 함수를 최대화하는 모델의 파라미터 값을 사용하여 데이터에 가장 적합한 일치를 찾는다. 최대 우도 추정량은 일반적으로 좋은 성질을 가지는 것으로 알려져 있다. 예를 들어, 특정 질병의 발생률을 추정할 때 최대 우도 추정 방법을 사용할 수 있다.

X = (X₁, X₂, ... ,X_n)을 결합 확률 밀도 함수(p.d.f) 또는 확률 질량 함수(p.m.f) f(x, θ) (θ는 벡터일 수 있음)를 갖는 임의 표본이라고 하자. θ의 함수로 간주되는 함수 f(x, θ)를 우도 함수라고 부르며, L(θ)로 표기한다. 최대 우도 원리는 우도를 최대화하는 θ의 허용 범위 내에서 추정치를 선택하는 것으로 구성된다. 이 추정치를 θ의 최대 우도 추정치(MLE)라고 한다. θ의 MLE를 구하기 위해 다음 방정식을 사용한다.

: ''dlog''L(θ)/''d''θ_i=0, i = 1, 2, …, k.

θ가 벡터인 경우, 우도 방정식을 얻기 위해 편미분을 고려한다.^[2]

정규 분포의 경우, 최대 우도 추정으로 모수를 추정하면 다음과 같다.

:

\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n}x_i

:

\hat{\sigma} = \sqrt{\frac {\sum_{i=1}^{n}(x_i - \hat{\mu})^2}{n}}

3. 2. 최소 분산 불편 추정량 (Minimum-Variance Unbiased Estimator, MVUE)

최소 분산 불편 추정량 방법은 제곱 오차 손실 함수의 위험 함수(기대 손실)를 최소화한다.

3. 3. 중앙값 불편 추정량 (Median Unbiased Estimator)

중앙값 불편 추정량은 절대 오차 손실 함수의 위험을 최소화한다.

3. 4. 최량 선형 불변 추정량 (Best Linear Unbiased Estimator, BLUE)

최량 선형 불변 추정량은 가우스-마르코프 정리에 따르면, 선형 회귀 모형의 오차가 서로 상관 관계가 없고, 분산이 동일하며, 기대값이 0일 때, 일반 최소 자승(OLS) 추정량은 모든 선형 불변 추정량 중에서 가장 낮은 표본 분산을 갖는다는 내용이다.^[11]

4. 베이즈 점 추정 (Bayesian Point Estimation)

베이즈 추론은 일반적으로 사후 확률 분포에 기반한다. 많은 베이즈 점 추정량은 사후 확률 분포의 중심 경향성 통계량인 평균, 중앙값, 최빈값이다. 베이즈 추정량은 허용 가능하며, 이는 월드의 정리에 의해 증명된다.^[6]^[8]

사후 평균: 최소 평균 제곱 오차 손실 함수에 대한 (사후) 위험 (기대 손실)을 최소화한다.
사후 중앙값: 절대값 손실 함수에 대한 사후 위험을 최소화한다.
최대 사후 확률 (MAP): 사후 확률 분포의 최댓값을 찾는다. 균일 사전 확률을 사용하는 경우, MAP 추정량은 최대 우도 추정량과 일치한다.

최소 메시지 길이(MML) 점 추정량은 베이즈 정보 이론에 기반하며 사후 확률 분포와 직접적인 관련이 없다.

베이즈 필터의 특수한 경우도 중요하다.

칼만 필터
위너 필터

몇 가지 방법의 계산 통계학은 베이즈 분석과 밀접한 관련이 있다.

입자 필터
마르코프 연쇄 몬테카를로 (MCMC)

4. 1. 사후 평균 (Posterior Mean)

사후 평균은 최소 평균 제곱 오차 손실 함수에 대한 (사후) 위험 (기대 손실)을 최소화한다. 베이즈 추정에서 위험은 가우스가 관찰한 것처럼 사후 확률 분포의 관점에서 정의된다.^[3] 베이즈 통계학(베이즈 추정)에서는 추정 문제의 답으로 사후 확률 분포를 얻은 후, 평균을 점 추정으로 하는 경우가 많다.

4. 2. 사후 중앙값 (Posterior Median)

베이즈 추정에서 사후 확률 분포의 중앙값을 추정량으로 사용한다. 라플라스가 관찰한 바와 같이, 사후 중앙값은 절대값 손실 함수에 대한 사후 위험을 최소화한다.^[3]^[4]

4. 3. 최대 사후 확률 (Maximum A Posteriori, MAP)

최대 사후 확률(Maximum A Posteriori, MAP)은 사후 확률 분포의 최댓값을 찾는 추정 방법이다. 균일 사전 확률을 사용하는 경우, MAP 추정량은 최대 우도 추정량과 일치한다. MAP 추정량은 최대 우도 추정량이 어려움을 겪는 많은 문제에서 좋은 점근적 속성을 가진다. 정규 문제에서 최대 우도 추정량이 일관성을 가지면, 최대 우도 추정량은 궁극적으로 MAP 추정량과 일치한다.^[5]^[6]^[7] 최빈값은 사후 확률 최댓값이 되며, 이를 점 추정으로 사용한다.

5. 정규 분포의 점 추정

정규 분포는 평균과 표준 편차 두 가지 매개변수로 표현된다. 점 추정은 정해진 방법이 없지만, 정규 분포에서는 불편 추정과 최대 우도 추정 결과가 다를 수 있다. 일반적으로 불편 추정을 사용한다.

모집단이 왜곡되어 평균값으로 대칭이 되지 않는 경우에는 중앙값이나 최빈값을 사용하는 것이 분포의 특징을 파악하기 더 쉬울 수 있다.

5. 1. 불편 추정

편향은 추정량의 기대값과 추정하려는 모집단 모수의 실제 값 간의 차이로 정의된다. 모수의 기대값이 측정된 모수에 가까울수록 편향이 적다고 할 수 있다. 추정된 수와 실제 값이 같을 때, 추정량은 편향되지 않은 것으로 간주되며, 이를 ''불편 추정량''이라고 한다. 추정량은 최소 분산을 가지면 ''최량 불편 추정량''이 된다. 그러나 작은 분산을 가진 편향된 추정량이 큰 분산을 가진 불편 추정량보다 더 유용할 수 있다.^[1] 가장 중요한 것은, 가장 작은 평균 제곱 오차를 가진 점 추정량을 선호한다는 것이다.

T = h(X₁,X₂, . . . , X_n)을 확률 표본 X₁,X₂, . . . , X_n에 기반한 추정량이라고 하면, E[T] = θ일 경우, θ의 값에 관계없이 모수 θ에 대한 불편 추정량이 된다.^[1] 예를 들어, 동일한 확률 표본에서 E(x̄) = μ (평균)이고 E(s²) = σ² (분산)이면, x̄과 s²는 μ와 σ²에 대한 불편 추정량이 된다. E[T] - θ의 차이를 T의 편향이라고 하며, 이 차이가 0이 아니면 T는 편향된 것으로 간주된다.

정규 분포의 경우, 평균과 표준 편차의 두 가지 매개변수로 분포가 표현된다. 점 추정 자체는 추정 방법의 규정이 없지만, 정규 분포의 경우, 불편 추정과 최대 우도 추정에서 다른 결과가 나오며, 기본적으로 불편 추정을 사용한다.

불편 추정의 경우, 추정 표준 편차는 표본 분산이 아닌 불편 분산을 사용한다 (''표준 편차'' 문서 참고). 표본 수를 n이라고 하면, 추정 평균값과 추정 표준 편차는 다음 식으로 산출된다.

:

\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n}x_i

:

\hat{\sigma} = \sqrt{\frac {\sum_{i=1}^{n}(x_i - \hat{\mu})^2}{n-1}}

모집단이 왜곡되어 있는 경우 등, 평균값으로 대칭이 되지 않는 경우, 평균값을 사용하는 것보다 중앙값이나 최빈값을 사용하는 것이 그 분포의 특징을 파악하기 쉬운 경우가 있다.

5. 2. 최대 우도 추정

최대 우도 추정은 R.A. 피셔(R.A. Fisher)가 개발한 방법으로, 일반적인 추정 방법 중 가장 중요하다. 이 방법은 우도 함수를 최대화하는 미지의 파라미터를 찾는다. 정규 분포와 같이 알려진 모델을 사용하고, 우도 함수를 최대화하는 파라미터 값을 찾아 데이터에 가장 적합한 모델을 결정한다.^[9]

정규 분포에서 최대 우도 추정은 우도 함수의 최빈값으로 추정하며, 이때 표본 분산은 n으로 나눈 값을 사용한다.

:

\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n}x_i

:

\hat{\sigma} = \sqrt{\frac {\sum_{i=1}^{n}(x_i - \hat{\mu})^2}{n}}

6. 점 추정과 신뢰 구간 추정

추정에는 크게 점 추정과 신뢰 구간 추정의 두 가지 유형이 있다. 점 추정은 모수 공간에서 모수의 참값으로 합리적으로 간주될 수 있는 고유한 점을 선택하는 반면, 신뢰 구간 추정은 지정된 확률로 참(알 수 없는) 모수 값을 포함하는 일련의 집합을 구성한다.^[1]

신뢰 구간은 추정의 신뢰성을 설명한다. 관찰된 데이터로부터 구간의 상한 및 하한 신뢰 한계를 계산할 수 있다. 데이터 세트 x₁, . . . , x_n이 주어지고, 이를 확률 변수 X₁, . . . , X_n의 실현으로 모델링한다고 가정할 때, θ를 관심 있는 모수, γ를 0과 1 사이의 숫자라고 하자. 모든 θ 값에 대해 P(L_n < θ < U_n) = γ를 만족하는 표본 통계량 L_n = g(X₁, . . . , X_n) 및 U_n = h(X₁, . . . , X_n)이 존재한다면, l_n = g(x₁, . . . , x_n) 및 u_n = h(x₁, . . . , x_n)인 (l_n, u_n)을 θ에 대한 100γ% 신뢰 구간이라고 한다. 숫자 γ를 신뢰 수준이라고 한다.^[1]

일반적으로 정규 분포 표본 평균 Ẋ와 표준 편차 σ의 알려진 값을 사용하여, 참값 μ에 대한 100(1-α)% 신뢰 구간은 Ẋ ± e로 형성되며, 여기서 e = z_1-α/2(σ/n^1/2)이고, z_1-α/2는 표준 정규 곡선의 100(1-α/2)% 누적 값이며, n은 해당 열의 데이터 값 수이다. 예를 들어, z_1-α/2는 95% 신뢰도에 대해 1.96이다.^[12]

l_n과 u_n, 두 한계는 관찰 집합에서 계산되며, 특정 신뢰도(확률적 용어로 측정됨)로 참값 γ가 l_n과 u_n 사이에 있다고 주장된다. 따라서 참값 γ(θ)를 포함할 것으로 예상되는 구간 (l_n과 u_n)을 얻게 된다. 이러한 유형의 추정을 신뢰 구간 추정이라고 한다.^[2] 이 추정은 모수가 놓일 것으로 예상되는 값의 범위를 제공하며, 일반적으로 점 추정보다 더 많은 정보를 제공한다. 어떤 면에서 점 추정은 구간 추정의 반대라고 말할 수 있다.

참조

_[1] 서적 A Modern Introduction to Probability and Statistics F.M. Dekking, C. Kraaikamp, H.P. Lopuhaa, L.E. Meester
_[2] 서적 Estimation and Inferential Statistics Pradip Kumar Sahu, Santi Ranjan Pal, Ajit Kumar Das
_[3] 서적 Statistical data analysis based on the L1-norm and related methods: Papers from the First International Conference held at Neuchâtel, August 31–September 4, 1987 North-Holland Publishing
_[4] 서적 Probability Theory: The logic of science Cambridge University Press 2007
_[5] 서적 A Course in Large Sample Theory Chapman & Hall
_[6] 서적 Asymptotic Methods in Statistical Decision Theory Springer-Verlag
_[7] 간행물 An inconsistent maximum likelihood estimate
_[8] 서적 Theory of Point Estimation Springer
_[9] 서적 Categorical Data Analysis Agresti A.
_[10] 서적 The Concise Encyclopedia of Statistics Dodge, Y.
_[11] 서적 Best Linear Unbiased Estimation and Prediction Theil Henri
_[12] 서적 Experimental Design – With Applications in Management, Engineering, and the Sciences Paul D. Berger, Robert E. Maurer, Giovana B. Celli

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com