빈도주의적 추론

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 빈도주의 통계의 역사
- 2.1. 로널드 피셔의 공헌
- 2.2. 네이만-피어슨 이론
3. 정의
4. 피셔식 환원과 네이만-피어슨 작동 기준
5. 실험 설계 및 방법론
6. 빈도주의 통계 철학
- 6.1. 인식적 접근과 역학적 접근
7. 다른 접근법과의 관계
- 7.1. 베이즈 추론
참조

1. 개요

빈도주의적 추론은 통계적 추론의 한 접근 방식으로, 확률을 장기적인 빈도로 정의한다. 로널드 피셔, 예르지 네이먼, 에곤 피어슨 등에 의해 발전되었으며, 유의성 검정과 네이만-피어슨 이론을 통해 가설 검정 및 신뢰 구간 구성에 기여했다. 빈도주의적 추론은 피셔식 환원과 네이만-피어슨 작동 기준을 사용하여 불확실성을 추정하며, 실험 설계 및 방법론에 적용된다. 베이즈 추론 등 다른 통계적 추론 방법과 비교되며, 인식적 접근과 역학적 접근이라는 두 가지 철학적 관점을 포함한다.

더 읽어볼만한 페이지

통계적 추론 - 과적합
과적합은 통계 모델이나 기계 학습 알고리즘이 훈련 데이터에 과도하게 적합되어 새로운 데이터에 대한 예측 성능이 저하되는 현상이다.
통계적 추론 - 비모수 통계
비모수 통계는 자료의 분포에 대한 가정을 최소화하며, 명목척도나 서열척도 자료, 또는 표본 수가 적은 경우에 사용되는 통계 방법이다.

빈도주의적 추론
빈도주의적 추론
빈도주의적 추론의 의사 결정 트리
개요
유형	통계적 추론
일부 사용	가설 검정 신뢰 구간 유의성 검정
특징
특징	빈도주의적 추론은 관찰된 데이터의 빈도 또는 분포에 의존하며, 장기적인 관점에서 통계적 절차의 성능을 평가하는 데 중점을 둔다.
목표	모수에 대한 점추정 또는 구간 추정 귀무 가설에 대한 가설 검정
접근 방식	데이터를 생성한 모집단에 대한 가정을 설정 검정 통계량을 계산하고, 그 분포를 유도 유의 수준을 설정하고, p-값을 계산 p-값이 유의 수준보다 작으면 귀무 가설을 기각
장점	계산이 비교적 간단 널리 사용되고 이해됨 장기적인 관점에서 통계적 절차의 성능을 보장
단점	사전 정보를 활용할 수 없음 p-값의 오해 가능성 모수에 대한 확률적 진술을 할 수 없음
관련 주제
관련 항목	베이즈 추론 가능도 함수 최대가능도추정법 신뢰 구간 가설 검정 유의성 검정 p-값 통계적 가설 검정
참고 문헌
참고 문헌	(영어) Frequentist and Bayesian approaches to inference (영어) Bayesian and Frequentist Regression Methods (영어) An introduction to the frequentist approach to multiple testing

2. 빈도주의 통계의 역사

빈도주의적 추론은 확률을 사건의 빈도로 본다는 전제에 기반한다. 이러한 관점은 주로 로널드 피셔, 예르지 네이먼, 에곤 피어슨 팀에 의해 개발되었다.^[1]

2. 1. 로널드 피셔의 공헌

로널드 피셔는 가설과 비교했을 때 통계량 척도의 유의성을 연구하는 빈도주의적 개념인 "유의성 검정"을 개발함으로써 빈도주의 통계에 기여했다.^[1]

2. 2. 네이만-피어슨 이론

예르지 네이먼과 에곤 피어슨은 로널드 피셔의 아이디어를 확장하여 여러 가설에 적용했다. 그들은 두 개의 주어진 가설의 확률 비율이 그들 간의 차이를 최대화할 때, 주어진 p-값을 초과하는 것을 최대화한다고 제시했다. 이러한 관계는 '''제1종''' 및 '''제2종''' 오류와 신뢰 구간의 기초 역할을 한다.

3. 정의

통계적 추론에서, 추론하고자 하는 통계량은 $y \in Y$ 이며, 여기서 확률 벡터 $Y$ 는 알려지지 않은 파라미터 $\theta$ 의 함수이다.

파라미터 $\theta$ 는 다시 ( $\psi, \lambda$ )로 나뉘며, 여기서 $\psi$ 는 '''관심 파라미터'''이고, $\lambda$ 는 '''불필요 파라미터'''이다. 예를 들어 $\psi$ 는 모집단 평균 $\mu$ 일 수 있고, 불필요 파라미터 $\lambda$ 는 모집단 평균의 표준 편차 $\sigma$ 일 수 있다.

따라서, 통계적 추론은 확률 벡터 $Y$ 의 기대값 $E(Y)=E(Y;\theta)=\int y f_Y (y;\theta)dy$ 에 관한 것이다.

빈도주의적 추론에서 불확실성 영역을 구성하기 위해, 불확실성을 추정하기 위한 구간을 제공하는 데 사용할 수 있는 $\psi$ 주변의 영역을 정의하는 '''피벗'''이 사용된다. 피벗은 피벗 $p$ 에 대한 확률이며, 이는 함수이고, $p(t,\psi)$ 는 $\psi$ 에서 엄격하게 증가하며, 여기서 $t \in T$ 는 확률 벡터이다.

이를 통해 0 < $c$ < 1에 대해 $P\{p(T,\psi)\leq p^*_c\}$ 를 정의할 수 있으며, 이는 피벗 함수가 어떤 잘 정의된 값보다 작을 확률이다. 이것은 $P\{\psi \leq q(T,c)\} = 1-c$ 를 의미하며, 여기서 $q(t,c)$ 는 $\psi$ 에 대한 $1-c$ '''상한'''이다.

$1-c$ 는 $\psi$ 에 대한 단측 한계를 정의하는 결과 범위이고, $\psi$ 가 발생할 수 있는 결과 범위를 추정하려는 경우 $1-2c$ 는 $\psi$ 에 대한 양측 한계임을 유의해야 한다. 이것은 통계적 추론을 할 수 있는 결과 범위를 엄격하게 정의하는 '''신뢰 구간'''이다.

4. 피셔식 환원과 네이만-피어슨 작동 기준

빈도주의적 추론에서 상호 보완적인 두 가지 개념은 피셔식 환원과 네이만-피어슨 작동 기준이다. 이 두 개념은 $\psi$ 의 한계를 정의하는 빈도주의적 구간을 구성하는 방법을 보여준다. 피셔식 환원은 $\psi$ 의 참값이 위치할 수 있는 구간을 결정하는 방법인 반면, 네이만-피어슨 작동 기준은 '사전' 확률 가정을 하는 결정 규칙이다.

피셔식 환원은 다음과 같이 정의된다.

우도 함수를 결정한다(이것은 일반적으로 데이터를 수집하는 것이다).
충분 통계량 $S$ 를 $\theta$ 와 동일한 차원으로 축소한다.
$\psi$ 에만 의존하는 분포를 갖는 $S$ 의 함수를 찾는다.
해당 분포를 역으로 변환하여(이는 누적 분포 함수 또는 CDF를 생성한다) 임의의 확률 수준 집합에서 $\psi$ 의 한계를 얻는다.
$S = s$ 가 주어졌을 때 데이터의 조건부 분포를 공식적으로 또는 비공식적으로 사용하여 공식의 적절성을 평가한다.

본질적으로 피셔식 환원은 충분 통계량을 사용하여

\psi

가 발생할 수 있는 범위, 즉

\psi

의 모든 잠재적 값을 정의하는 확률 분포를 결정하도록 설계되었다. 이는 신뢰 구간을 공식화하는 데 필요한데, 여기서

\psi

가 장기적으로 발생할 가능성이 있는 범위의 결과를 찾을 수 있다.

네이만-피어슨 작동 기준은 관련 통계량인

\psi

가 장기적으로 발생한다고 말할 수 있는 결과의 범위에 대한 더욱 구체적인 이해이다. 네이만-피어슨 작동 기준은 해당 범위가 실제로 적절하거나 부적절할 가능성을 정의한다. 네이만-피어슨 기준은

\psi

가 이 범위 내에 존재할 경우에도 참 모집단 통계량보다 낮은 확률 분포의 범위를 정의한다. 예를 들어, 피셔식 환원의 분포가 '사전'에 있을 것 같지 않다고 간주하는 임계값을 초과하는 경우, 네이만-피어슨 환원의 해당 분포에 대한 평가는 피셔식 환원의 분포만 살펴볼 때 부정확한 결과를 얻을 수 있는 위치를 추론하는 데 사용할 수 있다. 따라서 네이만-피어슨 환원은 '''제1종''' 및 '''제2종''' 오류의 확률을 찾는 데 사용된다.^[1] 참고로, 베이즈 통계에서 이에 대한 보완은 최소 베이즈 위험 기준이다.

네이만-피어슨 기준은

\psi

가 발생할 가능성이 있는 결과 범위를 찾는 능력에 의존하기 때문에, 네이만-피어슨 접근 방식은 피셔식 환원을 달성할 수 있는 경우에만 가능하다.

5. 실험 설계 및 방법론

빈도주의적 추론은 빈도주의 확률을 실험 설계 및 해석에 적용하는 것이다. 특히 주어진 실험이 동일한 실험을 무한히 반복하는 과정 중 하나로 간주될 수 있으며, 각 실험은 통계적으로 독립적인 결과를 생성할 수 있다는 관점과 관련이 있다.^[1] 이러한 관점에서, 데이터로부터 결론을 도출하는 빈도주의적 추론 방식은 이 가상의 반복되는 집합에서 주어진 (높은) 확률로 올바른 결론을 도출하도록 요구하는 것이다.

그러나 정확히 동일한 절차가 미묘하게 다른 공식화 하에서 개발될 수 있다. 이는 실험 전 관점이 취해지는 경우이다. 실험 설계는 실험을 수행하기 전에, 아직 얻어야 할 데이터로부터 결론에 도달하기 위해 정확히 어떤 단계를 밟을 것인지에 대한 결정을 포함해야 한다고 주장할 수 있다. 이러한 단계는 과학자에 의해 지정될 수 있으며, 이 경우 확률은 아직 발생하지 않은 일련의 무작위 사건과 관련되므로 확률의 빈도 해석에 의존하지 않고, 올바른 결정을 내릴 높은 확률을 갖도록 할 수 있다. 이 공식화는 특히 네이만(Neyman)^[2] 등에 의해 논의되었다. 이는 빈도주의 검정의 유의성이 모델 선택에 따라 달라질 수 있고, 우도 원칙을 위반할 수 있기 때문에 특히 중요하다.

6. 빈도주의 통계 철학

빈도주의적 추론은 어떤 기간 또는 반복적인 표집에서 주어진 빈도로 결과가 발생한다는 가정으로 확률을 연구하는 것이다. 따라서 빈도주의적 분석은 분석하려는 문제의 가정을 고려하여 공식화되어야 한다.

통계적 추론에는 '인식적 접근'과 '역학적 접근' 두 가지 부류가 있다. 빈도주의 통계는 데이터뿐만 아니라 ''실험 설계''에도 조건부이다.^[3] 빈도주의적 통계에서 빈도 발생을 이해하기 위한 컷오프는 실험 설계에 사용된 모집단 분포에서 파생된다.

역학적 접근에서 빈도주의 통계는 ''장기적으로'' 통계의 빈도를 이해하고, 실제 평균 범위를 추론할 수 있도록 설계되었다. 이는 피셔의 축소와 네이먼-피어슨의 작동 기준을 초래한다. 표본 추출 방법을 여러 번 반복한다고 가정할 때, 통계의 실제 값이 주어진 결과 범위 내에서 발생할 가능성을 평가하는 것이다. 따라서 95% 신뢰 구간은 실제 평균이 95%의 시간 동안 신뢰 구간 내에 있다는 것을 의미하지만, 평균이 95%의 확신으로 특정 신뢰 구간 내에 있다는 것을 의미하지는 않는다. 이는 흔한 오해이다.

인식적 관점과 역학적 관점은 상호 전환 가능한 것으로 잘못 간주되는 경우가 많지만, 이 둘은 매우 다르다. 인식적 관점은 한 값이 통계적으로 유의미할 수 있는 조건을 강조하는 반면, 역학적 관점은 장기적인 결과가 유효한 결과를 제시하는 조건을 정의한다.^[4]

6. 1. 인식적 접근과 역학적 접근

통계적 추론에는 크게 '인식적 접근'과 '역학적 접근' 두 가지 부류가 있다. '''인식적 접근'''은 변동성을 연구하는 것으로, 특정 통계량이 관찰된 값에서 얼마나 자주 벗어날 것으로 예상되는지를 탐구한다. 반면, '''역학적 접근'''은 불확실성을 연구하는 것으로, 통계량의 값은 고정되어 있지만 이에 대한 이해가 불완전하다는 관점을 취한다.^[2] 예를 들어, 주식 시장 시세 측정은 변동성이 커서 인식적 접근이 적합하고, 자산 가격 평가는 실제 가치 추정이 중요하므로 역학적 접근이 더 적합하다.

인식적 접근은 단일 실험에서 귀무 가설에 대한 귀납적 증거를 제공하는 피셔 유의성 검정을 중심으로 하며, 피셔 p-값으로 정의된다. 반대로, 네이먼-피어슨 가설 검정으로 수행되는 역학적 관점은 장기적으로 작동하는 오류 최소화를 제공하여, 장기적으로 제2종 오류(Type II 오류)의 잘못된 수용을 최소화하도록 설계되었다.^[4]

이 둘의 차이는 중요한데, 인식적 관점은 한 값이 통계적으로 유의미할 수 있는 조건을 강조하는 반면, 역학적 관점은 장기적인 결과가 유효한 결과를 제시하는 조건을 정의하기 때문이다. 일회성 인식적 결론은 장기적 오류에 영향을 미치지 않으며, 장기적 오류는 일회성 실험이 타당한지 여부를 증명하는 데 사용할 수 없다.^[4]

7. 다른 접근법과의 관계

빈도주의적 추론은 베이즈 추론, 피두셜 추론과 같은 다른 유형의 통계적 추론과 대조된다. 베이즈 추론은 때때로 최적 의사 결정으로 이어지는 추론에 대한 접근 방식을 포함하는 것으로 간주되지만, 여기서는 단순성을 위해 더 제한적인 관점을 취한다.

7. 1. 베이즈 추론

빈도주의적 추론은 베이즈 추론 및 피두셜 추론과 같은 다른 유형의 통계적 추론과 대조된다. "베이즈 추론"은 때때로 최적 의사 결정으로 이어지는 추론에 대한 접근 방식을 포함하는 것으로 간주되지만, 여기서는 단순성을 위해 더 제한적인 관점을 취한다.^[1]

베이즈 추론은 "확률"을 "확실성"과 동일하게 취급하는 베이즈 확률에 기반하며, 따라서 빈도주의 추론과 베이즈 추론의 본질적인 차이는 "확률"의 의미에 대한 두 가지 해석의 차이와 동일하다. 그러나 적절한 경우, 베이즈 추론(이 경우 베이즈 정리의 적용을 의미)은 빈도 확률을 사용하는 사람들에 의해 사용된다.^[2]

확률의 해석에 대한 위의 고려 사항에 포함되지 않는 빈도주의 및 베이즈 추론 접근 방식에는 두 가지 주요 차이점이 있다.^[2]

1. 빈도주의 추론 접근 방식에서 알려지지 않은 모수는 일반적으로 확률 변수가 아닌 고정된 것으로 간주된다. 반대로, 베이즈 접근 방식은 알려지지 않은 모수와 연관된 확률을 허용하며, 여기서 이러한 확률은 때때로 빈도 확률 해석뿐만 아니라 베이즈 확률 해석을 가질 수 있다. 베이즈 접근 방식은 이러한 확률이 과학자의 특정 모수 값이 참이라는 믿음을 나타내는 것으로 해석될 수 있도록 한다(베이즈 확률 - 개인 확률 및 사전 구성에 대한 객관적인 방법 참조).^[2]

2. 베이즈 접근 방식의 결과는 실험 또는 연구 결과가 주어진 모수에 대해 알려진 내용에 대한 확률 분포일 수 있다. 빈도주의 접근 방식의 결과는 유의성 검정 또는 신뢰 구간의 결정이다.^[2]

참조

_[1] 웹사이트 OpenStax CNX https://cnx.org/cont[...] 2021-09-14
_[2] 간행물 Philosophy of Statistics https://plato.stanfo[...] Metaphysics Research Lab, Stanford University 2021-09-14
_[3] 웹사이트 The Likelihood Principle http://people.eecs.b[...]
_[4] 논문 Confusion over measures of evidence (p's) versus errors (α's) in classical statistical testing. https://www.roma1.in[...] 2003

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com