본페로니 교정

3. 정의

통계적 가설 검정은 관찰된 데이터의 가능성이 귀무 가설이 참일 경우 낮을 때 귀무 가설을 기각하는 것을 기반으로 한다. 만약 여러 가설을 검정한다면, 희귀한 사건을 관찰할 확률이 증가하고, 따라서 귀무 가설을 잘못 기각할 가능성(즉, 제1종 오류를 범할 가능성)이 증가한다.^[3]

본페로니 교정은 원하는 전체 알파(α) 수준을 유지하기 위해, 가설의 수를 고려하여 각 개별 가설을 더 엄격한 유의 수준에서 검정하는 방법이다. 전체 유의 수준을 $$\alpha$$, 가설의 수를 $$m$$이라고 할 때, 각 가설의 유의 수준은 $$\alpha/m$$으로 설정된다.^[4] 예를 들어, 20개의 가설을 전체 유의 수준 0.05에서 검정한다면, 각 가설은 0.05/20 = 0.0025의 유의 수준에서 검정된다.

본페로니 교정은 p-값 조정으로도 적용될 수 있다. 이 접근법을 사용하면, 알파 수준을 조정하는 대신, 각 p-값에 검정 횟수를 곱하고(1을 초과하는 조정된 p-값은 1로 감소), 알파 수준은 변경되지 않은 채로 둔다. 이 접근법을 사용한 유의성 결정은 알파 수준 조정 접근법을 사용할 때와 동일할 것이다.

가설 $$H_1,\ldots,H_m$$을 귀무 가설의 집합으로 하고, $$p_1,\ldots,p_m$$을 해당 p 값으로 하자. $$m$$은 전체 귀무 가설의 개수이고, $$m_0$$은 참인 귀무 가설의 개수이다(연구자는 아마 이를 알지 못할 것이다). 가족별 오류율(FWER)은 적어도 하나의 참인 $$H_{i}$$를 기각할 확률, 즉 적어도 한 번의 제1종 오류를 범할 확률이다. 본페로니 교정은 각 $$p_i\leq\frac \alpha m$$에 대해 귀무 가설을 기각함으로써 FWER을 $$\leq \alpha$$로 제어한다. 이러한 제어에 대한 증명은 다음과 같이 부울 부등식을 따른다.

:$\backslash text\{FWER\}\; =\; P\backslash left\backslash \{\; \backslash bigcup\_\{i=1\}^\{m\_0\}\backslash left(p\_i\backslash leq\backslash frac\; \backslash alpha\; m\; \backslash right)\; \backslash right\backslash \}\; \backslash leq\backslash sum\_\{i=1\}^\{m\_0\}\backslash left\backslash \{P\backslash left(p\_i\backslash leq\backslash frac\; \backslash alpha\; m\backslash right)\backslash right\backslash \}\; \backslash le\; m\_0\; \backslash frac\; \backslash alpha\; m\; \backslash leq\; \backslash alpha.$

이 제어는 p 값 간의 종속성에 대한 어떠한 가정이나 귀무 가설 중 참인 가설의 개수에 대한 가정을 필요로 하지 않는다.

4. 확장

가설 $H\_1,\backslash ldots,H\_m$을 귀무 가설의 집합으로 하고, $p\_1,\backslash ldots,p\_m$을 해당 p 값으로 한다. $m$은 전체 귀무 가설의 개수이고, $m\_0$은 참인 귀무 가설의 개수이다(연구자는 아마 이를 알지 못할 것이다). 가족별 오류율(FWER)은 적어도 하나의 참인 $H\_\{i\}$를 기각할 확률, 즉, 적어도 한 번의 제1종 오류를 범할 확률이다. 본페로니 교정은 각 $p\_i\backslash leq\backslash frac\; \backslash alpha\; m$에 대해 귀무 가설을 기각함으로써 FWER을 $\backslash leq\; \backslash alpha$로 제어한다. 이러한 제어에 대한 증명은 부울 부등식을 따른다.

: $\backslash text\{FWER\}\; =\; P\backslash left\backslash \{\; \backslash bigcup\_\{i=1\}^\{m\_0\}\backslash left(p\_i\backslash leq\backslash frac\; \backslash alpha\; m\; \backslash right)\; \backslash right\backslash \}\; \backslash leq\backslash sum\_\{i=1\}^\{m\_0\}\backslash left\backslash \{P\backslash left(p\_i\backslash leq\backslash frac\; \backslash alpha\; m\backslash right)\backslash right\backslash \}\; \backslash le\; m\_0\; \backslash frac\; \backslash alpha\; m\; \backslash leq\; \backslash alpha.$

이 제어는 p 값 간의 종속성에 대한 어떠한 가정이나 귀무 가설 중 참인 가설의 개수에 대한 가정을 필요로 하지 않는다.

4. 1. 일반화

4. 2. 신뢰 구간

4. 3. 연속 문제

5. 대안

가족별 오류율을 제어하는 다른 방법으로는 홀름-본페로니 방법과 시닥 보정 등이 있다. 이러한 방법들은 본페로니 보정보다 일반적으로 더 강력하며, 이는 항상 최소한 동일한 수준의 검정력을 갖는다는 것을 의미한다. 그러나 본페로니 절차와는 달리, 이러한 방법들은 가족별 제1종 오류의 기대값(가족별 제1종 오류율)을 제어하지 않는다.^[9]

6. 비판

FWER 제어와 관련하여, 본페로니 교정은 검정 횟수가 많거나 검정 통계량 간에 양의 상관관계가 있을 때 지나치게 보수적일 수 있다.^[10]

본페로니 절차를 포함한 다중 검정 교정은 귀무 가설이 거짓일 때 제2종 오류의 확률을 증가시키며, 이는 통계적 검정력을 감소시킨다.^[11][12]

본페로니 교정은 음성 오류를 발생시킬 확률을 증가시킨다. 즉, 검정력을 감소시키는 희생을 치른다.^[24][25] 가설 집합을 어떻게 정의할 것인지에 대한 결정적인 의견 일치는 없지만, 조정된 검정 결과는 가설 집합에 포함된 검정 횟수에 따라 변동될 수 있다. 이러한 비판은 일반적으로 FWER 제어를 향하며, 본페로니 교정 고유의 것은 아니다.

참조

_[1] 간행물 Teoria statistica delle classi e calcolo delle probabilità Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze 1936
_[2] 논문 Multiple Comparisons Among Means http://sci2s.ugr.es/[...]
_[3] 서적 Econometric Foundations https://books.google[...] Cambridge University Press
_[4] 서적 Simultaneous Statistical Inference https://books.google[...] Springer
_[5] 논문 Multiple Hypothesis Testing in Genomics 2014
_[6] 논문 Detecting patterns in protein sequences
_[7] 논문 Multiple Comparisons Among Means http://sci2s.ugr.es/[...]
_[8] 논문 The look-elsewhere effect from a unified Bayesian and frequentist perspective https://doi.org/10.1[...]
_[9] 논문 Are per-family Type I error rates relevant in social and behavioral science? 2015
_[10] 논문 Arguments for rejecting the sequential Bonferroni in ecological studies
_[11] 논문 A farewell to Bonferroni: the problems of low statistical power and publication bias https://academic.oup[...]
_[12] 논문 Arguments for rejecting the sequential Bonferroni in ecological studies
_[13] 서적 Teoria statistica delle classi e calcolo delle probabilità (Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze) Libreria internazionale Seeber
_[14] 논문 Multiple Comparisons Among Means http://sci2s.ugr.es/[...]
_[15] 서적 Econometric Foundations https://books.google[...] Cambridge University Press
_[16] 서적 Simultaneous Statistical Inference https://books.google[...] Springer
_[17] 논문 Multiple Hypothesis Testing in Genomics 2014
_[18] 논문 Detecting patterns in protein sequences
_[19] 논문 Multiple Comparisons Among Means http://sci2s.ugr.es/[...]
_[20] 논문 Multiple Comparisons Using Rank Sums
_[21] 논문 The look-elsewhere effect from a unified Bayesian and frequentist perspective https://doi.org/10.1[...]
_[22] 논문 Are per-family Type I error rates relevant in social and behavioral science? 2015
_[23] 논문 Arguments for rejecting the sequential Bonferroni in ecological studies
_[24] 논문 A farewell to Bonferroni: the problems of low statistical power and publication bias https://academic.oup[...]
_[25] 논문 Arguments for rejecting the sequential Bonferroni in ecological studies
_[26] 간행물 Teoria statistica delle classi e calcolo delle probabilità Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze 1936