통계적 유의성

3. 통계적 가설 검정에서의 역할

통계적 유의성은 통계적 가설 검정에서 핵심적인 역할을 한다. 이는 귀무 가설을 기각할지 또는 유지할지를 결정하는 데 사용된다. 귀무 가설은 연구 중인 현상에 아무런 효과가 없다는 가설이다.^[35] 귀무 가설이 기각되려면 관찰된 결과가 통계적으로 유의해야 한다. 즉, 관찰된 ''p''-값이 사전 지정된 유의 수준 $\backslash alpha$보다 작아야 한다.

결과가 통계적으로 유의한지 여부를 결정하기 위해 연구자는 ''p''-값을 계산하는데, 이는 귀무 가설이 참일 때 동일한 크기 이상의 효과를 관찰할 확률이다.^[4][11] ''p''-값이 미리 정해진 수준 $\backslash alpha$보다 작거나 같으면 귀무 가설은 기각된다. $\backslash alpha$는 '유의 수준'이라고도 하며, 귀무 가설이 참일 때 귀무 가설을 기각할 확률(제1종 오류)이다. 일반적으로 5% 이하로 설정된다.

예를 들어, $\backslash alpha$가 5%로 설정된 경우, 조건부 확률에서 제1종 오류가 발생할 확률은, '귀무 가설이 참인 경우' 5%이며,^[36] 통계적으로 유의한 결과는 관찰된 ''p''-값이 5%보다 작거나 같은 경우이다.^[37] 표본에서 데이터를 추출할 때 이는 기각역이 표본 분포의 5%를 차지한다는 것을 의미한다.^[38] 이 5%는 단측 검정에서와 같이 표본 분포의 한쪽에 할당되거나, 양측 검정에서와 같이 분포의 양쪽에 분할될 수 있으며, 각 꼬리(또는 기각역)는 분포의 2.5%를 포함한다.

단측 검정의 사용은 연구 질문 또는 대립 가설이 특정 방향을 지정하는지 여부에 따라 달라지며, 예를 들어 물체의 그룹이 '더 무거운지' 또는 평가에서 학생들의 성적이 '더 나은지'와 같은 경우이다.^[39] 양측 검정은 여전히 사용될 수 있지만, 단측 검정보다 검정력이 낮다. 이는 단측 검정의 기각역이 귀무 분포의 한쪽 끝에 집중되어 있고, 양측 검정의 각 기각역 크기의 두 배(5% 대 2.5%)이기 때문이다. 결과적으로 단측 검정을 사용하면 덜 극단적인 결과로도 귀무 가설을 기각할 수 있다.^[40] 단측 검정은 대립 가설의 지정된 방향이 올바른 경우에만 양측 검정보다 더 강력하다. 그러나 만약 틀린 경우 단측 검정은 검정력이 없다.

4. 한계 및 비판

통계적 유의성 개념은 여러 한계와 비판에 직면해 있다.

연구 결과가 통계적으로 유의미하다고 해서 실질적으로 유의미하거나 재현 가능한 것은 아니다.^[46][47][48] 통계적으로 유의미한 연구 결과가 반드시 실질적으로 유의미한 것은 아닐 수 있다.^[49][18] 효과 크기는 연구의 실질적인 유의미성을 측정하는 지표로, 연구자들은 ''p''-값과 함께 효과 크기를 보고하여 연구 결과의 유의미성을 평가해야 한다.^[50]

통계적으로 유의미한 결과가 항상 재현되는 것은 아니며,^[48] 일부는 거짓 양성일 수 있다.^[51]

2010년대부터 일부 학술지에서는 유의성 검정, 특히 α=5% 임계값 사용에 의문을 제기하며,^[52] 더 자세한 분석을 권장했다. 사회 심리학 분야의 학술지 Basic and Applied Social Psychology는 유의성 검정 사용을 전면 금지하고,^[53] 다른 척도를 사용하도록 요구했다.^[54][55]

P값 이용에 따른 여러 문제점을 고려한 사회 심리학 계열 저널인 (BASP)는 귀무가설 유의성 검정 및 이와 유사한 통계적 처리를 금지한다고 발표했다.^[68]

그러나 이러한 금지에 대해 "Basic and Applied Social Psychology가 ''p''값 보고를 금지하는 것은 문제의 증상만을 치료하는 것"이라는 비판도 제기되었다.^[56] 일부 통계학자들은 우도비나 베이즈 요인과 같은 다른 증거 척도를 선호한다.^[57]

2016년, 미국 통계 협회(ASA)는 P값에 대한 기본적인 문제점을 정리하고 "P값은 그것만으로는 통계 모델이나 가설에 대한 증거의 좋은 지표가 될 수 없다"는 점을 강조했다.^[71]

유의 수준 $\backslash alpha$는 귀무 가설이 참일 때 귀무 가설을 잘못 기각할 확률(제1종 오류)을 의미한다.^[3] 일반적으로 0.05 (5%)가 사용되지만, 학문 분야나 연구 대상에 따라 다른 값을 사용하기도 한다.^[69] 유의 수준 5%에서 유의하다는 것은 "실제로는 우연에 지나지 않는데, 잘못하여 '의미가 있다'라고 판단하고 있다"는 가능성이 5% 정도 있다는 의미이다.

4. 1. 통계적 유의성 개념의 재정의

5. 다중 비교

동일한 종류의 검정을 반복하여 전체의 유의성 여부를 판단하는 경우 ('''다중 비교''') 1회의 검정에 대한 유의 수준을 α라고 하면, k회의 유사한 시행에 대해 한 번이라도 유의한 결과를 얻을 확률 α_k는 k회 시행의 독립성에 의존한다. 예를 들어, k회 시행이 독립적일 때는 α_k = 1-(1-α)^k가 된다. 그러나 α_k의 상한은 kα이므로, 1회의 검정에 대한 유의 수준을 α/k로 정하면, k회의 유사한 시행에 대해 유의 수준이 기껏해야 α인 검정을 수행할 수 있다. 이를 본페로니 보정이라고 한다. 다만, 이 방법은 k의 값이 커질수록 유의 수준이 낮아져 실용성이 떨어진다. 따라서 더 높은 검정력을 가진 방법이 제안되고 있다. 옛날에는 LSD법이 본페로니 방법과 함께 계산이 용이하여 선호되었다. 오늘날에는 튜키의 범위 검정이나 Ryan법이 가장 일반적이다. 또한 셰페 방법이나 WSD법도 사용되는 것을 볼 수 있다. 이들은 분산 분석에서 3수준 이상의 요인의 주효과가 유의한 경우의 하위 검정에도 사용된다.

6. 신뢰 구간과 가설 검정

신뢰 수준 Confidence level|컨피던스 레벨^영어과 신뢰 구간은 1937년 네이먼(Neyman)에 의해 도입되었다.^[34]

통계량 X가 어떤 모수 θ의 추정량인 경우, 유의 수준 α에서 귀무 가설이 기각되지 않는 X의 가능한 범위는 신뢰 수준 (1-α)에 대한 θ의 신뢰 구간과 같다.

예를 들어, 표본 평균 X를 모평균 θ의 추정량으로 간주하면, 귀무 가설: θ = θ₀가 유의 수준 5%에서 기각되지 않는 X의 범위는 θ₀의 95% 신뢰 구간과 일치한다.

참조

_[1] 서적 Statistics for the Social Sciences SAGE Publications, Inc
_[2] 서적 The Certified Quality Engineer Handbook ASQ Quality Press
_[3] 서적 Introductory Statistics with R Springer
_[4] 웹사이트 Statistical Hypothesis Testing http://www.dartmouth[...] 2019-11-11
_[5] 논문 Revised standards for statistical evidence 2013-10-09
_[6] 서적 Biostatistics in Clinical Trials John Wiley & Sons Ltd
_[7] 서적 Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis Routledge
_[8] 논문 Points of significance: Significance, P values and t-tests 2013-10-30
_[9] 논문 Statistical power and significance testing in large-scale genetic studies 2014-04-17
_[10] 서적 Practical Statistics for Medical Research https://archive.org/[...] Chapman & Hall/CRC
_[11] 서적 Probability and Statistics for Engineering and the Sciences Cengage Learning
_[12] 간행물 Significance level SAGE Publications
_[13] 서적 Handbook of Research Methods: A Guide for Practitioners and Students in the Social Science Scarecrow Press, Inc.
_[14] 서적 The Practice of Social Research Cengage Learning
_[15] 서적 Compassionate Statistics: Applied Quantitative Analysis for Social Services (With exercises and instructions in SPSS) SAGE Publications, Inc
_[16] 서적 Statistics Explained: An Introductory Guide for Life Scientists Cambridge University Press
_[17] 서적 Research Design and Statistical Analysis Routledge
_[18] 웹사이트 What is P-value? http://www.stat.ualb[...] 2019-11-10
_[19] 논문 Balancing statistical and clinical significance in evaluating treatment effects 2001-03-01
_[20] 서적 The Descent of Human Sex Ratio at Birth Springer Science & Business Media
_[21] 논문 An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes http://www.york.ac.u[...]
_[22] 서적 Practical Nonparametric Statistics Wiley
_[23] 서적 Applied Nonparametric Statistical Methods Chapman & Hall
_[24] 서적 The History of Statistics: The Measurement of Uncertainty Before 1900 Harvard University Press
_[25] 서적 in Statisticians of the Centuries Springer
_[26] 서적 A History of Mathematical Statistics from 1750 to 1930 Wiley
_[27] 서적 Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis Routledge
_[28] 서적 Statistical Methods for Research Workers https://archive.org/[...] Oliver and Boyd
_[29] 서적 Hypothesis-testing Behaviour Psychology Press
_[30] 서적 Experimental Design and Data Analysis for Biologists https://archive.org/[...] Cambridge University Press
_[31] 논문 The testing of statistical hypotheses in relation to probabilities a priori
_[32] 논문 Confidence Interval or P-Value?
_[33] 웹사이트 StatNews #73: Overlapping Confidence Intervals and Statistical Significance https://www.cscu.cor[...]
_[34] 논문 Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability
_[35] 서적 Applied Statistics for Public and Nonprofit Administration Cengage Learning
_[36] 서적 The Essentials of Statistics: A Tool for Social Research Cengage Learning
_[37] 서적 Statistics Explained: An Introductory Guide for Life Scientists https://archive.org/[...] Cambridge University Press
_[38] 서적 An Introduction To Experimental Design And Statistics For Biology CRC press
_[39] 서적 Research design and statistical analysis Routledge
_[40] 서적 Statistics explained Routledge
_[41] 서적 Scientific Inference: Learning from Data Cambridge University Press
_[42] 서적 Risk, Chance, and Causation: Investigating the Origins and Treatment of Disease https://archive.org/[...] Yale University Press
_[43] 서적 Shifting Standards: Experiments in Particle Physics in the Twentieth Century University of Pittsburgh Press
_[44] 논문 Basic statistical analysis in genetic case-control studies 2011-02-06
_[45] 논문 Guidelines for Genome-Wide Association Studies 2012-07-05
_[46] 논문 The Case Against Statistical Significance Testing
_[47] 논문 Why most published research findings are false
_[48] 논문 The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research 2017
_[49] 논문 A Visitor's Guide to Effect Sizes 2004
_[50] 서적 Measurement, Design, and Analysis: An Integrated Approach Psychology Press
_[51] 서적 Principles, Problems, Practices, and Prospects Reproducibility: Principles, Problems, Practices, and Prospects 2016
_[52] 웹사이트 CSSME Seminar Series: The argument over ''p''-values and the Null Hypothesis Significance Testing (NHST) paradigm http://www.education[...] School of Education, University of Leeds 2016-12-01
_[53] 웹사이트 Psychology Journal Bans Significance Testing https://www.scienceb[...] Science-Based Medicine 2015-02-25
_[54] 논문 Psychology journal bans P values 2015-03-05
_[55] 뉴스 P value ban: small step for a journal, giant leap for science https://www.sciencen[...] 2016-12-01
_[56] 논문 On doing better science: From thrill of discovery to policy implications https://serval.unil.[...] 2017-02
_[57] 논문 Moving to a World Beyond "p < 0.05" http://revistas.ucm.[...] 2019-03-20
_[58] 논문 Thou Shalt Not Bear False Witness Against Null Hypothesis Significance Testing 2016-10-05
_[59] 논문 A manifesto for reproducible science 2017-01
_[60] 논문 Redefine statistical significance
_[61] 논문 'One-size-fits-all' threshold for P values under fire https://www.nature.c[...] 2017
_[62] 논문 Remove, rather than redefine, statistical significance 2017
_[63] 웹사이트 Moving Science's Statistical Goalposts https://www.csicop.o[...] CSI 2018-07-10
_[64] 논문 Scientists rise up against statistical significance 2019-03
_[65] 논문 Moving to a World Beyond "p < 0.05" 2019-03-20
_[66] 간행물 有意 2022-02-10
_[67] 웹사이트 significant - Quick search results {{!}} Oxford English Dictionary https://www.oed.com/[...] 2023-09-04
_[68] 문서 2015 T&F社のBASP誌がP値の使用禁止を発表 https://www.editage.[...]
_[69] 문서 JIS Z 8101-1 : 1999 統計 − 用語と記号 − 第1部:確率及び一般統計用語 2.53 有意水準, 日本規格協会 http://kikakurui.com[...]
_[70] 뉴스 統計学の大物学者がP値の刷新を提案 https://www.natureas[...] Nature ダイジェスト 2017
_[71] 웹사이트 「統計的有意性とP値に関するASA声明（原題：The ASA’s statement on p-values: Context, process, and purpose. 2016; 70: 129-133. ） https://www.biometri[...] The American Statistician 2017-04-23
_[72] 웹사이트 「“統計的に有意差なし”もうやめませんか」　Natureに科学者800人超が署名して投稿 https://www.itmedia.[...] ITmedia 2019-03-26
_[73] 서적 Research design and statistical analysis Routledge
_[74] 서적 Introductory Statistics with R https://archive.org/[...] Springer
_[75] 웹인용 Statistical Hypothesis Testing http://www.dartmouth[...] 2019-11-11
_[76] 저널 Revised standards for statistical evidence 2013-10-09
_[77] 서적 Biostatistics in Clinical Trials https://archive.org/[...] John Wiley & Sons Ltd
_[78] 서적 Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis Routledge
_[79] 저널 Points of significance: Significance, P values and t-tests 2013-10-30
_[80] 저널 Statistical power and significance testing in large-scale genetic studies 2014-04-17
_[81] 서적 Practical Statistics for Medical Research https://archive.org/[...] Chapman & Hall/CRC
_[82] 서적 Probability and Statistics for Engineering and the Sciences Cengage Learning
_[83] 백과사전 Significance level SAGE Publications
_[84] 서적 Handbook of Research Methods: A Guide for Practitioners and Students in the Social Science Scarecrow Press, Inc.
_[85] 서적 The Descent of Human Sex Ratio at Birth Springer Science & Business Media
_[86] 저널 An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes http://www.york.ac.u[...]
_[87] 인용 Practical Nonparametric Statistics Wiley
_[88] 인용 Applied Nonparametric Statistical Methods Chapman & Hall
_[89] 서적 The History of Statistics: The Measurement of Uncertainty Before 1900 Harvard University Press
_[90] 인용 in Statisticians of the Centuries by C.C. Heyde and E. Seneta Springer
_[91] 인용 A History of Mathematical Statistics from 1750 to 1930 Wiley
_[92] 서적 Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis Routledge
_[93] 서적 Statistical Methods for Research Workers https://archive.org/[...] Oliver and Boyd
_[94] 서적 Hypothesis-testing Behaviour https://archive.org/[...] Psychology Press
_[95] 서적 Experimental Design and Data Analysis for Biologists https://archive.org/[...] Cambridge University Press
_[96] 저널 The testing of statistical hypotheses in relation to probabilities a priori