수신자 조작 특성

3. 기본 개념

이진 분류 문제에서 분류 모델(분류기)은 특정 클래스(양성 또는 음성)를 예측한다. 분류 결과는 다음 네 가지 경우로 나뉜다.

• 참 양성(True Positive, TP): 예측이 양성(''p'')이고 실제 값도 양성(''p'')인 경우.
• 거짓 양성(False Positive, FP): 예측은 양성(''p'')이지만 실제 값은 음성(''n'')인 경우.
• 참 음성(True Negative, TN): 예측과 실제 값이 모두 음성(''n'')인 경우.
• 거짓 음성(False Negative, FN): 예측은 음성(''n'')이지만 실제 값은 양성(''p'')인 경우.

• 거짓 양성(FP): 검사 결과는 양성이지만 실제로는 질병이 없는 경우.
• 거짓 음성(FN): 검사 결과는 음성이지만 실제로는 질병을 앓고 있는 경우.

• '''참 음성(TN):''' 음성자를 음성으로 판정
• '''거짓 양성(FP):''' 음성자를 양성으로 판정
• '''거짓 음성(FN):''' 양성자를 음성으로 판정
• '''참 양성(TP):''' 양성자를 양성으로 판정

4. ROC 공간

ROC 공간은 가로축을 위양성률(FPR), 세로축을 민감도(TPR)로 정의하는 2차원 평면이다. ROC 공간에서 각 점은 특정 임계값에서의 분류 모델의 성능을 나타낸다.^[8] 왼쪽 하단 (0, 0)은 항상 음성으로 예측하는 경우, 오른쪽 상단 (1, 1)은 항상 양성으로 예측하는 경우를 나타낸다. 이상적인 분류기는 왼쪽 상단 (0, 1)에 위치하며, 이는 100% 민감도와 100% 특이도를 의미한다. (0, 1) 지점은 ''완벽한 분류''라고도 불린다.

| style="padding-left:1em;" |

| style="padding-left:1em;" |

| style="padding-left:1em;" |

|-

! colspan="4" | 평가 지표

|-

| style="padding-left:1em;" | TPR = 0.63 || style="padding-left:2em;" | TPR = 0.77 || style="padding-left:2em;" | TPR = 0.24 || style="padding-left:2em;" | TPR = 0.76

|-

| style="padding-left:1em;" | FPR = 0.28 || style="padding-left:2em;" | FPR = 0.77 || style="padding-left:2em;" | FPR = 0.88 || style="padding-left:2em;" | FPR = 0.12

|-

| style="padding-left:1em;" | PPV = 0.69 || style="padding-left:2em;" | PPV = 0.50 || style="padding-left:2em;" | PPV = 0.21 || style="padding-left:2em;" | PPV = 0.86

|-

| style="padding-left:1em;" | F1 = 0.66 || style="padding-left:2em;" | F1 = 0.61 || style="padding-left:2em;" | F1 = 0.23 || style="padding-left:2em;" | F1 = 0.81

|-

| style="padding-left:1em;" | ACC = 0.68 || style="padding-left:2em;" | ACC = 0.50 || style="padding-left:2em;" | ACC = 0.18 || style="padding-left:2em;" | ACC = 0.82

|}

방법 A의 결과는 A, B, C 중에서 가장 좋은 예측력을 보여준다. B의 결과는 무작위 추측 선(대각선)에 있으며, B의 정확도는 50%이다. 그러나 C를 중심점 (0.5, 0.5)을 중심으로 미러링하면 결과 방법 C′이 A보다 훨씬 더 좋다. 원래 C 방법은 음의 예측력을 갖지만, 결정을 단순히 반전하면 양의 예측력을 갖는 새로운 예측 방법 C′으로 이어진다.

5. ROC 곡선

ROC 곡선은 신호 탐지 분석에서 얻어진 자료에 대한 민감도와 반응 편향의 결합 효과를 이해하는 데 유용하다.^[60] 이 곡선은 수용자의 신호 탐지에 있어서 특성을 나타내며, 휘어진 정도는 신호 탐지의 민감도를 나타낸다. 만약 관찰자의 민감도가 크면 곡선은 왼쪽 위로 굽게 된다.

• 진음성 (True Negative): 음성자를 음성으로 판정
• 위양성 (False Positive): 음성자를 양성으로 판정
• 위음성 (False Negative): 양성자를 음성으로 판정
• 진양성 (True Positive): 양성자를 양성으로 판정

6. 곡선 아래 면적 (AUC: Area Under the Curve)

ROC 곡선 아래 면적(Area Under the Curve, AUC)은 ROC 곡선의 성능을 하나의 숫자로 요약하는 지표이다. AUC는 0과 1 사이의 값을 가지며, 1에 가까울수록 모델의 성능이 우수함을 의미한다.^[16] AUC는 무작위로 선택된 양성 샘플이 무작위로 선택된 음성 샘플보다 더 높은 예측값을 가질 확률로 해석될 수 있다.^[18] 즉, 분류기가 양성과 음성을 얼마나 잘 구별하는지를 나타낸다.

AUC는 만-휘트니 U 검정 통계량과 밀접하게 관련되어 있으며,^[19][20] 머신러닝에서 모델 비교를 위해 자주 사용된다.^[25] AUC가 0.5이면 무작위 추정과 동일한 성능을, 1이면 완벽한 성능을 나타낸다.

신용 점수 분야에서는 AUC를 재조정한 지니 계수(Gini coefficient, $G\_1\; =\; 2\; \backslash operatorname\{AUC\}\; -\; 1$)를 사용하기도 한다.^[22]

AUC는 원래 레이더 기술에서 잡음 속 적기를 탐지하는 수신자의 특성을 측정하기 위해 개발되었으며, 현재는 임상 검사 등 다양한 분야에서 활용되고 있다.

6. 1. AUC의 한계 및 비판

7. 다중 클래스 분류

다중 클래스 분류 문제에서 ROC 곡선을 확장하는 것은 간단하지 않다. 여러 클래스가 있을 때 흔히 사용되는 두 가지 접근 방식은 (1) 모든 쌍별 AUC 값의 평균^[55]과 (2) 표면 아래 부피(VUS)를 계산하는 것이다.^[56][57]

모든 쌍별 클래스에 대해 평균을 구하려면, 다른 클래스가 없는 것처럼 해당 두 클래스의 예제만 사용하여 각 클래스 쌍에 대한 AUC를 계산한 다음, 모든 가능한 쌍에 대해 이러한 AUC 값을 평균한다. ''c''개의 클래스가 있으면 ''c''(''c'' − 1) / 2개의 가능한 클래스 쌍이 존재한다.

표면 아래 부피(VUS) 접근 방식은 곡선 대신 초곡면을 그리고 해당 초곡면 아래의 초부피를 측정하는 것이다. ''c''개의 클래스에 대한 분류기에 사용할 수 있는 모든 가능한 결정 규칙은 참 양성률 (TPR¹, . . , TPR^''c'')로 설명할 수 있다. 이 일련의 비율이 점을 정의하고, 모든 가능한 결정 규칙의 집합은 초곡면을 정의하는 점들의 구름을 생성한다.

이 정의를 사용하면 VUS는 분류기가 각 클래스에서 무작위로 선택된 예제 하나씩을 가진 집합이 주어졌을 때 모든 ''c''개의 예제를 올바르게 레이블링할 수 있는 확률이다. 각 클래스에서 예제 하나로 구성된 입력 집합을 알고 있는 분류기의 구현은 먼저 각 클래스에 대한 예제의 ''c''²개의 가능한 쌍에 대한 적합도 점수를 계산한 다음, 헝가리안 알고리즘을 사용하여 각 클래스에 정확히 하나의 예제를 할당하는 모든 ''c''!개의 가능한 방법 중에서 ''c''개의 선택된 점수의 합을 최대화할 수 있다.

8. z-점수 (z-score)

표준 점수를 ROC 곡선에 적용하면 곡선은 직선으로 변환된다.^[42] 이 z-점수는 평균이 0이고 표준 편차가 1인 정규 분포를 기반으로 한다. 기억 강도 이론에서 zROC는 선형일 뿐만 아니라 기울기가 1.0이라고 가정해야 한다. 대상(피험자가 기억해야 하는 학습된 객체)과 미끼(피험자가 기억하려고 시도하는 학습되지 않은 객체)의 정규 분포가 zROC를 선형으로 만드는 요인이다.

zROC 곡선의 선형성은 대상과 미끼 강도 분포의 표준 편차에 따라 달라진다. 표준 편차가 같으면 기울기는 1.0이 된다. 대상 강도 분포의 표준 편차가 미끼 강도 분포의 표준 편차보다 크면 기울기는 1.0보다 작아진다. 대부분의 연구에서 zROC 곡선 기울기는 지속적으로 1 아래로 떨어지는 것으로 나타났으며, 일반적으로 0.5에서 0.9 사이이다.^[43] 많은 실험에서 zROC 기울기가 0.8로 나타났다. 기울기가 0.8이라는 것은 대상 강도 분포의 가변성이 미끼 강도 분포의 가변성보다 25% 더 크다는 것을 의미한다.^[44]

사용되는 또 다른 변수는 ''d''' (d 프라임) (위에 "기타 척도"에서 논의)이며, z-값으로 쉽게 표현할 수 있다. ''d''' 는 일반적으로 사용되는 매개변수이지만, 이는 위에 제시된 강도 이론의 매우 강력한 가정을 엄격히 준수할 때만 관련이 있다는 점을 인식해야 한다.^[45]

ROC 곡선의 z-점수는 특별한 경우를 제외하고는 항상 선형으로 가정된다. Yonelinas 친숙도-회상 모델은 인식 기억에 대한 2차원 설명이다. 피험자는 특정 입력에 대해 단순히 예 또는 아니오로 대답하는 대신, 원래 ROC 곡선처럼 작동하는 친숙한 느낌을 입력에 제공한다. 하지만 변하는 것은 회상(R)에 대한 매개변수이다. 회상은 전부 또는 전무한 것으로 간주되며 친숙함보다 우선한다. 회상 구성 요소가 없으면 zROC의 예상 기울기는 1이 된다. 그러나 회상 구성 요소를 추가하면 zROC 곡선은 위로 오목하게 되어 기울기가 감소한다. 이러한 모양과 기울기의 차이는 일부 항목이 회상되기 때문에 추가된 변동 요소의 결과이다. 전향성 기억 상실증 환자는 회상할 수 없으므로 Yonelinas zROC 곡선은 1.0에 가까운 기울기를 갖는다.^[46]

참조

_[1] 웹사이트 Detector Performance Analysis Using ROC Curves - MATLAB & Simulink Example http://www.mathworks[...] 2016-08-11
_[2] 서적 Signal detection theory and ROC analysis in psychology and diagnostics : collected papers https://www.questia.[...] Lawrence Erlbaum Associates, Mahwah, NJ 1996
_[3] 논문 ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests 2024-05-03
_[4] 논문 Derivation and evaluation of landslide-triggering thresholds by a Monte Carlo approach 2014-12-08
_[5] 논문 The Finley Affair: A Signal Event in the History of Forecast Verification 1996-03-01
_[6] 논문 Significant wave height record extension by neural networks and reanalysis wind data 2015-10-01
_[7] 논문 A Statistical Method for Exploratory Data Analysis Based on 2D and 3D Area under Curve Diagrams: Parkinson's Disease Investigation
_[8] 웹사이트 classification - AUC-ROC of a random classifier https://datascience.[...] 2020-11-30
_[9] 논문 ROC and AUC with a binary predictor: a potentially misleading metric Springer Science and Business Media LLC 2019-12-23
_[10] 논문 The Matthews correlation coefficient (MCC) should replace the ROC AUC as the standard metric for assessing binary classification Springer Science and Business Media LLC 2023-02-17
_[11] 논문 AUC: a misleading measure of the performance of predictive distribution models Wiley
_[12] 논문 Disadvantages of using the area under the receiver operating characteristic curve to assess imaging tests: A discussion and proposal for an alternative approach Springer Science and Business Media LLC 2015-01-20
_[13] 논문 Caveats and pitfalls of ROC analysis in clinical microarray research (and how to avoid them) Oxford University Press (OUP) 2011-03-21
_[14] 논문 How to Measure the Quality of Credit Scoring Models Charles University Prague, Faculty of Social Sciences 2011
_[15] 간행물 ROC-ConCert: ROC-Based Measurement of Consistency and Certainty http://www.academia.[...] IEEE
_[16] 간행물 Case studies in the use of ROC curve analysis for sensor-based estimates in human computer interaction http://portal.acm.or[...] Canadian Human-Computer Communications Society
_[17] 서적 The elements of statistical learning: data mining, inference, and prediction
_[18] 문서 An introduction to ROC analysis https://www.math.ucd[...] 2006
_[19] 논문 The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve
_[20] 논문 Areas beneath the relative operating characteristics (ROC) and relative operating levels (ROL) curves: Statistical significance and interpretation http://www.inmet.gov[...]
_[21] 서적 Knowledge Discovery in Databases: PKDD 2007 Springer 2007
_[22] 문서 A simple generalization of the area under the ROC curve for multiple class classification problems 2001
_[23] 논문 Robust classification for imprecise environments.
_[24] 간행물 Repairing concavities in ROC curves. http://www.icml-2011[...]
_[25] 논문 A method of comparing the areas under receiver operating characteristic curves derived from the same cases 1983-09-01
_[26] 논문 Small-sample precision of ROC-related estimates
_[27] 논문 AUC: a misleading measure of the performance of predictive distribution models
_[28] 논문 Measuring classifier performance: A coherent alternative to the area under the ROC curve
_[29] 간행물 A coherent interpretation of AUC as a measure of aggregated classification performance. http://www.icml-2011[...]
_[30] 논문 A unified view of performance metrics: translating threshold choice into expected classification loss http://jmlr.org/pape[...]
_[31] 간행물 The Problem of Area Under the Curve
_[32] 간행물 Recall and Precision versus the Bookmaker http://dl.dropbox.co[...]
_[33] 간행물 The Problem with Kappa http://dl.dropbox.co[...] 2012-07-20
_[34] 논문 Analyzing a Portion of the ROC Curve 1989-08-01
_[35] 논문 Partial AUC Estimation and Regression http://biostats.bepr[...]
_[36] 간행물 Better than Chance: the importance of null models http://www.soe.ucsc.[...] University of California, Santa Cruz 2011
_[37] 웹사이트 C-Statistic: Definition, Examples, Weighting and Significance https://www.statisti[...] 2016-08-28
_[38] 논문 Recommendations for using the Relative Operating Characteristic (ROC) 2014
_[39] 논문 The total operating characteristic to measure diagnostic ability for multiple thresholds 2014
_[40] 서적 2007 IEEE International Conference on Acoustics, Speech and Signal Processing - ICASSP '07 2007-04-01
_[41] 서적 Observer Performance Methods for Diagnostic Imaging: Foundations, Modeling, and Applications with R-Based Examples https://books.google[...] CRC Press 2019-07-11
_[42] 서적 Detection Theory: A User's Guide Lawrence Erlbaum Associates 2005
_[43] 논문 Slope of the receiver-operating characteristic in recognition memory 1999
_[44] 논문 Empirical generality of data from recognition memory ROC functions and implications for GMMs 1994
_[45] 논문 A note on ROC analysis and non-parametric estimate of sensitivity 2005
_[46] 논문 Recollection and familiarity deficits in amnesia: Convergence of remember-know, process dissociation, and receiver operating characteristic data 1998
_[47] 서적 Signal detection theory and psychophysics John Wiley and Sons Inc. 1966
_[48] 웹사이트 Using the Receiver Operating Characteristic (ROC) curve to analyze a classification model: A final note of historical interest http://www.math.utah[...] 2017-05-25
_[49] 논문 Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine http://www.clinchem.[...]
_[50] 서적 The statistical evaluation of medical tests for classification and prediction Oxford 2003
_[51] 논문 Receiver operating characteristic curves and their use in radiology
_[52] 학회자료 Signal detection theory: Valuable tools for evaluating inductive learning Morgan Kaufmann 1989
_[53] 논문 On the ROC score of probability forecasts
_[54] 서적 Fundamentals of Radar http://dx.doi.org/10[...] John Wiley & Sons, Inc. 2023-05-20
_[55] 논문 A Simple Generalisation of the Area Under the ROC Curve for Multiple Class Classification Problems 2001
_[56] 논문 Three-way ROCs 1999
_[57] 학회자료 Volume under the ROC Surface for Multi-class Problems 2003
_[58] 학회자료 Regression error characteristic curves https://www.aaai.org[...] 2003
_[59] 논문 ROC curves for regression 2013
_[60] 웹사이트 C-Statistic: Definition, Examples, Weighting and Significance https://www.statisti[...]