정밀도와 재현율

3. 확률적 정의

정밀도와 재현율은 추정된 조건부 확률로 해석될 수 있다.^[6] 정밀도는 예측된 클래스가 P일 때 실제 클래스가 P일 확률, 즉 $\backslash mathbb\{P\}(C=P|\backslash hat\{C\}=P)$로 주어진다. 재현율은 실제 클래스가 P일 때 예측된 클래스가 P일 확률, 즉 $\backslash mathbb\{P\}(\backslash hat\{C\}=P|C=P)$로 주어진다.^[7] 여기서 $\backslash hat\{C\}$는 예측된 클래스이고 $C$는 실제 클래스를 의미한다(예: $C=P$는 실제 클래스가 양성임을 나타낸다). 따라서 정밀도와 재현율 모두 베이즈 정리와 관련이 있다.

이러한 확률적 해석을 통해 무능력 분류기(무작위로 예측하는 분류기)가 어떻게 작동하는지 쉽게 이해할 수 있다. 무능력 분류기의 경우, 분류 결과($\backslash hat\{C\}=P$)와 실제 클래스($C=P$)는 독립적이라고 가정한다. 따라서 특정 항목이 클래스 P에 속하면서 동시에 클래스 P로 예측될 결합 확률 $\backslash mathbb\{P\}(C=P,\backslash hat\{C\}=P)$는 각 사건의 무조건부 확률의 곱, 즉 $\backslash mathbb\{P\}(C=P)\; \backslash times\; \backslash mathbb\{P\}(\backslash hat\{C\}=P)$로 정의된다.

예를 들어, 무능력 분류기의 정밀도는 다음과 같이 계산된다:

$\backslash text\{Precision\}\; =\; \backslash mathbb\{P\}(C=P|\backslash hat\{C\}=P)\; =\; \backslash frac\{\backslash mathbb\{P\}(C=P,\backslash hat\{C\}=P)\}\{\backslash mathbb\{P\}(\backslash hat\{C\}=P)\}\; =\; \backslash frac\{\backslash mathbb\{P\}(C=P)\backslash mathbb\{P\}(\backslash hat\{C\}=P)\}\{\backslash mathbb\{P\}(\backslash hat\{C\}=P)\}\; =\; \backslash mathbb\{P\}(C=P)$

이는 단순히 클래스 P가 발생할 실제 확률(또는 데이터에서의 빈도)과 같다. 즉, 무능력 분류기의 정밀도는 분류기가 얼마나 자주 P라고 예측하는지와는 관계없이 실제 P의 비율에 따라 결정된다.

마찬가지로 무능력 분류기의 재현율은 다음과 같이 계산된다:

$\backslash text\{Recall\}\; =\; \backslash mathbb\{P\}(\backslash hat\{C\}=P|C=P)\; =\; \backslash frac\{\backslash mathbb\{P\}(C=P,\backslash hat\{C\}=P)\}\{\backslash mathbb\{P\}(C=P)\}\; =\; \backslash frac\{\backslash mathbb\{P\}(C=P)\backslash mathbb\{P\}(\backslash hat\{C\}=P)\}\{\backslash mathbb\{P\}(C=P)\}\; =\; \backslash mathbb\{P\}(\backslash hat\{C\}=P)$

이는 분류기가 얼마나 자주 P라고 예측하는지에 대한 확률과 같다. 즉, 무능력 분류기의 재현율은 실제 클래스가 무엇인지와는 관계없이 분류기가 P라고 예측하는 비율에 따라 결정된다.

4. 불균형 데이터

분류 작업에서 데이터 내 각 클래스(범주)에 속하는 샘플의 수가 크게 차이 나는 경우, 이를 불균형 데이터라고 한다. 이러한 불균형 데이터셋에서는 정확도만으로 모델 성능을 평가하기 어려울 수 있으며, 정밀도와 재현율이 더 유용한 지표가 될 수 있다.

특히 거짓 양성(FP, 실제로는 아닌데 맞다고 잘못 예측) 또는 거짓 음성(FN, 실제로는 맞는데 아니라고 잘못 예측) 예측의 결과가 큰 비용이나 위험을 초래하는 상황에서는 정밀도와 재현율 중 어느 것을 더 중요하게 여길지 결정하는 것이 필요하다.

• 의학 진단: 병이 없는데 있다고 진단하는 거짓 양성(FP)은 환자에게 불필요한 치료, 비용, 정신적 고통을 안겨줄 수 있다. 따라서 이런 경우, 실제 병이 있는 환자를 놓치더라도(재현율 감소) 건강한 사람을 환자로 잘못 진단하지 않는 것, 즉 정밀도를 높이는 것이 더 중요할 수 있다.
• 사기 탐지: 실제 사기 거래를 놓치는 거짓 음성(FN)은 큰 금전적 손실로 이어질 수 있다. 따라서 정상 거래를 사기로 잘못 판단하는 경우가 생기더라도(정밀도 감소) 가능한 모든 사기 거래를 잡아내는 것, 즉 재현율을 높이는 것이 더 중요할 수 있다.

5. F-measure

정밀도와 재현율을 결합한 지표 중 하나로 조화 평균을 사용하는 F-measure가 있다. 가장 널리 쓰이는 것은 정밀도(precision)와 재현율(recall)의 가중치를 동일하게 두는 '''F1 점수'''(F1 score)이다.

:$F\_1\; =\; 2\; \backslash cdot\; \backslash frac\{\backslash mathrm\{precision\}\; \backslash cdot\; \backslash mathrm\{recall\}\}\{\; \backslash mathrm\{precision\}\; +\; \backslash mathrm\{recall\}\}$

F1 점수는 정밀도와 재현율 두 값의 조화 평균으로 계산된다. 이 값은 두 지표가 비슷할 때는 산술 평균과 유사한 값을 보이지만, 한쪽으로 치우칠 경우 낮은 값에 더 큰 영향을 받는다. F-score는 특정 상황에서 평가 지표로서 편향될 수 있다는 비판도 있다.^[1]

F-measure는 일반화된 형태인 $F\_\backslash beta$ 지표로 표현할 수 있으며, 여기서 $\backslash beta$는 음이 아닌 실수 값이다. $\backslash beta$ 값은 재현율에 정밀도보다 몇 배 더 중요도를 둘 것인지를 결정한다.

:$F\_\backslash beta\; =\; (1\; +\; \backslash beta^2)\; \backslash cdot\; \backslash frac\{\backslash mathrm\{precision\}\; \backslash cdot\; \backslash mathrm\{recall\}\; \}\{\; \backslash beta^2\; \backslash cdot\; \backslash mathrm\{precision\}\; +\; \backslash mathrm\{recall\}\}$

F1 점수($\backslash beta=1$) 외에 자주 사용되는 지표로는 재현율을 정밀도보다 중요하게 평가하는 $F\_2$ 지표($\backslash beta=2$)와 정밀도를 재현율보다 중요하게 평가하는 $F\_\{0.5\}$ 지표($\backslash beta=0.5$)가 있다.

F-measure는 1979년 판 레이스베르헌(van Rijsbergen)에 의해 유도되었으며, 그는 $F\_\backslash beta$를 "정밀도보다 재현율에 $\backslash beta$배의 중요성을 부여하는 사용자에 대한 검색의 효과를 측정하는 지표"라고 설명했다. 이는 그의 효과성 지표 $E\_\{\backslash alpha\}\; =\; 1\; -\; \backslash frac\{1\}\{\backslash frac\{\backslash alpha\}\{P\}\; +\; \backslash frac\{1-\backslash alpha\}\{R\}\}$ (여기서 P는 정밀도, R은 재현율)에 기반하며, $F\_\backslash beta\; =\; 1\; -\; E\_\{\backslash alpha\}$ 관계를 가진다. 이때 가중치 $\backslash alpha$는 $\backslash alpha=\backslash frac\{1\}\{1\; +\; \backslash beta^2\}$로 계산된다.

6. 한계 및 추가 고려 사항

정보 검색 시스템의 성능 지표에는 ROC 곡선 (AUC)^[12] 아래 면적 또는 의사 R-제곱과 같은 다른 매개변수와 전략이 있다.

참조

_[1] 논문 Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation http://www.flinders.[...] 2011
_[2] 논문 The exploitation of distributional information in syllable processing
_[3] 학술대회 The Problem with Kappa https://www.aclweb.o[...] 2012
_[4] 서적 Advanced Data Mining Techniques Springer 2008-02-01
_[5] 웹사이트 Precision vs. Recall: Differences, Use Cases & Evaluation https://www.v7labs.c[...]
_[6] 논문 Deep Metric Learning to Rank http://cs-people.bu.[...] 2019
_[7] 서적 Information Retrieval Models: Foundations & Relationships https://books.google[...] Springer Nature 2022-05-31
_[8] 논문 PREP-Mt: predictive RNA editor for plant mitochondrial genes 2005-04-12
_[9] 논문 The Effect of Class Imbalance on Precision-Recall Curves https://doi.org/10.1[...] 2021-04-01
_[10] 논문 The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets 2015-03-04
_[10] 웹사이트 Precision-recall curves – what are they and how are they used? https://acutecaretes[...] 2017-03
_[11] 논문 Welding defect detection: coping with artifacts in the production line https://link.springe[...] 2020
_[12] 문서 What you wanted to know about AUC http://fastml.com/wh[...]
_[13] 논문 A Closer Look at Classification Evaluation Metrics and a Critical Reflection of Common Evaluation Practice https://doi.org/10.1[...] 2024
_[14] 서적 Advanced Data Mining Techniques Springer 2008-02-01