Precision, Recall, TPR, FPR, AUROC, AUPR

모델 평가 지표로 자주 사용되는 Precision, Recall, TPR, FPR, AUROC, AUPR 등에 대한 정리입니다.

Confusion Matrix

Confusion matrix는 분류모델의 성능을 평가하기 위해 사용하는 도구이다.

• TP(True Positive) : 실제 True를 True로 예측
• FP(False Positive) : 실제 False를 True로 예측
• FN(False Negative) : 실제 True를 False로 예측
• TN(True Negative) : 실제 False를 False로 예측

Metric

Precision

• 모델이 Positive라고 예측했을 때 실제 Positive인 비율
  $$Precision = \frac{TP}{TP + FP}$$

Recall

• 실제 Positive 중에 모델이 Positive라고 예측한 비율
  $$recall = \frac{TP}{TP+FN}$$

F1-score

• Precision과 recall의 조화평균으로, 두 지표의 균형을 고려한 지표
  $$F1-Score = 2 \times \frac{Precision \times Recall}{Precision + Recall}$$

True Positive Rate(TPR) or Sensitivity

• 실제 Positive 중 모델이 Positive로 예측한 비율 (Recall과 동일하다)
  $$TPR = \frac{TP}{TP+FN}$$

False Positive Rate(FPR)

• 실제 Negative 중 모델이 Positive로 예측한 비율
  $$FPR = \frac{FP}{FP + TN}$$

ROC(Receiver Operating Characteristic) Curve

• X축 : FPR
• Y축 : TPR
• 곡선 : 모델의 성능을 나타내며, 좌측 상단에 가까울수록(TPR이 높고 FPR이 낮을수록) 모델이 성능이 좋다.

PR (Precision-Recall) Curve

• X축 : recall
• Y축 : precision
• 곡선 : 우측 상단에 가까울수록(Precision과 Recall이 모두 높은) 모델이 성능이 좋다.

AUROC

• ROC Curve의 아래 면적을 나타낸다.
• AUROC의 값은 0~1사이 이며, 1에 가까울수록 모델의 성능이 좋다.
• AUROC의 값이 0.5라면 모델은 random prediction이다.
• 불균형한 데이터셋에서 유용하며, 모델의 전체적인 분류성능을 평가할 수 있다.
• 데이터셋이 매우 불균형 하다면 FPR이 매우 작아지므로, 성능을 과대평가 할 수 있다.

AUPR

• PR Curve의 아래 면적을 나타낸다.
• AUPR의 값은 0~1사이 이며, 1에 가까울수록 모델의 성능이 좋다.
• AUPR의 값이 높을수록 모델이 Positive class를 잘 예측하고 있다는 의미이다.
• Positive class가 중요한 경우 의미있는 평가지표가 될 수 있다.