[Paper Review] A Baseline for Detecting Misclassified and Out-of-distribution Examples in Neural Networks

논문 링크 : MSP

OOD Detection의 Baseline을 알려주는 논문입니다.
이 논문은 실제 application에서 AI를 안전하고 효과적으로 배포하기 위해 OOD detection의 중요성을 강조한다.

What

• Neural Network에서 잘못분류된 예제와 out-of-distribution 예제를 탐지하는 두가지 task에 대해 다룬다.
• 이러한 문제들은 AI의 안전성과 신뢰성을 향상시키는데 매우 중요하다.

Why

• 잘못된 예측을 하는데 높은 신뢰도를 가진 classifier는 의료 진단이나 자율주행과 같은 application에서 매우 위험하다.
• 모델이 언제 오류를 범하는지, 익숙하지 않은 데이터를 접할 때를 아는 것은 AI 시스템에 대한 신뢰를 높인다.

How

• softmax prediction probability를 이용하여 간단한 baseline을 제시하였다.
  • 올바르게 분류된 예제는 잘못 분류된 예제나 OOD 예제보다 더 높은 softmax prediction probability를 가지는 경향이 있다.
• Computer Vision, Natural Language Processing, Speech Recognition 을 통해 평가를 하였다.
  • AUROC, AUPR을 활용하여 detection performance를 평가하였다.
• Auxiliary Decoder를 활용하여 input을 reconstruct하는 모델을 소개하였다.
  • 이는 detection performance를 향상시켰다.

1. Introduction

• classifier가 real-world task를 분류할 때 training과 test 분포가 달라서 실패하는 경우가 있다.
• 더 심각한 것은 부정확한 예측을 high-confidence를 가지고 실패하는 것이다.
• AI Safety의 큰 관심은 모델에 오류가 있는 시점을 추정하는 것이다.
• softmax probability는 빠르게 증가하는 지수함수로 계산되기 때문에 높은 신뢰도의 예측이 자주 생성된다.
• 실험을 통해 softmax distribution의 prediction probability는 신뢰도와 직접적인 관계가 약하다.
• 이 연구에서는 incorrect와 out-of-distribution 예제가 correct 예제들 보다 낮은 예측확률의 경향이있다는 것을 보인다.
• 그러므로 예측확률 통계를 캡처하는 것만으로도 예제의 error또는 비정상의 여부를 감지하기에 종종 충분하지만, 예측확률만 따로보면 오해의 소지가 있다.
• 간단히 말해, softmax classifier probability는 신뢰도 추정에 직접적으로 유용하지 않지만, 모델 신뢰도 추정은 이전에 생각했던 것만큼 암울하지 않다. softmax distribution에서 도출된 간단한 통계는 예제가 잘못 분류되었는지 또는 학습 데이터의 분포와 다른 분포에서 왔는지를 결정하는 데 놀라울 정도로 효과적인 방법을 제공한다.

2. Problem Formulation and Evaluation

1. error and success prediction
   1. trained classifier가 특정 hold-out test example에서 오류를 범할지 여부
   2. 특정 hold-out test example을 잘 분류하는 지
2. in- and out-of-distribution
   1. test example가 training data와 다른 분포인지? 동일한 분포인지?

• Detector는 positive / negative score 둘 다 출력한다.
• negative class가 positive class보다 더 많을 경우 모델은 항상 negative를 예측하여 높은 accuracy를 얻는다. 따라서 positive class가 올바르게 분류되도록 score threshold를 지정 해야 하지만, fn과 fp 균형에 따라 달라지게 된다.
• 이러한 문제를 해결하기 위해 AUROC를 평가 방법으로 사용한다.
• AUROC는 positive example이 negative example보다 더 높은 점수를 받을 확률로 해석 될 수 있다.
• Random detector는 50%의 AUROC, perpect detector는 100% AUROC에 해당한다.
• AUROC는 positive class와 negative class의 기본 비율이 크게 다른경우 이상적이지 않기 때문에 때로는 더 정보성이 높은 AUPR(positive class와 negative class의 비율 조정)도 사용한다.
• AUROC와 AUPR을 metric으로 사용한다.
• AUPR은 precision과 대략 동일한 값을 가지며 perfect classifier의 경우 100% AUPR에 해당한다.
• AUPR은 positive class에 큰 영향을 미치므로 detection을 위해 positive class를 구체적으로 해야한다.
• error/abnormal class를 positive class로 간주할 때 score에 -1을 곱하여 labeling한다.
  • $S$ 가 성공적으로 분류된 값이고, $E$ 가 오류로 분류된 값일 때, $\text{AUROC} = P(S > E) = P(-E > -S)$ 이므로 동일하다.

3. Softmax Prediction Probability as a Baseline

• softmax distribution에서 max/predicted class probability를 가져와 예제가 잘못 분류되었는지 Out-of-distribution인지를 감지한다.
• test set 예제를 잘 분류된 예제와 잘못 분류된 예제를 구분하고, 각 예제에 대해 max softmax probability를 계산한다.
• 두 그룹에서 PR과 ROC curve 아래 영역을 구한다. 이는 성능을 요약한 것이다.
• "Success" or "Succ" 는 잘 분류된 예제를 positive class로, "Error" or "Err"은 잘못 분류된 예제를 positive class로 간주한다.
• 잘못 분류된 예제를 positive class로 라벨링하고, softmax probability값의 부호를 반대로 하여 사용한다.
• "In"에서는 in-distribution, 잘 분류된 예제를 positive class로, "Out"에서는 out-of-distribution, 잘못 분류된 예제를 positive class로 간주하여 softmax probability값의 부호를 반대로 하여 사용한다.
• "Base" 는 random detector의 면적 값이다.
  • random detector : 무작위로 예제를 분류할 경우 나타나는 성능(AUROC 50%), 탐지 성능이 완전 무작위적인 경우 (참고) 
• 잘못 분류된 예제의 평균 예측 class 확률 "Pred Prob Wrong(mean)"으로 softmax prediction probability가 단독으로 볼 때 잘못된 신뢰도 임을 보여준다.
• "Pred. Prob(mean)"은 out-of-distribution에서의 동일한 단점을 보여준다.

Computer Vision

• Dataset
  • MNIST : 0~9까지의 손글씨, 60000 train data, 10000 test data
  • CIFAR-10 : colored image, 10 classes, 50000 train data, 10000 test data
  • CIFAR-100 : colored image, 100 classes, 50000 train data, 10000 test data

Succ vs Err

• Table1에서 잘 분류된 예제와 잘못 분류된 예제가 충분히 구별 가능하여 신뢰할 수 있는 차별이 가능하다.
• test error가 증가함에 따라 curve아래 면적이 감소한다.

In vs Out

• softmax distribution을 사용해서 예제가 in인지 out인지 결정하였다.
• 모든 test set example을 in-distribution(positive)로 사용하였다.
• out-of-distribution example로는 실제 이미지 or noise를 사용하였다.
• CIFAR-10, CIFAR-100의 경우는 out-of-distribution(negative)으로 Scene UNderstanding dataset(SUN) 397개의 다른 장면으로 구성된 dataset에서 가져왔다.
• MNIST는 out-of-distribution(negative)로 Omniglot, notMNIST, CIFAR-10bw와 Gaussian, Uniform 노이즈를 합성한 데이터를 사용하였다.

• 평균 예측/최대 class probability(Pred. Prob(mean))가 75%이상인 것을 보면, Pred. Prob를 confidence로 해석될 경우에 CIFAR-100에서의 softmax distribution이 더 균등해야한다. 이는 softmax probability가 confidence의 직접적인 표현으로 보이면 안된다는 것 다시 보여준다.

Natural Language Processing

Sentiment Classification

• Dataset : IMDB, positive/negative movie review, 25000 train data, 25000 test data

• softmax distribution은 correctly와 incorrectly 분류 예제간의 차이가 있어, prediction probability를 통해 예제가 올바른지 잘못된지를 신뢰성있게 감지할 수 있다.

• Custom review와 Movie review dataset을 사용하여 out-of-distribution으로 사용하였다.
• Table 2와 유사한 결과를 보여준다.

4. Abnormality Detection with Auxiliary Decoders

1. normal classifier 학습한 후 score를 출력, auxiliary decoder(아래쪽 blue layer)를 이용하여 input(in-distribution data)을 reconstruct(blur diamond)
2. the blue layers are Frozen
3. Train red layers on clean(diamond) and noised(blur diamond)
4. sigmoid output을 통해 정상인지 아닌지 판단
5. 결과적으로 noise가 있는 example은 abnormal class(OOD), clean example은 normal class(ID)

MNIST

• abnormal example로 train image에 blur, rotate, Gaussian noise를 추가하였다.

• OOD detection에 대한 향상을 보여준다.
• 매우 다른 예제에 대해서도 abnormality module은 detection을 향상할 수 있다.

5. Conclusion

• 다양한 architecture와 dataset을 통해 error와 out-of-distribution detection을 위한 softmax prediction probability baseline을 입증했다.
• abnormality module을 통해 normal과 abnormal을 구분하는데 우수한 점수를 내었다.
• 이후에 machine learning system의 error와 out-of-distribution detection을 위한 신뢰할 수 있는 방법의 연구 가능성을 제시 하였다.

REF
https://www.cognex.com/ko-kr/blogs/deep-learning/research/anomaly-detection-overview-2-introduction-ood-detection-paper-review