논문 링크 : LMDUnsupervised Out-of-Distribution Detection with Diffusion Inpainting 논문 리뷰입니다.IntroductionOut-of-distribution(OOD) Detection은 주어진 data가 특정 도메인에 속하는지 여부를 판별하는 작업이다.머신러닝 모델은 test 시점의 sample들이 train data와 동일한 분포에서 생성되었다고 가정한다. 하지만, test data가 train distribution을 따르지 않는다면 모델은 의미없는 결과를 산출할 수 있다. 특히 의료 분야나 형사사법 시스템처럼 결과가 중대한 영향을 미치는 분야에서 머신러닝 모델의 사용이 증하면서 OOD detection의 중요성은 더욱 강조되고 있다.예를 들..

논문 링크 : ATDYour Out-of-Distribution DetectionMethod is Not Robust! 논문 리뷰입니다.IntroductionNeural Network의 발전은 Object detection, image classification과 같은 실제 응용 분야에서 광범위한 활용을 이끌어 냈다. 이런 모델을은 높은 일반화 능력을 가지고 있어서, train data에 속하지 않는 sample에 대해서도 임의로 높은 확률을 할당하는 경우가 있다. 이러한 현상은 의료 진단이나 자율주행과 같이 이상 데이터를 다르게 처리해야 하는 안전이 중요한 분야에서 문제를 일으킨다. 본 논문에서는 OOD(Out-of-distribution)를 식별하는 문제를 해결하기 위한 다양한 모델들이 input d..

논문 링크 : WeiPerWeiPer: OOD Detection using Weight Perturbations of Class Projections 논문 리뷰입니다.IntroductionOOD detection은 machine learning 연구분야에서 핵심 영역으로 자리잡고 있다. 이는 학습 분포와 크게 다른 입력을 식별하여, 딥러닝 모델이 한 번도 본적 없는 데이터에 대해 과도한 자신감을 갖고 잘못 예측하는 문제를 방지한다. "자율주행, 의료진단" 등 실제 시스템은 학습에 없던 데이터를 계속 마주하기 때문에, OOD detection없이는 위험이 커지게 된다.본 논문에서는 WeiPer라는 방법을 소개한다. 이는 어떤 pre-trained 모델, 어떤 training loss function에도 적..

논문링크 : PALMLearning with Mixture of Prototypes for Out-of-Distribution Detection 논문 리뷰입니다.Introduction딥러닝은 자율주행, 의료진단, 사이버보안과 같은 real-world application에서 중요한 역할을 한다. 현실적인 open-world 시나리오에 in-distribution(ID)로 알려진 closed 가정을 따르는 데이터셋으로 학습된 Neural Network는 학습 분포에서 벗어난 out-of-distribution(OOD) 데이터를 직면했을 때 성능 저하를 겪는 경향이 있다. 신뢰할 수 있는 학습 시스템은 모든 입력을 단순히 ID로 가정하기 보다 OOD 샘플을 인지할 수 있어야한다.수년간 OOD와 ID inpu..

논문 링크 : GENGEN: Pushing the Limits of Softmax-Based Out-of-Distribution Detection (CVPR 2023)논문 리뷰입니다.Introduction딥러닝 방법을 실제 상황에서 더 안전하게 사용하려면, 테스트 시 ID Sample인지 아니면 이전에 본 적 없는 OOD Sample인지 구별하는 것이 중요하다. 따라서 deep neural network는 자신이 모르는 것을 인지할 수 있어야 한다.그러나 Network는 OOD Sample에 대해서도 overconfident하는 예측을 내놓는 경향이 있다. OOD Sample을 탐지하는 다양한 시나리오가 존재하는데 특히 본 논문에서는 Semantic Shift 시나리오에 초점을 맞추어 training s..

Memorization Through the Lens of Curvature of Loss Function Around Samples (ICML 2024)논문 리뷰 입니다.Introduction딥러닝은 여러 분야에서 큰 성공을 거두었고, 데이터와 컴퓨팅 자원의 가용성이 증가함에 따라 수십억 개의 파라미터를 가진 대규모 모델로 성장하고 있다. 이러한 overparameterization은 overfitting문제로 이어진다.overfitting의 극단적인 사례로 신경망이 완전히 무작위로 라벨이 지정된 데이터셋 조차 암기를 할 수 있다는 것이 입증되었다. 또한, 잘못된 예측을 할 때 overconfidence를 보이며 mislabeled data나 long-tail outliers를 포함한 샘플들도 암기하는..

논문 링크 : ASHExtremely Simple Activation Shaping for Out-of-Distribution Detection 논문 리뷰입니다.Introduction머신 러닝은 반복을 통해 작동한다. 더 나은 학습 기술을 개발하고, 모델을 학습 시킨 후 배포 과정에서 발생하는 문제, 한계 등을 관찰하여 학습과정을 수정하거나 개선한다. 그러나 large model의 시대에 들어오면서, 확장(scaling) 발전에 크게 영향을 받고 있다. 그 결과, train-deployment loop를 여러번 하기 어려워지고 있어서 post-hoc 기법이 더 선호되고 있다. 특징 후 처리(feature post processing)와 같은 방법은 사후 작업을 활용하여 사전학습된 일반적이고, 유연한 모델..

논문 링크 : GlowGlow: Generative Flow with Invertible 1×1 Convolutions 논문 리뷰입니다.Introduction기계학습 분야에서 해결되지 않은 두 가지 주요 문제가 있다.data efficiency : 인간처럼 적은 데이터로부터 학습할 수 있는 능력generalization : task나 context가 변경되었을 때의 강건함AI system은 종종 학습데이터 분포와 다른 input이 주어지면 전혀 작동하지 않는 경우가 있는데, 생성 모델은 이러한 한계를 극복할 가능성을 가지고 있다.현실적인 세계 모델을 학습하여 에이전트가 실제 세계와 상호작용하기 전에 계획을 세울수 있다.Input의 유의미한 특징을 거의 또는 전혀 인간의 supervision이나 label..

논문 링크 : Residual FlowDeep Residual Flow for Out of Distribution Detection 논문 리뷰입니다.IntroductionDeep Neural Network는 컴퓨터 비전, 음성 및 오디오 인식, 언어 처리와 같은 다양한 작업에서 높은 성능을 달성하는 강력한 모델이다. 그러나 DNN은 익숙하지 않은 분포로부터의 input을 만났을 때 , 예측할 수 없는 행동을 하는 경향이 있다. 이러한 경우 OOD input은 대다수의 모델이 잘못된 예측을 하게 하며, 종종 높은 확신을 가지고 잘못 예측한다.분류 불확실성을 예측하기 위한 현대 연구는 학습된 Network의 feature space에 기반한 confidence score를 구성하는 접근 방식을 채택한다. s..