Norm크기의 일반화로 벡터의 크기를 측정하는 방법이다.두 벡터사이의 거리를 측정하는 방법이기도 하다.$\mathbf{x} = [x_{1}, x_{2}, \dots, x_{n}]$ 에 대한 p-norm은 아래의 수식으로 정의된다.$$\Vert\mathbf{x}\Vert_{p}:=\left(\sum_{i=1}^{n}|x_{i}|^{p}\right)^\frac{1}{p}$$$p$는 norm의 종류를 결정하는 파라미터, $p$의 값에 따라 다른 norm을 정의하게 된다.L1-Norm$$\Vert\mathbf{x}\Vert_{1}:=\left(\sum_{i=1}^{n}|x_{i}|\right)$$vector의 각 성분에 대한 절대값의 합이다.Manhattan Norm, Taxicab Norm이라고도 한다.$$\..

논문 링크 : CIDER"HOW TO EXPLOIT HYPERSPHERICAL EMBEDDINGS FOR OUT-OF-DISTRIBUTION DETECTION?" 논문 리뷰 입니다.WhatOOD detection을 위한 CIDER라는 새로운 representation learning framework를 제안한다.CIDER는 hyperspherical embedding을 사용하여 ID(In-distribution)와 OOD(Out-of-distribution) 데이터의 거리를 통해 OOD data를 구분한다.WhyOOD detection은 머신러닝 model이 학습하지 않은 데이터에 대해 신뢰할 수 없는 예측을 방지하기 위해 필수적이다.이 문제를 해결하기 위해 CIDER는 class 간 margin을 크게..

Assumptionpositive case : $x$negative case : $1-x$classifier가 positive class를 $\rho$ 의 확률로 할당하고, negative class를 $1-\rho$의 확률로 할당한다.Confusion Matrixconfusion matrix는 다음과 같은 비율로 만들어진다.$TP = \rho x$$FP = \rho(1-x)$$FN = (1-\rho)x$$TN = (1-\rho)(1-x)$TPR(True Positive Rate)와 FPR(False Positive Rate)를 계산하였다.$$\begin{align}& TPR = \frac{TP}{TP+FN} = \frac{\rho x}{\rho x + (1-\rho)x}=\rho \\& FPR = \f..

Cross Entropy Loss$$Loss = - \sum_{i=1}^{N}y_{i}\mathrm{log}(p_i)$$$y_{i}$는 실제 label이고, $p_i$는 예측된 확률이다. 이때 $p_i$는 softmax함수를 통해 얻어진다.$$p_{i}= \frac{\mathrm{exp}(z_i)}{\sum_{j=1}^{N}\mathrm{exp}(z_j)}$$$z_i$는 class $i$ 에 대한 logit 값이다.Gradient of Cross Entropy Loss참고$$\begin{align}& \frac{\partial Loss}{\partial p_i} = - \frac{y_i}{p_i}\\& \frac{\partial p_i}{\partial z_j} =\begin{cases}p_i (1 - ..

논문 링크 : ODINEnhancing The Reliability of Out-of-distribution Image Detection in Neural Networks 논문 리뷰입니다.WhatNeural Network에서 OOD detection 성능을 향상시키는 방법을 연구한다.ODIN(Out-of-Distribution detector for Neural Networks)이라는 새로운 방법을 제안하여, Pre-trained Network를 수정하지 않고 효과적으로 OOD detection을 할 수 있는 방법을 제시한다.Why현대의 신경망은 train data와 test data가 동일한 분포일 때, 일반화 성능이 뛰어나지만 실제 Application에서는 test data의 분포를 제어할 수 없는..

논문 링크 : MSPOOD Detection의 Baseline을 알려주는 논문입니다.이 논문은 실제 application에서 AI를 안전하고 효과적으로 배포하기 위해 OOD detection의 중요성을 강조한다.WhatNeural Network에서 잘못분류된 예제와 out-of-distribution 예제를 탐지하는 두가지 task에 대해 다룬다.이러한 문제들은 AI의 안전성과 신뢰성을 향상시키는데 매우 중요하다.Why잘못된 예측을 하는데 높은 신뢰도를 가진 classifier는 의료 진단이나 자율주행과 같은 application에서 매우 위험하다.모델이 언제 오류를 범하는지, 익숙하지 않은 데이터를 접할 때를 아는 것은 AI 시스템에 대한 신뢰를 높인다.Howsoftmax prediction proba..

모델 평가 지표로 자주 사용되는 Precision, Recall, TPR, FPR, AUROC, AUPR 등에 대한 정리입니다.Confusion MatrixConfusion matrix는 분류모델의 성능을 평가하기 위해 사용하는 도구이다.TP(True Positive) : 실제 True를 True로 예측FP(False Positive) : 실제 False를 True로 예측FN(False Negative) : 실제 True를 False로 예측TN(True Negative) : 실제 False를 False로 예측MetricPrecision모델이 Positive라고 예측했을 때 실제 Positive인 비율$$Precision = \frac{TP}{TP + FP}$$Recall실제 Positive 중에 모델이 ..

Overleaf에서 LaTex을 이용해 PPT 만들기beamer를 사용하는 예제 코드\documentclass{beamer} % Beamer 클래스 사용\title{Sample Presentation} % 프레젠테이션 제목\author{Your Name} % 저자 이름\date{\today} % 날짜, 현재 날짜를 자동으로 삽입\begin{document} % 문서 시작\frame{\titlepage} % 제목 페이지 슬라이드 생성\begin{frame}\frametitle{Table of Contents} % 목차 슬라이드 제목\tableofcontents % 목차 삽입\end{frame}\section{Introduction} % 'Introduction' 섹션 시작\begin{frame}\frame..

Command + tab = 화면전환Command + shift + 3 = 전체 화면 캡처 , 4 = 부분선택 캡처 , 5 = 창선택 캡처Control + Command + shift + 4 = 부분선택 캡쳐 복사Control + 위에 방향키 = Mission ControlControl + 아래 방향키 = 한 프로그램 여러창 띄웠을때 방향키로 선택 가능 (command + n = 새창 띄우기 shift 추가하면 시크릿모드)Control + Command + F 하면 전체화면 되면서 넘어가는데, Control + 좌우로 이동가능Fn + BackSpace = delete로 사용가능Command 방향키 = 문장 첫번째줄로 키보드커서 옮기기Option 방향키 = 단어별 키보드 커서 옮기기Option + Comm..