Variational Autoencoder(VAE)와 같은 확률적 생성 모델에서 발생하는 문제로, 잠재 변수(latent variables)의 후방 분포(posterior distribution)가 사전 분포(prior distribution)로 '붕괴'되는 현상.잠재 변수들이 데이터의 중요한 정보를 전달하지 못하고, 모델은 단순히 오토인코더처럼 작동하여 잠재공간의 의미가 사라진다.원인KL 발산 : VAE는 reconstruction loss와 Kullback-Leibler(KL) 발산으로 구성된 손실 함수를 최소화 한다. KL 발산이 지나치게 크면 모델이 잠재 변수의 분포를 사전 분포에 맞추려는 경향이 강해진다.디코더 : 잠재 변수에 의존하지 않고도 데이터를 재구성할 수 있어 잠재 변수의 역할이 감소한..

Ref : NICE, RealNVPGeneral coupling layer$x \in \mathcal{X}$, $I_{1}, I_{2}$은 $[1, D]$의 분할로 $d=\vert I_{1} \vert$이고, $m$은 $\mathbb{R}^{d}$에서 정의된 함수이다.$$\begin{align}y_{I_{1}}&=x_{I_{1}}\\y_{I_{2}}&=g(x_{I_{2}};m(x_{I_{1}}))\end{align}$$$g:\mathbb{R}^{D-d}\times m(\mathbb{R}^{d})\rightarrow \mathbb{R}^{D-d}$ : coupling 법칙이며, 첫번째 인수에 대해 두번째 인수를 고려한 상태에서 역함수가 존재하는 변환$I_{1}=[1,d], I_{2}=[d, D]$를 고려한..

Softmax functionSoftmax 함수는 아래와 같이 정의된다.$$p_i = \frac{\exp(z_i)}{\sum_{j=1}^{n} \exp(z_j)}$$$p_i$ : class $i$에 대한 Softmax output$z_i$ : class $i$에 대한 logit$n$ : class의 총 개수Softmax function derivative1. $i = k$인 경우이때, $z_i = z_k$이다.$$\frac{\partial p_k}{\partial z_k} = \frac{\partial}{\partial z_k} \left( \frac{\exp(z_k)}{\sum_{j=1}^{n} \exp(z_j)} \right)$$곱의 미분 규칙과 합성 함수의 미분을 사용하여, $$\frac{\part..

Norm크기의 일반화로 벡터의 크기를 측정하는 방법이다.두 벡터사이의 거리를 측정하는 방법이기도 하다.$\mathbf{x} = [x_{1}, x_{2}, \dots, x_{n}]$ 에 대한 p-norm은 아래의 수식으로 정의된다.$$\Vert\mathbf{x}\Vert_{p}:=\left(\sum_{i=1}^{n}|x_{i}|^{p}\right)^\frac{1}{p}$$$p$는 norm의 종류를 결정하는 파라미터, $p$의 값에 따라 다른 norm을 정의하게 된다.L1-Norm$$\Vert\mathbf{x}\Vert_{1}:=\left(\sum_{i=1}^{n}|x_{i}|\right)$$vector의 각 성분에 대한 절대값의 합이다.Manhattan Norm, Taxicab Norm이라고도 한다.$$\..

Assumptionpositive case : $x$negative case : $1-x$classifier가 positive class를 $\rho$ 의 확률로 할당하고, negative class를 $1-\rho$의 확률로 할당한다.Confusion Matrixconfusion matrix는 다음과 같은 비율로 만들어진다.$TP = \rho x$$FP = \rho(1-x)$$FN = (1-\rho)x$$TN = (1-\rho)(1-x)$TPR(True Positive Rate)와 FPR(False Positive Rate)를 계산하였다.$$\begin{align}& TPR = \frac{TP}{TP+FN} = \frac{\rho x}{\rho x + (1-\rho)x}=\rho \\& FPR = \f..

Cross Entropy Loss$$Loss = - \sum_{i=1}^{N}y_{i}\mathrm{log}(p_i)$$$y_{i}$는 실제 label이고, $p_i$는 예측된 확률이다. 이때 $p_i$는 softmax함수를 통해 얻어진다.$$p_{i}= \frac{\mathrm{exp}(z_i)}{\sum_{j=1}^{N}\mathrm{exp}(z_j)}$$$z_i$는 class $i$ 에 대한 logit 값이다.Gradient of Cross Entropy Loss참고$$\begin{align}& \frac{\partial Loss}{\partial p_i} = - \frac{y_i}{p_i}\\& \frac{\partial p_i}{\partial z_j} =\begin{cases}p_i (1 - ..

모델 평가 지표로 자주 사용되는 Precision, Recall, TPR, FPR, AUROC, AUPR 등에 대한 정리입니다.Confusion MatrixConfusion matrix는 분류모델의 성능을 평가하기 위해 사용하는 도구이다.TP(True Positive) : 실제 True를 True로 예측FP(False Positive) : 실제 False를 True로 예측FN(False Negative) : 실제 True를 False로 예측TN(True Negative) : 실제 False를 False로 예측MetricPrecision모델이 Positive라고 예측했을 때 실제 Positive인 비율$$Precision = \frac{TP}{TP + FP}$$Recall실제 Positive 중에 모델이 ..

AI(Artificial Intelligence)인간의 사공방식을 흉내내는 것(딥러닝의 핵심)$AI \supset ML \supset DL$AI : 규칙기반 알고리즘ML : 결정트리, 선형회귀, 퍼셉트론, SVMDL : CNN, RNN, GAN 등CNN(Convolutional Neural Network)이미지도 숫자.(행렬)컬러이미지 = 3차원 행렬이미지개수 x channel x row x col (채널, 행, 열)RNN(Recurrent Neural Network)GAN(Generative Adversarial Network)G(Generator), D(Discriminator) Network가 있다.G는 도둑, D는 경찰G는 D가 진짜라고 생각하게 끔 이미지를 만들어야한다.D가 먼저 학습이 된다.G..