Posterior collapse

Variational Autoencoder(VAE)와 같은 확률적 생성 모델에서 발생하는 문제로, 잠재 변수(latent variables)의 후방 분포(posterior distribution)가 사전 분포(prior distribution)로 '붕괴'되는 현상.

잠재 변수들이 데이터의 중요한 정보를 전달하지 못하고, 모델은 단순히 오토인코더처럼 작동하여 잠재공간의 의미가 사라진다.

원인

1. KL 발산 : VAE는 reconstruction loss와 Kullback-Leibler(KL) 발산으로 구성된 손실 함수를 최소화 한다. KL 발산이 지나치게 크면 모델이 잠재 변수의 분포를 사전 분포에 맞추려는 경향이 강해진다.
2. 디코더 : 잠재 변수에 의존하지 않고도 데이터를 재구성할 수 있어 잠재 변수의 역할이 감소한다.

해결방법

1. KL Annealing, VQ-VAE 등을 활용할 수 있다.