Spherical Gaussian Distribution and vMF distribution

Spherical Gaussian Distribution와 vMF Distribution의 관계

 

Spherical Gaussian 분포에서 Unit Norm 가정

• Spherical Gaussian 분포에서 데이터 $x$가 unit norm을 가진다고 가정하면, 이는 $x$가 고차원 구면의 표면에 위치한다는 것을 의미한다. 즉, 모든 $x$는 고정된 반지름을 가지며, 이 경우 Spherical Gaussian 분포는 더 이상 유클리드 공간 전체에서 정의되지 않고, 구(Sphere)상에서 정의된 분포로 간주할 수 있다.
• 이때, Spherical Gaussian의 확률 밀도 함수는 다음과 같은 형태이다.

$$\begin{align} f(x) &\propto \exp\left(-\frac{1}{2\sigma^2} \Vert x - \mu\Vert^2\right) \\ f(x) &\propto \exp\left(-\frac{1}{2\sigma^2} (\Vert x\Vert^2 + \Vert \mu\Vert ^2 - 2x^\top \mu)\right) \end{align}$$

• $\sigma^2$ : 공분산 행렬의 분산

$x$는 Unit norm이기 때문에 $\Vert x\Vert = 1$이므로,
$$f(x) \propto \exp\left(-\frac{1}{2\sigma^2} (1 + \Vert \mu\Vert ^2 - 2x^\top \mu)\right)$$
상수 항을 무시하면, 아래의 수식과 같이 나타낼 수 있다.
$$f(x) \propto \exp\left(\frac{x^\top \mu}{\sigma^2}\right)$$

vMF 분포와의 비교

• vMF 분포의 확률 밀도 함수

$$f(x; \mu, \kappa) = C_d(\kappa) \exp(\kappa \mu^\top x)$$

이 식에서

• $\kappa$ : 집중도 파라미터
• $\mu$ : 평균 방향

위의 Spherical Gaussian 분포에서 unit norm 가정 하에 얻어진 결과와 비교해보면, $\kappa = \frac{1}{\sigma^2}$로 볼 수 있다. 즉, Spherical Gaussian 분포에서 데이터가 고정된 norm을 가지는 경우, 그 분포는 vMF 분포와 매우 유사해지며, Spherical Gaussian의 분산 파라미터 $\sigma^2$가 vMF 분포의 집중도 파라미터 $\kappa$와 대응된다고 볼 수 있다.

결론

• Spherical Gaussian 분포에서 $x$가 unit norm을 가진다면, 이 분포는 vMF 분포와 형태적으로 매우 유사해진다.
• 특히, vMF 분포의 집중도 파라미터 $\kappa$는 Spherical Gaussian 분포의 분산 파라미터 $\sigma^2$의 역수로 나타낼 수 있다.
• 따라서, Spherical Gaussian 분포가 unit norm을 가지는 데이터에 적용될 때, 이 분포는 사실상 구면상에서 정의된 vMF 분포와 동일한 형태를 가지게 된다.