information geometry2 Deep learning 심화 : information geometry for deep learning (4) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 지수족 (Exponential family)에 대해서 알아보도록 하자. 앞선 글에서 이야기하였듯이 우리들이 알고있는 대다수의 분포들은 지수족에 포함된다. 지수족은 다음과 같이 분포함수가 표현되는 확률분포들의 족 (family)를 의미한다. $q_{\lambda}(\theta) = \exp ( \langle \lambda, T(\theta) \rangle - A(\lambda))$ 여기서 $\lambda$는 natural parameter, $T(\theta)$는 sufficient statistics (충분 통계량), $A(\lambda)$는 log-partition function (=cumulant .. 2023. 10. 28. Deep learning 심화 : Information geometry for deep learning 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 먼저 'Manifold'에 대해서 알아보자. $n$-dimension의 Manifold란 '점의 집합'이다. 하지만 그냥 단순히 점의 집합이 아니라, 각각의 점들이 그 이웃과 $n$-dimensional Euclidean space를 형성하는 점들의 집합이다. 즉, 국소적으로는 (locally) Euclidean space와 매우 닮아있는 topological space이지만 전역적으로는 (globally) 전혀 다른 형태의 topology이다. 이를 (locally) homeomorphism이라고 한다. Manifold는 "locally equivalent to an $n$-dimensional Euclide.. 2023. 10. 10. 이전 1 다음