Deep dive into Deep learning30 Optimization 심화 : Random process (5, Stochastic process) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Random process에서 매우 중요한 개념 중 하나인 'stopping time' 특히 Optinal stopping theorem에 대해 이야기학자 한다. Ranom process $(X_n)$이 supermartingale이고 filtration $(\mathcal{F}_n)$-measurable 하다고 하자. 그러면 우리는 다음과 같은 결과를 얻을 수 있다. (Induction을 사용하면 된다) $\mathbb{E}(X_n) = \mathbb{E}(\mathbb{E}(X_n|\mathcal{F}_{n-1})) \le \mathbb{E}(X_{n-1}) \le \cdots \le \mathbb{.. 2024. 1. 7. Deep learning 심화 : information geometry for deep learning (4) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 지수족 (Exponential family)에 대해서 알아보도록 하자. 앞선 글에서 이야기하였듯이 우리들이 알고있는 대다수의 분포들은 지수족에 포함된다. 지수족은 다음과 같이 분포함수가 표현되는 확률분포들의 족 (family)를 의미한다. $q_{\lambda}(\theta) = \exp ( \langle \lambda, T(\theta) \rangle - A(\lambda))$ 여기서 $\lambda$는 natural parameter, $T(\theta)$는 sufficient statistics (충분 통계량), $A(\lambda)$는 log-partition function (=cumulant .. 2023. 10. 28. Deep learning 심화 : Information geometry for deep learning (3) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. Manifold $M$의 두 점 $P$, $Q$를 생각해보자. 그리고 각각의 좌표는 $\xi_p$, $\xi_q$라고 하자. $P$와 $Q$의 Divergence는 $\xi_p$와 $\xi_q$의 함수로 볼 수 있는데 특정한 조건을 만족하는 함수여야 한다. 즉, Divergence는 다음과 같이 정의할 수 있다. $D[P:Q]$는 다음의 조건을 만족할 때 divergence라고 한다 1. $D[P:Q] \ge 0$. 2. $D[P:Q] = 0$ $i.f.f.$ $P=Q$. 3. $P$와 $Q$가 충분히 가까울 때, 즉, $\xi_q$가 $\xi_p + d \xi$로 정의될 때, Talyor expansion은 .. 2023. 10. 18. Deep learning 심화 : Information geometry for deep learning 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 먼저 'Manifold'에 대해서 알아보자. $n$-dimension의 Manifold란 '점의 집합'이다. 하지만 그냥 단순히 점의 집합이 아니라, 각각의 점들이 그 이웃과 $n$-dimensional Euclidean space를 형성하는 점들의 집합이다. 즉, 국소적으로는 (locally) Euclidean space와 매우 닮아있는 topological space이지만 전역적으로는 (globally) 전혀 다른 형태의 topology이다. 이를 (locally) homeomorphism이라고 한다. Manifold는 "locally equivalent to an $n$-dimensional Euclide.. 2023. 10. 10. Deep learning (심화) : Information geometry for Deep Learning 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 현대 딥러닝의 시작으로 알려져 있는 모델인 'Perceptron'은 가장 단순한 선형 분류기이다. 퍼셉트론은 선형 연산만으로 이루어진 모델이기 때문에 선형 분류만이 가능하였다. 이는 XOR 문제를 해결할 수 없는 치명적인 한계가 있었고, 결국 AI winter를 불러왔다. Lienar separator를 Non-linear separator로 확장시키기 위해 Support Vector Machine (SVM)이 취한 방법은 data space (Input space)를 Feature space로 mapping할 때 비선형변환 Feature map $\Phi()$를 사용하는 것이었다. 이는 현재 Kernel ma.. 2023. 10. 5. 이전 1 2 3 4 ··· 6 다음
