Deep dive into Optimization40 Gradient descent 3. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 지난 번 글에서 우리는 gradient descent를 continuous-time approximation algorithm으로 바라보았다.그리고 다음과 같은 형태의 미분방정식을 보이면서 글을 마무리했다. $\dot{X}(t) = - \nabla f(X(t))$ 여기서 시간을 나타내는 $t$는 양의 실수이다. 즉, $t \in \mathbb{R}_{+}$이다.자 그러면 위 식이 나타내는 의미는 무엇일까? 우선, 위 방정식은 기본적으로 (continuous) flow를 나타낸다.좌변은 시간에 대한 $X(t)$의 미분을 나타내므로 속도를 나타낸다.속도는 기본적으로 방향과 크기를 갖고 있는 벡터이고, 위 식에서는 .. 2024. 4. 28. Gradient descent 2. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부턴 다음과 같은 관점에 대해 이야기해볼 것이다. "gradient descent"를 continuous-time approximation을 하는 것. 즉, continuous-time (gradient) flow의 dynamical system으로 보는 것. 사실 우리가 discrete-time algorithm인 Gradient descent를 continuous-time으로 바꿔서 보는 것도 결국 이를 위함이다.. gradient flow란 vector field의 일종인 gradient field에서 하나의 점이 시간의 흐름에 따라 어떻게 연속적으로 이동하는지를 나타낸다. 그때 이동하는 방향은 함수 .. 2024. 4. 3. Gradient descent 1. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Gradient descent에 대한 다른 관점에서의 분석을 살펴보고자 한다. 우선, 아래 링크의 글과 그 뒤에 이어지는 내용들에 대해서는 충분히 알고 있다고 전제할 것이며, (벡터) 미적분학에서의 내용들은 필요한 만큼만 언급하겠다. 자세한 내용이 궁금하면 (벡터) 미적분학 책을 참고하기 바란다. https://kyteris0624.tistory.com/20 Deep dive into optimization: Gradient descent (1) "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization.. 2024. 4. 2. Optimization 심화 : Random process (4, Stochastic process) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 앞으로 Random process에서 가장 중요하고 유명한 두 개념인 'Martingale process'와 'Markov process'를 다루고자 한다. 오늘은 기본적인 정의와 개념에 대해서 살펴보도록 하자. 같은 Probability space $(\Omega, \mathcal{F}, \mathbb{P})$와 Borel $\sigma$-algebra를 장착한 Topological space $(S, \mathcal{B})$ 에서 정의된 Random variable들의 집합 Stochastic process $\{X_t : t \in T \}$를 고려해보자. 이때 Index set인 $T$가 discrete.. 2023. 12. 31. Optimization 심화 : Random process (3, Stochastic process) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 수리통계학적인 개념들에 대해 복습하고자 한다. 이는 앞으로 다양한 Random process에 대해 다뤄보는 데 있어 기본적인 밑바탕이 될 것이다. 수리통계학을 충분히 학습한 사람은 이 내용이 크게 어렵지 않으리라 생각한다. 먼저 확률수렴에 대한 정의이다. Random variable sequence $\{X_n\}$이 모든 $\epsilon > 0$에 대해 다음과 같으면 $X$에 'converge in probability'라 한다. $\lim_{n \rightarrow \infty} \mathbb{P}[|X_n - X| \ge \epsilon] = 0$ 다음은 'weak version' 의 Law o.. 2023. 12. 23. 이전 1 2 3 4 ··· 8 다음