Gradient descent4 Gradient descent 3. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 지난 번 글에서 우리는 gradient descent를 continuous-time approximation algorithm으로 바라보았다.그리고 다음과 같은 형태의 미분방정식을 보이면서 글을 마무리했다. $\dot{X}(t) = - \nabla f(X(t))$ 여기서 시간을 나타내는 $t$는 양의 실수이다. 즉, $t \in \mathbb{R}_{+}$이다.자 그러면 위 식이 나타내는 의미는 무엇일까? 우선, 위 방정식은 기본적으로 (continuous) flow를 나타낸다.좌변은 시간에 대한 $X(t)$의 미분을 나타내므로 속도를 나타낸다.속도는 기본적으로 방향과 크기를 갖고 있는 벡터이고, 위 식에서는 .. 2024. 4. 28. Gradient descent 2. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부턴 다음과 같은 관점에 대해 이야기해볼 것이다. "gradient descent"를 continuous-time approximation을 하는 것. 즉, continuous-time (gradient) flow의 dynamical system으로 보는 것. 사실 우리가 discrete-time algorithm인 Gradient descent를 continuous-time으로 바꿔서 보는 것도 결국 이를 위함이다.. gradient flow란 vector field의 일종인 gradient field에서 하나의 점이 시간의 흐름에 따라 어떻게 연속적으로 이동하는지를 나타낸다. 그때 이동하는 방향은 함수 .. 2024. 4. 3. Gradient descent 1. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Gradient descent에 대한 다른 관점에서의 분석을 살펴보고자 한다. 우선, 아래 링크의 글과 그 뒤에 이어지는 내용들에 대해서는 충분히 알고 있다고 전제할 것이며, (벡터) 미적분학에서의 내용들은 필요한 만큼만 언급하겠다. 자세한 내용이 궁금하면 (벡터) 미적분학 책을 참고하기 바란다. https://kyteris0624.tistory.com/20 Deep dive into optimization: Gradient descent (1) "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization.. 2024. 4. 2. Deep dive into optimization: Gradient descent - Updated "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization)에 대한 이야기가 시작된다. 그 첫 번째 주제는 현재 딥러닝 학습 기법의 가장 기본이 되는 경사하강법 (Gradient descent)이다.우선 경사하강법이 무엇인지 이야기하기 전에 이것이 왜 현재 딥러닝의 학습 기법의 base가 되었는지부터 이야기해보자. 지난 글에서 'convex'에 대해 설명하면서 convex function의 중요한 성질은 'local minima가 곧 global minima이다.'라고 하였다.하지만, 딥러닝에서 학습이란 곧 손실함수에 대한 최적화를 의미하고, 이때 최적화가 이루어지는 손실 함수 (loss function.. 2023. 3. 16. 이전 1 다음
