sgd6 Deep dive into optimization: Gradient descent - Updated "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization)에 대한 이야기가 시작된다. 그 첫 번째 주제는 현재 딥러닝 학습 기법의 가장 기본이 되는 경사하강법 (Gradient descent)이다.우선 경사하강법이 무엇인지 이야기하기 전에 이것이 왜 현재 딥러닝의 학습 기법의 base가 되었는지부터 이야기해보자. 지난 글에서 'convex'에 대해 설명하면서 convex function의 중요한 성질은 'local minima가 곧 global minima이다.'라고 하였다.하지만, 딥러닝에서 학습이란 곧 손실함수에 대한 최적화를 의미하고, 이때 최적화가 이루어지는 손실 함수 (loss function.. 2023. 3. 16. 이전 1 2 다음
