최적화6 Deep dive into optimization : Gradient descent - Updated "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹으로 봐주시길 바랍니다." 지난 포스팅에서는 Gradient descent 알고리즘이 어떻게 나오게 되었는지를 설명하였다.$t+1$번째 iteration (step)에서의 파라미터 $w_{t+1}$는 다음과 같이 업데이트가 진행된다.$w_{t+1} = w_t - \eta \nabla f(w_t)$ 이때 $\nabla f(w_t) := \frac{1}{n} \sum_{i=1}^n \nabla f_i(w_t)$이므로, 모든 training data를 활용해서 Loss 값 $f(w_t)$를 계산하고 이를 backpropagation 알고리즘을 통해 $\nabla f(w_t)$를 구하는 것이 gradient descent이다. 하지만 이 방법은 현.. 2023. 3. 20. Deep dive into optimization: Gradient descent - Updated "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization)에 대한 이야기가 시작된다. 그 첫 번째 주제는 현재 딥러닝 학습 기법의 가장 기본이 되는 경사하강법 (Gradient descent)이다.우선 경사하강법이 무엇인지 이야기하기 전에 이것이 왜 현재 딥러닝의 학습 기법의 base가 되었는지부터 이야기해보자. 지난 글에서 'convex'에 대해 설명하면서 convex function의 중요한 성질은 'local minima가 곧 global minima이다.'라고 하였다.하지만, 딥러닝에서 학습이란 곧 손실함수에 대한 최적화를 의미하고, 이때 최적화가 이루어지는 손실 함수 (loss function.. 2023. 3. 16. Deep dive into optimization: Convexity - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 pc 웹 환경에서 읽어주시기 바랍니다." "What is the convex?" 오늘은 최적화 개념 중 매우 중요하면서 가장 기본이 되는 개념인 convexity에 대해 살펴보도록 하겠다.수학적 최적화 연구에서는 알고리즘의 수렴성 분석 (convergence analysis), 수렴 속도 분석 (convergence rate) 등이 매우 중요한 주제이고, 추후 Deep dive into optimization 시리즈에서도 여러 번에 걸쳐 살펴볼 예정인데 그때 손실함수 (Loss function)에 대해 여러 가지의 가정들을 하고 분석이 이뤄진다. 그때 가장 많이 등장하는 가정이 1. Convex 2. Smoothness 3. Stron.. 2023. 3. 11. Deep dive into optimization part 3 - Updated "모바일 앱 환경에서는 latex 수식이 깨져서 나타나므로, 가급적 웹 환경에서 글을 읽어주시기 바랍니다. :)" "What is the cross-entropy loss?" (part 2.) 오늘은 크로스-엔트로피 손실 함수에 대한 두 번째 설명이다.(첫 번째 설명은 위 글을 참조하기 바랍니다. https://kyteris0624.tistory.com/13) Deep dive into optimization part 2. 손실함수와 최적화****모바일 앱 환경에서는 latex 수식이 깨져서 나타나므로, 가급적 웹으로 보시길 추천드립니다. *** "Which loss functions are used in deep learning optimization?" 오늘은 딥러닝 최적화 상황에서 자주 쓰이는kyt.. 2023. 3. 8. Deep dive into optimization part 2. 손실함수와 최적화 (Updated) ****모바일 앱 환경에서는 latex 수식이 깨져서 나타나므로, 가급적 웹으로 보시길 추천드립니다. *** "Which loss functions are used in deep learning optimization?" 오늘은 딥러닝 최적화 상황에서 자주 쓰이는 목적 함수, 즉 손실 함수에는 무엇이 있는지 그리고 그 함수들의 성질에 대해 이야기해보고자 한다. 먼저, 딥러닝에서의 최적화 문제 종류는 크게 두 가지, Stochastic optimization problem과 Finite-sum minimization (or Empirical Risk Minimization)이 있다. Stochastic optimization problem은 다음과 같이 정의된다. $\min_x [f(x) = \mathbb.. 2023. 3. 6. 이전 1 2 다음
