non-convex optimization2 Optimization 심화 : SGD (3) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 다음과 같은 Finite sum 꼴의 optimization problem을 정의하자. $\min f(x) := \sum_{i=1}^n f_i(x)$ 여기서 $i$는 data index를 의미한다. 먼저 L-smooth의 descent lemma에서 시작하자. 함수 $f$가 L-smooth함은 다음을 의미한다. $\lVert \nabla f(x) - \nabla f(y) \rVert \le L \lVert x - y \rVert$ 모든 $x, y$에 대해서 $f$의 Gradient가 L-Lipshitz continuous할 때 우리는 함수 $f$가 L-smooth하다고 한다. 그리고 함수 $f$가 2번 미분 가.. 2023. 8. 26. Optimization 심화 1 : SGD (1) 모바일 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부터는 Optimization에 대한 조금 더 깊이 있게 들어가보고자 한다. 그 첫 번째 주제로 SGD를 선택하였다. SGD에 대한 기본적인 내용의 글은 다음의 링크들을 참고하면 된다. https://kyteris0624.tistory.com/22 Deep dive into optimization : Gradient descent (2) "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹으로 봐주시길 바랍니다." 지난 포스팅에서는 Gradient descent 알고리즘이 어떻게 나오게 되었는지를 설명하였다. $t+1$번째 iteration (step)에 kyteris0624.tistory.com htt.. 2023. 8. 14. 이전 1 다음