convergence3 Optimization 심화: Iterative Complexity 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 지난 번 글에서는 convergence type 3가지를 소개하였다. 첫 번째는 in-Expectation bound, 두 번째는 with a probability bound, 세 번째는 Almost sure bound이다. 각각 의미가 있지만, 이들 사이에는 중요한 차이점이 존재한다. with a probability bound는 구체적으로 low probability와 high probability로 나뉘어져 있고, in-Expectation bound는 concentration inequality (e.g. Markov inequality) 를 사용하면 low probability bound로 쉽게 바꿀 .. 2023. 11. 13. Optimization 심화: SGD (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 stochastic gradient의 noise에 대한 개념에 대해 살펴보고자 한다. 먼저 $f(x)$가 L-smooth하고 convex할 때 가지는 성질에 대해 알고 넘어가자. $\frac{1}{2L} \lVert \nabla f(y) - \nabla f(x) \rVert^2 \le f(y) - f(x) - \langle \nabla f(x), y - x \rangle$ $\frac{1}{L} \lVert \nabla f(x) - \nabla f(y) \rVert^2 \le \langle \nabla f(y) - \nabla f(x), y - x \rangle$ 이 중 아래의 식을 Co-coercivi.. 2023. 8. 20. Optimization 심화 1 : SGD (1) 모바일 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부터는 Optimization에 대한 조금 더 깊이 있게 들어가보고자 한다. 그 첫 번째 주제로 SGD를 선택하였다. SGD에 대한 기본적인 내용의 글은 다음의 링크들을 참고하면 된다. https://kyteris0624.tistory.com/22 Deep dive into optimization : Gradient descent (2) "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹으로 봐주시길 바랍니다." 지난 포스팅에서는 Gradient descent 알고리즘이 어떻게 나오게 되었는지를 설명하였다. $t+1$번째 iteration (step)에 kyteris0624.tistory.com htt.. 2023. 8. 14. 이전 1 다음