convex4 Optimization 심화 : well-known inequality 이번 글은 필자가 그동안 논문들에서 자주 보았던 여러 inequality 공식을 정리해본 자료를 공유하는 것으로 대체한다. 첨부파일 확인. 2023. 9. 25. Optimization 심화 : Random Reshuffling (1) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 다음과 같은 Finite-sum 꼴의 optimization problem을 생각해보자. $\min f(x) := \frac{1}{n} \sum_{i=1}^n f_i(x)$ 여기서 $i$는 data index를 의미한다. 그리고 우리가 Optimization 기본 / 심화에서 살펴보았던 SGD form은 다음과 같다. $x_{t+1} = x_t - \eta_t \nabla f_i (x_t)$ 여기서 $\eta_t > 0$는 step-size이고 $\nabla f_i (x_t)$는 Stochastic gradient를 의미한다. 여기서 stochastic이란 표현이 붙는 이유는 위 gradient를 계산하는데 .. 2023. 8. 31. Deep dive into optimization : Convex optimization (Updated) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 그동안 우리는 Gradient descent부터 시작하여, Momentum, Adam 등의 딥러닝에서 많이 쓰이는 First-order optimizer와 Newton's method, Natural gradient descent 두 대표적인 Second-order optimizer를 다뤄왔다.이제 본 포스팅의 메인 주제인 'Convex optimization'으로 다시 돌아가자. https://kyteris0624.tistory.com/18 Deep dive into optimization: Convexity"모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 pc 웹 환경에서 읽어주시기 바랍니.. 2023. 5. 9. Deep dive into optimization: Convexity - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 pc 웹 환경에서 읽어주시기 바랍니다." "What is the convex?" 오늘은 최적화 개념 중 매우 중요하면서 가장 기본이 되는 개념인 convexity에 대해 살펴보도록 하겠다.수학적 최적화 연구에서는 알고리즘의 수렴성 분석 (convergence analysis), 수렴 속도 분석 (convergence rate) 등이 매우 중요한 주제이고, 추후 Deep dive into optimization 시리즈에서도 여러 번에 걸쳐 살펴볼 예정인데 그때 손실함수 (Loss function)에 대해 여러 가지의 가정들을 하고 분석이 이뤄진다. 그때 가장 많이 등장하는 가정이 1. Convex 2. Smoothness 3. Stron.. 2023. 3. 11. 이전 1 다음
