random reshuffling2 Optimization 심화 : Random Reshuffling (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부터 당분간의 글은 기존처럼 줄글 형식으로 작성된 포스팅이 아닌 필자가 직접 제작한 ppt를 활용하여 포스팅을 올리고자 한다. 본 ppt는 beamer를 활용해 제작되었다. 먼저 이전과 동일하게 위와 같은 Finite-sum으로 정의된 optimization problem을 정의하자. 이때 각각의 $f_i$가 smooth한 함수라는 가정을 할 것이다. 우리가 현재 관심 있는 주제는 Random reshuffling이므로 이에 대한 간단한 알고리즘을 우선 보이고자 한다. 지난 글에서도 언급하였지만 이는 실제 practical한 상황에서 일반적으로 쓰이는 방법이다. 매 epoch을 시작할 때마다 데이터를 ran.. 2023. 9. 4. Optimization 심화 : Random Reshuffling (1) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 다음과 같은 Finite-sum 꼴의 optimization problem을 생각해보자. $\min f(x) := \frac{1}{n} \sum_{i=1}^n f_i(x)$ 여기서 $i$는 data index를 의미한다. 그리고 우리가 Optimization 기본 / 심화에서 살펴보았던 SGD form은 다음과 같다. $x_{t+1} = x_t - \eta_t \nabla f_i (x_t)$ 여기서 $\eta_t > 0$는 step-size이고 $\nabla f_i (x_t)$는 Stochastic gradient를 의미한다. 여기서 stochastic이란 표현이 붙는 이유는 위 gradient를 계산하는데 .. 2023. 8. 31. 이전 1 다음
