Deep dive into Optimization40 Optimization 심화 : well-known inequality 이번 글은 필자가 그동안 논문들에서 자주 보았던 여러 inequality 공식을 정리해본 자료를 공유하는 것으로 대체한다. 첨부파일 확인. 2023. 9. 25. Optimization 심화 : Distributed learning (local SGD) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 이번 글에서는 Distributed learning ( Federated learning)으로 유명한 Local SGD 개념에 대해 간략하게 살펴보고자 한다. 이를 살펴보는 이유는 다음에 올릴 글의 주제가 Mini-batch SGD와 Local SGD를 'Random reshuffling' 상황에서 둘의 convergence를 비교하는 내용이기 때문이다. 먼저 간단한 용어들을 살펴보자. Federated learning의 정의는 다음과 같다. "Federated learning is a machine learning problem setting where multiple clients collaborate in.. 2023. 9. 14. Optimization 심화 : Random Reshuffling (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부터 당분간의 글은 기존처럼 줄글 형식으로 작성된 포스팅이 아닌 필자가 직접 제작한 ppt를 활용하여 포스팅을 올리고자 한다. 본 ppt는 beamer를 활용해 제작되었다. 먼저 이전과 동일하게 위와 같은 Finite-sum으로 정의된 optimization problem을 정의하자. 이때 각각의 fi가 smooth한 함수라는 가정을 할 것이다. 우리가 현재 관심 있는 주제는 Random reshuffling이므로 이에 대한 간단한 알고리즘을 우선 보이고자 한다. 지난 글에서도 언급하였지만 이는 실제 practical한 상황에서 일반적으로 쓰이는 방법이다. 매 epoch을 시작할 때마다 데이터를 ran.. 2023. 9. 4. Optimization 심화 : Random Reshuffling (1) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 다음과 같은 Finite-sum 꼴의 optimization problem을 생각해보자. minf(x):=1n∑ni=1fi(x) 여기서 i는 data index를 의미한다. 그리고 우리가 Optimization 기본 / 심화에서 살펴보았던 SGD form은 다음과 같다. xt+1=xt−ηt∇fi(xt) 여기서 ηt>0는 step-size이고 ∇fi(xt)는 Stochastic gradient를 의미한다. 여기서 stochastic이란 표현이 붙는 이유는 위 gradient를 계산하는데 .. 2023. 8. 31. Optimization 심화 : SGD (3) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 다음과 같은 Finite sum 꼴의 optimization problem을 정의하자. minf(x):=∑ni=1fi(x) 여기서 i는 data index를 의미한다. 먼저 L-smooth의 descent lemma에서 시작하자. 함수 f가 L-smooth함은 다음을 의미한다. ‖∇f(x)−∇f(y)‖≤L‖x−y‖ 모든 x,y에 대해서 f의 Gradient가 L-Lipshitz continuous할 때 우리는 함수 f가 L-smooth하다고 한다. 그리고 함수 f가 2번 미분 가.. 2023. 8. 26. 이전 1 2 3 4 5 6 ··· 8 다음
