non-convex2 Optimization 심화 : well-known inequality 이번 글은 필자가 그동안 논문들에서 자주 보았던 여러 inequality 공식을 정리해본 자료를 공유하는 것으로 대체한다. 첨부파일 확인. 2023. 9. 25. Optimization 심화: SGD (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 stochastic gradient의 noise에 대한 개념에 대해 살펴보고자 한다. 먼저 $f(x)$가 L-smooth하고 convex할 때 가지는 성질에 대해 알고 넘어가자. $\frac{1}{2L} \lVert \nabla f(y) - \nabla f(x) \rVert^2 \le f(y) - f(x) - \langle \nabla f(x), y - x \rangle$ $\frac{1}{L} \lVert \nabla f(x) - \nabla f(y) \rVert^2 \le \langle \nabla f(y) - \nabla f(x), y - x \rangle$ 이 중 아래의 식을 Co-coercivi.. 2023. 8. 20. 이전 1 다음