Mirror descent2 Deep dive into Optimization : Mirror descent (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부터는 본격적으로 Mirror descent에 대한 글을 시작하고자 한다. 예전 Gradient descent 챕터에서 이야기하였듯이 Gradient descent는 objective function $f(x)$를 First-order approximation한 함수를 최소화하는 알고리즘이다. RHS의 $f(x_t) + \langle \nabla f(x_t), x - x_t \rangle$이 First-order approximation이고 $\frac{1}{2} \lVert x - x_t \rVert^2$는 First order approximation의 오차가 매우 커지는 것을 방지하기 위해 $x$가 $.. 2023. 5. 27. Deep dive into Optimization : Duality and Mirror descent 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Fenchel conjugate의 마지막 글이자 Mirror descent를 시작하는 글이다. Fenchel conjugate (= Convex conjugate)의 정의는 이제 다들 기억할 것이다. $f(x)$의 conjugate을 $f^*(y)$라 하였을 때, $f^*(y) := \sup_x \langle x, y \rangle - f(x)$ 위의 식이 정의이다. 그리고 Fenchel biconjugate의 정의는 $f^{**}(x) := \sup_y \langle x, y \rangle - f^*(y)$ 이다. 몇 가지 중요한 성질로는 다음의 내용들이 있다. $1$. $f$가 non-convex하.. 2023. 5. 20. 이전 1 다음
