duality3 Deep dive into Optimization : Duality and Mirror descent 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Fenchel conjugate의 마지막 글이자 Mirror descent를 시작하는 글이다. Fenchel conjugate (= Convex conjugate)의 정의는 이제 다들 기억할 것이다. $f(x)$의 conjugate을 $f^*(y)$라 하였을 때, $f^*(y) := \sup_x \langle x, y \rangle - f(x)$ 위의 식이 정의이다. 그리고 Fenchel biconjugate의 정의는 $f^{**}(x) := \sup_y \langle x, y \rangle - f^*(y)$ 이다. 몇 가지 중요한 성질로는 다음의 내용들이 있다. $1$. $f$가 non-convex하.. 2023. 5. 20. Deep dive into optimization : Duality (1) - Updated usechatgpt init success모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 수학에서 "Duality principle"은 매우 중요하고 수학의 각 분야별로 다양하게 응용/확장되는 개념이다. 그 중 Convex optimization에서 이야기하는 Duality는 기존의 최적화 문제 (primal problem)을 다른 문제 형태 (dual problem)로 푸는 것을 의미하는데, 이에 대해서 살펴보도록 하자. 다음과 같은 constrained optimization problem을 고려해보자. 이렇게 constrained condition이 있는 optimization problem을 푸는 방법은 크게 두 가지가 있다.하나는 Lagrangi.. 2023. 5. 14. Deep dive into optimization : Convex optimization (Updated) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 그동안 우리는 Gradient descent부터 시작하여, Momentum, Adam 등의 딥러닝에서 많이 쓰이는 First-order optimizer와 Newton's method, Natural gradient descent 두 대표적인 Second-order optimizer를 다뤄왔다.이제 본 포스팅의 메인 주제인 'Convex optimization'으로 다시 돌아가자. https://kyteris0624.tistory.com/18 Deep dive into optimization: Convexity"모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 pc 웹 환경에서 읽어주시기 바랍니.. 2023. 5. 9. 이전 1 다음
