Hessian matrix1 Deep dive into Optimization: Second-order method - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 지난 글에 이어 2차 미분 정보를 활용한 최적화, Second-order method 두 번째 글이다.그 중 Hessian matrix를 이용한 Newton's method에 대해 살펴보고자 한다. 먼저 다음과 같은 optimization problem을 생각해보자. 표기를 최대한 simple하게 하기 위하여, 위와 같이 표현하였다.여기서 $\theta$는 파라미터이고 $f(\theta)$는 objective function이다. First-order optimizer는 위 $f(\theta)$를 1차 근사한 함수를 최소화하는 방법으로 알고리즘을 유도하였다. (물론, First-order taly.. 2023. 4. 25. 이전 1 다음
