Natural gradient2 Deep dive into Optimization : Second-order method (4) - Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘과 다음 글 두 번에 걸쳐 Natural gradient descent에 대해 이야기하고자 한다.Natural gradient descent는 Fisher information matrix를 활용한 optimization method로서, Fisher information matrix에 대해서는 이전 글을 참고하기 바란다.https://kyteris0624.tistory.com/39 Deep-dive into Optimization : Second-order method (3)모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 이번 글과 다음 글에서는 Fish.. 2023. 5. 3. Deep-dive into Optimization : Second-order method - Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 이번 글과 다음 글에서는 Fisher information matrix를 활용한 알고리즘 'Natural gradient descent에 대해 이야기하고자 한다. 오늘은 Fisher information matrix를 설명하고, 다음 글에서는 이를 활용한 최적화 알고리즘 Natural gradient descent를 이야기하고자 한다.* 본 내용은 Hogg 저. 'Introduction to mathematical statistics' 를 활용하였다. 우선, Fisher information matrix에 대해 알아보자. 여기서 말하는 'Fisher information' (피셔 정보) 란 무엇일까?파라미터.. 2023. 4. 30. 이전 1 다음
