전체 글93 본 블로그는 더 이상 운영되지 않습니다. 본 블로그는 더 이상 운영하지 않습니다. -작성일 : 2025.05.10 2025. 5. 10. Paper Review: Why Transformers need Adam : A Hessian Perspective 2025. 4. 16. Shampoo Optimizer 리뷰 딥러닝에서 Adam 못지않게 유명한 최적화 알고리즘인 Shampoo에 대한 발표자료입니다. 2025. 3. 29. 선형대수학, 미(적)분학, 확률과 통계 Lecture notes (03.29 업데이트) 본 자료는 스터디 모임 시 강의를 위해서 직접 제작한 자료들입니다.** 03.29 : 선형대수학 강의노트를 교체하였습니다. (제 1 레퍼런스 : 프리드버그 '선형대수학')** 03.29 : 확률과 통계 강의노트를 교체하였습니다. 2025. 1. 17. Gradient descent 3. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 지난 번 글에서 우리는 gradient descent를 continuous-time approximation algorithm으로 바라보았다.그리고 다음과 같은 형태의 미분방정식을 보이면서 글을 마무리했다. $\dot{X}(t) = - \nabla f(X(t))$ 여기서 시간을 나타내는 $t$는 양의 실수이다. 즉, $t \in \mathbb{R}_{+}$이다.자 그러면 위 식이 나타내는 의미는 무엇일까? 우선, 위 방정식은 기본적으로 (continuous) flow를 나타낸다.좌변은 시간에 대한 $X(t)$의 미분을 나타내므로 속도를 나타낸다.속도는 기본적으로 방향과 크기를 갖고 있는 벡터이고, 위 식에서는 .. 2024. 4. 28. Gradient descent 2. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘부턴 다음과 같은 관점에 대해 이야기해볼 것이다. "gradient descent"를 continuous-time approximation을 하는 것. 즉, continuous-time (gradient) flow의 dynamical system으로 보는 것. 사실 우리가 discrete-time algorithm인 Gradient descent를 continuous-time으로 바꿔서 보는 것도 결국 이를 위함이다.. gradient flow란 vector field의 일종인 gradient field에서 하나의 점이 시간의 흐름에 따라 어떻게 연속적으로 이동하는지를 나타낸다. 그때 이동하는 방향은 함수 .. 2024. 4. 3. Gradient descent 1. (심화) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 Gradient descent에 대한 다른 관점에서의 분석을 살펴보고자 한다. 우선, 아래 링크의 글과 그 뒤에 이어지는 내용들에 대해서는 충분히 알고 있다고 전제할 것이며, (벡터) 미적분학에서의 내용들은 필요한 만큼만 언급하겠다. 자세한 내용이 궁금하면 (벡터) 미적분학 책을 참고하기 바란다. https://kyteris0624.tistory.com/20 Deep dive into optimization: Gradient descent (1) "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization.. 2024. 4. 2. Topology 슬라이드 본 슬라이드는 스터디 모임에서 사용하기 위해 제작한 위상수학 강의록입니다. 위상수학 6~70%의 내용을 커버합니다. 2024. 2. 23. 일기 보호되어 있는 글 입니다. 2024. 2. 13. 이전 1 2 3 4 ··· 11 다음
