Paper Review4 Paper Review: Why Transformers need Adam : A Hessian Perspective 2025. 4. 16. Shampoo Optimizer 리뷰 딥러닝에서 Adam 못지않게 유명한 최적화 알고리즘인 Shampoo에 대한 발표자료입니다. 2025. 3. 29. Adam can converge without any modification on Update rules 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 논문 제목 : Adam can converge without Any Modification On Update Rules 출판 연도 : 2022 Neurips 논문 저자 : Yushun Zhang et al. 오늘 리뷰할 논문은 Adam에 대한 convergence analysis를 수행한 논문으로 가장 최신 연도의 논문이다. 이 논문 이후 arxiv 기준으로 Adam에 대한 convergence analysis 논문이 몇 개 나왔으나 현재까지 conference에 accept된 논문으로는 위 논문이 가장 최신이다. 이 논문은 두 번에 걸쳐서 리뷰할 예정이다. 우선, 다음과 같은 (Non-convex) optim.. 2023. 7. 4. Sharpness-Aware Minimization "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다." 논문 제목 : Sharpness-Aware Minimization for efficiently improving generalization 출판 연도 : 2021 ICLR (spotlight) 논문 저자 : Pierre Foret et al. 블로그에 올리는 첫 번째 논문에 대한 분석글로 위 논문을 선정하였다. 지난 1년 가까이 학부연구생을 수행하면서 나의 연구주제의 가장 핵심이 되는 알고리즘이었고, 지금도 놓지 못한 알고리즘이다. 위 이미지는 실제 ResNet-56의 loss landscape을 visualization한 이미지이다. 왼쪽의 그림은 상당히 울퉁불퉁한 계곡 모양인데 반해, 오른쪽 그림은 전체.. 2023. 6. 26. 이전 1 다음
