Adaptive moment estimator1 Adam can converge without any modification on Update rules 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 논문 제목 : Adam can converge without Any Modification On Update Rules 출판 연도 : 2022 Neurips 논문 저자 : Yushun Zhang et al. 오늘 리뷰할 논문은 Adam에 대한 convergence analysis를 수행한 논문으로 가장 최신 연도의 논문이다. 이 논문 이후 arxiv 기준으로 Adam에 대한 convergence analysis 논문이 몇 개 나왔으나 현재까지 conference에 accept된 논문으로는 위 논문이 가장 최신이다. 이 논문은 두 번에 걸쳐서 리뷰할 예정이다. 우선, 다음과 같은 (Non-convex) optim.. 2023. 7. 4. 이전 1 다음
