optimization22 Deep dive into optimization part 2. 손실함수와 최적화 (Updated) ****모바일 앱 환경에서는 latex 수식이 깨져서 나타나므로, 가급적 웹으로 보시길 추천드립니다. *** "Which loss functions are used in deep learning optimization?" 오늘은 딥러닝 최적화 상황에서 자주 쓰이는 목적 함수, 즉 손실 함수에는 무엇이 있는지 그리고 그 함수들의 성질에 대해 이야기해보고자 한다. 먼저, 딥러닝에서의 최적화 문제 종류는 크게 두 가지, Stochastic optimization problem과 Finite-sum minimization (or Empirical Risk Minimization)이 있다. Stochastic optimization problem은 다음과 같이 정의된다. $\min_x [f(x) = \mathbb.. 2023. 3. 6. Deep dive into Optimization Part 1. 최적화란 무엇인가? (Updated) "What is the Optimization?" 본 블로그에서 중요하게 다룰 주제 중 하나가 최적화이다.앞으로 Deep dive into Optimization 에서는 최적화에 대해, 특히 딥러닝 / 머신러닝에서의 최적화에 대해 이야기하고자 한다. 이 시리즈에서는 딥러닝 / 머신러닝에 대한 기본적인 개념들을 이미 알고 있다는 가정 하에 작성하기 때문에 딥러닝을 처음 접하는 입문자라면 Deep dive into Deep learning을 보기를 권한다. 오늘은 간단하게 최적화란 무엇인지에 대해 이야기해보고자 한다. '최대', '최소'는 우리에게 있어 매우 중요한 개념이다. 나의 이익을 어떻게 최대화할 것인가?나의 비용을 어떻게 최소화할 것인가?주어진 문제를 어떻게 최소한의 비용으로 해결할 것인가? 이는 .. 2023. 3. 4. 이전 1 2 3 4 5 다음
