딥러닝17 Deep dive into Deep learning part 11. 신경망 - Updated 모바일 앱 환경에서는 "latex" 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 신경망 두 번째 글로 파라미터를 학습시키는 알고리즘, backpropagation algorithm에 대해 살펴보고자 한다. backpropgation (역전파) 알고리즘은 처음 나온 것은 1970년대이다. 하지만 처음에는 주목받지 못하였다가 1986년 Rumelhart, Hinton, Williams의 논문에 의해 유명해지기 시작하였다. 이 논문은 딥러닝 (정확히는 퍼셉트론)을 backpropagation 알고리즘으로 학습시킬 수 있음을 보여주었고, 딥러닝의 부흥에 큰 기여를 하였다. Backpropagation은 결국 Neural Network (NN) 를 어떻게 학습시키기 위한 알고리즘이다. .. 2023. 4. 11. Deep dive into optimization : Adaptive step-size (1) - Updated 모바일 앱 환경에서는 "latex" 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 SGD를 변형한 알고리즘들 중 step size를 모든 파라미터에 동일하게 적용하는 것이 아니라, 각 파라미터별로 조정된 step-size를 적용한 optimizer들을 살펴보자. loss function은 neural network의 파라미터들로 이루어진 (=매개변수 공간) 공간에서의 함수이고, 이는 매우 고차원의 함수이다. (Neural network의 파라미터 개수가 무수히 많으므로)모든 파라미터에 대해서 동일한 학습 속도를 적용한다면, 어떤 파라미터들 ( => 그 축의 방향으로) 에 대해서는 크게 이동하지만, 다른 파라미터들 (=> 그 축의 방향으로) 에 대해서는 적게 이동하는 현상들이 발.. 2023. 4. 6. Deep dive into Deep learning part 10. 신경망 - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹으로 봐주시길 바랍니다." 오늘부터는 본격적인 딥러닝의 개념으로 들어간다. 오늘은 그 첫 번째 글로 '신경망'에 대한 이야기를 앞으로 3번에 걸쳐 해나가고자 한다. 신경망 (Neural network, Deep neural network)는 오늘날 딥러닝 모델의 뼈대를 이루고 있는 구조이다.먼저 간단한 이미지를 통해 살펴보자. 신경망이란 결국 층 (layer)이 겹겹이 쌓여서 서로 연결되어져 있는 구조로 되어져 있다.이때 데이터를 입력으로 받는 층을 입력층 (input layer), 최종적으로 모델의 output을 내놓는 층을 출력층 (output layer), 그리고 그 사이 겹겹이 쌓여져 있는 층을 은닉층 (hidden layer).. 2023. 4. 5. Deep dive into Deep learning part 8. - Updated ** 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 읽어주시길 바랍니다.** ""Linear algebra, Probability and Statistics, Calculus review" 오늘은 딥러닝을 위한 기초 수학 복습, 통계적 추정을 이야기해보고자 한다. 일단 추정 (estimate)이란 무엇인가? 특정 확률 변수의 분포함수는 모를지라도, 그것의 중요한 값들은 알아야 할 때가 있다.이를 통계량 (statistics)라고 하는데 확률 변수의 통계량을 알면 설령 그것의 전체 분포 모양은 알지 못할지라도, 그 분포의 중요한 특징들은 알 수 있다.통계량의 가장 대표적인 값이 "평균" 과 "(공)분산"이다. *Expected value (평균)어떤 이산 확률 변수 $X .. 2023. 3. 29. Deep dive into optimization: Gradient descent - Updated "모바일 앱 환경에서는 latex이 깨져 나타나므로, 가급적 웹 환경에서 봐주시기 바랍니다.:)" 오늘부터 이제 본격적인 딥러닝 최적화 (Optimization)에 대한 이야기가 시작된다. 그 첫 번째 주제는 현재 딥러닝 학습 기법의 가장 기본이 되는 경사하강법 (Gradient descent)이다.우선 경사하강법이 무엇인지 이야기하기 전에 이것이 왜 현재 딥러닝의 학습 기법의 base가 되었는지부터 이야기해보자. 지난 글에서 'convex'에 대해 설명하면서 convex function의 중요한 성질은 'local minima가 곧 global minima이다.'라고 하였다.하지만, 딥러닝에서 학습이란 곧 손실함수에 대한 최적화를 의미하고, 이때 최적화가 이루어지는 손실 함수 (loss function.. 2023. 3. 16. 이전 1 2 3 4 다음
