neural network4 Deep dive into Optimization: Second-order method - Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 이번 포스팅 글부터는 2차 미분을 이용한 optimization algorithm에 대한 설명을 진행하고자 한다.지난 시간까지는 (Stochastic) gradient descent로 1차 미분인 gradient를 활용한 파라미터 업데이트 방법들에 대해살펴보았고, 오늘부턴 2차 미분을 활용한 딥러닝 학습 알고리즘에 대해 살펴보고자 한다. * Hessian matrix (헤시안 행렬) 우선, 다변수 함수 $f : \mathbb{R}^n \rightarrow \mathbb{R}$ 의 2차 미분이 어떻게 나오는지 알아보도록 하자.다변수 함수를 한 번 미분한 gradient는 vector이다. 다변수 함수를 두 번.. 2023. 4. 19. Deep dive into Deep learning part 12. 신경망 (3) - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 신경망 (Neural network)의 구조적인 범주들, Convolutional neural network (CNN), Recurrent neural network (RNN), Generative adversarial neural network (GAN)에 대해 간단히 소개하는 내용을 올리고자 한다.원래 Transformer까지 포함을 시키고자 하였으나, 이는 매우 중요한 구조이기에 추후 CNN, RNN에 대하여 이야기하고 자세하게 따로 다루고자 한다. 우선, CNN에 대해서 이야기하자. 컨볼루션 신경망 (Convolutional neural network, CNN)는 이미지 데이터 처리에 특화돼.. 2023. 4. 16. Deep dive into Deep learning part 11. 신경망 - Updated 모바일 앱 환경에서는 "latex" 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 신경망 두 번째 글로 파라미터를 학습시키는 알고리즘, backpropagation algorithm에 대해 살펴보고자 한다. backpropgation (역전파) 알고리즘은 처음 나온 것은 1970년대이다. 하지만 처음에는 주목받지 못하였다가 1986년 Rumelhart, Hinton, Williams의 논문에 의해 유명해지기 시작하였다. 이 논문은 딥러닝 (정확히는 퍼셉트론)을 backpropagation 알고리즘으로 학습시킬 수 있음을 보여주었고, 딥러닝의 부흥에 큰 기여를 하였다. Backpropagation은 결국 Neural Network (NN) 를 어떻게 학습시키기 위한 알고리즘이다. .. 2023. 4. 11. Deep dive into Deep learning part 10. 신경망 - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹으로 봐주시길 바랍니다." 오늘부터는 본격적인 딥러닝의 개념으로 들어간다. 오늘은 그 첫 번째 글로 '신경망'에 대한 이야기를 앞으로 3번에 걸쳐 해나가고자 한다. 신경망 (Neural network, Deep neural network)는 오늘날 딥러닝 모델의 뼈대를 이루고 있는 구조이다.먼저 간단한 이미지를 통해 살펴보자. 신경망이란 결국 층 (layer)이 겹겹이 쌓여서 서로 연결되어져 있는 구조로 되어져 있다.이때 데이터를 입력으로 받는 층을 입력층 (input layer), 최종적으로 모델의 output을 내놓는 층을 출력층 (output layer), 그리고 그 사이 겹겹이 쌓여져 있는 층을 은닉층 (hidden layer).. 2023. 4. 5. 이전 1 다음
