Deep dive into Deep learning30 Deep dive into Deep learning part 15. CNN(3) - Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 ResNet, DenseNet에 대한 설명을 하고자 한다. 우선, 이 ResNet에 대해 이야기하기 전에 'Gradient vanishing problem'에 대해서 먼저 소개해야 한다.현재까지도 이어지고 있지만 이때 당시에도 신경망의 구조적 발전이 이뤄진 흐름을 보면 신경망을 '더 깊게' 쌓는 방향으로 발전이 진행되어졌다.신경망을 더 깊게 쌓는다는 것은 층수 (layer)를 늘린다는 의미이고, 모델의 파라미터 개수를 늘린다는 의미이다.신경망의 층수가 많아질수록 데이터로부터 더 좋은 특징들을 추출할 수 있었고, 모델의 표현력이 증가했다.그만큼 input layer에 가까운 층에서는 단순한 특징을 추출하.. 2023. 5. 2. Deep dive into Deep learning part 14. CNN(2) - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 CNN 2번째 글이다.오늘은 GoogleNet, VGG에 대해 이야기하고, 다음 글에서는 ResNet, DenseNet에 대해 이야기하고 CNN 시리즈를 마무리할 예정이다. VGG> VGG는 2014년 옥스퍼드 대학교의 연구팀에서 제안한 신경망 구조이다.그 구조는 AlexNet, LeNet 등과 큰 차이가 없지만, 신경망의 층수를 더 많이 쌓은 '깊은' 신경망이다.가장 기본적인 구조는 VGG16인데 이는 16개의 층으로 이루어져 있다.구체적으로 Convolution layer 13개, Fully connected layer 3개로 이루어져 있고, VGG의 가장 큰 특징은 모든 층의 하이퍼파라미터를.. 2023. 4. 27. Deep dive into Deep learning part 13. CNN - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘부터는 CNN에 대해 이야기를 해보고자 한다. 먼저 CNN의 역사에 대해 간단하게 이야기해볼까 한다. 첫 시작은 1989년이지만 너무 오래되었고, 실질적으로 CNN의 시작은 LeNet으로 여겨진다. LeNet은 Yann Lecun (현재 메타 AI 연구원)의 팀이 개발한 모델이며, 그의 이름을 따서 LeNet으로 이름을 지었다.그는 현재도 딥러닝의 4대 천왕중 한 명이라 불리우는 인물이며, 컴퓨터 과학계의 노벨상으로 불리우는 튜링상을 수상한 인물이다.딥러닝 4대 천왕에 대한 이야기는 나중에 시간이 되면 해보도록 하자.(4대 천왕이라는 표현은 필자가 만든 표현이 아니라 실제로 쓰이는 표현이다..) L.. 2023. 4. 23. Deep dive into Deep learning part 12. 신경망 (3) - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 신경망 (Neural network)의 구조적인 범주들, Convolutional neural network (CNN), Recurrent neural network (RNN), Generative adversarial neural network (GAN)에 대해 간단히 소개하는 내용을 올리고자 한다.원래 Transformer까지 포함을 시키고자 하였으나, 이는 매우 중요한 구조이기에 추후 CNN, RNN에 대하여 이야기하고 자세하게 따로 다루고자 한다. 우선, CNN에 대해서 이야기하자. 컨볼루션 신경망 (Convolutional neural network, CNN)는 이미지 데이터 처리에 특화돼.. 2023. 4. 16. Deep dive into Deep learning part 11. 신경망 - Updated 모바일 앱 환경에서는 "latex" 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 신경망 두 번째 글로 파라미터를 학습시키는 알고리즘, backpropagation algorithm에 대해 살펴보고자 한다. backpropgation (역전파) 알고리즘은 처음 나온 것은 1970년대이다. 하지만 처음에는 주목받지 못하였다가 1986년 Rumelhart, Hinton, Williams의 논문에 의해 유명해지기 시작하였다. 이 논문은 딥러닝 (정확히는 퍼셉트론)을 backpropagation 알고리즘으로 학습시킬 수 있음을 보여주었고, 딥러닝의 부흥에 큰 기여를 하였다. Backpropagation은 결국 Neural Network (NN) 를 어떻게 학습시키기 위한 알고리즘이다. .. 2023. 4. 11. 이전 1 2 3 4 5 6 다음
