딥러닝17 Deep learning 심화 : Information geometry for deep learning 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 먼저 'Manifold'에 대해서 알아보자. $n$-dimension의 Manifold란 '점의 집합'이다. 하지만 그냥 단순히 점의 집합이 아니라, 각각의 점들이 그 이웃과 $n$-dimensional Euclidean space를 형성하는 점들의 집합이다. 즉, 국소적으로는 (locally) Euclidean space와 매우 닮아있는 topological space이지만 전역적으로는 (globally) 전혀 다른 형태의 topology이다. 이를 (locally) homeomorphism이라고 한다. Manifold는 "locally equivalent to an $n$-dimensional Euclide.. 2023. 10. 10. Deep learning (심화) : Information geometry for Deep Learning 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 현대 딥러닝의 시작으로 알려져 있는 모델인 'Perceptron'은 가장 단순한 선형 분류기이다. 퍼셉트론은 선형 연산만으로 이루어진 모델이기 때문에 선형 분류만이 가능하였다. 이는 XOR 문제를 해결할 수 없는 치명적인 한계가 있었고, 결국 AI winter를 불러왔다. Lienar separator를 Non-linear separator로 확장시키기 위해 Support Vector Machine (SVM)이 취한 방법은 data space (Input space)를 Feature space로 mapping할 때 비선형변환 Feature map $\Phi()$를 사용하는 것이었다. 이는 현재 Kernel ma.. 2023. 10. 5. Pytorch 10 : Transfer learning 오늘은 image classification을 'transfer learning'을 활용해 파이토치로 구현하는 코드에 대해 살펴보고자 한다. 오늘날 CNN 모델을 random initialization을 하여 'scratch'로 학습하는 것은 상당히 드문 일이다. 대다수의 경우에는 이미 학습되어진 (pre-trained) 모델을 가져다가 파라미터를 살짝 조정하는 방식으로의 미세 조정 (Fine-tuning) 을 진행하거나, CNN에서 특징을 추출하는 부분인 Convolution layer 부분은 파라미터를 고정시켜놓고 (Freeze), 마지막에 분류를 진행하는 fully-connected layer 부분만 바꾸어서 재학습하는 방식등을 사용한다. 이때 사전 학습된 CNN은 주로 ImageNet 같은 상당히.. 2023. 8. 10. Pytorch 4 : Training 우리가 Neural network를 학습시킬 때 사용되는 알고리즘은 '역전파 알고리즘' (Backpropagation)이라고 한다. 이 알고리즘을 활용해서 우리는 모델의 가중치 (weight, parameter)를 loss function의 gradient를 활용해서 조정해간다. 예를 들어 (Mini-batch) Stochastic gradient descent 알고리즘은 다음과 같이 파라미터 업데이트를 진행한다. $w_{t+1} = w_t - \eta_t \sum_{i=1}^b \nabla \mathcal{L}_i(w_t)$ 여기서 $w_t$는 t번째 iteration에서의 파라미터, $\eta_t$는 t번째 iteration에서의 step-size (또는 learning-rate), $\mathcal.. 2023. 7. 16. Deep dive into Deep learning part 12. 신경망 (3) - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 신경망 (Neural network)의 구조적인 범주들, Convolutional neural network (CNN), Recurrent neural network (RNN), Generative adversarial neural network (GAN)에 대해 간단히 소개하는 내용을 올리고자 한다.원래 Transformer까지 포함을 시키고자 하였으나, 이는 매우 중요한 구조이기에 추후 CNN, RNN에 대하여 이야기하고 자세하게 따로 다루고자 한다. 우선, CNN에 대해서 이야기하자. 컨볼루션 신경망 (Convolutional neural network, CNN)는 이미지 데이터 처리에 특화돼.. 2023. 4. 16. 이전 1 2 3 4 다음
