본문 바로가기
  • Deep dive into Learning
  • Deep dive into Optimization
  • Deep dive into Deep Learning

Deep dive into Deep learning30

Deep dive into Deep learning part 20 : RNN (1) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. Regularization 토픽 이전 글에서 우리는 CNN에 대해서 살펴보았다. https://kyteris0624.tistory.com/35 Deep dive into Deep learning part 13. CNN (1) "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘부터는 CNN에 대해 이야기를 해보고자 한다. 먼저 CNN의 역사에 대해 간단하게 이야기해볼까 한 kyteris0624.tistory.com 여기서 Image data는 고정된 길이의 data이다. 즉, image data의 크기 (shape)은 바뀌지 않는다. 하지만 'sequence.. 2023. 5. 20.
Deep dive into Deep learning part 19 : Regularization(4) - Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다.   오늘은 Regularization의 마지막 글 Batch normalization, Layer normalization에 대한 이야기이다. 둘의 기저에 깔린 메커니즘은 비슷하다. 다만 무엇을 기준으로 'normalzation'을 하는가의 차이만 있을 뿐이다.우선, Batch normalization부터 알아보자.  일반적인 color image는 C, H, W 3차원 텐서로 이루어져 있다. 이때 C는 Color channel(R,G,B) , H는 Height, W는 width로서 color image 1장은 $H * W$ 만큼의 픽셀값을 R, G, B 채널에 각각 가지고 있다. 흑백 이미지의 경우 Colo.. 2023. 5. 16.
Deep dive into Deep learning part 18 : Regularization (3) - Updated usechatgpt init success모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다.  Dropout은 2014년도 발표된 기술로서 10년 가까이 지난 지금도 여전히 유용하게 쓰이는 기술이다. Dropout은 머신러닝의 Ensemble 기법과 유사한 의도를 가지고 있다. Ensemble 기법은 같은 Dataset으로 여러 개의 Model을 학습시킨 후, 이 학습된 모델을 하나의 모델로 합치는 방법을 의미한다.Dropout은 여러 개의 모델을 학습시키지 않고, 하나의 모델을 마치 여러 개의 학습된 'Sub' networks가 앙상블 기법으로 조합을 이룬 것과 같이 될 수 있도록 만드는 기법이다. 위 그림을 보면 직관적으로 이해할 수 있듯이, 원래의 Neu.. 2023. 5. 11.
Deep dive into deep learning part (17) : Regularization(2) -Updated 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. 지난 글에서는 Regularization이 필요한 이유와 이 기술의 목표에 대한 이야기를 하였고, 오늘은 대표적인 Regularization 중 하나인 L1-norm, L2-norm regularization에 대해 이야기하고자 한다.이것은 현재의 딥러닝 뿐만이 아닌, 통계, 머신러닝에서 과거부터 많이 쓰여온 기술로서 지금까지 적지 않게 쓰이고 있다. L1-norm, L2-norm Regularization은 손실함수를 다음과 같이 바꾸는 것을 의미한다. 여기서 $\mathcal{L}_{S} (w)$ 는 train loss function을 의미하고, $\Omega(w)$가 regularization term.. 2023. 5. 7.
Deep dive into Deep learning part 16. Regularization - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다."  오늘은 머신러닝 / 딥러닝 발전의 적지 않은 기여를 한 Regularization에 대해 살펴보고자 한다. 딥러닝/머신러닝의 목표는 Deep dive into Deep learning 시리즈 초반부에서도 이야기하였듯 결국 모델을 훈련하는 데 사용한 데이터뿐만이 아니라, 새로운, 이전에 본 적이 없는 데이터에 대해서도 알고리즘이 잘 동작하도록 만드는 것이다.이러한 모델의 능력을 우리는 'generalization' (일반화)라고 한다.이를 간단하게 복습해보자. 우리가 가지고 있는 데이터셋을 $S := ( \{x_i, y_i \})_{i=1}^n$이라 하자. 이 때 $x$는 data (feature)가 될 .. 2023. 5. 5.

티스토리툴바