rnn5 Deep dive into Deep learning Part 25 : Transformer 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 트랜스포머 (Transformer)에 대해 설명하고자 한다. Transformer는 Encoder와 Decoder로 이루어져 있으며 각각이 N개로 쌓인 구조를 하고 있다. 위 그림에서 좌측이 Encoder이고 우측이 Decoder이며 각각 $N_x$개 쌓여있는 구조이다. ( Original Transformer인 'Attention is all you need'에서는 $N_x = 6$이다.) 각 Encoder의 결괏값이 그 다음 Encoder의 input으로 들어가며, 맨 마지막 Encoder의 결괏값이 입력 데이터 (eg : 문장)에 대한 representation vector이고 이 값이 '모든' D.. 2023. 6. 24. Deep dive into Deep learning part 22 : RNN(3) 모바일 앱 환경에서는 LATEX 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 RNN의 구조와 내부 연산들에 대해 알아보도록 하자. Recurrent Neural network (RNN)는 위 구조처럼 Hidden node가 방향을 가진 edge로 연결돼 순환구조를 이루고 있다. 우측 그림을 통해 살펴보자. $x_{t-1}, x_t, x_{t+1}$은 시점 $t-1, t, t+1$에 들어오는 input이다. RNN은 음성, 문자처럼 순서가 있는 데이터 (sequential data) 처리에 능숙한데 그 이유는 위와 같이 시간 순서에 따라 들어오는 데이터를 순차적으로 처리할 수 있기 때문이다. $t$ 시점에 데이터 $x_{t}$가 들어오면 이것은 matrix $U$를 통해 hidde.. 2023. 5. 31. Deep dive into Deep learning part 21 : RNN (2) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다. 오늘은 본격적으로 RNN에 들어가보도록 하자. 우선 이를 위해 워드 임베딩과 가장 대표적인 모델인 Word2Vec에 대해서 이야기하고자 한다. Word embedding은 단어를 벡터로 변환하는 방법을 이야기하며 여기서의 벡터는 dense vector를 의미한다. 먼저 Sparse vector, Dense vector에 대해 이야기하자. 우리가 이미지 분류에서 라벨링을 할 때 가장 대표적인 방법이 '원핫인코딩', 즉 one-hot vector로 변환하는 것이었다. 여기서 one-hot vector는 하나의 성분만 $1$이고, 나머지 모든 성분은 $0$인 벡터를 의미한다. 만약, 이미지 분류에서 사진이 고양이 사.. 2023. 5. 26. Deep dive into Deep learning part 20 : RNN (1) 모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다. Regularization 토픽 이전 글에서 우리는 CNN에 대해서 살펴보았다. https://kyteris0624.tistory.com/35 Deep dive into Deep learning part 13. CNN (1) "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘부터는 CNN에 대해 이야기를 해보고자 한다. 먼저 CNN의 역사에 대해 간단하게 이야기해볼까 한 kyteris0624.tistory.com 여기서 Image data는 고정된 길이의 data이다. 즉, image data의 크기 (shape)은 바뀌지 않는다. 하지만 'sequence.. 2023. 5. 20. Deep dive into Deep learning part 12. 신경망 (3) - Updated "모바일 앱 환경에서는 latex 수식이 깨져 나타나므로, 가급적 웹 환경에서 봐주시길 바랍니다." 오늘은 신경망 (Neural network)의 구조적인 범주들, Convolutional neural network (CNN), Recurrent neural network (RNN), Generative adversarial neural network (GAN)에 대해 간단히 소개하는 내용을 올리고자 한다.원래 Transformer까지 포함을 시키고자 하였으나, 이는 매우 중요한 구조이기에 추후 CNN, RNN에 대하여 이야기하고 자세하게 따로 다루고자 한다. 우선, CNN에 대해서 이야기하자. 컨볼루션 신경망 (Convolutional neural network, CNN)는 이미지 데이터 처리에 특화돼.. 2023. 4. 16. 이전 1 다음
