1. 등장 배경 a. 장기 의존 관계 학습의 어려움 RNN은 순환 경로를 포함하여 과거의 정보를 기억하고 현재 시점의 출력에 활용 할 수 있다. RNN은 단순한 구조를 가지고 있으나, 시계열 데이터에서 시간적으로 많이 떨어진 장기 의존 관계를 잘 학습하지 못하여 성능 문제가 있었다. b. Vanishing Gradient BPTT RNN 계층에서는 보통 $\tanh$를 활성화 함수로 활용하는데, 이때 gradient인 $(\tanh)`$는 항상 0~1 사이의 값을 가진다. 즉, 역전파에서 출력값은 노드를 지날 때 마다 값이 작아질 수 밖에 없다. 이로 인해 RNN 계층이 길어지게 되면 Vanishing Gradient가 발생한다. 2. Structure of LSTM LSTM에는 RNN과 달리 기억 셀 ..
1. RNN의 등장 배경 a. Feedforward 신경망의 문제점 Feedforward 신경망은 정보의 흐름이 단방향이다. Feedforward는 인풋레이어에서 아웃풋 레이어 까지 여러개의 퍼셉트론 층을 거치며 순차적으로 정보가 전달되는 구조로, 구성이 단순하여 이해하기 쉽고 많은 문제에 이용할 수 있다. 하지만 이러한 Feedforward 신경망은 시계열 데이터에서의 패턴을 충분히 학습 할 수 었다는 치명적인 단점을 가지고 있다. b. 순환하는 신경망 RNN의 특징은 순환하는 경로가 있다는 것이다. 데이터는 끊임없이 순환 경로를 따라 순환할 수 있으며, 이로 인해 과거의 정보를 기억하는 동시에 최신 데이터로 갱신될 수 있다. 말로만 하면 어려우니 위의 그림을 보자. t초 일 때의 인풋인 $X_t$는 ..
1. 머신 러닝 (Machine Learning) 머신러닝은 컴퓨터에게 명시적으로 프로그램(Explictly Programmed) 되지 않고도 학습할 수 있도록 하는 컴퓨터과학의 한 분야이다. 기존의 프로그래밍에서는 모든 케이스에 대해 명시적으로 if문을 작성하여 케이스를 처리하였다면, 머신러닝은 데이터를 기반으로 직접 학습을 수행하여 자기 자신이 직접 조건들을 설계하고 문제를 푼다. 머신러닝은 크게 지도학습, 비지도학습, 준지도학습, 강화학습으로 분류할 수 있으며, 회귀와 분류 등을 포합하고 있다. a. 지도학습 (Supervised Learning) 지도학습은 레이블링 된 데이터셋을 활용하여 모델을 학습시키는 과정이다. 예를 들어 위의 이미지를 보자. 위에서는 다양한 물체에 이름이 메겨져 분류가 이미..
