활동내용

1) RNN(순환 신경망)이란?

• RNN(Recurrent Neural Network)은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델
• 출력에 해당되는 번역된 문장 또한 단어의 시퀀스
• 이와 같이 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델(그 중 RNN은 가장 기본적인 인공 신경망 시퀀스 모델)

2) RNN’s Basic Idea

‘I’는 주어, ‘work’는 동사, ‘at’은 전치사, ‘google’은 명사이다. 구체적으로 들어다보면 주어인 ‘I’가 왔기 때문에 그 뒤는 동사일 것이라고 자연스럽게 예측했고, 전치사 ‘at’이 왔기 때문에 그 뒤는 명사가 올것이라고 추론할 수 있었던 것이다. 이러한 일련의 추론 과정을 수학적으로 모델링한 것이 바로 ‘RNN’이다.

3) RNN의 구조

Input은 동시가 아닌 순차적으로 들어오며, **'I'**는 hidden state라는 것을 거쳐 '주어'라는 것을 미리 알고 있다고 가정한다.

그러면 'I' 다음 **'work'**를 Input으로 받는데, 이때 hidden state는 'work' 뿐만 아니라 이전 'I'에 대한 데이터를 이전 hidden state를 통해 받아 **'동사'**라고 판단하게 된다.

마지막으로 'google'이 들어왔을 때는 'google'과 함께 'I','work','at'에 대한 정보를 함께 조합하여 'google'이 명사일 확률이 높다고 결론을 내리게 된다.

이처럼 RNN은 Hidden state가 방향을 가진 Edge로 연결되어 순환구조를 이루는 인공신경망의 한 종류를 의미한다. 그리고 이는 문장과 같은 **'Sequence Data'**를 분석하는데 유용하며, Input과 Output의 길이에 제약받지 않고 유연한 구조를 가질 수 있다는 점이 장점이 있다.

이제 예시는 접어두고 Input은 xi, Output은 yi, hidden state는 h2로 설정하고 구체적으로 구조를 살펴보겠다.

가중치 : Wxh, Whh