FFNN - 순방향 신경망(feedforward neural network)

 순방향 신경망(feedforward neural network) 모델은 데이터가 한 방향으로 전달되는 순방향(feedforward), 한가지 방향으로만 연결성을 갖는 구조로 되어 있으며, 퍼셉트론의 연산과 같은 기본 뉴런 연산으로 실행하여, 결과를 추론하는 딥러닝에서 가장 기본에 되는 모델이다.

 

 

위 그림과 같이 기본적으로 3개의 레이어로 이루어져 있으며,

 

Input layer를 통해 데이터를 전달 받고, Hidden layer는 데이터의 특징(편향된 값)을 추출하고, Output layer는 추출된 특징을 기반으로 추론한 결과를 외부에 출력한다.

 

Transformer에서는 FFNN을 이용해서 동일한 레이어의 경우 동일한 값을 사용하는데, 이유는 다음 레이어에서 허용할 수 있는 벡터로 변환하기 위해서 사용된다.