NTP(Next Token Prediction) 모델 이해

 NTP(Next Token Prediction)는 GPT에서 사용되는 방법으로 다음 단어를 예측하는 Transformer의 Decoder부분을 의미 한다.

즉 다음 예측 단어가 기존에 주어진 단어와의 가중치를 계산해 가장 가중치가 높은 단어를 제공하는 방식을 의미한다.

이 모델은 GPT에서 사용하는 모델로, 다음 단어를 생성하는 능력이 좋은 모델이라고 할 수 있다.