반응형
NTP(Next Token Prediction)는 GPT에서 사용되는 방법으로 다음 단어를 예측하는 Transformer의 Decoder부분을 의미 한다.
즉 다음 예측 단어가 기존에 주어진 단어와의 가중치를 계산해 가장 가중치가 높은 단어를 제공하는 방식을 의미한다.
이 모델은 GPT에서 사용하는 모델로, 다음 단어를 생성하는 능력이 좋은 모델이라고 할 수 있다.
반응형
'Bigdata' 카테고리의 다른 글
| Transformer(Bert/GPT) - Self-Attention, Multi-head Attention 이해 (0) | 2024.08.11 |
|---|---|
| LoRA(Low-Rank Adaptation) - Fine-Tuning 최적화 (0) | 2024.08.11 |
| Masked Language Modeling(MLM) 모델 이해 (0) | 2024.08.11 |
| 딥러닝 - 뉴런(Neuron)이란? 개념 이해 (0) | 2024.08.11 |
| LLM - Pre-train과 Fine-tuning 기본 이해 (0) | 2024.08.11 |
