자연어 기계학습(ML/Transformer) - temperature, top 파라메터 의미

무엇인가를 사용하고자 한다면, 각 기능의 옵션을 이해할 필요성이 있다.

오늘은 자연어 기계 학습에서 최근 각광 받고 있는 Transformer의 파라메터중 temperature와 top은 이 둘은 밀접관 관계가 있다. 그래서 지금 이 둘의 의미에 대해 다루어보고자 한다.

그렇게 어렵게 생각할 개념은 아니기 때문에 쉽게 이해가 가능할 것이라고 생각된다.

자연어 처리는 input과 output이 존재 하는데, OpenAI기준으로 Prompt 를 입력하면 결과를 출력해주게 된다.

OpenAI의 API에서도 temperature와 top 이라는 파라메터가 존재하는데 다음과 같은 의미이다.

top 

결과를 출력하고자 할때 기계학습은 하나의 결과를 선택하게 된다. 이때 각 데이터의 학습에 따라 가장 적절하고 판단하는 score 를 가지고 있고, 이를 선택하는 기준 값이 된다.

만약 top 값이 1 이라고 하면 최상위만을 선택할 것이며, 0.9로 할 경우 0.9 이상의 값중에 선택을 하기 때문에 보다 다양한 결과를 만들어 낼 수 있다.

 

temperature

top을 통해 결과를 선택하는 판단 기준을 정했다면, tempeature(온도)는 만들어지는 데이터 score의 자율성을 의미한다.

만약 tempeature가 1에 가까울 경우 AI는 최대한 결과 데이터의 편차를 많이 만들기 위해서 노력한다. 아래그림을 고려하면 주황색 과 같이 결과에 가장 가까운 데이터에 대한 score를 높게 하여 최선의 답을 찾도록 한다.

그리고 tempeature를 0에 가까울 수도 청색 처럼 score를 분포는 높게 형성하도록 한다.

조금 더 이해를 쉽게 하고자 하기 위해서 간단한 예제를 들어보면 다음과 같다.

input - 오늘 뉴스중에 흥미로운 건? top 90

이라는 질문을 했을 때, AI는 적절한 답을 찾을 것이다. 

이때 아래 와 같은 데이터가 있다고 하면, 다음과 같다. AI는 학습 한 데이터를 기준으로 결과를 score 하게되고, 아래처럼 temperature에 따라서 흥미로운 결과가 나올 수 있는 것이다. 물론 top 값을 낮추게 된다면, 이 역시도 흥미로운 결과로 이어질 수 있다.

- output:

   1. 오늘 흥미로운 사건이... score:  9.9

   2. 흥미로운 뉴스이... score: 7(temperature에 따라 가산점이 들어감 0.8) = 9

   3. 아무런 사건이 없... score: 5(temperature에 따라 가산점이 들어감 0.8) = 7

   4. 왜 나에게 사건을... score: 5(temperature에 따라 가산점이 들어감 0.8) = 7

 

따라서 만약 top이 7 이라면, 위 4개중 랜덤으로 선택되며

9라면, 1과 2중 하나가 선택되게 된다.

결과론적으로  top과 tempeature는 output을 선택하기 위한 기준과 같은 것으로 top은 선택 기준이고, tempeature는 데이터를 만드는 score 기준이라고 이해하면 보다 쉽게 히애가 될 것이다.