LLM - GGUF 파일이란?

GGUF(Georgi Gerganov Unified Format)는 기존에 모델의 각 딥러링 프레임워크에서 서로 호환성이 어려운 부분을 개선한 것으로, 딥러닝 모델을 효율적으로 저장하고 배포하기 위한 새로운 파일 형식으로써 다음과 같은 특징을 가지고 있다.

특징

1. 범용성: GGUF는 다양한 딥러닝 프레임워크와 호환되도록 설계되었다. TensorFlow, PyTorch, ONNX 등 다양한 플랫폼에서 사용할 수 있다.
2. 표준화된 포맷: 모델 저장 및 배포를 위한 표준화된 포맷을 제공하여, 모델 파일이 서로 다른 시스템 간에 쉽게 이동할 수 있다.
3. 효율성: 데이터와 메타데이터를 효율적으로 저장할 수 있는 구조를 가지고 있다. 이를 통해 모델 파일의 크기와 로딩 시간을 줄일 수 있다.

장점

1. 호환성 향상: 다양한 딥러닝 프레임워크와 라이브러리 간의 호환성을 개선하여 모델을 손쉽게 공유하고 사용할 수 있다.
2. 배포 용이성: GGUF 파일은 일관된 형식을 유지하므로, 모델의 배포 및 배치가 더 간편하고 직관적이다.
3. 파일 크기 최적화: 모델의 저장 및 전송 시 불필요한 데이터를 줄이고 압축 기능을 통해 파일 크기를 최소화할 수 있다.
4. 모델 유지보수: 모델 업데이트나 버전 관리를 더 쉽게 할 수 있어, 유지보수 작업이 수월하다.

구조

GGUF의 구조는 다음과 같은 주요 요소로 구성된다:

1. 헤더: 파일의 시작 부분에는 GGUF 파일의 메타데이터와 형식 정보를 담고 있는 헤더가 포함된다. 여기에는 파일 버전, 모델 종류, 프레임워크 정보 등이 포함된다.
2. 모델 데이터: 실제 모델의 파라미터와 가중치 데이터가 저장되는 부분이다. 이 데이터는 효율적인 저장과 접근을 위해 특정 형식으로 압축되거나 최적화될 수 있다.
3. 메타데이터: 모델의 구조, 입력 및 출력 형식, 학습 설정 등 모델과 관련된 정보를 담고 있는 섹션이다. 이 정보를 통해 모델을 로드하고 사용할 때 필요한 추가 정보를 제공한다.
4. 추가 정보: 예를 들어, 모델을 훈련한 환경에 대한 정보나, 모델이 특정 작업에 적합하도록 설정된 파라미터 등이 포함될 수 있다.

출처: gguf 허킹 페이스

GGUF는 이러한 구조를 통해 모델의 저장과 배포를 간소화하고, 다양한 환경에서 호환성과 효율성을 높이는 데 중점을 두고 설계되었다.