Llama.cpp

llama.cpp는 LLaMA와 같은 다양한 대형 언어 모델에 대해 추론을 수행하는 오픈 소스 소프트웨어 라이브러리이다.^[3] 범용 텐서 라이브러리인 GGML 프로젝트와 함께 공동 개발되었다.^[4]

llama.cpp

원저자	게오르기 게르가노프
개발자	게오르기 게르가노프 및 커뮤니티
발표일	2023년 3월 10일(2년 전)(2023-03-10)[1]
저장소	github.com/ggerganov/llama.cpp
프로그래밍 언어	C++, C
종류	대형 언어 모델용 라이브러리
라이선스	MIT 라이선스[2]

라이브러리에는 간단한 웹 인터페이스가 있는 서버와 함께 명령줄 도구가 포함되어 있다.^[5][6][7]

GGUF 파일 포맷

GGUF

파일 확장자	.gguf
매직 넘버	0x47 0x47 0x55 0x46
개발	게오르기 게르가노프 및 커뮤니티
발표일	2023년 8월 22일(22개월 전)(2023-08-22)[8]
최신 버전	v3[9]
포맷 종류	기계 학습 텐서

GGUF(GGML Universal File)^[10] 파일 형식은 텐서와 메타데이터를 하나의 파일에 저장하는 바이너리 형식으로, 모델 데이터를 빠르게 저장하고 불러올 수 있도록 설계되었다.^[11] 다른 모델 아키텍처에 대한 지원이 추가됨에 따라 이전 버전과의 호환성을 더 잘 유지하기 위해 2023년 8월 llama.cpp 프로젝트에서 도입되었다.^[12][13] GGML과 같이 프로젝트에서 사용했던 이전 형식을 계승했다.

GGUF 파일은 일반적으로 PyTorch와 같은 다른 기계 학습 라이브러리로 개발된 모델을 변환하여 생성된다.^[11]

지원 모델

• LLaMA
• LLaMA 2
• LLaMA 3
• Mistral 7B
• Mixtral 8x7B
• Mixtral 8x22B
• DBRX
• BERT
• GPT-2
• BLOOM
• Gemma
• Grok-1
• Mamba
• GPT-NeoX
• Flan T5