대형 언어 모델

대규모 언어 모델(영어: large language model, LLM)^[1] 또는 거대 언어 모델(巨大言語 - )^[2]은 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델이다. 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다.^[3] LLM은 2018년 즈음에 모습을 드러냈으며 다양한 작업을 위해 수행된다. 이전의 특정 작업의 특수한 지도 학습 모델의 훈련 패러다임에서 벗어나 자연어 처리 연구로 초점이 옮겨졌다.

대규모 언어 모델(LLM) 은 AI 챗봇 기술을 가능하게 하는 요소이며 많은 화제를 불러일으키고 있는 주제 중 하나다. 대규모 언어 모델(LLM)의 작동 방식은 크게 3가지로 나뉘고 있다. 토큰화, 트랜스포머 모델, 프롬프트 등. 토큰화는 자연어 처리의 일부로 일반 인간 언어를 저수준 기계 시스템(LLMS)이 이해할 수 있는 시퀀스로 변환하는 작업을 말하며 여기에는 섹션에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반된다. 이는 음성학의 AI 버전과 같으며 토큰화의 목적은 인공지능이 문장의 구조를 예측하기 위한 학습 가이드 또는 공식과 같은 컨텍스트 백터를 생성하는 것이 목적. 언어를 더 많이 연구하고 문장이 어떻게 구성되는지 이해할수록 특정 유형의 문장에서 다음 언어에 대한 예측이 더 정확해진다. 이로 인해 온라인에서 사람들이 사용하는 다양한 커뮤니케이션 스타일을 재현하는 모델을 개발할 수 있다.

트랜스포머 모델은 순차적 데이터를 검사하여 어떤 단어가 서로 뒤따를 가능성이 높은지 관련 패턴을 식별하는 신경망의 일종으로 각각 다른 분석을 수행하여 어떤 단어가 호환되는지 결정하는 계층으로 구성된다. 이러한 모델은 언어를 학습하지 않고 알고리즘에 의존하여 사람이 쓴 단어를 이해하고 예를 들어, 힙스터 커피 블로그를 제공함으로써 커피에 대한 표준 글을 작성하도록 학습시킨다.

프롬프트는 개발자가 정보를 분석하고 토큰화하기 위해 대규모 언어 모델 LLM에 제공하는 정보로 프롬프트는 기본적으로 다양한 사용 사례에서 LLM에 도움이 되는 학습 데이터이다. 더 정확한 프롬프트를 받을수록 LLM은 다음 단어를 더 잘 예측하고 정확한 문장을 구성할 수 있다. 따라서 딥러닝 AI의 적절한 학습을 위해서는 적절한 프롬프트를 선택하는 것이 중요하다.

역사

2010년부터 2024년까지 주요 대형 FLOP 모델의 학습 계산 결과와 출판일 비교. 전반적으로 주요 모델(왼쪽 상단), 프런티어 모델(오른쪽 상단), 상위 언어 모델(왼쪽 하단), 그리고 주요 기업 내 상위 모델(오른쪽 하단). 이 모델들의 대부분은 언어 모델이다.

2017년부터 2024년까지 주요 대형 AI 모델의 FLOP 학습량 대비 학습 결과. 대부분의 대형 모델은 언어 모델이거나 언어 처리 능력을 갖춘 멀티모달 모델이다.

2017년 이전에도 당대 기준으로는 상당히 큰 언어 모델들이 존재했다. 1990년대에는 IBM의 정렬 모델(IBM aligned model)이 통계적 언어 모델링의 선구적 역할을 했다. 2001년에는 3억 단어 규모의 말뭉치로 학습한 스무딩된 n-그램 모델(smoothed n-gram model)이 당시 최고 수준의 퍼플렉시티(perplexity)를 기록하기도 했다.^[4] 2000년대에 접어들면서 인터넷 사용이 보편화되자 일부 연구자들은 웹 전체를 말뭉치로 활용하는 '웹을 말뭉치로(web as corpus)'^[5] 접근을 통해 인터넷 규모의 언어 데이터세트를 구축했고, 이를 기반으로 통계적 언어 모델을 학습시켰다.^[6][7] 2009년경에는 대부분의 자연어처리 과제에서 통계 기반 언어 모델이 기호 기반(symbolic) 언어 모델보다 우위를 점하게 되었는데, 이는 대규모 데이터를 효과적으로 활용할 수 있었기 때문이다.^[8]

2012년경 이미지 처리 분야에서 신경망이 주류가 된 이후,^[9] 언어 모델링에도 신경망이 적용되기 시작했다. 구글은 2016년 자사의 번역 시스템을 기존의 통계적 방식에서 신경망 기계번역(NMT) 방식으로 전환하였다. 이는 트랜스포머가 등장하기 전이었기 때문에, 순차적(seq2seq) 심층 LSTM 네트워크를 사용하였다.

다중 헤드 주의가 진행되기 전이 아닌 이후에 레이어가 정규화된 원래 논문의 변압기 모델의 주요 구성 요소에 대한 그림

2017년 NeurIPS 학회에서 구글 연구진은 트랜스포머 아키텍처를 소개하는 기념비적인 논문 'Attention Is All You Need'를 발표했다. 이 논문은 2014년의 seq2seq 기술을 개선하는 것을 목표로 했으며,^[10] 주로 바다나우(Bahdanau) 등이 2014년에 개발한 어텐션 메커니즘을 기반으로 했다. 이듬해인 2018년에는 BERT가 등장했고, 빠르게 자연어 처리 분야에서 사실상의 표준이 되었다.^[11] 최초의 트랜스포머는 인코더와 디코더 블록을 모두 포함하고 있지만, BERT는 인코더만 가지고 있는 모델이다. 한편 2023년 이후에는 디코더 기반의 GPT 계열 모델이 프롬프트 기반 문제 해결 능력에서 뛰어난 성과를 보이며 BERT의 연구 활용은 점차 감소세를 보이고 있다.^[12]

디코더만 있는 GPT-1은 2018년에 처음 등장했지만, 대중의 주목을 받은 것은 2019년의 GPT-2였다. 이는 개발사인 오픈AI가 GPT-2가 악용될 가능성을 우려해 처음에는 공개를 보류하기도 할만큼 강력했기 때문이다.^[13] 2020년에 발표된 GPT-3는 이보다 더 진일보한 성능을 보였으며, 2024년 기준으로 API를 통해서만 접근 가능하고 모델 자체는 다운로드해 로컬에서 실행할 수 없다. 대중적 관심을 끌게 된 계기는 2022년 출시된 ChatGPT였는데, 이 소비자 대상의 브라우저 기반 챗봇은 대중의 상상력을 자극하며 큰 화제를 모았다.^[14] 2023년의 GPT-4는 정확도가 향상되었을 뿐만 아니라 멀티모달 기능 덕분에 '성배(Holy Grail)'라는 평가까지 받았다.^[15] 오픈AI는 GPT-4의 구체적인 아키텍처와 파라미터 수를 공개하지 않았다. ChatGPT의 등장은 로봇공학, 소프트웨어 공학, 사회적 영향 연구 등의 컴퓨터 과학의 여러 하위 분야에서 LLM의 사용 증가로 이어졌다.^[16] 2024년에는 오픈AI가 논리적 추론 기능을 강화한 모델 OpenAI o1을 출시했으며, 이 모델은 최종 답변을 생성하기 전에 장문의 사고 과정(Chains of Thought)을 먼저 생성하는 특징이 있다.

경쟁 언어 모델들은 주로 GPT 시리즈와 동일하거나 유사한 규모의 파라미터 수를 갖추는 것을 목표로 개발되고 있다.^[17]

2022년 이후에는 BLOOM, LLaMA 등의 오픈소스 기반 모델이 인기를 끌고 있다. 다만 이들 모델은 사용 용도에 제한이 있다. 반면 Mistral AI의 Mistral 7B 및 Mixtral 8x7B는 보다 자유로운 아파치 라이선스를 채택하였다. 2025년 1월에는 DeepSeek가 6,710억 개의 파라미터를 가진 가중치 공개 모델 DeepSeek R1을 발표했으며, 이는 OpenAI o1에 견줄 수 있는 성능을 훨씬 낮은 비용으로 제공한다.^[18]

2023년 이후에는 많은 LLM이 멀티모달(multimodal) 모델, 즉 이미지나 오디오 등의 데이터도 함께 처리할 수 있는 능력을 가진 모델로 훈련되고 있다. 이러한 LLM은 대형 멀티모달 모델 (Large Multimodal Model, LMM)이라 불린다.^[19]

2024년에는 가장 크고 강력한 언어 모델들은 여전히 트랜스포머 아키텍처를 기반으로 하고 있다. 다만 최근에는 순환 신경망(RNN) 변형이나 상태공간 모델(State Space Model)인 Mamba와 같은 새로운 아키텍처를 적용한 시도도 일부 진행되고 있다.^[20][21][22]

평가

퍼플렉시티

퍼플렉시티(perplexity)

작업별 데이터 세트 및 벤치마크

또한 더 구체적인 다운스트림 작업에서 언어 모델의 역량을 평가하기 위해 많은 수의 테스트 데이터 세트와 벤치마크가 개발되었다. 테스트는 일반 지식, 상식적 추론, 수학적 문제 해결을 포함한 다양한 역량을 평가하도록 설계될 수 있다.

대형 언어 모델 목록

대형 언어 모델 목록

이름	출시일[a]	개발	파라미터 수[b]	코퍼스 크기	라이선스[c]
BERT	2018년	구글	340 million[23]	3.3 billion words[23]	Apache 2.0[24]
XLNet	2019년	Google	~340 million[25]	33 billion words
GPT-2	2019년	OpenAI	1.5 billion[26]	40GB[27] (~10 billion tokens)[28]	MIT[29]
GPT-3	2020년	OpenAI	175 billion[30]	300 billion tokens[28]	공개 웹 API
GPT-Neo	2021년 3월	EleutherAI	2.7 billion[31]	825 GiB[32]	MIT[33]
GPT-J	2021년 6월	EleutherAI	6 billion[34]	825 GiB[32]	Apache 2.0
Megatron-Turing NLG	2021년 10월[35]	마이크로소프트 and Nvidia	530 billion[36]	338.6 billion tokens[36]	제한된 웹 접근
Ernie 3.0 Titan	2021년 12월	Baidu	260 billion[37]	4 Tb	사유(Proprietary)
Claude[38]	2021년 12월	Anthropic	52 billion[39]	400 billion tokens[39]	클로즈드 베타
GLaM (Generalist Language Model)	2021년 12월	Google	1.2 trillion[40]	1.6 trillion tokens[40]	사유(Proprietary)
Gopher	2021년 12월	DeepMind	280 billion[41]	300 billion tokens[42]	사유(Proprietary)
LaMDA (Language Models for Dialog Applications)	2022년 1월	Google	137 billion[43]	1.56T words,[43] 168 billion tokens[42]	사유(Proprietary)
GPT-NeoX	2022년 2월	EleutherAI	20 billion[44]	825 GiB[32]	Apache 2.0
Chinchilla	2022년 3월	DeepMind	70 billion[45]	1.4 trillion tokens[45][42]	사유(Proprietary)
PaLM (Pathways Language Model)	2022년 4월	Google	540 billion[46]	768 billion tokens[45]	사유(Proprietary)
OPT (Open Pretrained Transformer)	2022년 5월	Meta	175 billion[47]	180 billion tokens[48]	비상업적 연구[d]
YaLM 100B	2022년 6월	Yandex	100 billion[49]	1.7TB[49]	Apache 2.0
Minerva	2022년 6월	Google	540 billion[50]	38.5B tokens from webpages filtered for mathematical content and from papers submitted to the arXiv preprint server[50]	사유(Proprietary)
BLOOM	2022년 7월	Large collaboration led by Hugging Face	175 billion[51]	350 billion tokens (1.6TB)[52]	Responsible AI
Galactica	2022년 11월	Meta	120 billion	106 billion tokens[53]	CC-BY-NC-4.0
AlexaTM (Teacher Models)	2022년 11월	Amazon	20 billion[54]	1.3 trillion[55]	공개 웹 API[56]
LLaMA (Large Language Model Meta AI)	2023년 2월	Meta	65 billion[57]	1.4 trillion[57]	비상업적 연구[e]
GPT-4	2023년 3월	OpenAI	정확한 수치 알 수 없음. 대략 1 trillion [f]	알 수 없음	공개 웹 API
Cerebras-GPT	2023년 3월	Cerebras	13 billion[59]		Apache 2.0
Falcon	2023년 3월	Technology Innovation Institute	40 billion[60]	1 Trillion tokens (1TB)[60]	사유(Proprietary)
BloombergGPT	2023년 3월	Bloomberg L.P.	50 billion	363 billion token dataset based on Bloomberg's data sources, plus 345 billion tokens from general purpose datasets[61]	사유(Proprietary)
PanGu-Σ	2023년 3월	Huawei	1.085 trillion	329 billion tokens[62]	사유(Proprietary)
OpenAssistant[63]	2023년 3월	LAION	17 billion	1.5 trillion tokens	Apache 2.0
PaLM 2 (Pathways Language Model 2)	2023년 5월	Google	340 billion[64]	3.6 trillion tokens[64]	사유(Proprietary)

1. This is the date that documentation describing the model's architecture was first released.
2. In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here.
3. This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.
4. The smaller models including 66B are publicly available, while the 175B model is available on request.
5. Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available.
6. As stated in Technical report: "Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method ..."^[58] Approximate number in the comparison chart that compares the relative storage, from the same report.

같이 보기

• 인공 초지능
• 멀티모덜 학습
• 검색증강생성