Llama

Llama（ラマ、Large Language Model Meta AI）は、Meta が開発している大規模言語モデル（LLM）である^[4]。Llama は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。

この項目では、大規模言語モデルについて説明しています。その他のラマについては「ラマ」をご覧ください。

「LaMDA」とは異なります。

Llama

開発元	Meta
初版	2023年2月24日 (2年前) (2023-02-24)[1]
最新版	4[2] / 2025年4月5日 (43日前) (2025-04-05)
リポジトリ	llama-models - GitHub
プログラミング 言語	Python
対応言語	英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語[3]
種別	大規模言語モデル
ライセンス	LLAMA 3.3 COMMUNITY LICENSE AGREEMENT（ソースアベイラブル）
公式サイト	www.llama.com

Llama 3を搭載したMeta AI Imagineによって生成された画像の例。プロンプトは「A representation of Meta AI and Llama」。

名称は当初はLLaMAだったが、2023年7月18日のLlama 2のリリースの際にLlamaに変更になった^[5]。2025年4月5日、Llama 4がリリースされた^[6]。

LLaMA (初代)

LLaMAの開発者の論文^[1]によれば、LLaMAは70億パラメータ（業界の慣習でこれをBillionのBを使って「7B」と書くことがある。以下同様。）から650億パラメータ（65B）まで、いくつものサイズのモデルが作られた。LLaMA-13Bの性能は、GPT-3-175BをほとんどのNLPベンチマークで上回る。そして、LLaMA-65Bの性能は、GoogleのPaLM-540BやDeepMindのChinchilla（英語版）-70Bなど、当時の最先端モデルに匹敵した。

トレーニングデータ

LLaMAの開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。 これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。

初代のLLaMAは、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。

• コモン・クロールでスクレイピングしたWebページ
• GitHub のオープンソースリポジトリ
• ウィキペディア（20種類の言語）
• プロジェクト・グーテンベルクのパブリックドメインの書籍
• ArXivにアップロードされた科学論文のLaTeXソースコード
• Stack Exchangeウェブサイトの質問と回答

学習済みパラメータのリーク

LLaMAは、2023年2月24日、ブログ投稿と論文により発表された。^[1]

それまでは、ほとんどの強力な大規模言語モデルは制限のある API を通じてしかアクセスできなかった。Metaは、LLaMAのモデルで学習の結果得られたパラメータを内部管理し、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可」として、研究コミュニティにだけ非商用ライセンスで利用許可する方針とした。

ところが2023年3月2日、LLaMAのリリースから1週間でその学習済みパラメータが漏れ、4chan経由で拡散されてしまった^[7]。

ライセンス

バージョンごとにライセンス条項が異なる。

Llama 2のモデルのトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開された^[8]。

Llama 3.1～3.3などのライセンスは、ホームページではオープンソースと書かれているが、月間7億アクティブ・ユーザーがいる企業の場合はMetaの利用許可の取得が必要とするなどの条項があるため^[9]、オープンソースではなく、ソースアベイラブルである。^[10]

訓練データは非公開だが、公開データソースに独自のデータを混ぜた物である。

バージョン

名称	リリース日	パラメータ	学習コスト (ペタFLOP日)	コンテキスト長 (トークン)	コーパスサイズ (トークン)	商業利用
LLaMA	2023年2月24日	6.7B 13B 32.5B 65.2B	6,300[11]	2048	1–1.4T	No
Llama 2	2023年7月18日[12]	6.7B 13B 69B	21,000[13]	4096	2T	部分的（制限あり）
Code Llama	2023年8月24日	6.7B 13B 33.7B 69B
Llama 3	2024年4月18日	8B 70.6B	100,000[14][15]	8192	15T
Llama 3.1	2024年7月23日	8B 70.6B 405B	440,000[16]	128,000
Llama 3.2	2024年9月25日	1B 3B 11B 90B[17][18]		128,000[19]	9T
Llama 3.3	2024年12月7日	70B		128,000	15T
Llama 4	2025年4月5日[6]

派生モデル

Llamaの派生モデルは多数あり、Hugging Faceなどでその学習済みパラメータが公開されている。

Alpaca

スタンフォード大学の基盤モデル研究センター（Center for Research on Foundation Models, CRFM）は、2023年3月13日、初代のLLaMA-7Bをファイン・チューニングした、Alpaca をリリースした^[20]。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した^[21]。

訓練手法は、まず175個の入出力のペアのデータを作成し、OpenAIに$500支払い text-davinci-003 を使用して52,000個の訓練データに増やし、クラウドのGPUに$100支払いファインチューニングした。これにより text-davinci-003 と同程度の性能となった。なお、OpenAIはOpenAIのモデルを使用して訓練させることを禁止している。^[20]

Stability AI

Stability AIは、2023年7月21日にLLaMA-65BをファインチューニングしたStable Beluga 1を、2023年7月27日にLlama 2 70BをファインチューニングしたStable Beluga 2を公開した。^[22]

ELYZA LLM for JP

ELYZA（本社：東京都文京区）は、2023年8月29日、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bを公開^[23]。2024年6月26日、Llama-3-ELYZA-JP（8Bおよび70B）を公開^[24]。2024年10月25日、Llama-3.1-ELYZA-JP-70Bを公開^[25]。

サイバーエージェント

サイバーエージェントは、2024年7月26日、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開した^[26]。

Sakana AI

Sakana AIは、2024年8月2日、Llama-3-EvoVLM-JP-v2を公開した^[27]。