トップQs
タイムライン
チャット
視点
GPT (言語モデル)
大規模言語モデルの種類 ウィキペディアから
Remove ads
Generative Pre-trained Transformer（GPT）は、OpenAIによる言語モデルのファミリーである。通常、大規模なテキストデータのコーパスで訓練され、人間的な文章を生成する。
 | この記事は英語版の対応するページを翻訳することにより充実させることができます。（2025年3月） 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
Transformerアーキテクチャのデコーダー部分のみを使用し、Universal Language Model Fine-tuning(ULMFiT)と同じ言語モデルアプローチを採用している[1]。テキスト生成、翻訳、文書分類など諸々の自然言語処理に合わせてファインチューニングできる。名称に含まれる"pre-trained"（事前訓練）とは、大量のテキストコーパスによる最初の訓練プロセスを指し、モデルは、各節に続く単語を予測するよう学習する。これによりもたらされる強固な基盤によって、各処理固有の下流処理が限定的なデータ量であってもモデルが適切に動作する。
Remove ads
GPT-1
2018年6月11日、OpenAIは"Improving Language Understanding by Generative Pre-Training"というタイトルの論文をリリースし、その中でGPT（Generative Pre-trained Transformer）を導入した[2]。
この時点では最高のパフォーマンスを行うニューラル自然言語処理モデルは、主に手動でラベル付けされた大量のデータからの教師あり学習を採用していた。この教師あり学習への依存は、十分に注釈が付けられていないデータセットの使用を制限するだけでなく、非常に大規模なモデルの訓練に莫大な費用と時間がかかっていた[2][3]。多くの言語（スワヒリ語やハイチ・クレオール語など）は、コーパス構築に使用できるテキストが不足しているため、このようなモデルを使用して翻訳や解釈をすることが難しい[3]。これに対して、GPTの「半教師あり」アプローチには2つの段階が含まれていた。2つの段階は、言語モデリングの目的を使用して初期パラメータを設定する教師なし生成「事前訓練」段階と、これらのパラメータがターゲットとするタスクに適合された教師あり識別「ファインチューニング」段階である[2]。
訓練には NVIDIA Quadro P600 を8枚30日使用し、実行効率33%のため、0.96ペタFLOPS・日となった。[4]
Remove ads
GPT-4
→詳細は「GPT-4」を参照
2023年3月14日、OpenAI の最新の GPT 基盤モデルである GPT-4 がリリースされた[5]。ユーザーは ChatGPT のプレミアムバージョンを通じて直接アクセスでき、開発者は OpenAI の API を利用して他の製品やサービスに組み込むことができる。
シリーズ一覧
→「OpenAI」も参照
出典
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads