GPT-3

生成式預訓練變換模型 3（GPT-3）係OpenAI喺 2020 年推出嘅大型語言模型。

同前代GPT-2一樣，佢係一個純解碼器^[1]變換器模型嘅深度神經網絡，用咗「注意力機制」取代傳統嘅循環同卷積結構^[2]。呢種機制令個模型識得自動揀輸入文本中最關鍵嘅段落嚟重點處理^[3]。GPT-3 有成 1,750 億個參數，每個參數用 16-bit 精度儲存，淨係擺參數都要用 350GB 空間（每個參數佔 2 byte）。佢嘅上下文窗口可以處理 2048 個標記，仲展現出超強嘅「零擊」同「少樣本」學習能力^[1]。

2020年9月22號，微軟宣布取得 GPT-3 嘅獨家授權。其他人雖然仲可以用佢嘅公開 API 攞輸出，但底層模型得微軟先有權改^[4]。

背景

根據《經濟學人》分析，算法進步、電腦效能提升同埋數碼資料量暴增，合力推動咗機器學習革命。2010年代嘅新技術令各項任務「急速進化」，包括玩轉語言嘅能力^[5]。

軟件模型透過「模仿大腦神經結構」嘅設計，用數以萬計嘅例子嚟學習^[5]。自然語言處理（NLP）常用嘅一種結構係 2017 年推出嘅深度學習模型——變換器^[6]。而家有唔少 NLP 系統識得處理、整理、連結同對比文本，甚至準確答問題^[7]。

2018年6月11號，OpenAI 團隊發表咗首個生成式預訓練變換模型（GPT）——種先喺海量文本語料庫做預訓練，再針對特定任務做微調嘅生成式大型語言模型。GPT 採用深度學習嘅變換器結構。以往頂尖嘅神經 NLP 模型主要靠監督式學習，需要大量人手標註數據，搞到訓練超大模型又貴又嘥時間^[1]。初代 GPT 叫「GPT-1」，2019年2月出嘅「GPT-2」將參數量同數據集規模各擴充10倍，用咗15億參數同800萬網頁數據訓練^[8]。

2020年2月，微軟推出參數量達170億嘅「圖靈自然語言生成模型」（T-NLG），自稱係「當時最大語言模型」^[9]。呢個模型喺文本摘要、答問題等多項任務表現都贏晒其他模型。

訓練同能力

2020年5月28號，OpenAI 31位工程師同研究員喺arXiv預印本論文入面詳細講解第三代「頂尖語言模型」GPT-3嘅研發成果^[10][11]。團隊將 GPT-3 嘅容量比前代 GPT-2 提升超過兩個數量級^[12]，令 GPT-3 成為當時最大嘅非稀疏語言模型^[10]:14[13]。由於結構同前代相似^[10]，GPT-3 嘅高準確度主要歸功於參數量暴增^[14]。GPT-3 容量比當時第二大 NLP 模型——微軟 Turing NLG 大十倍^[11]。

Lambdalabs 估算2020年用單張GPU訓練 GPT-3 要耗資約460萬美元同355年^[15]，實際用多 GPU 並行訓練會快啲。

GPT-3 嘅預訓練數據集中，60%權重來自過濾版Common Crawl嘅4100億位元組對編碼標記，並用Apache Spark嘅MinHashLSH做模糊去重^[10]:9。其他來源包括佔22%權重嘅190億標記 WebText2、佔8%嘅120億標記 Books1、佔8%嘅550億標記 Books2，同埋佔3%嘅30億維基百科標記^[10]:9。GPT-3 訓練數據涵蓋數千億字詞，仲識得用CSS、JSX同Python等語言寫code^{[未記出處或冇根據]}。

GPT-3 訓練數據^[10]:9

數據集	標記數量	訓練佔比
Common Crawl	4100億	60%
WebText2	190億	22%
Books1	120億	8%
Books2	550億	8%
維基百科	30億	3%

由於 GPT-3 訓練數據包羅萬有，做唔同語言任務時唔使再訓練^{[未記出處或冇根據]}。訓練數據含少量粗俗語言，令 GPT-3 有時都會爆粗。華盛頓大學研究發現 GPT-3 嘅毒性水平同 GPT-2、CTRL 等模型相若。OpenAI 實施多種限制措施後，GPT-3 比前代 GPT-1 少咗粗口，但比起全用維基數據訓練嘅 CTRL Wiki 模型，GPT-3 嘅粗口生成量同毒性都更高^[16]。

2020年6月11日，OpenAI宣布開放申請 GPT-3 API 呢個「機器學習工具箱」，等公眾幫手「探索技術潛力同局限」^[17][18]。呢個「文字入，文字出」嘅通用接口可以處理「幾乎所有英文任務」^[17]。有早期試用者話 GPT-3 只要簡單提示就能寫出「驚人連貫」嘅文章，勁到有啲得人驚^[19]。初步實驗搵80個美國人分辨200字文章係人寫定 GPT-3 生成，結果正確率得52%，同亂估差唔多^[10]。

2021年11月18日，OpenAI 宣布加強防護措施後全面開放 API^[20]，並提供內容審查工具協助遵守政策^[21]。2022年1月27日，OpenAI 宣布全面改用新版 GPT-3 模型（統稱 InstructGPT），聲稱新模型更識跟指示、少作古仔、毒性更低^[22]。

由於 GPT-3 能生成「人類難以分辨真假嘅新聞稿」^[11]，被指「同時推動語言模型嘅正邪應用」^[10]:34。2020年5月28日論文詳細列舉 GPT-3 潛在危害^[11]，包括「假資訊、濫發、釣魚、濫用法律程序、代寫論文、社交工程詐騙」^[10]，作者呼籲研究減害措施^[10]:34。

GPT-3 具備零擊同小樣本學習能力（包括一擊學習）^[10]。

2022年6月，Almira Osmanovic Thunström 聲稱 GPT-3 自主撰寫並提交咗篇自我介紹論文^[23]，論文預印本已發布待審^[24]。

GPT-3 模型家族

GPT-3 系列有多個模型，各有所長。OpenAI 初版論文提到8個主要型號：

模型名	參數量	API 名
GPT-3 Small	1.25億	n/a
GPT-3 Medium	3.5億	ada
GPT-3 Large	7.6億	n/a
GPT-3 XL	13億	babbage
GPT-3 2.7B	27億	n/a
GPT-3 6.7B	67億	curie
GPT-3 13B	130億	n/a
GPT-3 175B	1750億	davinci

半數模型可經 API 使用，即 GPT-3-medium、GPT-3-xl、GPT-3-6.7B 同 GPT-3-175b，對應名為 ada、babbage、curie、davinci。雖然 OpenAI 無公開 API 模型大小，但EleutherAI 2021年5月披露咗對應關係^[25]，後獲 OpenAI 確認^[26]，但後續模型參數仍保密。

模型	參數量	描述	系列
ada	3.5億	處理簡單任務最快最平	基礎 GPT-3
babbage babbage-002	13億	處理直接任務，快而抵	基礎 GPT-3
curie	67億	能力強，比 davinci 快而平	基礎 GPT-3
davinci davinci-002	1750億	最全能，任務完成質量最高	基礎 GPT-3
text-ada-001	3.5億	處理簡單任務最快最平	InstructGPT
text-babbage-001	13億	處理直接任務，快而抵	InstructGPT
text-curie-001	67億	能力強，比 davinci 快而平	InstructGPT
text-davinci-001	1750億	舊版最強模型，需較少上下文	InstructGPT
text-davinci-002 code-davinci-002	保密	類似 text-davinci-003 但用監督式微調	GPT-3.5
text-davinci-003	保密	語言任務更優，支援文本插入	GPT-3.5
gpt-3.5-turbo gpt-3.5-turbo-instruct gpt-3.5-turbo-16k	保密	最強 GPT-3.5 模型，專為聊天優化，成本僅 text-davinci-003 1/10	GPT-3.5

GPT-3.5

生成式預訓練變換模型 3.5（GPT-3.5）

原作者	OpenAI[10]
初始版本	2022年3月15號，3年之前 (2022-03-15)
最新發布	175B
測試版	gpt-3.5-turbo-0125 / 2024年1月25號，18個月之前 (2024-01-25)
軟件類別	Template:Indented plainlist
許可協議	私有軟件
網站	n/a
代碼庫（英文：Repository (version control)）	n/a

生成式預訓練變換模型 3.5（GPT-3.5）係OpenAI 2022年推出嘅 GPT-3 子系列。

2022年3月15日，OpenAI 喺 API 推出具編輯插入功能嘅新版 GPT-3 同 Codex，名為「text-davinci-002」同「code-davinci-002」^[27]，訓練數據更新至2021年6月^[28]。2022年11月28日推出 text-davinci-003^[29]。2022年11月30日 OpenAI 將呢啲模型歸類為「GPT-3.5」系列^[28]，並發布基於 GPT-3.5 微調嘅ChatGPT^[30]。官方指 GPT-3.5 唔屬 GPT-3^[31]。

模型

主要有三款^[32]：

• 聊天
  • gpt-3.5-turbo
• 文本補全
  • text-davinci-003
  • text-davinci-002

GPT-3.5 瀏覽版

2023年4月10日，OpenAI推出 GPT-3.5 瀏覽版（ALPHA）^[33]，基於「text-davinci-002」同「code-davinci-002」強化^[34]。新版加入網上瀏覽功能，回應更準確及時^[33]。

訓練數據更新至2021年9月（舊版至2021年6月），強化網絡資訊整合能力^[33]。OpenAI 為瀏覽版設計新API，運行時可存取指定網上資源^[35]。2023年4月27日向 GPT Plus 用戶全面開放^[35]。

InstructGPT

InstructGPT 係基於人類指令數據集微調嘅 GPT-3.5 版本^[36]。