遷移學習

遷移學習（英語：Transfer learning）是屬於機器學習的一種研究領域。它專注於存儲已有問題的解決模型，並將其利用在其他不同但相關問題上。^[1] 比如說，用來辨識汽車的知識（或者是模型）也可以被用來提升識別卡車的能力。計算機領域的遷移學習和心理學常常提到的學習遷移在概念上有一定關係，但是兩個領域在學術上的關係非常有限。

歷史

最早被引用的關於遷移學習的工作被認為屬於洛麗安·普拉特（英語：Lorien Pratt）。他在1993年制定了基於可辨識性的轉移（DBT）算法。^[2]

1997年，機器學習期刊發表了一期專門討論遷移學習的期刊，^[3]而到了1998年，該領域已經發展到包括多任務學習，^[4]以及對其理論基礎的更深入完善的分析。^[5]1998年，由普拉特和塞巴斯蒂安·特龍編輯的《Learning to Learn》^[6]便是對該主題的回顧。

遷移學習也被應用於認知科學，比如《Connection Science》雜誌就於1996年出版了一版特殊期刊，描述了如何通過使用遷移學習重新利用已有神經網絡。^[7]

定義

遷移學習是由域和任務定義的。域${\displaystyle {\mathcal {D}}}$由特徵空間${\displaystyle {\mathcal {X}}}$和邊緣概率分布${\displaystyle P(X)}$構成，其中${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$。給定域${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$，任務由標籤空間${\displaystyle {\mathcal {Y}}}$和目標預測函數${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$兩部分組成，函數${\displaystyle f}$預測${\displaystyle x}$對應的標籤${\displaystyle f(x)}$。任務${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$是從含有樣本對${\displaystyle \{x_{i},y_{i}\}}$的訓練數據中學習得到的，其中${\displaystyle x_{i}\in X,y_{i}\in {\mathcal {Y}}}$。^[8]

給定原域${\displaystyle {\mathcal {D}}_{S}}$及其任務${\displaystyle {\mathcal {T}}_{S}}$，目標域${\displaystyle {\mathcal {D}}_{T}}$及其任務${\displaystyle {\mathcal {T}}_{T}}$（滿足${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$或${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$），遷移學習旨在通過利用${\displaystyle {\mathcal {D}}_{S}}$和${\displaystyle {\mathcal {T}}_{S}}$的知識，幫助學習${\displaystyle {\mathcal {D}}_{T}}$域的目標預測函數${\displaystyle f_{T}(\cdot )}$。^[8]

應用

遷移學習的算法基礎可以源自馬爾可夫邏輯網絡^[9]和貝葉斯網絡。^[10]遷移網絡還被利用與發現癌症種類^[11]、建築物人員限額^[12]、普適智能遊戲玩家^[13]、語句分類^[14][15]以及篩選垃圾郵件（短信）。^[16]

來源

• Thrun, Sebastian; Pratt, Lorien. Learning to Learn. Springer Science & Business Media. 6 December 2012 [2022-12-23]. ISBN 978-1-4615-5529-2. （原始內容存檔於2022-07-02）.

參見

• 語言主題
• 技術主題

• 機器學習
• 深度學習
• 微調 (深度學習)
• 通用人工智慧
• 生成式人工智慧
• 圖靈測試
• 生成對抗網絡
• Transformer模型
• 大型語言模型
• 提示工程