機器學習概述

以下是機器學習的概述和主題指南：

機器學習是計算機科學中人工智慧的一個子領域，它使計算機系統能夠從數據中學習並改進功能及性能，而無需顯式編程。它源於對模式識別和計算學習理論的研究。^[1] 1959年，亞瑟·李·塞謬爾將機器學習定義為「一門使計算機無需顯式編程即可學習的學科」。^[2] 機器學習涉及對能夠從數據中學習並進行預測的算法的研究與構建。^[3] 這些算法通過從一組示例觀察數據（即訓練集）構建一個數學模型，來進行數據驅動的預測或決策，而非嚴格遵循靜態程序指令。

機器學習是當代人工智慧的基礎及核心驅動，推動著從搜尋引擎、推薦系統到自動駕駛、醫療診斷等眾多領域的革命性進展。

機器學習如何分類？

• 一門學術學科
• 科學的一個分支
  • 應用科學
    • 計算機科學的一個子領域
      • 人工智慧的一個分支
      • 軟計算的一個子領域
      • 統計學的應用

機器學習的範式

• 監督學習，即模型在標註數據上進行訓練
• 無監督學習，即模型試圖在未標註數據中識別模式
• 強化學習，即模型通過接收獎勵或懲罰來學習做出決策。

機器學習的應用

• 生物信息學
• 生物醫學信息學
• 計算機視覺
• 客戶關係管理
• 數據挖掘
• 地球科學
• 電子郵件篩檢
• 倒單擺（平衡與穩定系統）
• 自然語言處理
  • 命名實體識別
  • 自動摘要
  • 自動分類構建
  • 對話系統
  • 語法檢查器
  • 語言識別
    • 手寫識別
    • 光學字符識別
    • 語音識別
      • 文本到語音合成
      • 語音情感識別
  • 機器翻譯
  • 問答系統
  • 語音合成
  • 文本挖掘
    • 詞頻-逆文檔頻率
  • 文本簡化
• 模式識別
  • 人臉識別系統
  • 手寫識別
  • 圖像識別
  • 光學字符識別
  • 語音識別
• 推薦系統
  • 協同過濾
  • 內容基於過濾
  • 混合推薦系統
• 搜尋引擎
  • 搜尋引擎優化
• 社會工程學

機器學習硬體

• 圖形處理單元
• 張量處理單元
• 視覺處理單元

機器學習工具

• 深度學習軟體比較

機器學習框架

專有機器學習框架

• 亞馬遜機器學習
• 微軟Azure機器學習工作室
• DistBelief（已被TensorFlow取代）

開源機器學習框架

• Apache Singa
• Apache MXNet
• Caffe
• PyTorch
• mlpack
• TensorFlow
• Torch
• CNTK
• Accord.NET|Accord.Net
• Jax
• MLJ.jl – 用於 Julia 的機器學習框架

機器學習庫

• Deeplearning4j
• Theano
• scikit-learn
• Keras

機器學習算法

• Almeida–Pineda 遞歸反向傳播
• ALOPEX
• 反向傳播
• 自舉聚合
• CN2 算法
• 構建技能樹
• Dehaene–Changeux 模型
• 擴散圖
• 基於支配關係的粗糙集方法
• 動態時間規整
• 錯誤驅動學習
• 進化多模態優化
• 期望最大化算法
• 快速ICA
• 前向-後向算法
• GeneRec
• 遺傳算法用於規則集生成
• 生長自組織映射
• 超基函數網絡
• IDistance
• k-最近鄰算法|『'k』'-最近鄰算法
• 核方法用於向量輸出
• 核主成分分析
• Leabra
• Linde–Buzo–Gray算法
• 局部異常因子
• 邏輯學習機
• LogitBoost
• 流形對齊
• 馬爾可夫鏈蒙特卡洛 (MCMC)
• 最小冗餘特徵選擇
• 專家混合模型
• 多核學習
• 非負矩陣分解
• 在線機器學習
• 袋外誤差
• 前額葉皮層基底核工作記憶
• PVLV
• Q學習
• 二次無約束二進制優化
• 查詢級特徵
• Quickprop
• 徑向基函數網絡
• 隨機加權多數投票算法
• 強化學習
• 重複增量修剪以減少誤差（RIPPER）
• Rprop
• 基於規則的機器學習
• 技能鏈
• 稀疏主成分分析
• 狀態-動作-獎勵-狀態-動作
• 隨機梯度下降
• 結構化kNN
• T分布隨機鄰域嵌入
• 時差學習
• 喚醒-睡眠算法
• 加權多數算法（機器學習）

機器學習方法

基於實例的算法

• K-近鄰算法 (KNN)
• 學習向量量化 (LVQ)
• 自組織映射 (SOM)

回歸分析

• 邏輯回歸
• 普通最小二乘回歸 (OLSR)
• 線性回歸
• 逐步回歸
• 多變量自適應回歸樣條 (MARS)
• 正則化算法
  • 嶺回歸
  • 最小絕對收縮和選擇算子 (LASSO)
  • 彈性網
  • 最小角度回歸 (LARS)
• 分類器
  • 概率分類器
    • 樸素貝葉斯分類器
  • 二元分類器
  • 線性分類器
  • 層次分類器

降維

降維

• 典型相關分析 (CCA)
• 因子分析
• 特徵提取
• 特徵選擇
• 獨立成分分析 (ICA)
• 線性判別分析 (LDA)
• 多維尺度分析 (MDS)
• 非負矩陣分解 (NMF)
• 偏最小二乘回歸 (PLSR)
• 主成分分析 (PCA)
• 主成分回歸 (PCR)
• 投影追蹤
• 薩蒙映射
• t-分布隨機鄰域嵌入 (t-SNE)

集成學習

集成學習

• AdaBoost
• 提升法
• Bootstrap聚合（也稱為「bagging」或「bootstrapping」）
• 集成平均
• 梯度提升決策樹（GBDT）
• 梯度提升
• 隨機森林
• 堆疊泛化

元學習

元學習

• 歸納偏置
• 元數據

強化學習

強化學習

• Q學習
• 狀態-動作-獎勵-狀態-動作 (SARSA)
• 時差學習 (TD)
• 學習自動機

監督學習

監督學習

• 平均單依賴估計器 (AODE)
• 人工神經網絡
• 基於案例的推理
• 高斯過程回歸
• 基因表達編程
• 數據處理組方法 (GMDH)
• 歸納邏輯編程
• 實例基於學習
• 懶惰學習
• 學習自動機
• 學習向量量化
• 邏輯模型樹
• 最小消息長度（決策樹、決策圖等）
  • 最近鄰算法
  • 類比建模
• 可能近似正確學習（PAC）學習
• 級聯規則, 一種知識獲取方法
• 符號機器學習算法
• 支持向量機
• 隨機森林
• 分類器集合
  • 自舉聚合（bagging）
  • 提升（元算法）
• 有序分類
• 條件隨機場
• 方差分析
• 二次分類器
• k最近鄰
• 提升
  • SPRINT
• 貝葉斯網絡
  • 樸素貝葉斯
• 隱馬爾可夫模型
  • 分層隱馬爾可夫模型

貝葉斯

貝葉斯統計學

• 貝葉斯知識庫
• 樸素貝葉斯
• 高斯樸素貝葉斯
• 多項式樸素貝葉斯
• 平均單依賴估計器 (AODE)
• 貝葉斯信念網絡 (BBN)
• 貝葉斯網絡 (BN)

決策樹算法

決策樹算法

• 決策樹
• 分類與回歸樹 (CART)
• 迭代二分法3（ID3）
• C4.5算法
• C5.0算法
• 卡方自動交互檢測（CHAID）
• 決策樁
• 條件決策樹
• ID3算法
• 隨機森林
• SLIQ

線性分類器

線性分類器

• 費舍爾線性判別分析
• 線性回歸
• 邏輯回歸
• 多項式邏輯回歸
• 樸素貝葉斯分類器
• 感知機
• 支持向量機

無監督學習

無監督學習

• 期望最大化算法
• 向量量化
• 生成式拓撲圖
• 信息瓶頸方法
• 關聯規則學習算法
  • Apriori算法
  • Eclat算法

人工神經網絡

人工神經網絡

• 前饋神經網絡
  • 極端學習機
  • 卷積神經網絡
• 循環神經網絡
  • 長短期記憶（LSTM）
• 邏輯學習機
• 自組織映射

關聯規則學習

關聯規則學習

• Apriori算法
• Eclat算法
• FP-growth算法

層次聚類

層次聚類

• 單連結聚類
• 概念聚類

聚類分析

聚類分析

• BIRCH
• DBSCAN
• 期望最大化 (EM)
• 模糊聚類
• 層次聚類
• 『'k』'-均值聚類
• k-中位數|『'k』'-中位數
• 均值漂移|均值漂移
• OPTICS算法

異常檢測

異常檢測

• k-最近鄰算法|『'k』'-最近鄰算法 (『'k』'-NN)
• 局部異常因子

半監督學習

半監督學習

• 主動學習
• 生成模型
• 低密度分離
• 圖基方法
• 協同訓練
• 轉換

深度學習

深度學習

• 深度信念網絡
• 深度玻爾茲曼機
• 深度卷積神經網絡
• 深度循環神經網絡
• 分層時序記憶
• 生成對抗網絡
  • 風格遷移
• Transformer
• 堆疊自編碼器

其他機器學習方法與問題

• 異常檢測
• 關聯規則
• 偏差-方差困境
• 分類
  • 多標籤分類
• 聚類
• 數據預處理
• 經驗風險最小化
• 特徵工程
• 特徵學習
• 學習排序
• 奧卡姆學習
• 在線機器學習
• PAC學習
• 回歸
• 強化學習
• 半監督學習
• 統計學習
• 結構化預測
  • 圖模型
    • 貝葉斯網絡
    • 條件隨機場 (CRF)
    • 隱馬爾可夫模型 (HMM)
• 無監督學習
• VC理論

機器學習研究

• 人工智慧項目列表
• 機器學習研究數據集列表

機器學習歷史

機器學習歷史

• 機器學習時間線

機器學習項目、組織、出版物及活動

機器學習項目

• DeepMind
• Google Brain
• OpenAI
• Meta AI（英語：Meta AI）
• Hugging Face

機器學習組織、出版物及活動

• 國際人工智慧聯合會議