机器学习概述

以下是机器学习的概述和主题指南：

机器学习是计算机科学中人工智能的一个子领域，它使计算机系统能够从数据中学习并改进功能及性能，而无需显式编程。它源于对模式识别和计算学习理论的研究。^[1] 1959年，亚瑟·李·塞谬尔将机器学习定义为“一门使计算机无需显式编程即可学习的学科”。^[2] 机器学习涉及对能够从数据中学习并进行预测的算法的研究与构建。^[3] 这些算法通过从一组示例观察数据（即训练集）构建一个数学模型，来进行数据驱动的预测或决策，而非严格遵循静态程序指令。

机器学习是当代人工智能的基础及核心驱动，推动着从搜索引擎、推荐系统到自动驾驶、医疗诊断等众多领域的革命性进展。

机器学习如何分类？

• 一门学术学科
• 科学的一个分支
  • 应用科学
    • 计算机科学的一个子领域
      • 人工智能的一个分支
      • 软计算的一个子领域
      • 统计学的应用

机器学习的范式

• 监督学习，即模型在标注数据上进行训练
• 无监督学习，即模型试图在未标注数据中识别模式
• 强化学习，即模型通过接收奖励或惩罚来学习做出决策。

机器学习的应用

• 生物信息学
• 生物医学信息学
• 计算机视觉
• 客户关系管理
• 数据挖掘
• 地球科学
• 电子邮件筛检
• 倒单摆（平衡与稳定系统）
• 自然语言处理
  • 命名实体识别
  • 自动摘要
  • 自动分类构建
  • 对话系统
  • 语法检查器
  • 语言识别
    • 手写识别
    • 光学字符识别
    • 语音识别
      • 文本到语音合成
      • 语音情感识别
  • 机器翻译
  • 问答系统
  • 语音合成
  • 文本挖掘
    • 词频-逆文档频率
  • 文本简化
• 模式识别
  • 人脸识别系统
  • 手写识别
  • 图像识别
  • 光学字符识别
  • 语音识别
• 推荐系统
  • 协同过滤
  • 内容基于过滤
  • 混合推荐系统
• 搜索引擎
  • 搜索引擎优化
• 社会工程学

机器学习硬件

• 图形处理单元
• 张量处理单元
• 视觉处理单元

机器学习工具

• 深度学习软件比较

机器学习框架

专有机器学习框架

• 亚马逊机器学习
• 微软Azure机器学习工作室
• DistBelief（已被TensorFlow取代）

开源机器学习框架

• Apache Singa
• Apache MXNet
• Caffe
• PyTorch
• mlpack
• TensorFlow
• Torch
• CNTK
• Accord.NET|Accord.Net
• Jax
• MLJ.jl – 用于 Julia 的机器学习框架

机器学习库

• Deeplearning4j
• Theano
• scikit-learn
• Keras

机器学习算法

• Almeida–Pineda 递归反向传播
• ALOPEX
• 反向传播
• 自举聚合
• CN2 算法
• 构建技能树
• Dehaene–Changeux 模型
• 扩散图
• 基于支配关系的粗糙集方法
• 动态时间规整
• 错误驱动学习
• 进化多模态优化
• 期望最大化算法
• 快速ICA
• 前向-后向算法
• GeneRec
• 遗传算法用于规则集生成
• 生长自组织映射
• 超基函数网络
• IDistance
• k-最近邻算法|‘'k’'-最近邻算法
• 核方法用于向量输出
• 核主成分分析
• Leabra
• Linde–Buzo–Gray算法
• 局部异常因子
• 逻辑学习机
• LogitBoost
• 流形对齐
• 马尔可夫链蒙特卡洛 (MCMC)
• 最小冗余特征选择
• 专家混合模型
• 多核学习
• 非负矩阵分解
• 在线机器学习
• 袋外误差
• 前额叶皮层基底核工作记忆
• PVLV
• Q学习
• 二次无约束二进制优化
• 查询级特征
• Quickprop
• 径向基函数网络
• 随机加权多数投票算法
• 强化学习
• 重复增量修剪以减少误差（RIPPER）
• Rprop
• 基于规则的机器学习
• 技能链
• 稀疏主成分分析
• 状态-动作-奖励-状态-动作
• 随机梯度下降
• 结构化kNN
• T分布随机邻域嵌入
• 时差学习
• 唤醒-睡眠算法
• 加权多数算法（机器学习）

机器学习方法

基于实例的算法

• K-近邻算法 (KNN)
• 学习向量量化 (LVQ)
• 自组织映射 (SOM)

回归分析

• 逻辑回归
• 普通最小二乘回归 (OLSR)
• 线性回归
• 逐步回归
• 多变量自适应回归样条 (MARS)
• 正则化算法
  • 岭回归
  • 最小绝对收缩和选择算子 (LASSO)
  • 弹性网
  • 最小角度回归 (LARS)
• 分类器
  • 概率分类器
    • 朴素贝叶斯分类器
  • 二元分类器
  • 线性分类器
  • 层次分类器

降维

降维

• 典型相关分析 (CCA)
• 因子分析
• 特征提取
• 特征选择
• 独立成分分析 (ICA)
• 线性判别分析 (LDA)
• 多维尺度分析 (MDS)
• 非负矩阵分解 (NMF)
• 偏最小二乘回归 (PLSR)
• 主成分分析 (PCA)
• 主成分回归 (PCR)
• 投影追踪
• 萨蒙映射
• t-分布随机邻域嵌入 (t-SNE)

集成学习

集成学习

• AdaBoost
• 提升法
• Bootstrap聚合（也称为“bagging”或“bootstrapping”）
• 集成平均
• 梯度提升决策树（GBDT）
• 梯度提升
• 随机森林
• 堆叠泛化

元学习

元学习

• 归纳偏置
• 元数据

强化学习

强化学习

• Q学习
• 状态-动作-奖励-状态-动作 (SARSA)
• 时差学习 (TD)
• 学习自动机

监督学习

监督学习

• 平均单依赖估计器 (AODE)
• 人工神经网络
• 基于案例的推理
• 高斯过程回归
• 基因表达编程
• 数据处理组方法 (GMDH)
• 归纳逻辑编程
• 实例基于学习
• 懒惰学习
• 学习自动机
• 学习向量量化
• 逻辑模型树
• 最小消息长度（决策树、决策图等）
  • 最近邻算法
  • 类比建模
• 可能近似正确学习（PAC）学习
• 级联规则, 一种知识获取方法
• 符号机器学习算法
• 支持向量机
• 随机森林
• 分类器集合
  • 自举聚合（bagging）
  • 提升（元算法）
• 有序分类
• 条件随机场
• 方差分析
• 二次分类器
• k最近邻
• 提升
  • SPRINT
• 贝叶斯网络
  • 朴素贝叶斯
• 隐马尔可夫模型
  • 分层隐马尔可夫模型

贝叶斯

贝叶斯统计学

• 贝叶斯知识库
• 朴素贝叶斯
• 高斯朴素贝叶斯
• 多项式朴素贝叶斯
• 平均单依赖估计器 (AODE)
• 贝叶斯信念网络 (BBN)
• 贝叶斯网络 (BN)

决策树算法

决策树算法

• 决策树
• 分类与回归树 (CART)
• 迭代二分法3（ID3）
• C4.5算法
• C5.0算法
• 卡方自动交互检测（CHAID）
• 决策桩
• 条件决策树
• ID3算法
• 随机森林
• SLIQ

线性分类器

线性分类器

• 费舍尔线性判别分析
• 线性回归
• 逻辑回归
• 多项式逻辑回归
• 朴素贝叶斯分类器
• 感知机
• 支持向量机

无监督学习

无监督学习

• 期望最大化算法
• 向量量化
• 生成式拓扑图
• 信息瓶颈方法
• 关联规则学习算法
  • Apriori算法
  • Eclat算法

人工神经网络

人工神经网络

• 前馈神经网络
  • 极端学习机
  • 卷积神经网络
• 循环神经网络
  • 长短期记忆（LSTM）
• 逻辑学习机
• 自组织映射

关联规则学习

关联规则学习

• Apriori算法
• Eclat算法
• FP-growth算法

层次聚类

层次聚类

• 单链接聚类
• 概念聚类

聚类分析

聚类分析

• BIRCH
• DBSCAN
• 期望最大化 (EM)
• 模糊聚类
• 层次聚类
• ‘'k’'-均值聚类
• k-中位数|‘'k’'-中位数
• 均值漂移|均值漂移
• OPTICS算法

异常检测

异常检测

• k-最近邻算法|‘'k’'-最近邻算法 (‘'k’'-NN)
• 局部异常因子

半监督学习

半监督学习

• 主动学习
• 生成模型
• 低密度分离
• 图基方法
• 协同训练
• 转换

深度学习

深度学习

• 深度信念网络
• 深度玻尔兹曼机
• 深度卷积神经网络
• 深度循环神经网络
• 分层时序记忆
• 生成对抗网络
  • 风格迁移
• Transformer
• 堆叠自编码器

其他机器学习方法与问题

• 异常检测
• 关联规则
• 偏差-方差困境
• 分类
  • 多标签分类
• 聚类
• 数据预处理
• 经验风险最小化
• 特征工程
• 特征学习
• 学习排序
• 奥卡姆学习
• 在线机器学习
• PAC学习
• 回归
• 强化学习
• 半监督学习
• 统计学习
• 结构化预测
  • 图模型
    • 贝叶斯网络
    • 条件随机场 (CRF)
    • 隐马尔可夫模型 (HMM)
• 无监督学习
• VC理论

机器学习研究

• 人工智能项目列表
• 机器学习研究数据集列表

机器学习历史

机器学习历史

• 机器学习时间线

机器学习项目、组织、出版物及活动

机器学习项目

• DeepMind
• Google Brain
• OpenAI
• Meta AI（英语：Meta AI）
• Hugging Face

机器学习组织、出版物及活动

• 国际人工智能联合会议