偏最小二乘回归

偏最小二乘回归（英语：Partial least squares regression， PLS回归）是一种统计学方法，与主成分回归有关系，但不是寻找响应和独立变量之间最小方差的超平面，而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据X和Y都会投影到新空间，PLS系列的方法都被称为双线性因子模型。当Y是分类数据时有“偏最小二乘判别分析（英语：Partial least squares Discriminant Analysis， PLS-DA）”，是PLS的一个变形。

偏最小二乘用于查找两个矩阵（X和Y）的基本关系，即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量，以及X的值中有多重共线性的时候。相比之下，标准的回归在这些情况下不见效（除非它是吉洪诺夫正则化）。

偏最小二乘算法被用在偏最小二乘路径建模中，^[1][2] 一个建立隐变量（原因不能没有实验和拟实验来确定，但一个典型的模型会基于之前理论假设（隐变量影响衡量指标的表现）的隐变量模型）这种技术是结构方程模型的一种形式，与经典方法不同的是基于组件而不是基于协方差。^[3]

偏最小二乘来源于瑞典统计学家Herman Wold，然后由他的儿子Svante Wold发展。偏最小二乘的另一个词（根据Svante Wold^[4]）是投影到潜在结构，但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中，偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学，sensometrics，神经科学和人类学。而相比之下，偏最小二乘回归最常用于社会科学、计量经济学、市场营销和战略管理。

底层模型

偏最小二乘的一般多元底层模型是

${\displaystyle X=TP^{\top }+E}$

${\displaystyle Y=UQ^{\top }+F}$

其中${\displaystyle X}$是一个${\displaystyle n\times m}$的预测矩阵，${\displaystyle Y}$是一个${\displaystyle n\times p}$的响应矩阵；${\displaystyle T}$和${\displaystyle U}$是${\displaystyle n\times l}$的矩阵，分别为${\displaystyle X}$的投影（“X分数”、“组件”或“因子”矩阵）和${\displaystyle Y}$的投影（“Y分数”）；${\displaystyle P}$和${\displaystyle Q}$分别是${\displaystyle m\times l}$和${\displaystyle p\times l}$的正交载荷矩阵，以及矩阵${\displaystyle E}$和${\displaystyle F}$是错误项，假设是独立同分布的随机正态变量。对${\displaystyle X}$和${\displaystyle Y}$分解来最大化${\displaystyle T}$和${\displaystyle U}$之间的协方差。

算法

偏最小二乘的许多变量是为了估计因子和载荷矩阵${\displaystyle T,U,P}$和${\displaystyle Q}$。它们中大多数构造了${\displaystyle X}$和${\displaystyle Y}$之间线性回归的估计${\displaystyle Y=X{\tilde {B}}+{\tilde {B}}_{0}}$。一些偏最小二乘算法只适合${\displaystyle Y}$是一个列向量的情况，而其它的算法则处理了${\displaystyle Y}$是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵${\displaystyle T}$为一个正交矩阵而不同。^{[5][6][7][8][9][10]} 最后的预测在所有不同最小二乘算法中都是一样的，但组件是不同的。

PLS1

PLS1是一个${\displaystyle Y}$是向量时广泛使用的算法。它估计${\displaystyle T}$是一个正交矩阵。以下是伪代码（大写字母是矩阵，带上标的小写字母是向量，带下标的小写字母和单独的小写字母都是标量）：

 1  function PLS1(${\displaystyle X,y,l}$)
 2  ${\displaystyle X^{(0)}\gets X}$
 3  ${\displaystyle w^{(0)}\gets X^{T}y/||X^{T}y||}$, an initial estimate of ${\displaystyle w}$.
 4  ${\displaystyle t^{(0)}\gets Xw^{(0)}}$ 
 5  for ${\displaystyle k}$ = 0 to ${\displaystyle l}$
 6      ${\displaystyle t_{k}\gets {t^{(k)}}^{T}t^{(k)}}$ (note this is a scalar)
 7      ${\displaystyle t^{(k)}\gets t^{(k)}/t_{k}}$
 8      ${\displaystyle p^{(k)}\gets {X^{(k)}}^{T}t^{(k)}}$
 9      ${\displaystyle q_{k}\gets {y}^{T}t^{(k)}}$ (note this is a scalar)
10      if ${\displaystyle q_{k}}$ = 0
11          ${\displaystyle l\gets k}$, break the for loop
12      if ${\displaystyle k<l}$
13          ${\displaystyle X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{T}}$
14          ${\displaystyle w^{(k+1)}\gets {X^{(k+1)}}^{T}y}$
15          ${\displaystyle t^{(k+1)}\gets X^{(k+1)}w^{(k+1)}}$
16  end for
17  define ${\displaystyle W}$ to be the matrix with columns ${\displaystyle w^{(0)},w^{(1)},...,w^{(l-1)}}$.
    Do the same to form the ${\displaystyle P}$ matrix and ${\displaystyle q}$ vector.
18  ${\displaystyle B\gets W{(P^{T}W)}^{-1}q}$
19  ${\displaystyle B_{0}\gets q_{0}-{P^{(0)}}^{T}B}$
20  return ${\displaystyle B,B_{0}}$

这种形式的算法不需要输入${\displaystyle X}$和${\displaystyle Y}$定中心，因为算法隐式处理了。这个算法的特点是收缩于${\displaystyle X}$ （减去${\displaystyle t_{k}t^{(k)}{p^{(k)}}^{T}}$），但向量${\displaystyle y}$不收缩，因为没有必要（可以证明收缩${\displaystyle y}$和不收缩的结果是一样的）。用户提供的变量${\displaystyle l}$是回归中隐藏因子数量的限制；如果它等于矩阵${\displaystyle X}$的秩，算法将产生${\displaystyle B}$和${\displaystyle B_{0}}$的最小二乘回归估计。

举例

10个变量（V1-V10）解释身高，PLS取前三个成分（C1-C3），数据集N=100。

1. 取得第一个成分C1：对10个变量赋予“内部权重”，既能解释10个变量，又能解释身高（最大协方差）。
   C1 = w1_v1*V1 + w1_v2*V2 + ... + w1_v10*V10（C1就是这100人每人一个值）
2. 移除（deflate）第一个成分C1对因变量的解释，重复此过程。获得C2、C3。
3. 用回归（如OLS）得出这三组值对身高的解释系数（系数_C1-C3）：
   预测身高 ≈ 截距_中间 + (系数_C1 * C1) + (系数_C2 * C2) + (系数_C3 * C3)
4. 预测身高 ≈ 截距_中间 + 系数_C1 * (w1_v1*V1 + ... + w1_v10*V10) + 系数_C2 * (w2_v1*V1 + ... + w2_v10*V10) + 系数_C3 * (w3_v1*V1 + ... + w3_v10*V10)
   把这个式子展开，然后把所有包含 V1 的项合并，所有包含 V2 的项合并，以此类推：
   预测身高 ≈ 截距_中间 + (系数_C1*w1_v1 + 系数_C2*w2_v1 + 系数_C3*w3_v1) * V1 + (系数_C1*w1_v2 + 系数_C2*w2_v2 + 系数_C3*w3_v2) * V2 + ... + (系数_C1*w1_v10 + 系数_C2*w2_v10 + 系数_C3*w3_v10) * V10
   V1 前面的括号 (系数_C1*w1_v1 + 系数_C2*w2_v1 + 系数_C3*w3_v1) 就是最终得到的 V1 的最终权重，以此类推。

PLS模型的结果是一套权重（每个变量分别对应1个权重，共10个数字），外加截距。在预测时，使用它们对观察到的加权进行预测。

扩展

2002年，一个叫做正交投影（英语：Orthogonal Projections to Latent Structures， OPLS）的方法提出。在OPLS中，连续变量数据被分为预测的和不相关的信息。这有利于改进诊断，以及更容易解释可视化。然而，这些变化只是改善模型的可解释性，不是预测能力。^[11] L-PLS通过3个连接数据块扩展了偏最小二乘回归。^[12] 同样，OPLS-DA（英语：Discriminant Analysis， 判别分析）可能被应用在处理离散变量，如分类和生物标志物的研究。

软件实现

大多数统计软件包都提供偏最小二乘回归。^{[来源请求]} R中的‘pls’包提供了一系列算法。^[13]

参见

• 特征提取
• 数据挖掘
• 机器学习
• 回归分析
• 典型相关
• Deming regression
• 多线性子空间学习
• 主成分分析
• 总平方和

扩展阅读

• Kramer, R. Chemometric Techniques for Quantitative Analysis. Marcel-Dekker. 1998. ISBN 0-8247-0198-4.
• Frank, Ildiko E.; Friedman, Jerome H. A Statistical View of Some Chemometrics Regression Tools. Technometrics. 1993, 35 (2): 109–148 [2015-09-28]. doi:10.1080/00401706.1993.10485033. （原始内容存档于2013-02-03）.
• Haenlein, Michael; Kaplan, Andreas M. A Beginner's Guide to Partial Least Squares Analysis. Understanding Statistics. 2004, 3 (4): 283–297. doi:10.1207/s15328031us0304_4.
• Henseler, Joerg; Fassott, Georg. Testing Moderating Effects in PLS Path Models. An Illustration of Available Procedures. 2005.
• Lingjærde, Ole-Christian; Christophersen, Nils. Shrinkage Structure of Partial Least Squares. Scandinavian Journal of Statistics. 2000, 27 (3): 459–473. doi:10.1111/1467-9469.00201.
• Tenenhaus, Michel. La Régression PLS: Théorie et Pratique. Paris: Technip.. 1998.
• Rosipal, Roman; Kramer, Nicole. Overview and Recent Advances in Partial Least Squares, in Subspace, Latent Structure and Feature Selection Techniques: 34–51. 2006.
• Helland, Inge S. PLS regression and statistical models. Scandinavian Journal of Statistics. 1990, 17 (2): 97–114. JSTOR 4616159.
• Wold, Herman. Estimation of principal components and related models by iterative least squares. Krishnaiaah, P.R. (编). Multivariate Analysis. New York: Academic Press. 1966: 391–420.
• Wold, Herman. The fix-point approach to interdependent systems. Amsterdam: North Holland. 1981.
• Wold, Herman. Partial least squares. Kotz, Samuel; Johnson, Norman L. (编). Encyclopedia of statistical sciences 6. New York: Wiley. 1985: 581–591.
• Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J. The collinearity problem in linear regression. the partial least squares (PLS) approach to generalized inverses. SIAM Journal on Scientific and Statistical Computing. 1984, 5 (3): 735–743. doi:10.1137/0905052.
• Garthwaite, Paul H. An Interpretation of Partial Least Squares. Journal of the American Statistical Association. 1994, 89 (425): 122–7. JSTOR 2291207. doi:10.1080/01621459.1994.10476452.
• Wang, H. (编). Handbook of Partial Least Squares. 2010. ISBN 978-3-540-32825-4.
• Stone, M.; Brooks, R.J. Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression. Journal of the Royal Statistical Society, Series B. 1990, 52 (2): 237–269. JSTOR 2345437.
• Wan Mohamad Asyraf Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.