矩陣微積分

在數學中，矩陣微積分是多元微積分的一種特殊表達，尤其是在矩陣空間上進行討論的時候。它把單個函數對多個變量或者多元函數對單個變量的偏導數寫成向量和矩陣的形式，使其可以被當成一個整體被處理。這使得要在多元函數尋找最大或最小值，又或是要為微分方程系統尋解的過程大幅簡化。這裡我們主要使用統計學和工程學中的慣用記法，而張量下標記法更常用於物理學中。

記法與術語說明

本條目中，我們使用單個字母變量來表示多個變量的集合體（向量和矩陣），這樣可以充分利用矩陣記法的效用。

本條目使用不同字體來區分標量、向量和矩陣。下面使用M(n,m)來表示包含n行m列的n×m實矩陣的空間，它等同於${\displaystyle \mathbb {R} ^{n\times m}}$。該空間中的一般矩陣用粗體大寫字母表示，例如${\displaystyle \mathbf {A} }$，${\displaystyle \mathbf {X} }$，${\displaystyle \mathbf {Y} }$等。而若該矩陣屬於M(n,1)，即列向量，則用粗體小寫字母表示，如${\displaystyle \mathbf {a} }$，${\displaystyle \mathbf {x} }$，${\displaystyle \mathbf {y} }$等。特別地，M(1,1)中的元素為標量，用小寫斜體字母表示，如a，t，x等。${\displaystyle \mathbf {X} ^{\mathrm {T} }}$ 表示矩陣轉置，tr(${\displaystyle \mathbf {X} }$)表示矩陣的跡，而 ${\displaystyle \det(\mathbf {X} )}$或${\displaystyle |\mathbf {X} |}$表示行列式。除非專門註明，所有函數都默認屬於光滑函數C¹。 通常字母表前半部分的字母(a, b, c, …)用於表示常量，而後半部分的字母(t, x, y, …)用於表示變量。

矩陣的內積和範數

主條目：點積和範數

向量的內積（點積）在諸多領域中有着廣泛的運用。

定義在${\displaystyle \mathbb {R} ^{n}}$上的向量${\displaystyle \mathbf {a} =[a_{1},a_{2},\cdots ,a_{n}]^{T}}$和${\displaystyle \mathbf {b} =[b_{1},b_{2},\cdots ,b_{n}]^{T}}$的點積定義為：

${\displaystyle \langle \mathbf {a} ,\mathbf {b} \rangle :=\mathbf {a} \cdot \mathbf {b} =\mathbf {a} ^{\mathrm {T} }\mathbf {b} =\mathbf {b} ^{\mathrm {T} }\mathbf {a} =\sum _{i=1}^{n}a_{i}b_{i}=a_{1}b_{1}+a_{2}b_{2}+\cdots +a_{n}b_{n}}$。

和向量類似，矩陣也可以定義內積（弗羅比尼烏斯內積）：對於定義在${\displaystyle \mathbb {R} ^{m\times n}}$上的實矩陣${\displaystyle \mathbf {A} }$和${\displaystyle \mathbf {B} }$，${\displaystyle \langle \mathbf {A} ,\mathbf {B} \rangle :=\mathbf {A} :\mathbf {B} =\sum _{i=1}^{m}\sum _{j=1}^{n}A_{ij}B_{ij}=\mathrm {tr} (\mathbf {B} ^{\mathrm {T} }\mathbf {A} )=\mathrm {tr} (\mathbf {A} \mathbf {B} ^{\mathrm {T} })=\mathrm {tr} (\mathbf {A} ^{\mathrm {T} }\mathbf {B} )=\mathrm {tr} (\mathbf {B} \mathbf {A} ^{\mathrm {T} })}$。

利用內積，可以定義向量和矩陣的範數（模）。

向量可以以多種形式定義範數。歐幾里得範數是 ${\displaystyle \mathbb {R} ^{n}}$ 上最常用的範數。它可以以向量與其自身的內積的平方根表示：

${\displaystyle \|\mathbf {a} \|:={\sqrt {\langle \mathbf {a} ,\mathbf {a} \rangle }}={\sqrt {\sum _{i=1}^{n}a_{i}^{2}}}={\sqrt {a_{1}^{2}+a_{2}^{2}+\cdots +a_{n}^{2}}}}$。

而矩陣範數也有多種定義，數值線性代數中最常用的一種範數為弗羅貝尼烏斯範數，它是矩陣與其自身的弗羅比尼烏斯內積的平方根：對於定義在${\displaystyle \mathbb {R} ^{m\times n}}$上的實矩陣${\displaystyle \mathbf {A} }$，

${\displaystyle \|\mathbf {A} \|:={\sqrt {\langle \mathbf {A} ,\mathbf {A} \rangle }}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}A_{ij}^{2}}}={\sqrt {\mathrm {tr} (\mathbf {A} ^{\mathrm {T} }\mathbf {A} )}}={\sqrt {\mathrm {tr} (\mathbf {A} \mathbf {A} ^{\mathrm {T} })}}}$。

對於復向量和復矩陣，將轉置改為共軛轉置即可。

線性映射

主條目：線性映射

線性映射指的是滿足保持向量空間中向量加法和數乘運算的映射。此處的「向量」是抽象代數意義上的。也就是說，從向量空間${\displaystyle V}$到${\displaystyle W}$（二者的係數體均為${\displaystyle K}$）的映射${\displaystyle {\mathcal {L}}:V\to W}$要想成為線性映射，必須滿足齊次性和疊加性：

• 齊次性：對於任何向量${\displaystyle \mathbf {x} \in V}$ 和任何標量 ${\displaystyle a\in K}$ ：

$${\displaystyle {\mathcal {L}}(a\mathbf {x} )=a{\mathcal {L}}(\mathbf {x} )}$$

• 疊加性：對於任意兩個 ${\displaystyle V}$ 中的向量 ${\displaystyle \mathbf {x} }$ 和 ${\displaystyle \mathbf {y} }$ ：

$${\displaystyle {\mathcal {L}}(\mathbf {x} +\mathbf {y} )={\mathcal {L}}(\mathbf {x} )+{\mathcal {L}}(\mathbf {y} )}$$

對於實列向量（即一般意義上的實向量），將上述表述中的${\displaystyle V}$、${\displaystyle W}$和${\displaystyle K}$改為${\displaystyle \mathbb {R} ^{m}}$、${\displaystyle \mathbb {R} ^{n}}$和${\displaystyle \mathbb {R} }$即可。可以知道這種線性映射可以通過n×m實矩陣矩陣左乘向量得到。

對於實矩陣，將上述表述中的${\displaystyle V}$、${\displaystyle W}$和${\displaystyle K}$改為${\displaystyle \mathbb {R} ^{m\times n}}$、${\displaystyle \mathbb {R} ^{p\times q}}$和${\displaystyle \mathbb {R} }$即可。

特別地，對於實標量，線性映射指的就是正比例函數。

向量和矩陣的極限

對於向量和矩陣，可以使用類似於標量的極限定義方式來定義它們的極限。

標量函數的極限的現代定義如下：

對於標量函數${\displaystyle f(x)}$，當

${\displaystyle \forall \epsilon >0,\exists \delta >0,{\text{s.t.}}\forall x\in \{x\in \mathbb {R} |0<|x-x_{0}|<\delta \},|f(x)-A|<\epsilon }$

時，稱其在${\displaystyle x_{0}}$處的極限為A。記作${\displaystyle \lim _{x\to x_{0}}f(x)=A}$。

對於向量或矩陣函數也有類似的定義。

定義 — 對於定義在${\displaystyle \mathbb {R} ^{m\times n}}$的子集${\displaystyle S}$上的向量或者矩陣函數${\displaystyle \mathbf {F} (\mathbf {X} ):S\to \mathbb {R} ^{p\times q}}$，令${\displaystyle \mathbf {X} _{0}}$為${\displaystyle S}$的內點，當

${\displaystyle \forall \epsilon >0,\exists \delta >0,{\text{s.t.}}\forall \mathbf {X} \in \{\mathbf {X} \in S|0<\|\mathbf {X} -\mathbf {X} _{0}\|<\delta \},\|\mathbf {F} (\mathbf {X} )-\mathbf {A} \|<\epsilon }$

時，稱其在${\displaystyle \mathbf {X} _{0}}$處的極限為${\displaystyle \mathbf {A} }$。記作${\displaystyle \lim _{\mathbf {X} \to \mathbf {X} _{0}}\mathbf {F} (\mathbf {X} )=\mathbf {A} }$。^[1]

我們可以定義向量函數的連續：

定義 — 對於定義於${\displaystyle \mathbb {R} ^{n}}$的子集${\displaystyle S}$的向量函數${\displaystyle \mathbf {f} (\mathbf {x} ):S\to \mathbb {R} ^{m}}$，令${\displaystyle \mathbf {x} _{0}}$為${\displaystyle S}$的內點，當

${\displaystyle \forall \epsilon >0,\exists \delta >0,{\text{s.t.}}\forall \mathbf {x} \in \{\mathbf {x} \in \mathbb {R} ^{m\times n}|\|\mathbf {x} -\mathbf {x} _{0}\|<\delta \},\|\mathbf {f} (\mathbf {x} )-\mathbf {f} (\mathbf {x} _{0})\|<\epsilon }$

時，稱其在${\displaystyle \mathbf {x} _{0}}$處連續。^[2]:88

向量求導

主條目：向量微積分

由於向量可看成僅有一列的矩陣，最簡單的矩陣求導為向量求導。

這裡的標記方法可以通過如下方式表達大部分向量微積分：把n維向量構成的空間M(n,1)等同為歐氏空間${\displaystyle \mathbb {R} ^{n}}$， 標量M(1,1)等同於${\displaystyle \mathbb {R} }$。對應的向量微積分的概念在每小節末尾列出。

我們首先定義向量函數的微分：

定義 — 採用分子布局記法時，對於定義於${\displaystyle \mathbb {R} ^{n}}$的子集${\displaystyle S}$的向量函數${\displaystyle \mathbf {f} (\mathbf {x} ):S\to \mathbb {R} ^{m}}$，令${\displaystyle \mathbf {x} _{0}}$為${\displaystyle S}$的內點，${\displaystyle B(\mathbf {x} _{0};r)}$為${\displaystyle S}$中以${\displaystyle \mathbf {x} _{0}}$為球心，${\displaystyle r}$為半徑的超球體，${\displaystyle \mathbf {x} \in B(\mathbf {x} _{0};r)}$，如果存在一個線性映射${\displaystyle \mathbf {A} }$，使得

${\displaystyle \mathbf {f} (\mathbf {x} )-\mathbf {f} (\mathbf {x} _{0})=\mathbf {A} (\mathbf {x} -\mathbf {x} _{0})+\mathbf {r} _{\mathbf {x} _{0}}(\mathbf {x} -\mathbf {x} _{0})}$

並且

${\displaystyle \lim _{\mathbf {x} \to \mathbf {x} _{0}}{\frac {\mathbf {r} _{\mathbf {x} _{0}}(\mathbf {x} -\mathbf {x} _{0})}{\|\mathbf {x} -\mathbf {x} _{0}\|}}=0}$

時，稱其在${\displaystyle \mathbf {x} _{0}}$處可微。我們定義向量函數的微分為${\displaystyle \operatorname {d} \mathbf {f} :=\mathbf {A} \operatorname {d} \mathbf {x} }$。^[3]:91-92

有如下的定理：

定理 — 當${\displaystyle \mathbf {f} (\mathbf {x} )}$在${\displaystyle \mathbf {x} _{0}}$處可微時，其在該點處連續。反之則不然。

我們將向量函數${\displaystyle \mathbf {f} (\mathbf {x} )}$的第i個分量在${\displaystyle \mathbf {x} _{0}}$處對自變量向量的第j個分量的偏導數定義為${\displaystyle \lim _{t\to 0}{\frac {f_{i}(\mathbf {x} _{0}+t\mathbf {e} _{j})-f_{i}(\mathbf {x} _{0})}{t}}}$，其中${\displaystyle \mathbf {e} _{j}}$是第j個單位向量。記作${\displaystyle \operatorname {D} _{j}f_{i}}$。

定理 — 當${\displaystyle \mathbf {f} (\mathbf {x} )}$在${\displaystyle \mathbf {x} _{0}}$處可微時，其各分量在該點處關於自變量各分量的偏導數存在。

定理 — 當${\displaystyle \mathbf {f} (\mathbf {x} )}$在${\displaystyle \mathbf {x} _{0}}$處可微時，如果令${\displaystyle \operatorname {D} \mathbf {f} }$為一個m×n矩陣，其第i列第j行元素為${\displaystyle \operatorname {D} _{j}f_{i}}$。那麼它就是向量微分定義中的矩陣${\displaystyle \mathbf {A} }$。

我們把矩陣${\displaystyle \operatorname {D} \mathbf {f} }$叫做向量函數的導數。也記作${\displaystyle {\frac {\operatorname {d} \mathbf {f} }{\operatorname {d} \mathbf {x} }}}$。注意這裡使用的是分子布局記法。

這裡的「分子布局記法」一般指，在表示導數向量（或矩陣）時，該導數的行數等於導數表達式中處於分子部分的參數維度；若採用分母布局記法，則導數的行數等於導數表達式中處於分母部分的參數維度。分子布局記法的結果與分母布局記法的結果互為轉置關係。

向量對標量求導

標量可以視作一個1維向量。所以採用分子布局記法時，m維向量向量對標量求導的結果是一個m×1的矩陣，也就是m維列向量。

向量${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$關於標量x的導數可以（用分子記法）寫成

${\displaystyle {\frac {\operatorname {d} \mathbf {y} }{\operatorname {d} x}}={\begin{bmatrix}{\frac {\operatorname {d} y_{1}}{\operatorname {d} x}}\\{\frac {\operatorname {d} y_{2}}{\operatorname {d} x}}\\\vdots \\{\frac {\operatorname {d} y_{m}}{\operatorname {d} x}}\\\end{bmatrix}}}$

在向量微積分中，向量${\displaystyle \mathbf {y} }$關於標量${\displaystyle x}$的導數也被稱為向量${\displaystyle \mathbf {y} }$的切向量，${\displaystyle {\frac {\operatorname {d} \mathbf {y} }{\operatorname {d} x}}}$。注意這裡${\displaystyle \mathbf {y} :\mathbb {R} \rightarrow \mathbb {R} ^{n}}$。

可以看到向量對標量求導就是其各個分量分別對標量求導。

有${\displaystyle \operatorname {d} \mathbf {y} ={\frac {\operatorname {d} \mathbf {y} }{\operatorname {d} x}}\operatorname {d} x}$

例子 簡單的樣例包括歐式空間中的速度向量，它是位移向量（看作關於時間的函數）的切向量。更進一步而言， 加速度是速度的切向量。

標量對向量求導

標量y對向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$的導數可以（用分子記法）寫成

${\displaystyle {\frac {\operatorname {d} y}{\operatorname {d} \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}$

有${\displaystyle \operatorname {d} y={\frac {\operatorname {d} y}{\operatorname {d} \mathbf {x} }}\operatorname {d} \mathbf {x} =\sum _{i=1}^{n}{\frac {\partial y}{\partial x_{i}}}\operatorname {d} x_{i}}$。

在向量微積分中，標量y在空間${\displaystyle \mathbb {R} ^{n}}$(其獨立坐標是x的分量)中的梯度是標量y對向量${\displaystyle \mathbf {x} }$的導數的轉置。在物理學中，電場是電勢的負梯度向量。

標量函數${\displaystyle f(\mathbf {x} )}$對空間向量${\displaystyle \mathbf {x} }$在單位向量${\displaystyle \mathbf {u} }$（在這裡表示為列向量）方向上的方向導數可以用梯度定義：

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

使用剛才定義的標量對向量的導數的記法，我們可以把方向導數寫作

${\displaystyle \nabla _{\mathbf {u} }f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\top }\mathbf {u} }$。

這類記法在證明乘法法則和鏈式法則的時候非常直觀，因為它們與我們熟悉的標量導數的形式較為相似。

向量對向量求導

前面兩種情況可以看作是向量對向量求導在其中一個是一維向量情況下的特例。類似地我們將會發現有關矩陣的求導可被以一種類似的方式化歸為向量求導。

向量函數 (分量為函數的向量) ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$對輸入向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$的導數，可以（用分子記法) 寫作

${\displaystyle {\frac {\operatorname {d} \mathbf {y} }{\operatorname {d} \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}$

在向量微積分中，向量函數${\displaystyle \mathbf {y} }$對分量表示一個空間的向量${\displaystyle \mathbf {x} }$的導數也被稱為前推，或雅可比矩陣。

向量函數${\displaystyle \mathbf {f} }$對Rⁿ空間中向量${\displaystyle \mathbf {v} }$的前推為${\displaystyle \operatorname {d} \mathbf {f} (\mathbf {v} )={\frac {\operatorname {d} \mathbf {f} }{\operatorname {d} \mathbf {v} }}\operatorname {d} \mathbf {v} }$

矩陣求導

有兩種類型的矩陣求導可以被寫成相同大小的矩陣：矩陣對標量求導和標量對矩陣求導。它們在解決應用數學的許多領域常見的最小化問題中十分有用。類比於向量求導，相應的概念有切矩陣和梯度矩陣。

矩陣對標量求導

矩陣函數${\displaystyle \mathbf {Y} }$對標量x的導數被稱為切矩陣，(用分子記法)可寫成：

${\displaystyle {\frac {\operatorname {d} \mathbf {Y} }{\operatorname {d} x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}}$

標量對矩陣求導

定義在元素是獨立變量的p×q矩陣${\displaystyle \mathbf {X} }$上的標量函數y對${\displaystyle \mathbf {X} }$的導數可以(用分子記法)寫作

${\displaystyle {\frac {\operatorname {d} y}{\operatorname {d} \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}}$

定義矩陣上的重要的標量函數包括矩陣的跡和行列式。

類比於向量微積分，這個導數常被寫成如下形式：

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

類似地，標量函數f(X)關於矩陣X在方向Y的方向導數可寫成

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right)}$

梯度矩陣經常被應用在估計理論的最小化問題中，比如卡爾曼濾波算法的推導，因此在這些領域中有着重要的地位。