矩陣微積分

在數學中，矩陣微積分是多元微積分的一種特殊表達，尤其是在矩陣空間上進行討論的時候。它把單個函數對多個變量或者多元函數對單個變量的偏導數寫成向量和矩陣的形式，使其可以被當成一個整體被處理。這使得要在多元函數尋找最大或最小值，又或是要為微分方程系統尋解的過程大幅簡化。這裡我們主要使用統計學和工程學中的慣用記法，而張量下標記法更常用於物理學中。

記法與術語說明

本條目中，我們使用單個字母變量來表示多個變量的集合體（向量和矩陣），這樣可以充分利用矩陣記法的效用。

本條目使用不同字體來區分純量、向量和矩陣。下面使用M(n,m)來表示包含n行m列的n×m實矩陣的空間，它等同於${\displaystyle \mathbb {R} ^{n\times m}}$。該空間中的一般矩陣用粗體大寫字母表示，例如${\displaystyle \mathbf {A} }$，${\displaystyle \mathbf {X} }$，${\displaystyle \mathbf {Y} }$等。而若該矩陣屬於M(n,1)，即列向量，則用粗體小寫字母表示，如${\displaystyle \mathbf {a} }$，${\displaystyle \mathbf {x} }$，${\displaystyle \mathbf {y} }$等。特別地，M(1,1)中的元素為純量，用小寫斜體字母表示，如a，t，x等。${\displaystyle \mathbf {X} ^{\mathrm {T} }}$ 表示矩陣轉置，tr(${\displaystyle \mathbf {X} }$)表示矩陣的跡，而 ${\displaystyle \det(\mathbf {X} )}$或${\displaystyle |\mathbf {X} |}$表示行列式。除非專門註明，所有函數都默認屬於光滑函數C¹。 通常字母表前半部分的字母(a, b, c, …)用於表示常量，而後半部分的字母(t, x, y, …)用於表示變量。

矩陣的內積和範數

主條目：點積和範數

向量的內積（點積）在諸多領域中有著廣泛的運用。

定義在${\displaystyle \mathbb {R} ^{n}}$上的向量${\displaystyle \mathbf {a} =[a_{1},a_{2},\cdots ,a_{n}]^{T}}$和${\displaystyle \mathbf {b} =[b_{1},b_{2},\cdots ,b_{n}]^{T}}$的點積定義為：

${\displaystyle \langle \mathbf {a} ,\mathbf {b} \rangle :=\mathbf {a} \cdot \mathbf {b} =\mathbf {a} ^{\mathrm {T} }\mathbf {b} =\mathbf {b} ^{\mathrm {T} }\mathbf {a} =\sum _{i=1}^{n}a_{i}b_{i}=a_{1}b_{1}+a_{2}b_{2}+\cdots +a_{n}b_{n}}$。

和向量類似，矩陣也可以定義內積（弗羅比尼烏斯內積）：對於定義在${\displaystyle \mathbb {R} ^{m\times n}}$上的實矩陣${\displaystyle \mathbf {A} }$和${\displaystyle \mathbf {B} }$，${\displaystyle \langle \mathbf {A} ,\mathbf {B} \rangle :=\mathbf {A} :\mathbf {B} =\sum _{i=1}^{m}\sum _{j=1}^{n}A_{ij}B_{ij}=\mathrm {tr} (\mathbf {B} ^{\mathrm {T} }\mathbf {A} )=\mathrm {tr} (\mathbf {A} \mathbf {B} ^{\mathrm {T} })=\mathrm {tr} (\mathbf {A} ^{\mathrm {T} }\mathbf {B} )=\mathrm {tr} (\mathbf {B} \mathbf {A} ^{\mathrm {T} })}$。

利用內積，可以定義向量和矩陣的範數（模）。

向量可以以多種形式定義範數。歐幾里得範數是 ${\displaystyle \mathbb {R} ^{n}}$ 上最常用的範數。它可以以向量與其自身的內積的平方根表示：

${\displaystyle \|\mathbf {a} \|:={\sqrt {\langle \mathbf {a} ,\mathbf {a} \rangle }}={\sqrt {\sum _{i=1}^{n}a_{i}^{2}}}={\sqrt {a_{1}^{2}+a_{2}^{2}+\cdots +a_{n}^{2}}}}$。

而矩陣範數也有多種定義，數值線性代數中最常用的一種範數為弗羅貝尼烏斯範數，它是矩陣與其自身的弗羅比尼烏斯內積的平方根：對於定義在${\displaystyle \mathbb {R} ^{m\times n}}$上的實矩陣${\displaystyle \mathbf {A} }$，

${\displaystyle \|\mathbf {A} \|:={\sqrt {\langle \mathbf {A} ,\mathbf {A} \rangle }}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}A_{ij}^{2}}}={\sqrt {\mathrm {tr} (\mathbf {A} ^{\mathrm {T} }\mathbf {A} )}}={\sqrt {\mathrm {tr} (\mathbf {A} \mathbf {A} ^{\mathrm {T} })}}}$。

對於復向量和復矩陣，將轉置改為共軛轉置即可。

線性映射

主條目：線性映射

線性映射指的是滿足保持向量空間中向量加法和數乘運算的映射。此處的「向量」是抽象代數意義上的。也就是說，從向量空間${\displaystyle V}$到${\displaystyle W}$（二者的係數體均為${\displaystyle K}$）的映射${\displaystyle {\mathcal {L}}:V\to W}$要想成為線性映射，必須滿足齊次性和疊加性：

• 齊次性：對於任何向量${\displaystyle \mathbf {x} \in V}$ 和任何純量 ${\displaystyle a\in K}$ ：

$${\displaystyle {\mathcal {L}}(a\mathbf {x} )=a{\mathcal {L}}(\mathbf {x} )}$$

• 疊加性：對於任意兩個 ${\displaystyle V}$ 中的向量 ${\displaystyle \mathbf {x} }$ 和 ${\displaystyle \mathbf {y} }$ ：

$${\displaystyle {\mathcal {L}}(\mathbf {x} +\mathbf {y} )={\mathcal {L}}(\mathbf {x} )+{\mathcal {L}}(\mathbf {y} )}$$

對於實列向量（即一般意義上的實向量），將上述表述中的${\displaystyle V}$、${\displaystyle W}$和${\displaystyle K}$改為${\displaystyle \mathbb {R} ^{m}}$、${\displaystyle \mathbb {R} ^{n}}$和${\displaystyle \mathbb {R} }$即可。可以知道這種線性映射可以通過n×m實矩陣矩陣左乘向量得到。

對於實矩陣，將上述表述中的${\displaystyle V}$、${\displaystyle W}$和${\displaystyle K}$改為${\displaystyle \mathbb {R} ^{m\times n}}$、${\displaystyle \mathbb {R} ^{p\times q}}$和${\displaystyle \mathbb {R} }$即可。

特別地，對於實純量，線性映射指的就是正比例函數。

向量和矩陣的極限

對於向量和矩陣，可以使用類似於純量的極限定義方式來定義它們的極限。

純量函數的極限的現代定義如下：

對於純量函數${\displaystyle f(x)}$，當

${\displaystyle \forall \epsilon >0,\exists \delta >0,{\text{s.t.}}\forall x\in \{x\in \mathbb {R} |0<|x-x_{0}|<\delta \},|f(x)-A|<\epsilon }$

時，稱其在${\displaystyle x_{0}}$處的極限為A。記作${\displaystyle \lim _{x\to x_{0}}f(x)=A}$。

而對於向量或者矩陣函數${\displaystyle \mathbf {F} (\mathbf {X} )}$，當

${\displaystyle \forall \epsilon >0,\exists \delta >0,{\text{s.t.}}\forall \mathbf {X} \in \{\mathbf {X} \in \mathbb {R} ^{m\times n}|0<\|\mathbf {X} -\mathbf {X} _{0}\|<\delta \},\|\mathbf {F} (\mathbf {X} )-\mathbf {A} \|<\epsilon }$

時，稱其在${\displaystyle \mathbf {X} _{0}}$處的極限為${\displaystyle \mathbf {A} }$。記作${\displaystyle \lim _{\mathbf {X} \to \mathbf {X} _{0}}\mathbf {F} (\mathbf {X} )=\mathbf {A} }$。^[1]

向量求導

主條目：向量微積分

由於向量可看成僅有一列的矩陣，最簡單的矩陣求導為向量求導。

這裡的標記方法可以通過如下方式表達大部分向量微積分：把n維向量構成的空間M(n,1)等同為歐氏空間${\displaystyle \mathbb {R} ^{n}}$， 純量M(1,1)等同於${\displaystyle \mathbb {R} }$。對應的向量微積分的概念在每小節末尾列出。

假設在${\displaystyle \mathbf {x} _{0}}$附近，向量映射${\displaystyle \mathbf {f} (\mathbf {x} ):\mathbb {R} ^{m}\to \mathbb {R} ^{n}}$可以使用線性映射${\displaystyle {\mathcal {L}}(\mathbf {x} -\mathbf {x} _{0})}$與${\displaystyle \mathbf {f} (\mathbf {x} _{0})}$的和來近似，亦即${\displaystyle \|\mathbf {f} (\mathbf {x} )-[{\mathcal {L}}(\mathbf {x} -\mathbf {x} _{0})+\mathbf {f} (\mathbf {x} _{0})]\|=o(\|\mathbf {x} -\mathbf {x} _{0}\|)}$。根據先前的假設，有${\displaystyle \lim _{\mathbf {x} \to \mathbf {x} _{0}}{\frac {\|\mathbf {f} (\mathbf {x} )-[{\mathcal {L}}(\mathbf {x} -\mathbf {x} _{0})+\mathbf {f} (\mathbf {x} _{0})]\|}{\|\mathbb {x} -\mathbb {x} _{0}\|}}=0}$。

同時，${\displaystyle {\mathcal {L}}(\mathbf {x} -\mathbf {x} _{0})}$可以表達為${\displaystyle \mathbf {A} (\mathbf {x} -\mathbf {x} _{0})}$的形式，其中${\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times m}}$。

採用分子布局記法時，我們定義向量的導數為${\displaystyle \mathbf {A} }$。

這裡的「分子布局記法」一般指，在表示導數向量（或矩陣）時，該導數的行數等於導數表達式中處於分子部分的參數維度；若採用分母布局記法，則導數的行數等於導數表達式中處於分母部分的參數維度。分子布局記法的結果與分母布局記法的結果互為轉置關係。

向量對純量求導

純量可以視作一個1維向量。所以採用分子布局記法時，m維向量向量對純量求導的結果是一個m×1的矩陣，也就是m維列向量。

向量${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$關於純量x的導數可以（用分子記法）寫成

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}}$

在向量微積分中，向量${\displaystyle \mathbf {y} }$關於純量${\displaystyle x}$的導數也被稱為向量${\displaystyle \mathbf {y} }$的切向量，${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$。注意這裡${\displaystyle \mathbf {y} :\mathbb {R} \rightarrow \mathbb {R} ^{n}}$。

可以看到向量對純量求導就是其各個分量分別對純量求導。

有${\displaystyle \operatorname {d} \mathbf {y} ={\frac {\partial \mathbf {y} }{\partial x}}\operatorname {d} x}$

例子 簡單的樣例包括歐式空間中的速度向量，它是位移向量（看作關於時間的函數）的切向量。更進一步而言， 加速度是速度的切向量。

純量對向量求導

純量y對向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$的導數可以（用分子記法）寫成

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}$

有${\displaystyle \operatorname {d} y={\frac {\partial y}{\partial \mathbf {x} }}\operatorname {d} \mathbf {x} =\sum _{i=1}^{n}{\frac {\partial y}{\partial x_{i}}}\operatorname {d} x_{i}}$。

在向量微積分中，純量y在的空間Rⁿ(其獨立坐標是x的分量)中的梯度是純量y對向量x的導數的轉置。在物理學中，電場是電勢的負梯度向量。

純量函數f(x)對空間向量x在單位向量u（在這裡表示為列向量）方向上的方向導數可以用梯度定義：

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

使用剛才定義的純量對向量的導數的記法，我們可以把方向導數寫作

${\displaystyle \nabla _{\mathbf {u} }f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\top }\mathbf {u} }$。

這類記法在證明乘法法則和鏈式法則的時候非常直觀，因為它們與我們熟悉的純量導數的形式較為相似。

向量對向量求導

前面兩種情況可以看作是向量對向量求導在其中一個是一維向量情況下的特例。類似地我們將會發現有關矩陣的求導可被以一種類似的方式化歸為向量求導。

向量函數 (分量為函數的向量) ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$對輸入向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$的導數，可以（用分子記法) 寫作

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}$

在向量微積分中，向量函數y對分量表示一個空間的向量x的導數也被稱為前推 (微分)，或雅可比矩陣。

向量函數f對Rⁿ空間中向量v的前推為${\displaystyle d\,\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\,\mathbf {v} }$

矩陣求導

有兩種類型的矩陣求導可以被寫成相同大小的矩陣：矩陣對純量求導和純量對矩陣求導。它們在解決應用數學的許多領域常見的最小化問題中十分有用。類比於向量求導，相應的概念有切矩陣和梯度矩陣。

矩陣對純量求導

矩陣函數Y對純量x的導數被稱為切矩陣，(用分子記法)可寫成：

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}}$

純量對矩陣求導

定義在元素是獨立變量的p×q矩陣X上的純量函數y對X的導數可以(用分子記法)寫作

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}}$

定義矩陣上的重要的純量函數包括矩陣的跡和行列式。

類比於向量微積分，這個導數常被寫成如下形式：

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

類似地，純量函數f(X)關於矩陣X在方向Y的方向導數可寫成

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right)}$

梯度矩陣經常被應用在估計理論的最小化問題中，比如卡爾曼濾波算法的推導，因此在這些領域中有著重要的地位。

參考文獻

• Fang, Kai-Tai; Zhang, Yao-Ting. Generalized multivariate analysis. Science Press (Beijing) and Springer-Verlag (Berlin). 1990. ISBN 3540176519. 9783540176510.
• Kollo, Tõnu; von Rosen, Dietrich. Advanced multivariate statistics with matrices. Dordrecht: Springer. 2005. ISBN 978-1-4020-3418-3.
• Pan, Jianxin; Fang, Kaitai. Growth curve models and statistical diagnostics. Beijing: Science Press. 2007. ISBN 9780387950532.

延伸閱讀

• Lax, Peter D. 9. Calculus of Vector- and Matrix-Valued Functions. Linear algebra and its applications 2nd. Hoboken, N.J.: Wiley-Interscience. 2007. ISBN 978-0-471-75156-4.