Произведение Кронекера

Произведение Кронекера — бинарная операция над матрицами произвольного размера, обозначается ${\displaystyle \otimes }$. Результатом является блочная матрица.

Произведение Кронекера не следует путать с обычным умножением матриц. Операция названа в честь немецкого математика Леопольда Кронекера.

Определение

Если A — матрица размера m×n, B — матрица размера p×q, тогда произведение Кронекера есть блочная матрица размера mp×nq

${\displaystyle A\otimes B={\begin{bmatrix}a_{11}B&\cdots &a_{1n}B\\\vdots &\ddots &\vdots \\a_{m1}B&\cdots &a_{mn}B\end{bmatrix}}.}$

В развёрнутом виде

${\displaystyle \mathbf {A} \otimes \mathbf {B} ={\begin{bmatrix}a_{11}b_{11}&a_{11}b_{12}&\cdots &a_{11}b_{1q}&\cdots &\cdots &a_{1n}b_{11}&a_{1n}b_{12}&\cdots &a_{1n}b_{1q}\\a_{11}b_{21}&a_{11}b_{22}&\cdots &a_{11}b_{2q}&\cdots &\cdots &a_{1n}b_{21}&a_{1n}b_{22}&\cdots &a_{1n}b_{2q}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{11}b_{p1}&a_{11}b_{p2}&\cdots &a_{11}b_{pq}&\cdots &\cdots &a_{1n}b_{p1}&a_{1n}b_{p2}&\cdots &a_{1n}b_{pq}\\\vdots &\vdots &&\vdots &\ddots &&\vdots &\vdots &&\vdots \\\vdots &\vdots &&\vdots &&\ddots &\vdots &\vdots &&\vdots \\a_{m1}b_{11}&a_{m1}b_{12}&\cdots &a_{m1}b_{1q}&\cdots &\cdots &a_{mn}b_{11}&a_{mn}b_{12}&\cdots &a_{mn}b_{1q}\\a_{m1}b_{21}&a_{m1}b_{22}&\cdots &a_{m1}b_{2q}&\cdots &\cdots &a_{mn}b_{21}&a_{mn}b_{22}&\cdots &a_{mn}b_{2q}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{m1}b_{p1}&a_{m1}b_{p2}&\cdots &a_{m1}b_{pq}&\cdots &\cdots &a_{mn}b_{p1}&a_{mn}b_{p2}&\cdots &a_{mn}b_{pq}\end{bmatrix}}.}$

Если A и B представляют собой линейные преобразования V₁ → W₁ и V₂ → W₂, соответственно, то A ⊗ B представляет собой тензорное произведение двух отображений, V₁ ⊗ V₂ → W₁ ⊗ W₂.

Пример

${\displaystyle {\begin{bmatrix}1&2\\3&4\\\end{bmatrix}}\otimes {\begin{bmatrix}0&5\\6&7\\\end{bmatrix}}={\begin{bmatrix}1\cdot 0&1\cdot 5&2\cdot 0&2\cdot 5\\1\cdot 6&1\cdot 7&2\cdot 6&2\cdot 7\\3\cdot 0&3\cdot 5&4\cdot 0&4\cdot 5\\3\cdot 6&3\cdot 7&4\cdot 6&4\cdot 7\\\end{bmatrix}}={\begin{bmatrix}0&5&0&10\\6&7&12&14\\0&15&0&20\\18&21&24&28\end{bmatrix}}}$.

Билинейность, ассоциативность и некоммутативность

• Произведение Кронекера является частным случаем тензорного произведения, и значит оно является билинейным и ассоциативным:

${\displaystyle A\otimes (B+C)=A\otimes B+A\otimes C,}$

${\displaystyle (A+B)\otimes C=A\otimes C+B\otimes C,}$

${\displaystyle (kA)\otimes B=A\otimes (kB)=k(A\otimes B),}$

${\displaystyle (A\otimes B)\otimes C=A\otimes (B\otimes C),}$

где A, B и C есть матрицы, а k — скаляр.

• Произведение Кронекера не является коммутативным. Хотя, всегда существуют такие матрицы перестановки P и Q, что

${\displaystyle A\otimes B=P\,(B\otimes A)\,Q.}$

Если A и B квадратные матрицы, тогда A ${\displaystyle \otimes }$ B и B ${\displaystyle \otimes }$ A являются перестановочно подобными, то есть, P = Q^T.

Транспонирование

Операции транспонирования и эрмитова сопряжения можно переставлять с произведением Кронекера:

${\displaystyle (A\otimes B)^{T}=A^{T}\otimes B^{T},}$

${\displaystyle (A\otimes B)^{H}=A^{H}\otimes B^{H}.}$

Смешанное произведение

• Если A, B, C и D являются матрицами такого размера, что существуют произведения AC и BD, тогда

${\displaystyle (A\otimes B)(C\otimes D)=AC\otimes BD.}$

• A ${\displaystyle \otimes }$ B является обратимой тогда и только тогда, когда A и B являются обратимыми, и тогда

${\displaystyle (A\otimes B)^{-1}=A^{-1}\otimes B^{-1}.}$

${\displaystyle (A\otimes B)\odot (C\otimes D)=(A\odot C)\otimes (B\odot D)}$, где ${\displaystyle \odot }$ - произведение Адамара

${\displaystyle A\otimes B=(I\otimes B)(A\otimes I)}$, где ${\displaystyle I}$ - единичная матрица.

Сумма и экспонента Кронекера

• Пусть A — матрица размера n×n, B — матрица размера m×m и ${\displaystyle E_{k}}$ — единичная матрица размера k×k. Тогда можно определить сумму Кронекера ${\displaystyle \oplus }$ как

${\displaystyle A\oplus B=A\otimes E_{m}+E_{n}\otimes B.}$

• Также справедливо

${\displaystyle e^{A\oplus B}=e^{A}\otimes e^{B}.}$

Спектр, след и определитель

• Если A и B квадратные матрицы размера n и q соответственно. Если λ₁, …, λ_n — собственные значения матрицы A и μ₁, …, μ_q собственные значения матрицы B. Тогда собственными значениями A ${\displaystyle \otimes }$ B являются

${\displaystyle \lambda _{i}\mu _{j},\qquad i=1,\ldots ,n,\,j=1,\ldots ,q.}$

• След и определитель произведения Кронекера равны

${\displaystyle \operatorname {tr} (A\otimes B)=\operatorname {tr} (A)\,\operatorname {tr} (B),}$

${\displaystyle \det(A\otimes B)=(\det A)^{q}(\det B)^{n}.}$

Сингулярное разложение и ранг

• Если матрица A имеет r_A ненулевых сингулярных значений:

${\displaystyle \sigma _{A,i},\qquad i=1,\ldots ,r_{A}.}$

Ненулевые сингулярные значения матрицы B:

${\displaystyle \sigma _{B,i},\qquad i=1,\ldots ,r_{B}.}$

Тогда произведение Кронекера A ${\displaystyle \otimes }$ B имеет r_Ar_B ненулевых сингулярных значений

${\displaystyle \sigma _{A,i}\sigma _{B,j},\qquad i=1,\ldots ,r_{A},\,j=1,\ldots ,r_{B}.}$

• Ранг матрицы равен количеству ненулевых сингулярных значений,

${\displaystyle \operatorname {rank} (A\otimes B)=\operatorname {rank} (A)\,\operatorname {rank} (B).}$

История

Произведение Кронекера названо в честь Леопольда Кронекера, несмотря даже на то, что существует мало свидетельств о том, что он был первым, кто определил и использовал эту операцию. В прошлом произведение Кронекера иногда называли матрицей Зефусса.

Блочные версии произведения Кронекера

В случае блочных матриц могут использоваться матричные операции, связанные c произведением Кронекера и отличающиеся порядком соответствующего перемножения блоков. Таковыми являются произведения Трейси – Сингха (англ. Tracy–Singh product) и произведение Хатри — Рао.

Произведение Трейси-Сингха

Указанная операция перемножения блочных матриц заключается в том, что каждый блок левой матрицы умножается последовательно на блоки правой матрицы. При этом формируемая структура результирующей матрицы отличается от характерной для произведения Кронекера. Произведение Трейси – Сингха определяется как^[1][2]

${\displaystyle \mathbf {A} \odot \mathbf {B} =\left(\mathbf {A} _{ij}\odot \mathbf {B} \right)_{ij}=\left(\left(\mathbf {A} _{ij}\otimes \mathbf {B} _{kl}\right)_{kl}\right)_{ij}}$

Например:

${\displaystyle \mathbf {A} =\left[{\begin{array}{c | c}\mathbf {A} _{11}&\mathbf {A} _{12}\\\hline \mathbf {A} _{21}&\mathbf {A} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c}1&2&3\\4&5&6\\\hline 7&8&9\end{array}}\right],\quad \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {B} _{11}&\mathbf {B} _{12}\\\hline \mathbf {B} _{21}&\mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c | c c}1&4&7\\\hline 2&5&8\\3&6&9\end{array}}\right],}$

${\displaystyle {\begin{aligned}\mathbf {A} \odot \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\odot \mathbf {B} &\mathbf {A} _{12}\odot \mathbf {B} \\\hline \mathbf {A} _{21}\odot \mathbf {B} &\mathbf {A} _{22}\odot \mathbf {B} \end{array}}\right]={}&\left[{\begin{array}{c | c | c | c}\mathbf {A} _{11}\otimes \mathbf {B} _{11}&\mathbf {A} _{11}\otimes \mathbf {B} _{12}&\mathbf {A} _{12}\otimes \mathbf {B} _{11}&\mathbf {A} _{12}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{11}\otimes \mathbf {B} _{21}&\mathbf {A} _{11}\otimes \mathbf {B} _{22}&\mathbf {A} _{12}\otimes \mathbf {B} _{21}&\mathbf {A} _{12}\otimes \mathbf {B} _{22}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{11}&\mathbf {A} _{21}\otimes \mathbf {B} _{12}&\mathbf {A} _{22}\otimes \mathbf {B} _{11}&\mathbf {A} _{22}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{21}&\mathbf {A} _{21}\otimes \mathbf {B} _{22}&\mathbf {A} _{22}\otimes \mathbf {B} _{21}&\mathbf {A} _{22}\otimes \mathbf {B} _{22}\end{array}}\right]\\={}&\left[{\begin{array}{c c | c c c c | c | c c}1&2&4&7&8&14&3&12&21\\4&5&16&28&20&35&6&24&42\\\hline 2&4&5&8&10&16&6&15&24\\3&6&6&9&12&18&9&18&27\\8&10&20&32&25&40&12&30&48\\12&15&24&36&30&45&18&36&54\\\hline 7&8&28&49&32&56&9&36&63\\\hline 14&16&35&56&40&64&18&45&72\\21&24&42&63&48&72&27&54&81\end{array}}\right].\end{aligned}}}$

Произведение Хатри-Рао

Основная статья: произведение Хатри-Рао

Данный вариант умножения определён для матриц с одинаковой блочной структурой. Он предусматривает, что операция кронекеровского произведения выполняется поблочно, в пределах одноимённых матричных блоков по аналогии с поэлементным произведением Адамара, только при этом в качестве элементов фигурируют блоки матриц, а для умножения блоков используется кронекеровское произведение.