匹配追求过程

匹配追求，是一个将高复杂度的信号以较简单的讯号来近似的过程，也就是在多维空间中，将高维度的资讯投影到较低维度的生成空间，借此降低一个信号所需的展开项目。

简单来说，就是用尽可能少的基元，进行线性组合来逼近原讯号。

一个有N个基元的近似讯号为

${\displaystyle f(t)\approx {\hat {f}}_{N}(t)=\sum _{n=1}^{N}a_{n}b_{n}(t)}$

其${\displaystyle a_{n}}$为各基元的权重。而与原讯号${\displaystyle f}$的近似误差为${\displaystyle R}$，表示为

${\displaystyle R=f(t)-{\hat {f}}(t)}$

匹配追求并不会赋予子空间${\displaystyle D}$的每个基元一个权重${\displaystyle a_{n}}$，意即有些基底会舍弃不用，借此降低所需空间，相反的，匹配追求会基于贪婪演算法，尽可能的用较少的基元，来降低误差${\displaystyle R}$。核心思想为自子空间${\displaystyle D}$中选择一个和讯号${\displaystyle f}$内积值最大的基元${\displaystyle b_{i}}$，将基元乘上适当的权重${\displaystyle a_{i}}$并从原讯号中减去，接著再次进行以上二步骤。以此往复实行运算，直到原讯号被解析，也就是近似误差${\displaystyle R}$趋近于0。

压缩感知

现假设有一组基元${\displaystyle b_{0}(t),b_{1}(t),b_{2}(t),b_{3}(t)......b_{N}(t)}$源自于字典${\displaystyle D}$，这组${\displaystyle b_{n}(t)}$组成一个过完备性(Over-complete)、非正交集合。

压缩感知的问题在此即为：

问题1：完全相等

能不能找到最小的${\displaystyle ||a||_{0}}$(${\displaystyle a_{k}}$不为0的个数，${\displaystyle \forall k=\{1,2,...,N\}}$)，使得近似讯号${\displaystyle {\hat {f}}}$等于${\displaystyle f}$。

${\displaystyle f(t)=\sum _{m}a_{m}b_{m}(t)}$

问题2：近似问题

很明显的，自然界中讯号大多只能以近似方式逼近，因此改为求

${\displaystyle \min _{||a||_{0}}\int ||f(t)-\sum _{m}a_{m}b_{m}(t)||^{2}dt<threshold}$

然而，这个最佳化问题是NP困难，无法在线性多项式时间内找到解答，因此使用匹配追求的近似解来求解。

问题3：匹配追求

${\displaystyle \min \int ||f(t)-\sum _{m}a_{m}b_{m}(t)||^{2}dt{\text{ , such that }}||a||_{0}\leq N}$

演算法

匹配追求(贪婪演算法)

 輸入： 原訊號 ${\displaystyle f(t)}$
 輸出： 所需權重 ${\displaystyle a_{n}}$ 與其對應的基元 ${\displaystyle b_{n}}$
 初始化：
   ${\displaystyle n\leftarrow 0}$
   ${\displaystyle {\hat {f}}(t)\leftarrow f(t)}$
 反覆：
   尋找 ${\displaystyle m}$ 使得內積 ${\displaystyle \int {\hat {f}}(t)b_{m}^{*}(t)dt}$ 最大
   令 ${\displaystyle \phi _{n}(t)\leftarrow b_{m}(t)}$
   令 ${\displaystyle \mu _{n}\leftarrow \int {\hat {f}}(t)b_{m}^{*}(t)dt}$
   ${\displaystyle {\hat {f}}(t)\leftarrow {\hat {f}}(t)-\mu _{n}\phi _{n}(t)}$
   ${\displaystyle n\leftarrow n+1}$
 直到中止條件發生：
   問題一：  ${\displaystyle {\hat {f}}(t)=0}$
   問題二：  ${\displaystyle \int {\hat {f}}(t)^{2}(t)dt<threshold}$
   問題三：  ${\displaystyle n=N}$
 結束

基底追求(Basis Pursuit)

有鉴于匹配追求的限制条件以及贪婪演算法在特定情况上造成不适当的基元选择，S.S.Chen等人于1998年提出的基底追求。^[1]若将匹配追求想成，从一个"空"的集合中，在每次迭代中慢慢增加一个基元来构成近似讯号，基底追求则可以想成，从一个完整的基元集合，慢慢减少基元数量。

现假设有一组基元${\displaystyle b_{0}(t),b_{1}(t),b_{2}(t),b_{3}(t)......b_{N}(t)}$源自于字典${\displaystyle D}$，这组${\displaystyle b_{n}(t)}$组成一个过完备性(Over-complete)、非正交集合。不同于匹配追求，将原先所求的0级范数(${\displaystyle ||a||_{0}}$)，改为求其绝对值${\displaystyle ||a||_{1}=|a_{0}|+|a_{1}|+|a_{2}|+|a_{3}|+......+|a_{N}|}$。

在此情况下，基底追求对于压缩感知问题的解法亦能细分为三大问题：

问题1：完全相等

能不能找到最小的${\displaystyle ||a||_{1}}$，使得近似讯号${\displaystyle {\hat {f}}}$等于${\displaystyle f}$。

${\displaystyle f(t)=\sum _{m}a_{m}b_{m}(t)}$

问题2：近似问题

同理，自然界中讯号大多只能以近似方式逼近，因此改为求

${\displaystyle \min _{||a||_{1}}\int ||f(t)-\sum _{m}a_{m}b_{m}(t)||^{2}dt<threshold}$

这个最佳化问题依旧是NP困难，因此可使用基底追求的近似解来求解。

问题3：基底追求

${\displaystyle \min \int ||f(t)-\sum _{m}a_{m}b_{m}(t)||^{2}dt{\text{ , such that }}||a||_{1}\leq N}$

相关型态

Three-Parameter Atoms

${\displaystyle f(t)\approx {\hat {f}}(t)=\sum a_{t_{0},f_{0},\sigma }\varphi _{t_{0},f_{0},\sigma }(t)}$

where ${\displaystyle \varphi _{t_{0},f_{0},\sigma }(t)={\frac {2^{1/4}}{\sigma ^{1/2}}}e^{j2\pi f_{0}t-{\frac {\pi (t-t_{0})^{2}}{\sigma ^{2}}}}}$

近似讯号${\displaystyle {\hat {f}}}$是${\displaystyle N=3}$的特例，由三个基元组合而成，每个基元由${\displaystyle t_{0}}$决定在时间轴上的中心位置，${\displaystyle f_{0}}$决定在频率轴上的中心位置，以及由${\displaystyle \sigma }$选择缩放尺度的大小。

由于${\displaystyle \varphi _{t_{0},f_{0},\sigma }}$ 是非正交集合，${\displaystyle a_{t_{0},f_{0},\sigma }}$ 需要透过匹配追求来求得。

Four-Parameter Atoms(Chirplet) ^[2]

${\displaystyle f(t)\approx {\hat {f}}(t)=\sum a_{t_{0},f_{0},\sigma ,\eta }\cdot \varphi _{t_{0},f_{0},\sigma ,\eta }(t)}$

where ${\displaystyle \varphi _{t_{0},f_{0},\sigma ,\eta }(t)={\frac {2^{1/4}}{\sigma ^{1/2}}}e^{j2\pi (f_{0}t+{\frac {\eta }{2t^{2}}})-{\frac {\pi (t-t_{0})^{2}}{\sigma ^{2}}}}}$

近似讯号${\displaystyle {\hat {f}}}$是${\displaystyle N=4}$的特例，由四个基元组合而成，每个基元由${\displaystyle t_{0}}$决定在时间轴上的中心位置，${\displaystyle f_{0}}$决定在频率轴上的中心位置，以及${\displaystyle \sigma }$选择缩放尺度的大小和${\displaystyle \eta }$控制啁啾率。

同理，由于${\displaystyle \varphi _{t_{0},f_{0},\sigma ,\eta }}$ 是非正交集合，${\displaystyle a_{t_{0},f_{0},\sigma ,\eta }}$ 需要透过匹配追求来求得。

参考资料

1. Jian-Jiun Ding, Time frequency analysis and wavelet transform class note, Department of Electrical Engineering, National Taiwan University (NTU), Taipei, Taiwan, 2017.