光流法

光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。

光流的测算

光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。

假设该移动很小，那么可以根据泰勒级数得出：

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+}$ Higher-order terms (HOTs)

因此可以推出：

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

或

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

最终可得出结论：

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

这里的 ${\displaystyle V_{x},V_{y}}$ 是 ${\displaystyle x}$ 和 ${\displaystyle y}$ 方向上的速率，或称为 ${\displaystyle I(x,y,t)}$ 的光流。而 ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ 和 ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ 则是图像 ${\displaystyle (x,y,t)}$ 在对应方向上的偏导数。${\displaystyle I_{x}}$、${\displaystyle I_{y}}$ 和 ${\displaystyle I_{t}}$ 的关系可用下式表述：

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

或

${\displaystyle \nabla I^{T}\cdot {\vec {V}}=-I_{t}}$

这是两个未知数中的一个方程，不能这样求解。这被称为光流算法的孔径问题。为了找到光流，需要另一组方程，由附加的约束给出。所有光流方法都引入了估算实际流量的附加条件.

一些求光流的方法

• 相位相关
• 块相关 (误差绝对值和, 标准化互相关)
• 梯度约束-相关的对齐
• 卢卡斯-卡纳德方法（Lucas-Kanade Method）
• 霍恩·山克方法（英语：Horn–Schunck method）（Horn Schunck Method）