CN103700117A - 一种基于tv-l1变分模型的鲁棒光流场估计方法 - Google Patents

Abstract

本发明公开了一种基于TV-L¹变分模型的鲁棒光流场估计方法，首先对输入的图像进行结构纹理分解，建立基于TV-L¹的光流计算模型；然后建立图像金字塔，在最低图像分辨率层上用离散化之后的交替迭代的方法计算光流，分别以求的值作为下一层高分辨率层的初值继续计算，直到最高分辨率层，即原始图像分辨率，利用GPU加速该算法以提高算法实时性；最后利用光流误差评价函数计算该算法的误差。本发明利用结构纹理分解方法对输入图像进行处理，将纹理图运用到光流计算中，避免了图像中光照变化产生的阴影对计算造成的影响。利用基于TV-L¹变分模型的光流场估计方法，保持图像的分段平滑，提高光流的计算精度和速度。

Description

一种基于TV-L1变分模型的鲁棒光流场估计方法

技术领域

本发明属于计算机视觉领域，涉及一种基于TV-L¹（一阶数据项）变分模型的鲁棒光流场估计方法。 

背景技术

光流是指空间运动物体在观测成像面上像素运动的瞬时速度，它包含着运动物体的信息，所以可以利用它来了解物体的运动情况。光流包含以下三个要素：一是使光流产生的运动，也就是速度场；二是可以携带信息并且具有光学特性的承载体，比如带有灰度的象素点；三是把物体从场景投影到图像平面，使物体能被观察到成像投影。光流计算是计算机视觉和图像处理的重要研究领域之一，在航天、军事、医学、工业等领域都有着广泛的应用。 

目前计算光流场主要是变分法，其出发点是将光流场的获取转变为一全局能量泛函最小化问题，而能量泛函模型的建立是该变分方法的关键，其数学模型主要由数据项和平滑项两个部分组成，数据项主要包括各种常值守恒假设，比如灰度守恒假设（光流基本方程）、梯度守恒假设等，由这些守恒假设构成的约束条件是光流计算过程中决定运动模型的主要因素。而平滑项则是反映了光流场的各种平滑和分段平滑策略，并能使该模型获得唯一解。 

Horn和Schunk等人最先将变分法运用到光流计算中，创造性的将像素灰度值和二维速度场联系在一起，并引入光流的平滑约束方程，得到经典的光流计算方法。该方法主要利用灰度守恒假设，即在相邻两帧图像的时间间隔很短，图像灰度变化很小，假设灰度值不变，即I（x+dx,y+dy,t+dt）=I（x,y,t），对该式进行一阶泰勒展开，可以导出梯度约束方程，即： 

$\frac{\∂I}{\∂x}\mathrm{dx}+\frac{\∂I}{\∂y}\mathrm{dy}+\frac{\∂I}{\∂t}\mathrm{dt}=0$

令 $u=\frac{\mathrm{dx}}{\mathrm{dt}},v=\frac{\mathrm{dy}}{\mathrm{dt}}$ 分别代表该点在x，y方向上的光流分量， $I_x=\frac{\∂I}{\∂x},I_y=\frac{\∂I}{\∂y},I_t=\frac{\∂I}{\∂t}$ 分别代表图像灰度相对于x，y，t的偏导，则上式可写为如下的基本光流约束方程： 

I_xu+I_yv+I_t＝0 

光流约束方程含有两个未知量u和v，因此无法确定唯一解。为此，Horn&Schunck对上式引入一个对光流的全局平滑性约束来求解光流，从而得到如下的能量泛函： 

$E=\∫\∫[{(I_{x}u+I_{y}v+I_t)}^2+{\mathrm{\α}}^2({|\▿u|}^2+{|\▿u|}^2)]\mathrm{dxdy}$

上式为基本的光流计算方法。但是该方法并不能很好地保持分段平滑，不能稳健地处理 数据项的溢出点问题，并且通过迭代求解该能量泛函，想要得到更加稳定的结果，必须经过成千上百次迭代，降低了计算速度。 

申请号为201310174158.6的专利提出了一种基于误差分布式多层网格的快速光流场计算方法，在解决光流计算的实时性问题上，利用多重网格方法对能量模型进行求解，但是该方法利用基本光流计算模型，只是在求解算法上提高了计算速度，并没有针对模型进行改进。要想从根本上提高精度的同时加速光流计算，必须在原有的模型上进行修改，以得到效果更佳的计算模型。 

发明内容

针对基本光流计算方法中存在的精度和实时性问题，本发明提出一种基于TV-L¹变分模型的鲁棒光流场估计方法，引入一阶数据项（即L1范数），可以很好地保持分段平滑，并且能够加快光流的计算速度。 

下面给出本发明所述光流场计算方法的原理。 

基于灰度守恒的变分方法求解光流的能量泛函如下所示： 

${\∫}_{\mathrm{\Ω}}\{\mathrm{\λ\φ}(I_0\left(x\right)-I_1(x+u\left(x\right)))+\mathrm{\ψ}(u,\▿u,...)\}\mathrm{dx}$

其中，u(x)为二维方向上的光流（x方向和y方向光流），φ(I₀(x)-I₁(x+u(x)))为图像的数据惩罚项，

为平滑项。参数λ为数据项和平滑项之间的权重系数。如果选择φ(x)＝x²和

该能量泛函为Horn&Schunck的基本光流计算方法。 

选择

则该能量泛函为基于TV-L¹（一阶数据项的总变分方法）的光流能量泛函，如下所示： 

$E={\∫}_{\mathrm{\Ω}}\left\{\mathrm{\λ}\right|I_0\left(x\right)-I_1(x+u\left(x\right))|+|\▿u\left|\right\}\mathrm{dx}$

上述能量泛函公式看起来简单，但是求解却十分困难，主要原因是数据项和平滑项都不是连续可微的。为了解决该问题，可以将

用以下可微的函数式代替， 和

（ε为一很小的常数，防止求导时分母为零导致计算溢出）这样就可以利用数值方法求解该能量泛函。但是该方法引入了误差量，因此会影响光流计算的精度。采用原始对偶算法交替迭代求解该能量泛函能有效避免引入误差量导致求解不精确。 

一种基于TV-L¹变分模型的鲁棒光流场估计方法，其技术特征主要包含以下步骤： 

步骤一，输入图像序列。 

步骤二，对图像进行结构纹理分解。 

在实际应用中，影响光流计算精度的因素包括运动物体的大位移变化、弱纹理区域、遮挡以及光照强度变化等。其中，光照强度变化的影响尤为明显，使得广泛应用的灰度守恒这一重要假设不再成立，因而难以得到准确的光流场。 

图像分解技术专注于从图像中提取有用的、感兴趣的信息。运用结构纹理分解的方法来解决光照强度变化，以及由此产生的阴影等问题。其理论基础在于，图像可以看作是由结构部分(主要包含图像中几何信息，如条纹、边缘等)和纹理部分(主要包含一些具有周期特性或是振荡特性的小尺度细节信息)组成。图像经结构-纹理分解之后，光照强度变化产生的负面影响仅仅出现在结构图中。将纹理图像作为光流计算过程的输入量，可避免光照变化对计算结果的影响。 

利用基于总变分的ROF(Rudin,Osher,Fatemi)去噪模型进行结构纹理分解。对于灰度图像I(x)，其结构部分I_S的求解模型为： 

$\underset{I_S}{\min }{\∫}_{\mathrm{\Ω}}\left\{\right|\▿I_S|+\frac{1}{2\mathrm{\θ}}{(I_S-I)}^2\}\mathrm{dx}$

式中，θ为一个很小的常量，在优化过程中只有当I_s与I接近时才能使能量泛函取得最小值，I为原始图像灰度值。 

利用原始对偶算法最小化该能量泛函。引入I_S的对偶变量p_i(i=1,2)，采用对偶变量p=(p₁,p₂)^T的迭代解方程： 

I_S＝I+θdiv p 

迭代公式为： 

${\tilde{p}}^{n+1}=p^n+\frac{\mathrm{\τ}}{\mathrm{\θ}}(\▿(I+\mathrm{\θ}\mathrm{div}{p}^n))$

$p^{n+1}=\frac{{\tilde{p}}^{n+1}}{\max \{1,|{\tilde{p}}^{n+1}\left|\right\}}$

其中，p⁰=0，τ≤1/4。 

图像的纹理分量I_T(x)等于原始图与结构分量之差，即：I_T(x)=I(x)-I_s(x)。 

将分解后得到的纹理图用以后续的光流计算。实践表明，该方法可减少光照变化对光流计算的影响，提高求解的精度，且运行也更为高效。 

步骤三，建立基于TV-L¹变分模型的能量泛函模型。 

基于TV-L¹模型的能量泛函如下： 

$E={\∫}_{\mathrm{\Ω}}\left\{\mathrm{\λ}\right|I_1(x+u\left(x\right))-I_0\left(x\right)|+|\▿u\left|\right\}\mathrm{dx}$

将图像I₁在x+u₀附近进行线性化，即对I₁(x+u(x))一阶泰勒展开： 

$I_1(x+u\left(x\right))=I_1(x+u_0)+(u-u_0)\▿I_1(x+u_0)$

固定u₀并且利用线性近似代替I₁(x+u(x))，TV-L¹能量泛函写成如下形式： 

$E={\∫}_{\mathrm{\Ω}}\left\{\mathrm{\λ}\right|u\▿I_1+I_1(x+u_0)-u_0\▿I_1-I_0|+|\▿u\left|\right\}\mathrm{dx}$

用ρ(u)表示

引进辅助变量v，将TV-L¹能量泛函写成以下的凸函数形式： 

$E_{\mathrm{\θ}}={\∫}_{\mathrm{\Ω}}\left\{\right|\▿u|+\frac{1}{2\mathrm{\θ}}{(u-v)}^2+\mathrm{\λ}|\mathrm{\ρ}\left(v\right)\left|\right\}\mathrm{dx}$

其中，θ是一个很小的常数，在迭代的过程中，只有当u和v接近的时候，可以使上式能量泛函取得最小值。 

将该能量泛函写成具体二维形式的数学模型： 

$E_{\mathrm{\θ}}={\∫}_{\mathrm{\Ω}}\left\{\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\right|\▿u_i|+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\frac{1}{2\mathrm{\θ}}{(u_i-v_i)}^2+\mathrm{\λ}|\mathrm{\ρ}\left(v\right)\left|\right\}\mathrm{dx}$

其中，u₁和u₂分别表示x方向的光流和y方向的光流。利用原始对偶算法的交替迭代方法优化上述模型，可求得光流。 

步骤四，利用交替迭代方法求解能量模型。 

（1）对于i（i=1,2），固定v₁和v₂，求解u₁和u₂，即优化以下模型： 

$\underset{u_i}{\min }{\∫}_{\mathrm{\Ω}}\left\{\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\right|\▿u_i|+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\frac{1}{2\mathrm{\θ}}{(u_i-v_i)}^2\}\mathrm{dx}$

该模型是基于ROF的图像去噪模型，求解该模型利用以下公式： 

u_i＝v_i+θdiv p_i

u_i（i=1,2）的对偶变量为p_i（i=1,2），求解对偶变量的迭代公式如下： 

${\tilde{p}}^{n+1}=p^n+\frac{\mathrm{\τ}}{\mathrm{\θ}}(\▿(I+\mathrm{\θ}\mathrm{div}{p}^n))$

$p^{n+1}=\frac{{\tilde{p}}^{n+1}}{\max \{1,|{\tilde{p}}^{n+1}\left|\right\}}$

其中，p⁰=0，τ≤1/4。 

（2）对于i（i=1,2），固定u₁和u₂，求解v₁和v₂，即优化以下模型： 

$\underset{v}{\min }{\∫}_{\mathrm{\Ω}}\{\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\frac{1}{2\mathrm{\θ}}{(u_i-v_i)}^2+\mathrm{\λ}|\mathrm{\ρ}\left(v\right)\left|\right\}\mathrm{dx}$

求解该模型需要运用逐点求解的方法，其求解过程运用以下的阈值方法： 

$v=u+\left\{\begin{array}{ccc}\mathrm{\&lambda;\&theta;}\&dtri;I_1& \mathrm{if}& \mathrm{\&rho;}\left(u\right)<-\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\\ -\mathrm{\&lambda;\&theta;}\&dtri;I_1& \mathrm{if}& \mathrm{\&rho;}\left(u\right)>\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\\ -\mathrm{\&rho;}\left(u\right)\&dtri;I_1/{|\&dtri;I_1|}^2& \mathrm{if}& \left|\mathrm{\&rho;}\left(u\right)\right|\&le;\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\end{array}\right.$

在程序求解的具体实现过程中，由于对像素点光流值梯度

和对偶变量div p的求解十分困难，采取离散化的数值求解方法求解能量模型，方法如下： 

利用后项差分方法求解div p，利用前项差分方法计算光流的梯度。 

对于一个宽为N、高为M的图像数据范围中，像素点（i，j）处梯度的前项差分离散化表示为： 

${(\&dtri;u)}_{i,j}^1=\left\{\begin{array}{ccc}{u}_{i+1,j}-u_{i,j},& \mathrm{if}& i<N\\ 0,& \mathrm{if}& i=N\end{array}\right.$

${(\&dtri;u)}_{i,j}^2=\left\{\begin{array}{ccc}{u}_{i,j+1}-u_{i,j},& \mathrm{if}& i<M\\ 0,& \mathrm{if}& i=M\end{array}\right.$

散度算子的后项差分离散化表示为： 

${\left(\mathrm{div}p\right)}_{i,j}=\left\{\begin{array}{ccc}{p}_{i,j}^1-p_{i-1,j}^1,& \mathrm{if}& 1<i<N\\ p_{i,j}^1,& \mathrm{if}& i=1\\ -p_{i-1,j}^1,& \mathrm{if}& i=N\end{array}\right.+\left\{\begin{array}{ccc}{p}_{i,j}^2-p_{i,j-1}^2,& \mathrm{if}& 1<j<M\\ p_{i,j}^2,& \mathrm{if}& j=1\\ -p_{i,j-1}^2,& \mathrm{if}& j=M\end{array}\right.$

数值计算在规则的网格中进行（例如矩形的图像区域），利用GPU强大的计算能力和并行处理能力，对能量泛函的求解过程进行加速，使光流计算具有很好的实时性。 

在线性化过程中，由于数据项的一阶泰勒展开仅适用于小位移的投影坐标，光流的求解过程受到限制。为了克服这个困难，能量模型的求解过程采取了由粗到精的金字塔算法：生成一系列粗细不同的金字塔图像，在最粗层图像尺度上利用TV-L¹变分模型求取光流，将该解作为下一层较细图像上的初始解，重复该步骤，直至最细分辨率层图像，即原始图像。 

与现有技术相比，本发明具有以下优点： 

利用结构纹理分解方法对输入图像进行处理，将纹理图运用到光流计算中，避免了图像中光照变化产生的阴影对计算造成的影响。利用基于TV-L¹变分模型的光流场估计方法，可以很好的保持图像的分段平滑，使计算结果更加精确，并且能够提高光流的计算速度。 

附图说明

图1为基于TV-L¹变分模型的鲁棒光流计算方法流程图； 

图2为交替迭代方法求解TV-L¹能量泛函流程图； 

图3为Middlebury标准库中两组图像序列及其光流颜色图和矢量图。 

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。 

本发明的硬件配置为配备i3-3220CPU和GT630GPU的PC机，运行环境为Windows7操作***和Visual Studio2008软件平台。 

本发明采取的技术方案是：首先对输入的图像进行结构纹理分解，求取的纹理部分运用到后面的光流估计中，建立基于TV-L¹的光流计算模型，然后建立4～5层图像金字塔，在最低图像分辨率层上用离散化之后的交替迭代的方法计算光流，分别以求的值当做下一层高分辨率层的初值继续计算，直到最高分辨率层（即原始图像分辨率），利用GPU加速该算法以提高算法实时性，最后利用光流误差评价函数计算该算法的误差。图1是本发明的方法流程，具体包括以下几个步骤： 

步骤一，输入连续两帧图像数据。 

步骤二，对图像进行结构纹理分解。 

步骤三，建立基于TV-L¹变分模型的能量泛函模型。 

步骤四，采取交替迭代方法求解能量模型，流程图如图2所示。 

下面给出本发明的一个应用实例。 

选择两组测试图像对本发明提出的基于TV-L¹变分模型的鲁棒光流场估计方法进行验证，如图3所示，两组图像都是来自国际上广泛采用的Middlebury标准库中的测试图像序列（a1，b1和a2，b2分别为RubberWhale和Hydrangea两组图像序列的连续两帧），所画出的光流颜色图分别如c1、c2所示，光流矢量图分别如d1、d2所示。 

为了与现有技术进行比较，分别采用传统光流计算模型的改进方法（方法一）和本发明提出的基于TV-L¹变分模型的鲁棒光流计算方法（方法二）进行实验，实验仍然采用图3中的a1、b1和a2、b2两组图像序列。 

采用平均角度误差AAE(Average Angular Error)和平均端点误差AEPE(Average Endpoint Error)的误差估计方式来评价两种不同方法计算的精度。 

AAE的计算公式如下： 

$\mathrm{AAE}=\frac{1}{N_0}\underset{i=1}{\overset{N_0}{\mathrm{\&Sigma;}}}{\mathrm{\&phi;}}_e\left(i\right)$

${\mathrm{\&phi;}}_e\left(i\right)=\arccos \left[\frac{u_{1i}^c{u}_{1i}^e+u_{2i}^c{u}_{2i}^e+k^2}{\sqrt{{\left(u_{1i}^c\right)}^2+{\left(u_{2i}^c\right)}^2+k^2}\sqrt{{\left(u_{1i}^e\right)}^2+{\left(u_{2i}^e\right)}^2+k^2}}\right]$

其中，N₀表示一帧图像的总像素数，

表示第i个像素的标准光流矢量，

表示计算得到的第i个像素的光流矢量，k表示相隔的帧数。AAE反映了计算的光流矢量场 整体偏离标准光流矢量场的程度。 

AEPE的计算公式为： 

$\mathrm{AEPE}=\frac{1}{N_0}\underset{i=1}{\overset{N_0}{\mathrm{\&Sigma;}}}{\mathrm{\&phi;}}_{\mathrm{ep}}\left(i\right)$

其中： 

${\mathrm{\&phi;}}_{\mathrm{ep}}\left(i\right)=\sqrt{{(u_{1i}^c-u_{1i}^e)}^2+{(u_{2i}^c-u_{2i}^e)}^2}$

AEPE用以衡量计算的光流场的矢量长度与标准光流场的矢量长度之间的误差。 

表1给出了两种方法的AAE、AEPE及计算所用时间。由表1可知，本发明基于TV-L¹变分模型的鲁棒光流场估计方法的AAE、AEPE和计算时间均低于传统光流计算模型的改进方法，与现有技术相比，不仅能提高光流算法的精度，还能提高光流计算的速度，具有很好的实时性。 

表1本发明与现有技术计算误差和速度的对比 

Claims (4)

1.一种基于TV-L¹变分模型的鲁棒光流场估计方法，其特征在于包含以下步骤：

步骤一，输入图像序列；

步骤二，并对图像进行结构纹理分解；

利用基于总变分的ROF(Rudin,Osher,Fatemi)去噪模型进行结构纹理分解；对于灰度图像I(x)，其结构部分I_S的求解模型为：

$\underset{I_S}{\min }{\&Integral;}_{\mathrm{\&Omega;}}\left\{\right|\&dtri;I_S|+\frac{1}{2\mathrm{\&theta;}}{(I_S-I)}^2\}\mathrm{dx}$

式中，θ为一个很小的常量，在优化过程中只有当I_s与I接近时才能使能量泛函取得最小值，I为原始图像灰度值；

利用原始对偶算法最小化该能量泛函；引入I_S的对偶变量p_i(i=1,2)，采用对偶变量p=(p₁,p₂)^T的迭代解方程：

I_S＝I+θdiv p

迭代公式为：

${\tilde{p}}^{n+1}=p^n+\frac{\mathrm{\&tau;}}{\mathrm{\&theta;}}(\&dtri;(I+\mathrm{\&theta;}\mathrm{div}{p}^n))$

$p^{n+1}=\frac{{\tilde{p}}^{n+1}}{\max \{1,|{\tilde{p}}^{n+1}\left|\right\}}$

其中，p⁰=0，τ≤1/4；

图像的纹理分量I_T(x)等于原始图与结构分量之差，即：I_T(x)=I(x)-I_s(x)；

步骤三，建立基于TV-L¹变分模型的能量泛函模型；

基于TV-L¹模型的能量泛函如下：

E＝∫_Ω{λ|I₁(x+u(x))-I₀(x)|+|▽u|}dx

将图像I₁在x+u₀附近进行线性化，即对I₁(x+u(x))一阶泰勒展开：

I₁(x+u(x))＝I₁(x+u₀)+(u-u₀)▽I₁(x+u₀)

固定u₀并且利用线性近似代替I₁(x+u(x))，TV-L¹能量泛函写成如下形式：

E＝∫_Ω{λ|u▽I₁+I₁(x+u₀)-u₀▽I₁-I₀|+|▽u|}dx

用ρ(u)表示I₁(x+u₀)+(u-u₀)▽I₁-I₀，引进辅助变量v，将TV-L¹能量泛函写成以下的凸函数形式：

$E={\&Integral;}_{\mathrm{\&Omega;}}\left\{\mathrm{\&lambda;}\right|I_1(x+u\left(x\right))-I_0\left(x\right)|+|\&dtri;u\left|\right\}\mathrm{dx}$

其中，θ是一个很小的常数，在迭代过程中只有当u和v接近的时候，可以使上式能量泛函取得最小值；

将该能量泛函写成具体二维形式的数学模型：

$E_{\mathrm{\&theta;}}={\&Integral;}_{\mathrm{\&Omega;}}\left\{\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\right|\&dtri;u_i|+\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\frac{1}{2\mathrm{\&theta;}}{(u_i-v_i)}^2+\mathrm{\&lambda;}|\mathrm{\&rho;}\left(v\right)\left|\right\}\mathrm{dx}$

其中，u₁和u₂分别表示x方向的光流和y方向的光流；利用原始对偶算法的交替迭代方法优化上述模型，可求得光流；

步骤四，利用交替迭代方法求解能量模型；

（1）对于i（i=1,2），固定v₁和v₂，求解u₁和u₂，即优化以下模型：

$\underset{u_i}{\min }{\&Integral;}_{\mathrm{\&Omega;}}\left\{\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\right|\&dtri;u_i|+\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\frac{1}{2\mathrm{\&theta;}}{(u_i-v_i)}^2\}\mathrm{dx}$

该模型是基于ROF的图像去噪模型，求解该模型利用以下公式：

u_i＝v_i+θdiv p_i

u_i（i=1,2）的对偶变量为p_i（i=1,2），求解对偶变量的迭代公式如下：

${\tilde{p}}^{n+1}=p^n+\frac{\mathrm{\&tau;}}{\mathrm{\&theta;}}(\&dtri;(I+\mathrm{\&theta;}\mathrm{div}{p}^n))$

$p^{n+1}=\frac{{\tilde{p}}^{n+1}}{\max \{1,|{\tilde{p}}^{n+1}\left|\right\}}$

其中，p⁰=0，τ≤1/4；

（2）对于i（i=1,2），固定u₁和u₂，求解v₁和v₂，即优化以下模型：

$\underset{v}{\min }{\&Integral;}_{\mathrm{\&Omega;}}\{\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\frac{1}{2\mathrm{\&theta;}}{(u_i-v_i)}^2+\mathrm{\&lambda;}|\mathrm{\&rho;}\left(v\right)\left|\right\}\mathrm{dx}$

求解该模型需要运用逐点求解的方法，其求解过程运用以下的阈值方法：

$v=u+\left\{\begin{array}{cc}\mathrm{\&lambda;\&theta;}\&dtri;I_1& \mathrm{if\&rho;}\left(u\right)<-\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\\ -\mathrm{\&lambda;\&theta;}\&dtri;I_1& \mathrm{if\&rho;}\left(u\right)>\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\\ -\mathrm{\&rho;}\left(u\right)\&dtri;I_1/{|\&dtri;I_1|}^2& \mathrm{if}\left|\mathrm{\&rho;}\left(u\right)\right|\&le;\mathrm{\&lambda;\&theta;}{|\&dtri;I_1|}^2\end{array}\right..$

2.根据权利要求1所述的一种基于TV-L¹变分模型的鲁棒光流场估计方法，其特征在于，为了解决像素点光流值梯度(▽u)_i,j和对偶变量div p求解难的问题，采取离散化的数值求解方法求解能量模型，方法如下：

利用后项差分方法求解div p，利用前项差分方法计算光流的梯度；

对于一个宽为N、高为M的图像数据范围中，像素点（i，j）处梯度

的前项差分离散化表示为：

${(\&dtri;u)}_{i,j}^1=\left\{\begin{array}{cc}{u}_{i+1,j}-u_{i,j},& \mathrm{ifi}<N\\ 0,& \mathrm{ifi}=N\end{array}\right.$

${(\&dtri;u)}_{i,j}^2=\left\{\begin{array}{cc}{u}_{i,j+1}-u_{i,j},& \mathrm{ifi}<M\\ 0,& \mathrm{ifi}=M\end{array}\right.$

散度算子的后项差分离散化表示为：

${\left(\mathrm{div}p\right)}_{i,j}=\left\{\begin{array}{cc}{p}_{i,j}^1-p_{i-1,j}^1,& \mathrm{if}1<i<N\\ p_{i,j}^1,& \mathrm{ifi}=1\\ -p_{i-1,j}^1,& \mathrm{ifi}=N\end{array}\right.+\left\{\begin{array}{cc}{p}_{i,j}^2-p_{i,j-1}^2,& \mathrm{if}1<j<M\\ p_{i,j}^2,& \mathrm{ifj}=1\\ -p_{i,j-1}^2,& \mathrm{ifj}=M\end{array}\right..$

3.根据权利要求1所述的一种基于TV-L¹变分模型的鲁棒光流场估计方法，其特征在于，数值计算在规则的网格中进行，利用GPU强大的计算能力和和并行处理能力，对能量泛函的求解过程进行加速，使光流计算具有很好的实时性。

4.根据权利要求1所述的一种基于TV-L¹变分模型的鲁棒光流场估计方法，其特征在于，为解决由于数据项的一阶泰勒展开仅适用于小位移的投影坐标使光流求解过程受到限制的问题，能量模型的求解过程采取了由粗到精的金字塔算法：生成一系列粗细不同的金字塔图像，在最粗层图像尺度上利用TV-L¹变分模型求取光流，将该解作为下一层较细图像上的初始解，重复该步骤，直至最细分辨率层图像，即原始图像。

Images