CN108776971B - 一种基于分层最近邻域的变分光流确定方法及*** - Google Patents

Abstract

本发明公开一种基于分层最近邻域的变分光流的确定方法及***，所述方法包括：获取原始图像序列中的任意连续两帧图像，对两帧图像进行金字塔分层；采用决策树一致性近似邻域算法获取两帧图像中对应每层图像序列的最近邻域；识别每层图像序列的最近邻域的主要运动模式，依据主要运动模式和每层图像序列执行运动分割，得到每层运动分割光流；建立变分光流估计模型；将变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。本发明中的上述方法克服了针对大位移场景图像序列光流计算结果精度低的问题。

Description

一种基于分层最近邻域的变分光流确定方法及***

技术领域

本发明涉及图像序列光流计算领域，特别是涉及一种基于分层最近邻域的变分光流确定方法及***。

背景技术

光流估计旨在计算两幅图像之间的像素位移场，是分析序列图像中运动目标的重要方法，图像中所有像素点光流矢量的集合则称为光流场。因其不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息，因此，对于变分光流的计算，是计算机视觉中最基础和深入研究的问题。变分光流，可用于各种视觉任务，如图像插值，超分辨率重建，目标分割与跟踪，动作识别和自主导航。

近年来，随着光流估计方法的发展，针对简单场景图像序列光流估计技术已经取得较大进步，但是在针对图像序列包含诸如大位移运动，运动遮挡与间断，光照突变等具有挑战性的困难场景光流估计仍然具有较大误差。

发明内容

本发明的目的是提供一种基于分层最近邻域的变分光流确定方法及***，来克服大位移场景图像序列光流计算结果精度较低的问题。

为实现上述目的，本发明提供了如下方案：

一种基于分层最近邻域的变分光流估计的确定方法，所述方法包括：

获取原始图像序列中的任意连续两帧图像；

对所述两帧图像进行金字塔分层；

采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

识别并获取每层图像序列的最近邻域中的主要运动模式，并根据获取的主要运动模式和每层图像序列进行运动分割，得到每层运动分割结果；

采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；

根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

可选的，所述运动分割过程具体包括：

其中E(m)为运动分割结果，I₁,I₂为连续两帧图像，X＝(x,y)^T为图像像素点坐标，X′＝(x′,y′)^T为像素点X的邻域像素点坐标；m为运动模式，m∈{m₁,m₂,…m_k}或

P为从最近邻域中获得的主要运动模式的投影矩阵，

为运动模式m周围的扰动偏差，

为常数，m′∈Ω(mi)为实现I₂(X+m′)-I₁(X)|的最小匹配误差，m(X′)为以像素X′＝(x′,y′)^T为中心的任意局部区域，

和

为非平方惩罚函数，

ε为趋近于零的常数，β为常数。

可选的，所述变分光流估计模型具体包括：

其中，W＝(u,v)^T表示图像序列帧间光流，u为光流水平分量，v为光流垂直分量，X＝(x,y)^T为像素点坐标，

为梯度算子，

和

为非平方惩罚函数，

可选的，所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果具体包括：

建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，光流数值化模型为：

其中

为光流计算模型数据项

在第k层的偏导数，

为光流计算模型平滑项

在第k层图像的偏导数，

表示第k层图像灰度I的空间偏导数，

表示第k层图像灰度I的时间偏导数，div为散度，W^k＝(u^k,v^k)^T表示第k层图像光流初始值，dW^k＝d(u^k,v^k)表示第k层图像光流计算增量；

根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值：W^k+1＝W^k+dW^k；

根据所述第k层光流额定计算值得到第n层的光流额定计算值：Wⁿ⁺¹＝Wⁿ+dWⁿ，1≤k≤n；

将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值W^M；

将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场

执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u,v)^T。

本发明还另外提供一种基于分层最近邻域的变分光流估计的确定***，所述***包括：

图像获取模块，用于获取原始图像序列中的任意连续两帧图像；

金字塔分层模块，用于对所述两帧图像进行金字塔分层；

最近邻域获取模块，用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

分割结果确定模块，用于识别每层图像序列的最近邻域的主要运动模式，并根据所述主要运动模式和每层图像序列进行运动分割，得到运动分割结果；

分割光流获取模块，用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；

变分光流估计模型获取模块，用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

计算光流结果获取模块，用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

可选的，所述计算光流结果获取模块具体包括：

金字塔获取单元，用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

光流数值化模型获取单元，用于当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，获取光流数值化模型；

第k层光流额定计算值获取单元，用于根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值；

第n层的光流额定计算值获取单元，用于根据所述第k层光流额定计算值得到第n层的光流额定计算值；

第M层光流额定计算值获取单元，用于将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值；

计算光流结果获取单元，用于将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u，v)^T。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中采用分层最近邻域场作为变分光流计算先验模型的计算先验信息，并在优化过程中采用分层融合方法，克服了针对大位移场景图像序列光流计算结果精度较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于分层最近邻域的变分光流计的确定方法流程图；

图2为本发明实施例基于分层最近邻域的变分光流计的确定***结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于分层最近邻域的变分光流确定方法及***，来克服大位移场景图像序列光流计算结果精度较低的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例基于分层最近邻域的变分光流计的确定方法流程图；如图1所示，所述方法包括：

步骤101：获取原始图像序列中的任意连续两帧图像；

步骤102：对所述两帧图像进行金字塔分层；

图像金字塔是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

为了获取层级为L层的金字塔图像，我们采用如下方法:

<1>对图像I进行高斯滤波预处理

<2>使用matlab内置的imresize函数指定双线性插值运算来改变图像的大小，其中对于渐进非凸方案第二，第三阶段采样因子设置为0.8，数值金字塔方案采样因子设置为0.5。

步骤103：采用决策树一致性近似邻域算法(k-d tree Coherence ApproximateNearestNeighbor algorithm，treeCANN)获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

最近邻域定义为对于一幅图像中每个局部区域，在奇特图像中拥有与其最相似的局部区域。但是根据图像的大小计算确切的最近邻域代价巨大，而treeCANN是一种用于在两幅图像之间快速近似匹配所有对应局部区域的近似算法，使用该算法可获取两帧图像间对应局部区域的最近邻域。

步骤104：识别每层图像序列的最近邻域的主要运动模式，并根据所述主要运动模式进行运动分割，得到运动分割结果；

在获取两帧图像序列帧间的最近邻域后，通过随机抽样一致算法(采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数的算法)从稀疏的尺度不变特征变换(SIFT)对应中自适应地估计多个主要运动模式；

运动模式就是图像中物体运动的行为，如平移，旋转，缩放等。主要运动模式即在图像中频繁出现的运动模式。

步骤105：采用两阶段的伪布尔函数多项式优化算法(qpbo)优化所述运动分割结果，得到每层运动分割光流；

步骤106：根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

步骤107：将所述变分光流估计模型转换为结合渐进非凸优化方案(graduatednon-convexity,GNC方案)的基于图像金字塔分层细化优化策略的光流计算模型，得到计算光流结果。

具体的，所述步骤104中，所述运动分割结果具体包括：

其中E(m)为运动分割结果，I₁,I₂为连续两帧图像，X＝(x,y)^T为图像像素点坐标，X′＝(x′,y′)^T为像素点X的邻域像素点坐标；m为运动模式，m∈{m₁,m₂,…m_k}或

P为从最近邻域中获得的主要运动模式的投影矩阵，

为运动模式m周围的扰动偏差，

为常数，m′∈Ω(m_i)为实现|I₂(X+m′)-I₁(X)|的最小匹配误差，m(X′)为以像素X′＝(x′,y′)^T为中心的任意局部区域，

和

为非平方惩罚函数，

ε为趋近于零的常数，β为常数。

具体的，步骤106中，所述变分光流估计模型具体包括：

其中，W＝(u,v)^T表示图像序列帧间光流，u为光流水平分量，v为光流垂直分量，X＝(x,y)^T为像素点坐标，

为梯度算子，

和

为非平方惩罚函数，

具体的，步骤107中，所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，得到计算光流结果具体包括：

建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，光流数值化模型为：

其中

为光流计算模型数据项

在第k层的偏导数，

为光流计算模型平滑项

在第k层图像的偏导数，

表示第k层图像灰度I的空间偏导数，

表示第k层图像灰度I的时间偏导数，div为散度，W^k＝(u^k,v^k)^T表示第k层图像光流初始值，dW^k＝d(u^k,v^k)表示第k层图像光流计算增量；

根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值：W^k+1＝W^k+dW^k；

根据所述第k层光流额定计算值得到第n层的光流额定计算值：Wⁿ⁺¹＝Wⁿ+dWⁿ，1≤k≤n；

将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值W^M；

将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场

执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u,v)^T。

图2为本发明实施例基于分层最近邻域的变分光流计的确定***结构框图，如图2所示，所述***包括：

图像获取模块201，用于获取原始图像序列中的任意连续两帧图像；

金字塔分层模块202，用于对所述两帧图像进行金字塔分层；

最近邻域获取模块202，用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

分割结果确定模块204，用于识别每层图像序列的最近邻域的主要运动模式，并根据所述运动模式进行运动分割，得到运动分割结果；

分割光流获取模块205，用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流

l表示层数；

变分光流估计模型获取模块206，用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

计算光流结果获取模块207，用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

具体的，所述计算光流结果获取模块207具体包括：

金字塔获取单元，用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

光流数值化模型获取单元，用于当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，获取光流数值化模型；

第k层光流额定计算值获取单元，用于根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值；

第n层的光流额定计算值获取单元，用于根据所述第k层光流额定计算值得到第n层的光流额定计算值；

第M层光流额定计算值获取单元，用于将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值；

计算光流结果获取单元，用于将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u,v)^T。

本发明的一种基于分层最近邻域的变分光流确定方法，具有以下效果：

本发明中对输入图像序列进行金字塔分层，并利用决策树一致性近似最近邻算法(k-dtree CoherenceApproximate NearestNeighbor algorithm，treeCANN)算法从每层图像序列中获取最近邻域并执行运动分割，与输入图像序列(未经过金字塔分层的原始序列)同时作为输入量，建立变分光流估计模型克服了针对大位移场景图像序列的光流估计精度低的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述方法包括：

获取原始图像序列中的任意连续两帧图像；

对所述两帧图像进行金字塔分层；

采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

识别并获取每层图像序列的最近邻域中的主要运动模式，并根据获取的主要运动模式和每层图像序列进行运动分割，得到每层运动分割结果；

采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；

根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

2.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述运动分割过程具体包括：

其中E(m)为运动分割结果，I₁,I₂为连续两帧图像，X＝(x,y)^T为图像像素点坐标，X′＝(x′,y′)^T为像素点X的邻域像素点坐标；m为运动模式，m∈{m₁,m₂,…m_k}或

P为从最近邻域中获得的主要运动模式的投影矩阵，

为运动模式m周围的扰动偏差，

为常数，m′∈Ω(m_i)为实现|I₂(X+m′)-I₁(X)|的最小匹配误差，m(X′)为以像素X′＝(x′,y′)^T为中心的任意局部区域，

和

为非平方惩罚函数，

ε为趋近于零的常数，β为常数。

3.根据权利要求2所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述变分光流估计模型具体包括：

其中，W＝(u,v)^T表示图像序列帧间光流，u为光流水平分量，v为光流垂直分量，X＝(x,y)^T为像素点坐标，

为梯度算子，

和

为非平方惩罚函数，

4.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果具体包括：

建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，光流数值化模型为：

其中

为光流计算模型数据项

在第k层的偏导数，

为光流计算模型平滑项

在第k层图像的偏导数，

表示第k层图像灰度I的空间偏导数，

表示第k层图像灰度I的时间偏导数，div为散度，W^k＝(u^k,v^k)^T表示第k层图像光流初始值，dW^k＝d(u^k,v^k)表示第k层图像光流计算增量；

根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值：W^k+1＝W^k+dW^k；

根据所述第k层光流额定计算值得到第n层的光流额定计算值：Wⁿ⁺¹＝Wⁿ+dWⁿ，1≤k≤n；

将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值W^M；

将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场

执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u,v)^T。

5.一种基于分层最近邻域的变分光流的确定***，其特征在于，所述***包括：

图像获取模块，用于获取原始图像序列中的任意连续两帧图像；

金字塔分层模块，用于对所述两帧图像进行金字塔分层；

最近邻域获取模块，用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；

分割结果确定模块，用于识别每层图像序列的最近邻域的主要运动模式，并根据所述主要运动模式和每层图像序列进行运动分割，得到运动分割结果；

分割光流获取模块，用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；

变分光流估计模型获取模块，用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；

计算光流结果获取模块，用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

6.根据权利要求5所述的一种基于分层最近邻域的变分光流的确定***，其特征在于，所述计算光流结果获取模块具体包括：

金字塔获取单元，用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；

光流数值化模型获取单元，用于当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，获取光流数值化模型；

第k层光流额定计算值获取单元，用于根据所述第k层图像光流初始值W^k和所述第k层图像光流计算增量dW^k得到第k层光流额定计算值；

第n层的光流额定计算值获取单元，用于根据所述第k层光流额定计算值得到第n层的光流额定计算值；

第M层光流额定计算值获取单元，用于将第n层的光流额定计算值Wⁿ作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wⁿ代入所述光流数值化模型

以及第k层光流计算公式W^k+1＝W^k+dW^k，直到计算至第M阶段，得到第M阶段的光流额定计算值；

计算光流结果获取单元，用于将第M-1阶段的光流额定计算值W^M-1与分层最近邻域场执行伪布尔函数多项式优化算法，再执行所述

得到计算光流(u,v)^T；

其中，

为光流计算模型平滑项

在第k层图像的偏导数，

为光流计算模型数据项

在第k层的偏导数，

表示第k层图像灰度I的空间偏导数，

表示第k层图像灰度I的时间偏导数。

Images