CN113838102A - 一种基于各向异性稠密卷积的光流确定方法和*** - Google Patents

Abstract

本发明涉及一种基于各向异性稠密卷积的光流确定方法和***。所述基于各向异性稠密卷积的光流确定方法通过输入连续两帧图像；对输入的连续两帧图像运用各项异性稠密卷积方式进行特征提取；构建特征金字塔编码网络；对提取到的连续帧图像特征进行特征解码；构建特征金字塔解码网络，计算连续帧间图像的运动光流。本发明采用各项异性稠密卷积的方式提取更加准确的图像边缘特征，优化图像中包含大位移和遮挡的边缘处信息，提高图像序列中运动边缘处光流估计精度和鲁棒性。

Description

一种基于各向异性稠密卷积的光流确定方法和***

技术领域

本发明涉及图像序列光流计算技术领域，特别是涉及一种基于各向异性稠密卷积的光流确定方法和***。

背景技术

光流是指图像序列中运动目标或场景表面像素点的二维运动矢量，其不仅提供了图像中运动目标和场景的运动参数，还携带了丰富的三维结构信息。因此，光流计算是图像处理、计算机视觉等领域的热点问题。近年来，随着深度学习理论与技术的快速发展，卷积神经网络被广泛应用于光流计算技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为光流计算研究领域的热点，研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。

目前，基于标准卷积的特征提取方式是深度学习光流计算技术中最常采用的一类特征提取方法，但是标准卷积方式提取得到图像特征较为粗糙，在图像的运动边缘部分存在模糊问题，对于包含大位移和遮挡运动边缘图像序列光流计算的精度和鲁棒性较差，这些缺点限制了标准卷积的特征提取方式在深度学习光流计算领域的应用。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于各向异性稠密卷积的光流确定方法和***。

为实现上述目的，本发明提供了如下方案：

一种基于各向异性稠密卷积的光流确定方法，包括：

获取待确定图像序列中的第一帧图像和第二帧图像；第一帧图像和第二帧图像为连续帧图像；

采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

将所述第一图像特征输入特征金字塔编码网络得到第二图像特征；

将所述第二图像特征输入特征金字塔解码网络得到光流；所述光流为第一帧图像和第二帧图像间的光流。

优选地，所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征，还包括：

构建所述各向异性稠密卷积；构建得到的所述各向异性稠密卷积为：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

优选地，所述将所述第一图像特征输入特征金字塔编码网络得到第二图像特征，之前还包括：

构建所述特征金字塔编码网络；构建得到的所述特征金字塔编码网络为：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

优选地，所述将所述第二图像特征输入特征金字塔解码网络得到光流，具体包括：

将所述第二图像特征输入到所述特征金字塔解码网络，采用公式

计算得到所述第一帧图像和第二帧图像间的光流；

式中，i表示网络层数，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

优选地，所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征，具体包括：

基于各向异性稠密卷积采用公式

提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的基于各向异性稠密卷积的光流确定方法，采用各项异性稠密卷积的方式提取更加准确的图像特征，优化图像中包含大位移和遮挡的边缘处信息，提高图像序列中运动边缘处光流估计精度和鲁棒性。

对应于上述提供的基于各向异性稠密卷积的光流确定方法，本发明还提供了一种基于各向异性稠密卷积的光流确定***，该***包括：

图像获取模块，用于获取待确定图像序列中的第一帧图像和第二帧图像；第一帧图像和第二帧图像为连续帧图像；

第一图像特征确定模块，用于采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

第二图像特征确定模块，用于将所述第一图像特征输入特征金字塔编码网络得到第二图像特征；

光流确定模块，用于将所述第二图像特征输入特征金字塔解码网络得到光流；所述光流为第一帧图像和第二帧图像间的光流。

优选地，还包括：

各向异性稠密卷积构建模块，用于构建所述各向异性稠密卷积；构建得到的所述各向异性稠密卷积为：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

优选地，还包括：

特征金字塔编码网络构建模块，用于构建所述特征金字塔编码网络；构建得到的所述特征金字塔编码网络为：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

优选地，所述光流确定模块包括：

光流确定单元，用于将所述第二图像特征输入到所述特征金字塔解码网络，采用公式

计算得到所述第一帧图像和第二帧图像间的光流；

式中，i表示网络层数，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

优选地，所述第一图像特征确定模块包括：

第一图像特征确定单元，用于基于各向异性稠密卷积采用公式

提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

因本发明提供的基于各向异性稠密卷积的光流确定***达到的技术效果与上述提供的基于各向异性稠密卷积的光流确定方法达到的技术效果相同，故在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于各向异性稠密卷积的光流确定方法的流程图；

图2为本发明实施例提供的Temple_3图像序列第四帧图像图；

图3为本发明实施例提供的Temple_3图像序列第五帧图像图；

图4为本发明实施例提供的各项异性稠密卷积的结构示意图；

图5为本发明实施例提供的各向异性稠密卷积提取连续帧图像特征的网络结构示意图；

图6为本发明实施例提供的特征金字塔编码网络与特征金字塔解码网络的网络结构示意图；

图7为本发明实施例提供的计算所得的Temple_3图像序列光流可视化结果图；

图8为本发明提供的基于各向异性稠密卷积的光流确定***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于各向异性稠密卷积的光流确定方法和***，利用各项异性稠密卷积的方式提取更加准确的图像边缘特征，优化图像中包含大位移和遮挡的边缘处信息，提高图像序列中运动边缘处光流估计精度和鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于各向异性稠密卷积的光流确定方法，包括：

步骤100：获取待确定图像序列中的第一帧图像和第二帧图像。第一帧图像和第二帧图像可以是图像序列中任意连续的两帧图像。

步骤101：采用各向异性稠密卷积提取第一帧图像的图像特征和第二帧图像的图像特征得到第一图像特征。本发明采用的各向异性稠密卷积是将标准卷积与变形卷积相结合定义的一种新的卷积方式。定义的这一各项异性稠密卷积的卷积核可以根据图像序列中运动目标的大小和形状进行改变，提取到更加准确的运动边缘信息，提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性。各项异性稠密卷积公式如式(1)所示：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

其中，对选择的任意连续两帧图像以各项异性稠密卷积的方式进行特征提取，计算公式如式(2)所示：

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

步骤102：将第一图像特征输入特征金字塔编码网络得到第二图像特征。

步骤103：将第二图像特征输入特征金字塔解码网络得到光流。光流为第一帧图像和第二帧图像间的光流。

在步骤102和步骤103之前还需要构建特征金字塔编码网络与特征金字塔解码网络，以便将各向异性稠密卷积提取的图像特征输入特征金字塔编码网络，获取不同特征金字塔编码层的图像特征。其中，特征金字塔编码网络计算公式如式(3)所示：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

将特征金字塔编码网络提取的图像特征输入到特征金字塔解码网络，计算第一帧图像和第二帧图像间的光流，计算公式如式(4)所示：

式中，i表示网络层数，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

经过上述步骤100-步骤103得到待确定图像序列的光流后，输出光流计算结果。

参看图2至图7所示，以下列举本发明的一个的实施例，基于各向异性稠密卷积的图像序列光流计算方法，使用Temple_3图像序列的光流计算实验进行说明。

步骤一、输入Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像(如图2和图3所示)。

步骤二、定义各项异性稠密卷积特征提取方式：

本发明将标准卷积与变形卷积相结合定义一种新的卷积方式：各项异性稠密卷积(各向异性稠密卷积网络结构如图4所示)。各项异性稠密卷积的卷积核可以根据图像序列中运动目标的大小和形状进行改变，提取到更加准确的运动边缘信息，提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性。各项异性稠密卷积公式如式(1)所示，在本实例中卷积核的尺寸集合R∈{3,5,7}。

步骤三、对选择的Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像以各项异性稠密卷积的方式进行特征提取(如图5所示)，计算公式如式(2)所示。

步骤四、构建五层特征金字塔编码网络与五层特征金字塔解码网络(如图6所示)。将各向异性稠密卷积提取的图像特征输入特征金字塔编码网络，获取五层不同分辨率的图像特征，特征金字塔编码网络计算公式如式(3)所示。

将特征金字塔编码网络提取的图像特征输入到特征金字塔解码网络，计算Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像间的光流，计算公式(4)所示。

步骤五、输出光流估计结果(如图7所示)。

对应于上述提供的基于各向异性稠密卷积的光流确定方法，本发明还提供了一种基于各向异性稠密卷积的光流确定***，如图8所示，该***包括：图像获取模块1、第一图像特征确定模块2、第二图像特征确定模块3和光流确定模块4。

图像获取模块1用于获取待确定图像序列中的第一帧图像和第二帧图像。第一帧图像和第二帧图像为连续帧图像。

第一图像特征确定模块2用于采用各向异性稠密卷积提取第一帧图像的图像特征和第二帧图像的图像特征得到第一图像特征。

第二图像特征确定模块3用于将第一图像特征输入特征金字塔编码网络得到第二图像特征。

光流确定模块4用于将第二图像特征输入特征金字塔解码网络得到光流。光流为第一帧图像和第二帧图像间的光流。

其中，上述提供的光流确定模块还优选包括：光流确定单元。

光流确定单元用于将第二图像特征输入到特征金字塔解码网络，采用公式

计算得到第一帧图像和第二帧图像间的光流。

式中，i表示网络层数，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

上述提供的第一图像特征确定模块还优选包括：第一图像特征确定单元。

第一图像特征确定单元用于基于各向异性稠密卷积采用公式

提取第一帧图像的图像特征和第二帧图像的图像特征得到第一图像特征。

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

进一步，为了提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性，本发明上述提供的基于各向异性稠密卷积的光流确定***还包括：各向异性稠密卷积构建模块。

各向异性稠密卷积构建模块用于构建各向异性稠密卷积。构建得到的各向异性稠密卷积为：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

进一步，为了增加图像特征提取的精确性和多样性，本发明上述提供的基于各向异性稠密卷积的光流确定***还包括：特征金字塔编码网络构建模块。

特征金字塔编码网络构建模块用于构建特征金字塔编码网络。构建得到的特征金字塔编码网络为：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，F₁ ⁱ表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于各向异性稠密卷积的光流确定方法，其特征在于，包括：

获取待确定图像序列中的第一帧图像和第二帧图像；第一帧图像和第二帧图像为连续帧图像；

采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

将所述第一图像特征输入特征金字塔编码网络得到第二图像特征；

将所述第二图像特征输入特征金字塔解码网络得到光流；所述光流为第一帧图像和第二帧图像间的光流。

2.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法，其特征在于，所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征，还包括：

构建所述各向异性稠密卷积；构建得到的所述各向异性稠密卷积为：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

3.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法，其特征在于，所述将所述第一图像特征输入特征金字塔编码网络得到第二图像特征，之前还包括：

构建所述特征金字塔编码网络；构建得到的所述特征金字塔编码网络为：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，

表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

4.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法，其特征在于，所述将所述第二图像特征输入特征金字塔解码网络得到光流，具体包括：

将所述第二图像特征输入到所述特征金字塔解码网络，采用公式

计算得到所述第一帧图像和第二帧图像间的光流；

式中，i表示网络层数，

表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

5.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法，其特征在于，所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征，具体包括：

基于各向异性稠密卷积采用公式

提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

6.一种基于各向异性稠密卷积的光流确定***，其特征在于，包括：

图像获取模块，用于获取待确定图像序列中的第一帧图像和第二帧图像；第一帧图像和第二帧图像为连续帧图像；

第一图像特征确定模块，用于采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

第二图像特征确定模块，用于将所述第一图像特征输入特征金字塔编码网络得到第二图像特征；

光流确定模块，用于将所述第二图像特征输入特征金字塔解码网络得到光流；所述光流为第一帧图像和第二帧图像间的光流。

7.根据权利要求6所述的基于各向异性稠密卷积的光流确定***，其特征在于，还包括：

各向异性稠密卷积构建模块，用于构建所述各向异性稠密卷积；构建得到的所述各向异性稠密卷积为：

式中，X表示输入图像，Y表示输出的图像特征，P₀表示输入帧图像中的一个像素点，r表示卷积核尺寸，Q表示以P₀为中心、边长为r的正方形区域，R表示卷积核的尺寸集合，W表示卷积核的权重系数，P_n表示Q区域内所有像素点的索引集合，其中n∈{1,2,3,...,|Q|}，|Q|表示图像中Q区域内像素点的数量，ΔP_n表示偏置因数，Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。

8.根据权利要求6所述的基于各向异性稠密卷积的光流确定***，其特征在于，还包括：

特征金字塔编码网络构建模块，用于构建所述特征金字塔编码网络；构建得到的所述特征金字塔编码网络为：

式中，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征，i表示网络层数，Conv¹表示特征金字塔编码网络第1层的3*3标准卷积，Conv^i-1表示特征金字塔编码网络第i-1层的3*3标准卷积，Convⁱ表示特征金字塔编码网络第i层的3*3标准卷积，

表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。

9.根据权利要求6所述的基于各向异性稠密卷积的光流确定***，其特征在于，所述光流确定模块包括：

光流确定单元，用于将所述第二图像特征输入到所述特征金字塔解码网络，采用公式

计算得到所述第一帧图像和第二帧图像间的光流；

式中，i表示网络层数，

表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征，

表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征，corr表示匹配代价计算函数，cost_i表示特征金字塔解码网络第i层计算的匹配代价，estimator表示光流计算函数，flow_i+1表示特征金字塔解码网络第i+1层计算的光流，其中特征金字塔解码网络的初始光流为0，flow_i表示特征金字塔解码网络第i层计算的光流。

10.根据权利要求6所述的基于各向异性稠密卷积的光流确定***，其特征在于，所述第一图像特征确定模块包括：

第一图像特征确定单元，用于基于各向异性稠密卷积采用公式

提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征；

式中，i_t表示第一帧图像，i_t+1表示第二帧图像，Aconv表示定义的各向异性稠密卷积，F₁表示第一帧图像的第一图像特征，F₂表示第二帧图像的第一图像特征。

Images