CN108520501B - 一种基于多尺度卷积稀疏编码的视频去雨雪方法 - Google Patents

Abstract

一种基于多尺度卷积稀疏编码的视频去雨雪方法，在低秩背景的假设下，同时估计视频中的雨雪成分和移动前景。首先，获取含有雨雪噪声的视频数据，初始化模型；根据雨雪和视频前景的特点建立雨雪图的生成模型；根据雨雪在视频中成像的结构特性——运动的雨雪在图像上是可重复的和多尺度的雨条局部块，建立关于雨雪的多尺度卷积稀疏编码模型；根据视频前景稀疏性的特点建立移动物体检测模型；在最大似然估计框架下将模型整合为去雨雪/模型；应用雨雪视频和去雨雪模型，得到去雨雪视频与其他统计变量，输出去雨雪视频。本发明旨在建立基于雨雪生成原理及雨雪噪声结构特性的高质量视频去雨雪模型，进而更准确地使得视频去雨雪技术可以广泛应用于更复杂的实际场景中。

Description

一种基于多尺度卷积稀疏编码的视频去雨雪方法

技术领域

本发明涉及一种户外拍摄影像的视频图像处理技术，具体涉及一种多尺度卷积稀疏编码的视频去雨雪方法。

背景技术

随着国家“天眼”工程的深入，室外监控视频发挥着越来越强的安保功能。但是由于室外拍摄***的拍摄时常遭受恶劣天气(如雨、雪、雾)的影响，使得拍摄视频或图像的细节被破坏，背景部分被高亮的雨滴、雨条、雪块遮挡，导致无法利用拍摄的影像进行进一步的处理操作，如行人再识别、目标检测、图像分割与识别等。因此，视频图像去雨雪成为计算机视觉领域近年来兴起的一项技术。在保留视频图像细节的前提下，去雨雪技术对室外的视频图像进行处理，最大限度地恢复受影响的视频和图像，从而允许计算机视觉算法对视频图像精确地进行进一步的分析。

去雨雪技术可以被总结归为两大类，基于频域信息的分析方法和基于时域信息的分析方法。基于频域信息的分析方法将图像变换到频域空间，将雨雪看成图像中的高频成分进行去除；基于时域信息的分析方法主要利用了图像中的雨雪具有的几类特性，如亮度特性，形状特性，色彩特性，空间特性等。

在视频去雨雪方法中，一类方法基于雨雪的亮度特性，由于雨雪提高了视频背景的亮度，从而利用相邻帧之间的像素差判断该像素点是否被雨覆盖，但此类方法无法适用于大雨雪场景以及有移动前景的场景。由于雨雪的多样性和随机性，精确地分辨雨雪一直是去雨雪问题的关键。为了克服这类难题，许多去雨雪方法被相继提出：一类是基于概率的去雨雪方法，该方法通过统计雨雪引起像素值波动的规律进行雨雪初检，再对初检结果进行微调检测；一类是基于结构特性对雨雪进行建模的方法，如根据随机场刻画雨雪运动形成雨雪的动力学特性建模，根据雨雪的光学模型及雨雪的尺寸和方向角约束建模。

现有技术一般通过刻画雨雪的典型特征或学习其区别于非雨雪图像的判别性信息等方式实现在视频中雨雪的检测与分离。这样的方法一方面着重于视频中雨雪的显著信息刻画，而并未充分考虑视频中雨雪层结构的整体信息，如视频中雨雪层的局部块是可重复的并且是多尺度的，因而现有技术并未充分利用视频中雨雪部分的整体信息导致去雨雪结果并不理想。

另一方面，为了得到雨雪的特殊结构信息，近代出现了一些判别性的视频去雨雪方法，这些方法需要外在构造一个带雨雪/不带雨雪的有标注判别数据库来对雨雪进行结构学习。而这些标注信息对于实际中具有特定结构的带雨雪视频，一方面往往难以获得，或需要耗费大量人力物力获得，另一方面会带来对训练数据的bias问题，即训练结果只能对训练数据中出现的雨雪类型进行去雨雪，而对于未在训练数据中体现的雨雪视频，则无法获得有效视频去雨雪效果。

发明内容

本发明的目的在于提供一种无须预先标注带雨雪/不带雨雪数据的无监督视频的尺度卷积稀疏编码的视频去雨雪方法。

为达到上述目的本发明采用的技术方案是：

步骤S1：获取雨雪视频X∈R^h×w×T并初始化模型变量及参数，其中，w为视频的长宽，T为视频帧数；

步骤S2：根据视频中雨雪的结构特性构造多尺度卷积稀疏编码的雨雪检测模型；

步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；

步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；

步骤S5：在最大似然框架下整合步骤S2-S4中子模型为完整的视频去雨雪统计模型，并用迭代优化算法交替优化模型；

步骤S6：以步骤S1获得的原雨雪视频为输入，应用基于多尺度卷积稀疏编码的去雨雪算法，获得去雨雪视频及其他统计变量。

所述步骤S1中，对获取的雨雪视频X∈R^h×w×T分解为：

X＝B+F+R

其中，B,F,R∈R^h×w×T分别表示视频的背景，前景和雨雪层。

所述步骤S2中，视频中雨雪对局部具有多尺度性和可重复性的结构特性，依据上述雨雪的特性用多尺度卷积稀疏编码来表示视频中的雨雪层信息：

其中，R为视频的雨雪层；

为卷积算子，

为一系列卷积核，其表示了雨雪层局部模式的可重复性；

为一系列特征图，其近似定位雨雪的位置；K表示卷积核总共有K个尺度，其中第k个尺度有n_k个卷积核，

由雨雪噪声在视频中的稀疏性可知：近似定位雨雪位置的特征图也是稀疏的，则根据特征图的稀疏性构建基于多尺度卷积稀疏编码的雨雪检测模型：

其中，l(·,·)是用来度量两段视频之间相似性的损失函数。

所述步骤S3中，根据视频前景支撑将视频分解为移动的前景和不动的背景两部分，形式如下：

其中，

为哈达玛乘积算子，其含义为矩阵对应元素逐项相乘，X为输入视频，H∈R^{h ×w×T}为视频的移动前景支撑，其定义为：

即H在视频中有移动前景的像素点处取值为1，其他地方取值为0，记H^⊥代表H的正交补，即：H+H^⊥＝1，

代表原视频中无移动前景的部分；

所述步骤S3中，根据视频中前景支撑的相对光滑稀疏特性和其前后帧的相似性构建以下运动物体检测模型来区分视频的前景目标：

其中，F∈R^h×w×T为视频中的前景部分，l(·,·)是用来度量两段视频之间相似性的损失函数，3DTV代表对视频前后帧的三个方向右、下、后做全变分。

所述步骤S4中，监控视频背景具有低秩性：

B＝Fold(UV^T)

其中，U、V为视频背景的低秩分解，U∈R^d×r,V∈R^T×r，d＝h×w,r＜min(d,T)，′Fold′操作将低秩矩阵每一列展开成相应的视频帧。

由上述视频背景的低秩性构造基于低秩矩阵分解的背景恢复模型，如下：

s.t.r＜min(h×w,T)。

所述步骤S5中，将S2-S4中子模型整合为完整的多尺度卷积稀疏编码的视频去雨雪模型：

s.t.r＜min(h×w,T)

其中，参数集合Θ＝{U,V,H,F,R,D,M}。此模型可用迭代优化算法交替优化模型；

在此求解算法中将相似性度量函数l(·,·)取做Frobenius范数，此时模型(1)的增广拉格朗日函数为：

其中，T是朗格朗日乘子，ρ＞0。

所述步骤S5中，采用迭代优化算法求解步骤S5中的多尺度卷积稀疏编码的视频去雨雪模型公式(2)：

S5.1.1)给出模型(2)中交替方向乘子法的迭代格式与终止条件：

其中，迭代终止条件是

其中B＝Fold(UV^T)

S5.1.2)对问题(3)-(8)进行求解，给出迭代的具体算式；

S5.1.3)设置迭代的初始值为：H⁰＝0，U⁰，V⁰由著名的奇异值分解方法作用在D上产生，初始高斯均值设为0，初始协方差矩阵

是由随机矩阵对称正交化后获得；

S5.1.4)进行(3)-(9)的迭代运算，直到迭代满足终止条件即似然函数下降速率小于阈值或迭代次数达到上限。

对问题(3)-(8)进行具体的求解算式；

S5.2.1)所述的(3)式，即求解如下的前景支撑的问题：

该问题是一阶二值马尔科夫随机场问题，可用图割算法对H进行求解。

S5.2.2)所述的(4)式，即求解如下的视频前景的问题：

此问题可由典型的TV正则算法求解。

S5.2.3)所述的(5)式，即求解如下的视频背景中U,V的问题：

此问题是低秩矩阵分解问题，可用低秩矩阵分解求解。

S5.2.4)所述的(6)式，即求解如下的特征图的问题：

此问题是典型的卷积稀疏编码问题，通过引入辅助变量

写出对应的等价式：

引入拉格朗日乘子ξ和拉格朗日变量μ_sk，上述问题等价于

其对应的ADMM算法迭代求解如下：

可将上述子问题用FFT算法快速求解；

上述子问题可通过收缩阈值算子解得：

拉格朗日变量求解如下：

S5.2.5)所述的(7)式，即求解如下的卷积核的问题：

为了求解上述问题，让线性算子M_ks满足

其中d_ks＝vec(D_ks)，则上式等价于

其中，

r-t＝vec(R-T)，

上式可由近似梯度下降法求解：

S5.2.6)所述的(8)式，即求解如下的卷积核的问题：

此问题有如下闭式解：

其中

Ω＝{(i,j,k)|H_ijk＝0}。

本发明一方面基于多尺度卷积稀疏编码充分刻画了雨雪的局部结构可重复和整体的多尺度结构，另一方面充分利用带雨雪视频中前景目标的稀疏与块状结构特性与背景场景的低秩性特性，对提取视频带雨雪信息形成有效补充性作用，从而实现有效视频去雨。

特别地，本发明利用这种对视频不同对象针对性建模的方式，消除视频去雨雪方法对预先带雨雪/不带雨雪图像数据集的依赖，使其完全在无监督的条件下，完成有效的视频去雨雪效果。本发明较之前的去雨雪方法，对雨的建模更细腻和精确。由于模型中同时对雨雪、移动前景和背景进行优化，从而更加促进每部分的学习准确率，雨雪的多个尺度层学习得更加精确。

附图说明

利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。

图1为本发明的流程图。

图2为视频中(a)实例1中使用的真实下雨雪视频数据；(b)基于多尺度卷积稀疏编码的新型视频去雨雪方法恢复的去雨雪视频，右下角红框中的图像为原图中红框标识部分放大二倍的结果；(c)为使用多尺度卷积稀疏编码的新型视频去雨雪方法恢复的视频背景；(d)为使用多尺度卷积稀疏编码的新型视频去雨雪方法提取的视频前景。

图3为在实例1中使用多尺度卷积稀疏编码的新型视频去雨雪方法得到的雨层(a)及雨层的多尺度分解。((b)(c)(d)分别为多尺度卷积稀疏编码的视频去雨雪方法得到大尺度、中尺度及小尺度下的雨层图。大尺度雨层图(b)对应于原视频中的离镜头较近、较长的雨条；中尺度雨层(c)对应于原视频中的细长的雨线；小尺度雨层(d)对应于原视频中的离镜头较远的雨滴和原视频中的噪音点。

图4为视频同一帧中(a)实例2中使用的真实下雪视频数据，(b)使用多尺度卷积稀疏编码的新型视频去雨雪方法恢复的去雪视频。

图5为在实例2中使用多尺度卷积稀疏编码的新型视频去雨雪方法得到的雪层(a)及雪层的多尺度分解图。(b)为最大尺度的雪层分解图，其对应于原视频中离镜头较近、较长的大雪块；(c)为中尺度的雪层分解图，其对应于原视频中明显的细长的雪条；(d)为最小尺度的雪层分解图，其对应于原视频中较小的雪点。

具体实施方式

结合以下实例对本发明作进一步描述。

实施例1

采用如图2(a)所示的真实下雨视频数据作为本发明的实验对象，该视频为在静态场景下拍摄的无移动物体的真实下雨视频。视频数据大小为720×480×120，取尺度个数为3，对应的大小为11×11,9×9,5×5，最大迭代步数为5，背景秩为2。

参见图1，其过程如下：

步骤S1：获取含雨视频X∈R^h×w×T，其中h,w代表视频的长宽，T代表视频帧数，初始化模型变量及参数；其中X可分解为：

X＝B+F+R

其中，B,F,R∈R^h×w×T分别表示视频的背景，前景和雨层。

步骤S2：根据视频中雨的结构特性构造多尺度卷积稀疏编码的雨条检测模型；

步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；

步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；

s.t.r＜min(h×w,T)

步骤S5：在最大似然框架下整合步骤S2-S4中子模型为完整的视频去雨统计模型，并用迭代优化算法交替优化模型：

s.t.r＜min(h×w,T)

其增广的拉格朗日函数为：

其中，T是拉格朗日乘子，ρ＞0。

交替方向乘子法的迭代格式与终止条件如下：

其中，迭代终止条件是

其中B＝Fold(UV^T)

以下给出迭代算法求解细节：

A.(3)式求解如下的前景支撑的问题：

该问题是一阶二值马尔科夫随机场问题，可用图割算法对H进行求解。

B.(4)式求解如下的视频前景的问题：

此问题可由典型的TV正则算法求解。

C.(5)式求解如下的视频背景中U,V的问题：

此问题是低秩矩阵分解问题，可用低秩矩阵分解求解。

D.(6)式求解如下的特征图的问题：

此问题是典型的卷积稀疏编码问题，通过引入辅助变量

写出对应的等价式：

引入拉格朗日乘子ξ和拉格朗日变量μ_sk，上述问题等价于

其对应的ADMM算法迭代求解如下：

可将上述子问题用FFT算法快速求解；

上述子问题可通过收缩阈值算子解得：

拉格朗日变量求解如下：

E.(7)式求解如下的卷积核的问题：

为了求解上述问题，让线性算子M_ks满足

其中d_ks＝vec(D_ks)。

则上式等价于

其中，

r-t＝vec(R-T)，

上式可由近似梯度下降法求解：

F.(8)式求解如下的卷积核的问题：

此问题有如下闭式解：

其中

Ω＝{(i,j,k)|H_ijk＝0}

步骤S6：以步骤S1获得的原下雨视频图2(a)为输入，应用基于多尺度卷积稀疏编码的去雨算法，获得去雨视频及其他统计变量(如图2-3)。其中如图2(b)为算法迭代求解得到的去雨后的视频：

图2(c)为算法迭代求解得到的视频背景：B＝Fold(UV^T)，图2(d)为算法迭代求解得到的视频前景部分：

图3给出算法迭代求解得到的雨层及雨层的尺度分解图，其中图3(a)为算法迭代求解得到的视频中的总雨层；图3(b)展示雨层分解得到的最大尺度的子雨层，即原视频中的离镜头较近、较长的雨条；图3(c)展示雨层分解得到的中尺度的子雨层，对应于原视频中的细长的雨线；图3(d)展示雨层分解得到的小尺度的子雨层，对应于原视频中的离镜头较远的雨滴和原视频中的噪音点。

实施例2

采用如图4(a))所示的下雪视频数据作为本发明的实验对象，该视频为在静态场景下拍摄的的真实下雪视频。视频数据大小为360×270×100，取尺度个数为3，对应的大小为11×11,9×9,5×5，最大迭代步数为5，背景秩为2。

参见图1，其过程如下：

步骤S1：获取含雪视频X∈R^h×w×T，其中h,w代表视频的长宽，T代表视频帧数，初始化模型变量及参数；其中X可分解为：

X＝B+F+R

其中，B,F,R∈R^h×w×T分别表示视频的背景，前景和雪层。

步骤S2：根据视频中雪的结构特性构造多尺度卷积稀疏编码的雪块检测模型；

步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；

步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；

s.t.r＜min(h×w,T)

步骤S5：在最大似然框架下整合步骤S2-S4中子模型为完整的视频去雪统计模型，并用迭代优化算法交替优化模型；

s.t.r＜min(h×w,T)

其对应的增广拉格朗日函数为

其中，T是拉格朗日乘子，ρ＞0。

交替方向乘子法的迭代格式如下：

其中，迭代终止条件是

其中B＝Fold(UV^T)

以下给出迭代算法求解细节：

A.(3)式求解如下的前景支撑的问题：

该问题是一阶二值马尔科夫随机场问题，可用图割算法对H进行求解。

B.(4)式求解如下的视频前景的问题：

此问题可由典型的TV正则算法求解。

C.(5)式求解如下的视频背景中U,V的问题：

此问题是低秩矩阵分解问题，可用低秩矩阵分解求解。

D.(6)式求解如下的特征图的问题：

此问题是典型的卷积稀疏编码问题，通过引入辅助变量

写出对应的等价式：

引入拉格朗日乘子ξ和拉格朗日变量μ_sk,上述问题等价于

其对应的ADMM算法迭代求解如下：

可将上述子问题用FFT算法快速求解；

上述子问题可通过收缩阈值算子解得：

拉格朗日变量求解如下：

E.(7)式求解如下的卷积核的问题：

为了求解上述问题，让线性算子M_ks满足

其中d_ks＝vec(D_ks)。

则上式等价于

其中，

r-t＝vec(R-T)，

上式可由近似梯度下降法求解：

F.(8)式求解如下的卷积核的问题：

此问题有如下闭式解：

其中

Ω＝{(i,j,k)|H_ijk＝0}

步骤S6：以步骤S1获得的原下雪视频图4(a)为输入，应用基于多尺度卷积稀疏编码的去雨雪算法，获得去雪视频及其他统计变量(如图4-5)。其中图4(b)为算法迭代求解得到的去雪视频：

图5展示了算法求解得到的雪层及其不同尺度的雨层分解，其中图5(a)为算法求得的原视频中的总雪层；图5(b)对应总雪层分解得到的大尺度的子雪层，其对应于原视频中离镜头较近、较长的大雪块；图5(c)为总雪层分解得到的中尺度的子雪层分解图，其对应于原视频中明显的细长的雪条；图5(d)为总雪层分解得到的最小尺度的子雪层分解图，其对应于原视频中较小的雪点。

Claims (1)

1.一种基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于包括如下步骤：

步骤S1：获取雨雪视频X∈R^h×w×T并初始化模型变量及参数，其中h，w分别为视频的长宽，T为视频帧数，将获取的雨雪视频X∈R^h×w×T分解为：

X＝B+F+R

其中，B，F，R∈R^h×w×T分别表示视频的背景，前景和雨雪层；

步骤S2：根据视频中雨雪的结构特性构造多尺度卷积稀疏编码的雨雪检测模型：

视频中雨雪的局部模式具有多尺度性和可重复性的结构特性，依据上述雨雪的特性用多尺度卷积稀疏编码来表示视频中的雨雪层信息：

其中，R为视频的雨雪层；

为卷积算子，

为一系列卷积核，其表示了雨雪层局部模式的可重复性；

为一系列特征图，其近似定位了雨雪的位置；K表示卷积核总共有K个尺度，其中第k个尺度有n_k个卷积核，

由雨雪在视频中的稀疏性可知：近似定位雨雪位置的特征图也是稀疏的，则根据特征图的稀疏性构建基于多尺度卷积稀疏编码的雨雪检测模型：

其中，l(·，·)是用来度量两段视频之间相似性的损失函数；

步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型：

根据视频前景支撑将视频分解为移动的前景和不动的背景两部分，形式如下：

其中，

为哈达玛乘积算子，其含义为矩阵对应元素逐项相乘，X为输入视频，H∈R^h×w×T为视频的移动前景支撑，其定义为：

即H在视频中有移动前景的像素点处取值为1，其他地方取值为0，记H^⊥代表H的正交补，即：H+H^⊥＝1，

代表原视频中无移动前景的部分；

根据视频中前景支撑的相对光滑稀疏特性和其前后帧的相似性构建以下运动物体检测模型来区分视频的前景目标：

其中，F∈R^h×w×T为视频中的前景部分，l(·，·)是用来度量两段视频之间相似性的损失函数，3DTV代表对视频前后帧的三个方向右、下、后做全变分；

步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型：

监控视频背景具有低秩性：

B＝Fold(UV^T)

其中，U、V为视频背景的低秩分解，U∈R^d×r，V∈R^T×r，d＝h×w，r＜min(d，T)，′Fold′操作将低秩矩阵每一列展开成相应的视频帧；

由上述视频背景的低秩性构造基于低秩矩阵分解的背景恢复模型，如下：

s.t.r＜min(h×w，T)

步骤S5：在最大似然框架下整合步骤S2-S4中的雨雪检测模型、运动物体检测模型与背景恢复模型为完整的视频去雨雪统计模型，并用迭代优化算法交替优化模型，步骤如下：

将S2-S4中的雨雪检测模型、运动物体检测模型与背景恢复模型整合为完整的多尺度卷积稀疏编码的视频去雨雪模型：

其中，参数集合Θ＝{U，V，H，F，R，D，M}，此模型可用迭代优化算法交替优化模型；

在此求解算法中将相似性度量函数l(·，·)取做Frobenius范数，此时模型(1)的增广拉格朗日函数为：

其中，T是朗格朗日乘子，ρ＞0；

采用迭代优化算法求解步骤S5中的多尺度卷积稀疏编码的视频去雨雪模型公式(2)，步骤如下：

S5.1.1)给出模型(2)中交替方向乘子法的迭代格式与终止条件：

其中，迭代终止条件是

其中B＝Fold(UV^T)

S5.1.2)对问题(3)-(8)进行求解，给出迭代的具体算式；

S5.1.3)设置迭代的初始值为：H⁰＝0，U⁰，V⁰由著名的奇异值分解方法作用在D上产生，初始高斯均值设为0，初始协方差矩阵

是由随机矩阵对称正交化后获得；

S5.1.4)进行(3)-(9)的迭代运算，直到迭代满足终止条件即似然函数下降速率小于阈值或迭代次数达到上限；

对问题(3)-(8)进行具体的求解算式，步骤如下：

S5.2.1)所述的(3)式，即求解如下的前景支撑的问题：

该问题是一阶二值马尔科夫随机场问题，可用图割算法对H进行求解；

S5.2.2)所述的(4)式，即求解如下的视频前景的问题：

此问题可由典型的TV正则算法求解；

S5.2.3)所述的(5)式，即求解如下的视频背景中U，V的问题：

此问题是低秩矩阵分解问题，可用低秩矩阵分解求解；

S5.2.4)所述的(6)式，即求解如下的特征图的问题：

此问题是典型的卷积稀疏编码问题，通过引入辅助变量

写出对应的等价式：

引入拉格朗日乘子ξ和拉格朗日变量μ_sk，上述问题等价于

其对应的ADMM算法迭代求解如下：

可将上述子问题用FFT算法快速求解；

上述子问题可通过收缩阈值算子解得：

拉格朗日变量求解如下：

S5.2.5)所述的(7)式，即求解如下的卷积核的问题：

为了求解上述问题，让线性算子M_ks满足

其中d_ks＝vec(D_ks)，则上式等价于

其中，

r-t＝vec(R-T)，

上式可由近似梯度下降法求解：

S5.2.6)所述的(8)式，即求解如下的卷积核的问题：

此问题有如下闭式解：

其中

Ω＝{(i，j，k)|H_ijk＝0}

步骤S6：以步骤S1获得的雨雪视频为输入，应用步骤S5中对视频去雨雪统计模型的迭代优化算法，获得去雨雪视频及视频去雨雪模型除输出视频外的其他统计变量。

Images