CN103729828B

CN103729828B - 视频去雨方法

Info

Publication number: CN103729828B
Application number: CN201310683538.2A
Authority: CN
Inventors: 朱青松; 樊建平; 陈海鹏; ***; 谢耀钦; 王磊
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2013-12-12
Filing date: 2013-12-12
Publication date: 2016-06-29
Anticipated expiration: 2033-12-12
Also published as: CN103729828A

Abstract

本发明提出一种视频去雨方法，其考虑了光照变化因素，首先判断环境光照是否变化，在此基础上根据光照变化通过改变卡尔曼增益Kg实现有光照变化情况下的去雨，并且通过当前帧的亮度测量值与前一帧的亮度实际值之差的大小，判断光照下像素是否被雨滴覆盖，进而去除雨滴。所述视频去雨方法在视频去雨中考虑了环境光照变化因素，可以在环境存在光照变化时有效地进行视频去雨。

Description

视频去雨方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种含有光照变化因素的视频雨滴去除方法。

背景技术

雨对视频图像成像有很大的影响，会造成视频图像成像的模糊和信息的覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于视频图像的进一步处理。而视频图像的目标检测、跟踪、识别或者分割技术在现代军事、交通以及安全监控等多个领域都得到广泛应用。

视频去雨技术从2003年提出到现在已经取得了长足的发展，各种基于不同数学物理模型的方法被学者们先后提出，雨滴去除的效果也逐渐被提高。现有的去雨方法中，基于视频连续帧的算法融入了视频的时间信息，其去除视频雨滴时的效果一般也要优于基于单帧图像的去雨方法，特别是在对背景物体边缘的保留效果上要更加显著。像基于像素亮度偏度(skew)、灰色调、K均值聚类、卡尔曼滤波器、模糊连接度的去雨方法都是比较新颖、有效的。下面以卡尔曼滤波器为例介绍一种基于多帧视频图像进行雨滴去除的方法。

卡尔曼滤波器是一种最优化自回归数据处理算法。对于下式表示离散控制过程***：

X(k)=AX(k-1)+BU(k)+W(k)（1）

***测量值：

Z(k)=HX(k)+V(k)（2）

其中，X(k)、X(k-1)分别表示时间k和k-1时的***状态，U(k)表示***控制参量，W(k)和V(k)分别表示过程和测量的噪声，它们符合高斯分布。A、B为***参数，H为测量***参数，对于多因素***它们都是矩阵。

对于满足上面两个线性随机微分方程的***，可以用卡尔曼滤波器来进行最优估计。卡尔曼滤波器的核心是下列5个等式：

X(k|k-1)=AX(k-1|k-1)+BU(k)（3）

P(k|k-1)=AP(k-1|k-1)A'+Q（4）

X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))（5）

Kg(k)=P(k|k-1)H'/(HP(k|k-1)H'+R)（6）

P(k|k)=(I-Kg(k)H)P(k|k-1)（7）

其中，P(k|k)对应X(k|k)的方差，Q是***过程的方差，Kg(k)称为卡尔曼增益(KalmanGain)。卡尔曼滤波器简单来说，就是通过***预测值和测量值来估计实际值。

将Kalman滤波器用于去除雨滴时，设初始值X(0)=100，A=1，H(0)=1，P(0)=1。由于雨滴可以看成方差很大的噪声，因此将V(k)的初始方差设为50，同时将W(k)的初始方差设置为5。方差的大小决定了达到估计值的快慢和对噪声的去除效果好坏，方差小意味着达到预测值更慢，但去除效果更好。

现有技术中，基于视频连续多帧亮度信息的去雨方法都没有考虑到环境光照变化的因素，因此在实际运用中如果存在光照变化，就会很大程度上影响到去雨效果。以卡尔曼滤波器为例，如果某一时刻k光照强度增加，这样根据上述式(5)像素亮度计算得到的“实际值”将会比真正的实际值小很多。

发明内容

针对上述问题，本发明的目的是提供一种含有光照变化因素的视频去雨方法，以增加现有视频去雨方法的鲁棒性。

一种视频去雨方法，其特征在于，包括如下步骤：

S11、计算当前帧的亮度测量值和前一帧的亮度实际值之差，作为第一元素并构建第一矩阵；

S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值，作为第二元素并构建第二矩阵；

S13、比较所述第二元素的绝对值和光照变化的阀值，如果所述第二元素的绝对值大于所述光照变化的阀值，则存在光照变化，执行S14，否则执行S16；

S14、计算所述第一元素和所述第二元素之间的元素差，并与预设阀值进行比较，如果所述元素差大于所述预设阀值，则判断所述第一元素对应的像素被雨滴覆盖，并执行S16，否则执行S15；

S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值，并将卡尔曼增益改为Kg=Kg+a*|y|+b，其中a、b为用来将所述第二元素归一化的参数；

S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值；

S17、执行下一帧直到结束。

本发明一较佳实施方式中，步骤S11之前，还包括：S10、读入视频，获得所述前一帧的亮度实际值。

本发明一较佳实施方式中，步骤S11之前，还包括：设置卡尔曼滤波器的初始值。

本发明一较佳实施方式中，所述预设区域范围为21x21的正方形区域。

相较于现有技术，本发明提供的视频去雨方法在视频去雨中考虑了环境光照变化因素，可以在环境存在光照变化时有效地进行视频去雨。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举实施例，并配合附图，详细说明如下。

附图说明

图1为本发明一较佳实施例提供的视频去雨方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

请参阅图1，本发明一实施例提供一种视频去雨方法，其包括如下步骤：

S11、计算当前帧的亮度测量值和前一帧的亮度实际值之差，作为第一元素并构建第一矩阵。

具体地，求出当前帧的亮度测量值与前一帧计算得到的亮度实际值之差，即前后两帧的亮度差，作为第一元素存入第一矩阵x。可以理解的是，所述第一矩阵x包含有多个第一元素。

本实施例中，步骤S11之前，还包括：S10、读入视频，并获得所述前一帧的亮度实际值。

其后还包括步骤（图未示）：设置卡尔曼滤波器的初始值。即设初始值X(0)=100，A=1，H(0)=1，P(0)=1，具体的可以参照本发明背景技术的内容，此处不再赘述。

S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值，作为第二元素并构建第二矩阵。

本实施例中，所述预设区域范围为21x21的正方形区域。具体地，计算所述第一矩阵x中每一个第一元素周围21x21正方形区域内的其他第一元素之和的均值，作为第二元素存入第二矩阵y。当然，所述预设区域范围并不局限于本实施例中，也可以根据需要设定，只要正方形区域满足：一方面、正方形区域足够大以排除其亮度增大是由大量雨滴造成；另一方面，避免正方形区域太大时点光源引起的局部区域光照变化造成其它区域也存在光照变化的误判。

可以理解的是，所述第二矩阵y也包含有多个第二元素。

S13、比较所述第二元素的绝对值和光照变化的阀值，如果所述第二元素的绝对值大于所述光照变化的阀值，则存在光照变化，执行S14，否则执行S16。

本实施例中，针对所述第二矩阵y中每一个第二元素，判断是否有|y|>c，其中c代表存在光照变化的阈值，当|y|很大时认为存在光照变化，执行步骤S14，否则执行步骤S16。

S14、计算所述第一元素和所述第二元素之间的元素差，并与预设阀值进行比较，如果所述元素差大于所述预设阀值，则判断所述第一元素对应的像素被雨滴覆盖，并执行S16，否则执行S15。

本实施例中，判断是否有(x-y)>T，其中，T是一个可以人为设定的阈值。由此，可以判断x是否被雨滴覆盖，如果成立，则说明x很大，此时可以判断x被雨滴覆盖，执行步骤S16，否则执行步骤S15。

S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值，并将卡尔曼增益改为Kg=Kg+a*|y|+b，其中a、b为用来将所述第二元素归一化的参数。

本实施例中，根据本发明背景技术中的公式(3)～(7)来计算当前帧的亮度实际值（此处不再赘述），并将Kg改为Kg=Kg+a*|y|+b，其中a、b是用来将y归一化的参数。

可以理解的是，当|y|>c时，表示光照变化，无论是光照增强（y>0）还是光照减弱（y<0），都要增大测量值Z(k)的权重Kg以适应光照变化。

S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值。

本实施例中，根据本发明背景技术中的公式(3)～(7)来计算当前帧的亮度实际值（此处不再赘述），并未下一帧做好准备。

S17、执行下一帧直到结束。

可以理解的是，本发明提供的所述视频去雨方法考虑了光照变化因素，首先判断环境光照是否变化，在此基础上根据光照变化通过改变卡尔曼增益Kg实现有光照变化情况下的去雨，并且通过当前帧的亮度测量值与前一帧的亮度实际值之差的大小，判断光照下像素是否被雨滴覆盖，进而去除雨滴。

相较于现有技术，本发明提供的所述视频去雨方法在视频去雨中考虑了环境光照变化因素，可以在环境存在光照变化时有效地进行视频去雨。

以上所述，仅是本发明的实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种视频去雨方法，其特征在于，包括如下步骤：

S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值，作为第二元素并构建第二矩阵y；

S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值，并将卡尔曼增益改为Kg＝Kg+a*|y|+b，其中a、b为用来将所述第二元素归一化的参数；

S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值；

S17、执行下一帧直到结束。

2.如权利要求1所述的视频去雨方法，其特征在于，步骤S11之前，还包括：S10、读入视频，获得所述前一帧的亮度实际值。

3.如权利要求1所述的视频去雨方法，其特征在于，步骤S11之前，还包括：设置卡尔曼滤波器的初始值。

4.如权利要求1所述的视频去雨方法，其特征在于，所述预设区域范围为21x21的正方形区域。