CN103729828A - 视频去雨方法 - Google Patents
视频去雨方法 Download PDFInfo
- Publication number
- CN103729828A CN103729828A CN201310683538.2A CN201310683538A CN103729828A CN 103729828 A CN103729828 A CN 103729828A CN 201310683538 A CN201310683538 A CN 201310683538A CN 103729828 A CN103729828 A CN 103729828A
- Authority
- CN
- China
- Prior art keywords
- video
- value
- illumination variation
- calculate
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种视频去雨方法,其考虑了光照变化因素,首先判断环境光照是否变化,在此基础上根据光照变化通过改变卡尔曼增益Kg实现有光照变化情况下的去雨,并且通过当前帧的亮度测量值与前一帧的亮度实际值之差的大小,判断光照下像素是否被雨滴覆盖,进而去除雨滴。所述视频去雨方法在视频去雨中考虑了环境光照变化因素,可以在环境存在光照变化时有效地进行视频去雨。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种含有光照变化因素的视频雨滴去除方法。
背景技术
雨对视频图像成像有很大的影响,会造成视频图像成像的模糊和信息的覆盖,其直接结果是视频图像的清晰度下降,视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于视频图像的进一步处理。而视频图像的目标检测、跟踪、识别或者分割技术在现代军事、交通以及安全监控等多个领域都得到广泛应用。
视频去雨技术从2003年提出到现在已经取得了长足的发展,各种基于不同数学物理模型的方法被学者们先后提出,雨滴去除的效果也逐渐被提高。现有的去雨方法中,基于视频连续帧的算法融入了视频的时间信息,其去除视频雨滴时的效果一般也要优于基于单帧图像的去雨方法,特别是在对背景物体边缘的保留效果上要更加显著。像基于像素亮度偏度(skew)、灰色调、K均值聚类、卡尔曼滤波器、模糊连接度的去雨方法都是比较新颖、有效的。下面以卡尔曼滤波器为例介绍一种基于多帧视频图像进行雨滴去除的方法。
卡尔曼滤波器是一种最优化自回归数据处理算法。对于下式表示离散控制过程***:
X(k)=AX(k-1)+BU(k)+W(k) (1)
***测量值:
Z(k)=HX(k)+V(k) (2)
其中,X(k)、X(k-1)分别表示时间k和k-1时的***状态,U(k)表示***控制参量,W(k)和V(k)分别表示过程和测量的噪声,它们符合高斯分布。A、B为***参数,H为测量***参数,对于多因素***它们都是矩阵。
对于满足上面两个线性随机微分方程的***,可以用卡尔曼滤波器来进行最优估计。卡尔曼滤波器的核心是下列5个等式:
X(k|k-1)=AX(k-1|k-1)+BU(k) (3)
P(k|k-1)=AP(k-1|k-1)A'+Q (4)
X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)) (5)
Kg(k)=P(k|k-1)H'/(HP(k|k-1)H'+R) (6)
P(k|k)=(I-Kg(k)H)P(k|k-1) (7)
其中,P(k|k)对应X(k|k)的方差,Q是***过程的方差,Kg(k)称为卡尔曼增益(Kalman Gain)。卡尔曼滤波器简单来说,就是通过***预测值和测量值来估计实际值。
将Kalman滤波器用于去除雨滴时,设初始值X(0)=100,A=1,H(0)=1,P(0)=1。由于雨滴可以看成方差很大的噪声,因此将V(k)的初始方差设为50,同时将W(k)的初始方差设置为5。方差的大小决定了达到估计值的快慢和对噪声的去除效果好坏,方差小意味着达到预测值更慢,但去除效果更好。
现有技术中,基于视频连续多帧亮度信息的去雨方法都没有考虑到环境光照变化的因素,因此在实际运用中如果存在光照变化,就会很大程度上影响到去雨效果。以卡尔曼滤波器为例,如果某一时刻k光照强度增加,这样根据上述式(5)像素亮度计算得到的“实际值”将会比真正的实际值小很多。
发明内容
针对上述问题,本发明的目的是提供一种含有光照变化因素的视频去雨方法,以增加现有视频去雨方法的鲁棒性。
一种视频去雨方法,其特征在于,包括如下步骤:
S11、计算当前帧的亮度测量值和前一帧的亮度实际值之差,作为第一元素并构建第一矩阵;
S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值,作为第二元素并构建第二矩阵;
S13、比较所述第二元素的绝对值和光照变化的阀值,如果所述第二元素的绝对值大于所述光照变化的阀值,则存在光照变化,执行S14,否则执行S16;
S14、计算所述第一元素和所述第二元素之间的元素差,并与预设阀值进行比较,如果所述元素差大于所述预设阀值,则判断所述第一元素对应的像素被雨滴覆盖,并执行S16,否则执行S15;
S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值,并将卡尔曼增益改为Kg=Kg+a*|y|+b,其中a、b为用来将所述第二元素归一化的参数;
S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值;
S17、执行下一帧直到结束。
本发明一较佳实施方式中,步骤S11之前,还包括:S10、读入视频,获得所述前一帧的亮度实际值。
本发明一较佳实施方式中,步骤S11之前,还包括:设置卡尔曼滤波器的初始值。
本发明一较佳实施方式中,所述预设区域范围为21x21的正方形区域。
相较于现有技术,本发明提供的视频去雨方法在视频去雨中考虑了环境光照变化因素,可以在环境存在光照变化时有效地进行视频去雨。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举实施例,并配合附图,详细说明如下。
附图说明
图1为本发明一较佳实施例提供的视频去雨方法的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
请参阅图1,本发明一实施例提供一种视频去雨方法,其包括如下步骤:
S11、计算当前帧的亮度测量值和前一帧的亮度实际值之差,作为第一元素并构建第一矩阵。
具体地,求出当前帧的亮度测量值与前一帧计算得到的亮度实际值之差,即前后两帧的亮度差,作为第一元素存入第一矩阵x。可以理解的是,所述第一矩阵x包含有多个第一元素。
本实施例中,步骤S11之前,还包括:S10、读入视频,并获得所述前一帧的亮度实际值。
其后还包括步骤(图未示):设置卡尔曼滤波器的初始值。即设初始值X(0)=100,A=1,H(0)=1,P(0)=1,具体的可以参照本发明背景技术的内容,此处不再赘述。
S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值,作为第二元素并构建第二矩阵。
本实施例中,所述预设区域范围为21x21的正方形区域。具体地,计算所述第一矩阵x中每一个第一元素周围21x21正方形区域内的其他第一元素之和的均值,作为第二元素存入第二矩阵y。当然,所述预设区域范围并不局限于本实施例中,也可以根据需要设定,只要正方形区域满足:一方面、正方形区域足够大以排除其亮度增大是由大量雨滴造成;另一方面,避免正方形区域太大时点光源引起的局部区域光照变化造成其它区域也存在光照变化的误判。
可以理解的是,所述第二矩阵y也包含有多个第二元素。
S13、比较所述第二元素的绝对值和光照变化的阀值,如果所述第二元素的绝对值大于所述光照变化的阀值,则存在光照变化,执行S14,否则执行S16。
本实施例中,针对所述第二矩阵y中每一个第二元素,判断是否有|y|>c,其中c代表存在光照变化的阈值,当|y|很大时认为存在光照变化,执行步骤S14,否则执行步骤S16。
S14、计算所述第一元素和所述第二元素之间的元素差,并与预设阀值进行比较,如果所述元素差大于所述预设阀值,则判断所述第一元素对应的像素被雨滴覆盖,并执行S16,否则执行S15。
本实施例中,判断是否有(x-y)>T,其中,T是一个可以人为设定的阈值。由此,可以判断x是否被雨滴覆盖,如果成立,则说明x很大,此时可以判断x被雨滴覆盖,执行步骤S16,否则执行步骤S15。
S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值,并将卡尔曼增益改为Kg=Kg+a*|y|+b,其中a、b为用来将所述第二元素归一化的参数。
本实施例中,根据本发明背景技术中的公式(3)~(7)来计算当前帧的亮度实际值(此处不再赘述),并将Kg改为Kg=Kg+a*|y|+b,其中a、b是用来将y归一化的参数。
可以理解的是,当|y|>c时,表示光照变化,无论是光照增强(y>0)还是光照减弱(y<0),都要增大测量值Z(k)的权重Kg以适应光照变化。
S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值。
本实施例中,根据本发明背景技术中的公式(3)~(7)来计算当前帧的亮度实际值(此处不再赘述),并未下一帧做好准备。
S17、执行下一帧直到结束。
可以理解的是,本发明提供的所述视频去雨方法考虑了光照变化因素,首先判断环境光照是否变化,在此基础上根据光照变化通过改变卡尔曼增益Kg实现有光照变化情况下的去雨,并且通过当前帧的亮度测量值与前一帧的亮度实际值之差的大小,判断光照下像素是否被雨滴覆盖,进而去除雨滴。
相较于现有技术,本发明提供的所述视频去雨方法在视频去雨中考虑了环境光照变化因素,可以在环境存在光照变化时有效地进行视频去雨。
以上所述,仅是本发明的实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (4)
1.一种视频去雨方法,其特征在于,包括如下步骤:
S11、计算当前帧的亮度测量值和前一帧的亮度实际值之差,作为第一元素并构建第一矩阵;
S12、计算每一所述第一元素的周围预设区域范围内的其他第一元素之和的均值,作为第二元素并构建第二矩阵;
S13、比较所述第二元素的绝对值和光照变化的阀值,如果所述第二元素的绝对值大于所述光照变化的阀值,则存在光照变化,执行S14,否则执行S16;
S14、计算所述第一元素和所述第二元素之间的元素差,并与预设阀值进行比较,如果所述元素差大于所述预设阀值,则判断所述第一元素对应的像素被雨滴覆盖,并执行S16,否则执行S15;
S15、利用卡尔曼滤波器计算所述当前帧的实际亮度值,并将卡尔曼增益改为Kg=Kg+a*|y|+b,其中a、b为用来将所述第二元素归一化的参数;
S16、利用卡尔曼滤波器计算所述当前帧的实际亮度值;
S17、执行下一帧直到结束。
2.如权利要求1所述的视频去雨方法,其特征在于,步骤S11之前,还包括:S10、读入视频,获得所述前一帧的亮度实际值。
3.如权利要求1所述的视频去雨方法,其特征在于,步骤S11之前,还包括:设置卡尔曼滤波器的初始值。
4.如权利要求1所述的视频去雨方法,其特征在于,所述预设区域范围为21x21的正方形区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310683538.2A CN103729828B (zh) | 2013-12-12 | 2013-12-12 | 视频去雨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310683538.2A CN103729828B (zh) | 2013-12-12 | 2013-12-12 | 视频去雨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103729828A true CN103729828A (zh) | 2014-04-16 |
CN103729828B CN103729828B (zh) | 2016-06-29 |
Family
ID=50453889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310683538.2A Active CN103729828B (zh) | 2013-12-12 | 2013-12-12 | 视频去雨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103729828B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104299214A (zh) * | 2014-09-30 | 2015-01-21 | 中国科学院深圳先进技术研究院 | 小雨场景视频数据中雨滴的检测与去除方法和*** |
CN104318537A (zh) * | 2014-09-30 | 2015-01-28 | 中国科学院深圳先进技术研究院 | 大雨场景视频数据中雨滴的检测和去除方法及*** |
CN104978720A (zh) * | 2015-07-01 | 2015-10-14 | 深圳先进技术研究院 | 一种视频图像雨滴去除方法及装置 |
CN105184761A (zh) * | 2015-08-28 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN106023112A (zh) * | 2016-05-24 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN106067163A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012066564A1 (en) * | 2010-11-15 | 2012-05-24 | Indian Institute Of Technology, Kharagpur | Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties. |
US20130236116A1 (en) * | 2012-03-08 | 2013-09-12 | Industrial Technology Research Institute | Method and apparatus for single-image-based rain streak removal |
CN103337061A (zh) * | 2013-07-18 | 2013-10-02 | 厦门大学 | 一种基于多次引导滤波的图像去雨雪方法 |
-
2013
- 2013-12-12 CN CN201310683538.2A patent/CN103729828B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012066564A1 (en) * | 2010-11-15 | 2012-05-24 | Indian Institute Of Technology, Kharagpur | Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties. |
US20130236116A1 (en) * | 2012-03-08 | 2013-09-12 | Industrial Technology Research Institute | Method and apparatus for single-image-based rain streak removal |
CN103337061A (zh) * | 2013-07-18 | 2013-10-02 | 厦门大学 | 一种基于多次引导滤波的图像去雨雪方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104299214A (zh) * | 2014-09-30 | 2015-01-21 | 中国科学院深圳先进技术研究院 | 小雨场景视频数据中雨滴的检测与去除方法和*** |
CN104318537A (zh) * | 2014-09-30 | 2015-01-28 | 中国科学院深圳先进技术研究院 | 大雨场景视频数据中雨滴的检测和去除方法及*** |
CN104318537B (zh) * | 2014-09-30 | 2017-07-28 | 中国科学院深圳先进技术研究院 | 大雨场景视频数据中雨滴的检测和去除方法及*** |
CN104299214B (zh) * | 2014-09-30 | 2017-12-29 | 中国科学院深圳先进技术研究院 | 小雨场景视频数据中雨滴的检测与去除方法和*** |
CN104978720A (zh) * | 2015-07-01 | 2015-10-14 | 深圳先进技术研究院 | 一种视频图像雨滴去除方法及装置 |
CN105184761A (zh) * | 2015-08-28 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN106023112A (zh) * | 2016-05-24 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN106067163A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
CN109360155B (zh) * | 2018-08-17 | 2020-10-13 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103729828B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103729828A (zh) | 视频去雨方法 | |
CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及*** | |
CN103942758B (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
CN103747213B (zh) | 一种基于运动目标的交通监控视频实时去雾方法 | |
EP2568438A2 (en) | Image defogging method and system | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN102768760B (zh) | 一种基于图像纹理的图像快速去雾方法 | |
CN102831591B (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
CN104835145B (zh) | 基于自适应Codebook背景模型的前景检测方法 | |
CN104616290A (zh) | 一种统计矩阵模型和自适应阈值相结合的目标检测算法 | |
CN103578083B (zh) | 基于联合均值漂移的单幅图像去雾方法 | |
CN106709901B (zh) | 基于深度先验的模拟雾图生成方法 | |
CN104599256A (zh) | 基于单幅图像的去除图像雨线的方法和*** | |
CN104915940A (zh) | 一种基于图像对齐的图像去噪的方法和*** | |
CN109255799B (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及*** | |
CN104537622A (zh) | 单幅图像中去除雨滴影响的方法和*** | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
CN111062331A (zh) | 图像的马赛克检测方法、装置、电子设备及存储介质 | |
CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
CN108898561B (zh) | 一种含天空区域雾天图像的去雾方法、服务器及*** | |
CN104484865A (zh) | 对视频图像进行去雨的方法 | |
CN109658441B (zh) | 基于深度信息的前景检测方法及装置 | |
CN103714518A (zh) | 视频去雨方法 | |
CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
CN102163328B (zh) | 用于交通视频图像中眩光的检测和消除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |