CN103226813B - 一种提高雨天视频图像质量的处理方法 - Google Patents

Abstract

本发明涉及一种提高雨天彩***图像质量的处理方法，包括视频图像转换、视频雨滴检测和视频雨滴消除；在视频图像转换步骤中包括将RGB图像转换为视锥强度信号(L,M,S)后再转换为一无色调函数和两个对立色调函数；在视频雨滴检测中包括按像素(x,y)处被雨滴遮挡后的色彩差值关系检测雨滴和按像素(x,y)处无色调函数a (x,y)检测雨滴，视频雨滴消除中包括定义雨滴二值化图像B(x,y)、对B(x,y)进行高斯模糊获得G(x,y)、由G(x,y)和B(x,y)构建权重矩阵w(x,y)和由w(x,y)、a^new(x,y、r_g ^new(x,y)、r_b ^new(x,y) 反变换至RGB域获得去雨后图像。优点是，提高了去雨图像质量。

Description

一种提高雨天视频图像质量的处理方法

技术领域

    本发明涉及机器视觉与视频图像处理技术领域，特别涉及一种提高雨天视频图像质量的处理方法。

背景技术

视频监控***已广泛应用于交通、金融、环保、社区生活等各个领域. 但是降雨等天气状况往往导致监控图像质量下降，妨碍监控人员发现隐蔽警情，并且不利于目标识别等智能分析算法施行，严重影响监控***性能。

现有技术中，通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背景亮度的线性比值辨别是否雨滴，然后采用前后两帧像素取平均的方式去除雨迹，但雨滴通常面积较小，拟合易受噪声干扰。对于图像中是否是雨滴，一般根据雨滴速度与直径的函数关系以及透视成像模型推导图像中雨迹长宽比例的阈值范围来判定，同时采用直方图的方式求取雨滴降落方向，雨迹消除仍然采用前后两帧像素取平均的方式，但是噪声往往导致雨线断裂或合并，从而无法获得真实长宽比。此外从RGB色彩域检测雨滴，不少利用K均值聚类方法来提取背景像素亮度值以实现去雨，但是由于需要对整个视频处理因而不能实时在线处理。对于雨滴特征分析采用在HSV色彩空间定量分析雨滴特征，提出了区分雨滴区域与运动物体区域的度量函数。而对于雨滴运动分析是将雨滴视作运动前景，采用高斯背景建模方法提取雨滴，该方法只适用于固定场景。在分析雨滴现象在频域的特征，往往采用对降雨视频序列作三维傅里叶变换，在频域中检测消除雨滴，再反变换至视频图像的方式。

因此，上述现有视频雨滴检测方法是采用实数运算法则对图像亮度或色彩信息进行处理，不符合人眼视觉感知；现有视频雨滴消除算法易导致边缘突变以及图像马赛克，使得去雨后图像不平滑，如果采取对去雨后图像进行平滑滤波的方法，又可能导致图像模糊、信息丢失。

发明内容

 本发明的目的是克服上述现有技术之不足，提出一种符合人眼视觉感知的一种提高雨天视频图像质量的处理方法。其具体技术方案如下：

所述处理方法包括：

    视频图像转换：将RGB图像转化为视锥强度信号，并对该视锥强度图像进行彩色对数图像处理，生成一个对数无色调函数                                               信号和两个对数对立色调函数、信号，所述、、信号通过同构函数的逆函数映射至彩色调函数空间获得对应的无色调函数信号和对立色调函数、信号；

视频雨滴检测：通过至少连续三帧图像中同一像素位置的无色调函数信号变化以及被雨滴遮挡前后对立色调函数差值变化来检测雨滴，被雨滴遮挡像素应满足：

无色调函数信号变化为：

，

；

       对立色调函数差值变化为：

，

，

；

其中：x、y为像素点的平面坐标值，n为帧数，a ^n-1 (x,y)、a ⁿ (x,y)、a ⁿ⁺¹ (x,y)分别为n-1、n、n+1三连续帧图像对应的无色调函数，r _g ^n-1 (x,y)、r _g ⁿ (x,y)、r _g ⁿ⁺¹ (x,y)、r _b ^n-1 (x,y)、r _b ⁿ (x,y)、r _b ⁿ⁺¹ (x,y)分别为三连续帧图像对应的对立色调函数，T _a 为候选雨滴判断阈值，T _Δ 为误检判断阈值；

视频雨滴消除：对雨滴二值化图像B(x,y)实施高斯模糊获得G(x,y)，由G(x,y)和B(x,y)构建权重矩阵w(x,y)，通过权重矩阵w(x,y)并利用所述连续帧中的前后帧图像恢复被雨滴遮挡像素的无色调函数a ^new (x,y)以及对立色调函数r _g ^new (x,y)、r _b ^new (x,y)，通过反变换至RGB域，获得消除雨滴后的图像。

所述处理方法进一步设计在于，所述RGB图像转化为视锥强度图像采用如下线性变换：

，

其中：L、M、S分别代表人眼中长波、中波、短波视锥感知细胞对入射光的响应；R、G、B代表入射光的红绿蓝三通道分量。

所述处理方法进一步设计在于，所述彩色对数图像处理生成的一个对数无色调函数信号和两个对数对立色调函数、信号通过下述过程获得：

首先在光线吸收阶段，将视锥强度信号(L,M,S)转换为彩色调函数(l,m,s)信号：，

接着在视网膜神经信号非线性响应阶段，利用LIP同构函数对每一个彩色调通道作用生成对数彩色调函数信号：，

   最后在对立色生成阶段，利用线性色度转换矩阵将对数彩色调函数转化为一个对数无色调函数和两个对数对立色调函数、：，

上述式中：C∈{L,M,S}，c∈{l,m,s}，l,m,s分别是L,M,S对应的彩色调函数，C ₀ 为参考亮度值，M ₀ 为环境相关尺度因子，为同构函数，、、分别l,m,s对应的对数彩色调函数。

所述处理方法更进一步设计在于，所述雨滴二值化图像为B(x,y) 定义为：。

所述处理方法更进一步设计在于，所述对B(x,y)的高斯模糊为：；

其中：g(μ,σ)是均值为μ、方差为σ的高斯函数。

所述处理方法更进一步设计在于，所述G(x,y)和B(x,y)构建权重矩阵w(x,y)为：。

所述处理方法更进一步设计在于，所述无色调函数a ^new (x,y)和对立色调函数r _g ^new (x,y)、r _b ^new (x,y)分别为：

，

，

。

本发明创新的将彩色对数图像处理理论应用于视频雨滴检测中，模拟人眼视觉***中视锥感受域吸收光线、视网膜神经信号非线性响应、对立色信号产生三个过程，生成一个无色调函数和两个对立色调函数，基于这三通道函数构建了雨滴检测算法，更加符合人眼视觉感知，另外，本发明在视频去雨阶段，采用基于高斯模糊的加权去雨算法能够消除一般去雨算法中的边缘突变和马赛克，提高去雨图像质量。

附图说明

图1为本发明方法的流程框图。

图2为本发明CLIP运算雨滴检测效果与一般亮度运算检测效果对比。

图3为本发明加权去雨与平均法去雨效果对比。

图4为本发明去雨效果。

具体实施方式

本发明方法主要包括视频图像转换、视频雨滴检测和视频雨滴消除三个步骤，请参见图1。

在视频图像转换步骤中：

首先将一般视频采集设备获得的RGB格式图像转化为人眼视觉***中的视锥强度L、M、S信号，其中L、M、S分别表示人眼中长波、中波、短波视锥感知细胞对入射光的响应。本实施例采用线性变换来实现：

        (1)

上式中R、G、B分别代表入射光的红绿蓝三通道分量。

为模拟人眼视觉感知过程，对上述视锥强度信号(L,M,S)进行彩色对数图像处理即CLIP处理，将彩***图像转化为一个对数无色调函数信号和两个对数对立色调函数、信号。本实施例的CLIP处理过程具体分为光线吸收、视网膜神经信号非线性响应和对立色生成三阶段。在光线吸收阶段，将视锥强度信号(L,M,S)转换为彩色调函数(l,m,s)：

              (2)

(2)式中：C∈{L,M,S}，c∈{l,m,s}，l,m,s分别是L,M,S对应的彩色调函数，C ₀ 为参考亮度值，M ₀ 为环境相关尺度因子。

 在视网膜神经信号非线性响应阶段，利用LIP同构函数对每一个彩色调通道作用生成对数彩色调函数：

                (3)

(2)式中：、、分别l,m,s对应的对数彩色调函数。

在对立色生成阶段，利用线性色度转换矩阵将对数彩色调函数转化为一个对数无色调函数和两个对数对立色调函数、：

                            (4)

最后，将、、信号通过同构函数的逆函数映射至彩色调函数空间，从而获得获得对应的无色调函数信号和对立色调函数、信号。所获得的(a,r _g ,r _b )三通道彩色调函数信号，符合人眼视觉感知，用于雨滴检测将更能凸显雨滴信息。

在视频雨滴检测步骤中：

由于雨滴会折射大范围的环境光线，因而场景被雨滴遮挡后的亮度往往高于该处原先的背景亮度，另一方面，雨滴降落速度较快，因而同一像素位置在相邻两帧很少同时被雨滴遮挡，其时序亮度变化呈抖动状态。因此采用至少三连续帧图像，本实施例采用三连续帧图像。通过连续帧图像中同一像素位置的无色调函数信号前后变化作为雨滴判定的第一个条件：对连续三帧图像n-1、n、n+1帧，其无色调函数a ^n-1 (x,y)、a ⁿ (x,y)、a ⁿ⁺¹ (x,y)信号前后关系应满足：

          (5)

     (6)

上述两式中：n为帧数，a ^n-1 (x,y)、a ⁿ (x,y)、a ⁿ⁺¹ (x,y)分别为n-1、n、n+1三连续帧图像对应的无色调函数；Θ为LIP减法，T _a 为候选雨滴判断阈值，本专利选择为：当M ₀ =C ₀ =255时，T _a 取10。

但是，式(5)、式(6)仅考虑了雨滴的亮度变化特征，检测出的雨滴可能包含噪声，运动前景也可能被检测到，通过式(5)、式(6)检测出来的雨滴可称之为候选雨滴，可结合对立色调函数进一步去除误检，作为雨滴判定的第二个条件。考虑到连续帧中被雨滴遮挡像素亮度差值为：

         (7)

其中，I _r 为被雨滴遮挡时像素(x,y)的强度，I _b 为该像素点的背景强度，x、y为像素点的平面坐标值，为由雨滴带来的辐照度，E _b 为由背景带来的辐照度，为像素被雨滴遮挡的时间。由于>>E _b ，因此，式(7)右端第二项可忽略，而雨滴折射大范围的光线，往往包括大部分天空光，因此，从色彩的角度来看，被雨滴遮挡的像素其前后色彩差值在各个色彩通道近似相同，结合对立色调函数，像素被判定为雨滴的第二个条件是：

                                          (8)

其中的、分别为

   (9)

   (10)

其中，、和| | _CLIP 分别为LIP乘法、加法和取模运算，T _Δ 为误检判断阈值。

所以，同时满足式(5)、(6)、(8)的像素才可判定为雨滴。

在视频雨滴消除步骤中：

为从视频图像中去除雨滴，需要估计当前帧被雨滴遮挡的背景的像素值。由于像素在相邻两帧基本不会同时被雨滴遮挡，可利用前一帧及后一帧中该像素的平均值作为当前帧的值。但是由于摄像机聚焦问题，图像中的雨滴边缘往往呈模糊状态，另外，由于噪声影响检测到的雨滴有时存在缺口，如果仅仅恢复检测到的雨滴部分的像素值，可能造成突变的边缘以及图像马赛克，而如果采取对恢复后的图像进行平滑滤波的方法，可能导致图像模糊、信息丢失。为提高去雨后的图像质量，本发明采用了以下加权重构法进行雨滴消除：

定义雨滴二值化图像为B(x,y):

             (11)

对二值化图像B(x,y)进行高斯模糊获得图像：

                                            (12)

其中g(μ,σ)是均值为μ、方差为σ的高斯函数，构建基于G(x,y)和B(x,y)权重矩阵w(x,y)：

                      (13)

通过权重矩阵w(x,y)并利用所述连续帧中的前后帧图像恢复被雨滴遮挡像素，可以明显减少边缘突变和马赛克现象，其被雨滴遮挡的像素值的无色调函数信号a ^new (x,y)：

  (14)

将上式中a ^n-1 (x,y)、a ⁿ (x,y)、a ⁿ⁺¹ (x,y)分别替换为r _g ^n-1 (x,y)、r _g ⁿ (x,y)、r _g ⁿ⁺¹ (x,y)，即可获得r _g ^new (x,y)，将上式中a ^n-1 (x,y)、a ⁿ (x,y)、a ⁿ⁺¹ (x,y)分别替换为r _b ^n-1 (x,y)、r _b ⁿ (x,y)、r _b ⁿ⁺¹ (x,y)，即可获得r _b ^new (x,y)，再将(a ^new (x,y)、r _g ^new (x,y)、r _b ^new (x,y))反变换至RGB域即可获得去雨后的图像。

本申请的发明人采用本发明方法和现有的一些雨滴检测和去除方法做了如图2—图4所示的实验：

其中图2中的(a)图是去雨前的原图；图(b)是将图(a)转换至CLIP无色调函数后候选雨滴像素与背景像素的无色调差值；图(c)是基于亮度运算的候选雨滴像素与背景像素的亮度差值，通过比较可清楚看出，采用本发明彩色对数图像（CLIP）处理的结果符合人眼视觉感知，相比于一般的亮度运算，雨滴信息更加凸显。

图3显示了本发明与现有技术的去雨效果，其中的（a）图是去雨前的原图，（d）图是对应(a)中蓝框的局部放大；（b）图是采用现有加前后帧平均法去雨的效果图，(e) 图是对应(b)中蓝框的局部放大图，由于雨滴存在散焦效应，去雨后原来雨滴边缘处还存在一些痕迹；（c）图是采用本发明加权重构法去去雨的效果图，可见图像质量得到较大改善，通过比较显示出加权重构法去雨的优势。

图4中（a）图是去雨前的原图，（b）图是采用本发明中去除雨滴方法得到的效果图，显示了本发明算法去雨结果。

Claims (6)

1.一种提高雨天彩***图像质量的处理方法，其特征在于包括：

视频图像转换：将RGB图像转化为视锥强度信号，并对该视锥强度图像进行彩色对数图像处理，生成一个对数无色调函数信号和两个对数对立色调函数信号，所述信号通过同构函数的逆函数映射至彩色调函数空间获得对应的无色调函数a信号和对立色调函数r_g、r_b信号；

而对数图像处理生成的一个对数无色调函数信号和两个对数对立色调函数信号通过下述过程获得：

首先在光线吸收阶段，将视锥强度信号(L,M,S)转换为彩色调函数(l,m,s)信号：

$f_c:C\→c=M_0\left(1-\frac{C}{C_0}\right);$

接着在视网膜神经信号非线性响应阶段，利用LIP同构函数对每一个彩色调通道作用生成对数彩色调函数信号最后在对立色生成阶段，利用线性色度转换矩阵将对数彩色调函数转化为一个对数无色调函数和两个对数对立色调函数

$\left\{\begin{array}{c}\tilde{a}\\ {\tilde{r}}_g\\ {\tilde{r}}_b\end{array}\right\}=\left(\begin{array}{ccc}40/61& 20/61& 1/61\\ 1& -12/11& 1/11\\ 1/9& 1/9& -2/9\end{array}\right)\left\{\begin{array}{c}\tilde{l}\\ \tilde{m}\\ \tilde{s}\end{array}\right\};$

视频雨滴检测：通过至少连续三帧图像中同一像素位置的无色调函数信号变化以及被雨滴遮挡前后对立色调函数差值变化来检测雨滴，被雨滴遮挡像素应满足：

无色调函数信号变化为：

aⁿ(x,y)<a^n-1(x,y)&aⁿ(x,y)<aⁿ⁺¹(x,y)，

|aⁿ(x,y)Θa^n-1(x,y)|>T_a&|aⁿ(x,y)Θaⁿ⁺¹(x,y)|>T_a；

对立色调函数差值变化为：

${\mathrm{\&Delta;r}}_g=\left(r_g^n(x,y)\mathrm{\&Theta;}\right(\frac{1}{2}\&CircleTimes;\left(r_g^{n-1}\right(x,y)\&CirclePlus;r_g^{n+1}(x,y)\left)\right)),$

${\mathrm{\&Delta;r}}_b=\left(r_b^n(x,y)\mathrm{\&Theta;}\right(\frac{1}{2}\&CircleTimes;\left(r_b^{n-1}\right(x,y)\&CirclePlus;r_b^{n+1}(x,y)\left)\right)),$

|Δr_gΘΔr_b|_CLIP<T_Δ，

视频雨滴消除：对雨滴二值化图像B(x,y)实施高斯模糊获得G(x,y)，由G(x,y)和B(x,y)构建权重矩阵w(x,y)，通过权重矩阵w(x,y)并利用所述连续帧中的前后帧图像恢复被雨滴遮挡像素的无色调函数a^new(x,y)以及对立色调函数r_g ^new(x,y)、r_b ^new(x,y)，通过反变换至RGB域，获得消除雨滴后的图像；

其中：C∈{L,M,S}，c∈{l,m,s}，l,m,s分别是L,M,S对应的彩色调函数，C₀为参考亮度值，M₀为环境相关尺度因子，为同构函数，分别l,m,s对应的对数彩色调函数，x、y为像素点的平面坐标值，n为帧数，a^n-1(x,y)、aⁿ(x,y)、aⁿ⁺¹(x,y)分别为n-1、n、n+1三连续帧图像对应的无色调函数，r_g ^n-1(x,y)、r_g ⁿ(x,y)、r_g ⁿ⁺¹(x,y)、r_b ^n-1(x,y)、r_b ⁿ(x,y)、r_b ⁿ⁺¹(x,y)分别为三连续帧图像对应的对立色调函数，T_a为候选雨滴判断阈值，T_Δ为误检判断阈值。

2.根据权利要求1所述的一种提高雨天彩***图像质量的处理方法，其特征在于所述RGB图像转化为视锥强度图像采用如下线性变换：

$\left\{\begin{array}{c}L\\ M\\ S\end{array}\right\}=\left(\begin{array}{ccc}0.3634& 0.6102& 0.0264\\ 0.1246& 0.8138& 0.0616\\ 0.000& 0.0602& 0.9389\end{array}\right)\left\{\begin{array}{c}R\\ G\\ B\end{array}\right\},$

其中：L、M、S分别代表人眼中长波、中波、短波视锥感知细胞对入射光的响应；R、G、B代表入射光的红绿蓝三通道分量。

3.根据权利要求2所述的一种提高雨天彩***图像质量的处理方法，其特征在于所述雨滴二值化图像为B(x,y)定义为：

4.根据权利要求2所述的一种提高雨天彩***图像质量的处理方法，其特征在于所述对B(x,y)的高斯模糊为：G(x,y)＝B(x,y)*g(μ,σ)；

其中：g(μ,σ)是均值为μ、方差为σ的高斯函数。

5.根据权利要求2所述的一种提高雨天彩***图像质量的处理方法，其特征在于所述G(x,y)和B(x,y)构建权重矩阵w(x,y)为： $w\left(x,y\right)=\{\begin{array}{ccc}G\left(x,y\right),& if& B\left(x,y\right)=0\\ B\left(x,y\right),& if& B\left(x,y\right)=255\end{array}.$

6.根据权利要求2所述的一种提高雨天彩***图像质量的处理方法，其特征在于所述无色调函数a^new(x,y)和对立色调函数r_g ^new(x,y)、r_b ^new(x,y)分别为：

$a^{new}(x,y)=w(x,y)\&CircleTimes;(\frac{1}{2}\&CircleTimes;\left(a^{n-1}\right(x,y)\&CirclePlus;a^{n+1}(x,y)))\&CirclePlus;(1-w(x,y\left)\right)\&CircleTimes;a^n(x,y);$

$r_g^{new}(x,y)=w(x,y)\&CircleTimes;(\frac{1}{2}\&CircleTimes;\left(r_g^{n-1}\right(x,y)\&CirclePlus;r_g^{n+1}(x,y)))\&CirclePlus;(1-w(x,y\left)\right)\&CircleTimes;r_g^n(x,y);$

$r_b^{new}(x,y)=w(x,y)\&CircleTimes;(\frac{1}{2}\&CircleTimes;\left(r_b^{n-1}\right(x,y)\&CirclePlus;r_b^{n+1}(x,y)))\&CirclePlus;(1-w(x,y\left)\right)\&CircleTimes;r_b^n(x,y).$