CN102186089A - 单分量视频图像雨场去除方法 - Google Patents

Abstract

本发明公开了一种单分量视频图像雨场去除方法，其特征在于包括以下步骤：首先，根据雨滴的颜色属性，结合色彩空间转化，将图像转化至YCbCr色彩空间；然后，提取出Y分量，对其使用现有的雨场去除方法进行雨滴去除；最后，结合Cb、Cr分量，将图像转换回RGB色彩空间。本发明实现了一种单分量雨场去除，相比现有的三分量去雨方法，节省了两个分量的处理，提高了实时性。

Description

单分量视频图像雨场去除方法

技术领域

本发明涉及一种计算机视觉等领域中的图像雨场去除方法，属于图像处理技术领域。

背景技术

计算机视觉***在军事领域中获得了广泛应用。然而，视觉***却存在一个关键性的问题-对恶劣天气非常敏感。阴雨天气往往会导致大气能见度降低，视觉***的成像质量下降，给依赖于视觉***的监控、导航制导、目标跟踪、识别***等带来巨大的困难。恢复阴雨天气下图像对视觉***的全天候工作有着重要的意义。

经过对现有技术的文献检索发现，没有关于视频图像雨场去除的发明专利，只有国内外少部分学者对图像去雨技术进行了初步的研究。

Garg等(Garg et al.，IEEE Conference on Computer Visionand Pattern Recognition，2004：528-535)首先利用雨滴光学模型初步检测雨滴；其次，利用雨滴像素灰度变化值与背景灰度值呈现线性关系这个约束条件，去除第一步中误检的雨滴；然后，基于雨滴运动方向上有较强的时空关联这一特点再次对雨滴进行识别；最后，利用均值法去除图像中的雨场。该方法取得了一定的效果，但是需要31帧图像，实时性较差。

Zhang等(Zhang et al.，IEEE International Conference onMultimedia and Expo，2006：461-464)首先对每个像素沿着时间轴方向进行K-means聚类(K＝2)以检测雨滴；然后，检测的雨滴像素值使用背景颜色进行替换，实现图像去雨。该方法检测雨滴需要利用全部视频帧，实时性较差。

Brewer等(Brewer et al.，Lecture Notes in Computer Science，2008，5342：451-458)首先利用Garg的光学模型初步检测雨滴；然后，利用雨滴的长宽比和方向约束去除上一步误检的雨滴；最后，同样利用均值法进行雨滴去除。该方法处理时仅需三帧图像，实时性较好。

目前现有的图像雨场去除方法均是在RGB色彩空间进行，实现图像去雨需要分别去除R、G、B三个分量上的雨场。若算法本身的耗时较多，三个分量的处理会加大时间代价。

发明内容

本发明所要解决的技术问题是提供一种实时性强的视频图像雨场去除方法。

为解决上述技术问题，本发明是采取以下的技术方案来实现的：

一种单分量视频图像雨场去除方法，其特征在于，包括以下步骤：

(1)根据雨滴的色彩属性，结合色彩空间转化，将图像转化到YCbCr色彩空间；

(2)提取Y分量，使用现有的雨场去除方法对其进行雨滴去除；

(3)结合未处理的Cb、Cr两个分量，将图像转化到RGB色彩空间。

前述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(1)中，雨滴的亮度高于背景亮度主要是由于折射作用汇聚了更广视场角范围内的光线造成的。雨滴对红、绿、蓝光的入射角θ_R、θ_G、θ_B近似相等，而光强的变化直接决定像素的亮度变化。因此，折射作用引起的R、G、B三个分量的强度变化量ΔR、ΔG、ΔB也应近似相等，这就是雨滴的色彩属性。

RGB色彩空间转化至YCbCr的色彩空间的公式如下：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}0.2568& 0.5041& 0.0980\\ -0.1482& -0.2910& 0.4392\\ 0.4392& -0.3678& -0.0714\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于一帧有雨的视频图像，每个像素在R、G、B分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于折射作用引起的雨滴相对于背景的变化量。提取公式(1)中的Cb和Cr分量并改写为如下形式：

Cb＝128-0.1482(R_bg+ΔR)-0.2910(G_bg+ΔG)+0.4392(B_bg+ΔB)    (2)

Cr＝128+0.4392(R_bg+ΔR)-0.3678(G_bg+ΔG)-0.0714(B_bg+ΔB)

其中，R_bg、G_bg、B_bg分别是红、绿、蓝三个颜色分量没有被雨滴覆盖的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的变化量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，ΔR，ΔG，ΔB近似相等，又因为ΔR，ΔG，ΔB分量前的系数之和为零，故此，Cb和Cr分量不受雨滴影响。公式(2)可以写为如下所示形式：

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

(3)

转化到YCbCr颜色空间后，视频图像仅Y分量含有雨滴，Cb和Cr两个分量自动消去了雨滴引起的强度变化部分，使其不受雨滴的影响。因此，视频图像雨场去除只需去除Y分量中雨场，即可达到去除整个视频图像雨场的目的。这也是单分量去雨的理论分析和论证。

前述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(2)中，提取出Y分量，对其使用现有的雨场去除方法进行雨滴去除。

前述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(3)中，去雨后的Y分量结合Cb、Cr两个分量，利用公式(1)反向转换回RGB色彩空间，即可去除彩色图像中的雨场。

至此，单分量视频图像雨场去除过程执行完毕。

本发明的单分量视频图像雨场去除方法，首先根据雨滴的色彩属性结合颜色空间转化，将图像转化至YCbCr色彩空间；然后提取出Y分量，使用现有的去雨方法去除Y中的雨滴；最后结合未处理的Cb、Cr分量将图像转化回RGB色彩空间，使现有的去雨方法从三分量处理转化为单分量处理，提高了实时性。本发明根据雨滴的色彩属性结合颜色空间转化，将现有的三分量雨场去除方法改进为单分量处理，快速地实现了图像中雨场的去除，对大雨、小于、动态和静态等各种场景都适用。

附图说明

图1为本发明单分量视频图像雨场去除算法流程图；

图2为雨滴对红、绿、蓝光的折射解析图；

具体实施方式

下面结合具体实施方式对本发明做进一步的详细说明。

参照图1，单分量视频图像雨场去除包括以下步骤：

第一步，根据雨滴的色彩属性，结合色彩空间转化，将图像转化到YCbCr色彩空间；

第二步，提取Y分量，使用现有的雨场去除方法对其进行雨滴去除；

第三步，结合未处理的Cb、Cr两个分量，将图像转化到RGB色彩空间，完成雨场去除。

参照图2，蓝光相比红光和绿光具有更大的折射视场角，这是由于雨滴对红光、绿光、蓝光的折射率不同所造成的，波长越长，折射率越小。但雨滴对红、绿、蓝光的折射率差别很小，可看作近似相等。雨滴的亮度高于背景亮度主要是由于折射作用汇聚了更广视场角范围内的光线造成的，而光强的变化直接决定像素的亮度变化。因此，折射作用引起的R、G、B三个分量的强度变化量ΔR、ΔG、ΔB也应近似相等。

综上所述，本发明依据雨滴的色彩属性结合颜色空间转化、将现有的去雨方法从三分量处理转化为单分量处理，减少了处理的通道数，提高了实时性。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

Claims (4)

1.一种单分量视频图像雨场去除方法，其特征在于，包括以下步骤：

(1)根据雨滴的色彩属性，结合色彩空间转化，将图像转化至YCbCr色彩空间；

(2)提取Y分量，使用现有的雨场去除方法对其进行雨滴去除；

(3)结合未处理的Cb、Cr两个分量，将图像转化到RGB色彩空间。

2.根据权利要求1所述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(1)中，具体包括以下步骤：

11)所述雨滴的色彩属性为折射作用引起的R、G、B三个分量的强度变化量ΔR、ΔG、ΔB近似相等；按公式(1)将RGB色彩空间转化至YCbCr的色彩空间：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}0.2568& 0.5041& 0.0980\\ -0.1482& -0.2910& 0.4392\\ 0.4392& -0.3678& -0.0714\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

12)提取公式(1)中的Cb和Cr分量并改写为如下形式：

Cb＝128-0.1482(R_bg+ΔR)-0.2910(G_bg+ΔG)+0.4392(B_bg+ΔB)    (2)

Cr＝128+0.4392(R_bg+ΔR)-0.3678(G_bg+ΔG)-0.0714(B_bg+ΔB)

其中，R_bg、G_bg、B_bg分别是红、绿、蓝三个颜色分量没有被雨滴覆盖的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的变化量；

13)若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零，反之，均不为零，结合雨滴的色彩属性，ΔR，ΔG，ΔB近似相等，又因为ΔR，ΔG，ΔB分量前的系数之和为零，所以，Cb和Cr分量不受雨滴影响，公式(2)写为如下所示形式：

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

                                      (3)。

3.根据权利要求1所述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(2)中，提取出Y分量，对其使用现有的雨场去除方法进行雨滴去除。

4.根据权利要求1所述的单分量视频图像雨场去除方法，其特征在于：在所述步骤(3)中，去雨后的Y分量结合Cb、Cr两个分量，利用公式(1)反向转换回RGB色彩空间，即可去除彩色图像中的雨场。

Images