CN104978720A - 一种视频图像雨滴去除方法及装置 - Google Patents

Abstract

本发明提供了一种视频图像雨滴去除方法及装置，涉及视频图像除雨技术领域。方法包括：获取视频中的各帧初始图像，从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；并进行二维经验模态分解，生成初始图像的轮廓图像；进行双边滤波，生成物体显著边缘图像；将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像；对去雨部分图像进行小波去噪处理，生成去噪后图像；根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像，并从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像，从而生成去雨视频。本发明解决了当前简单的值替换法会对输出视频图像的质量大大降低的问题。

Description

一种视频图像雨滴去除方法及装置

技术领域

本发明涉及视频图像除雨技术领域，尤其涉及一种视频图像雨滴去除方法及装置。

背景技术

当前，户外计算机视觉***已经被广泛应用于军事国防、医疗、智能交通等技术领域。但是，由于恶劣天气等环境原因，可能会严重影响户外计算机视觉***的性能，甚至导致其完全失效。因此消除恶劣天气影响的有效方法，对于一个全天候的户外计算机视觉***来说必不可少。在众多恶劣天气情况中，雨滴由于拥有较大粒子半径及其他复杂物理特性，会对视觉***所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于图像中雨滴检测与去除的研究已然成为热点。当前在图像雨滴去除中，现有技术大多采用值简单替换法，即通过背景像素的灰度值来替换探测到的雨滴像素，从而重新构成图像，进行雨滴去除。然而，由于雨滴会对图像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低。

发明内容

本发明的实施例提供一种视频图像雨滴去除方法及装置，以解决当前雨滴会对图像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低的问题。

为达到上述目的，本发明采用如下技术方案：

一种视频图像雨滴去除方法，包括：

获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；

将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像；

将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；

将所述物体显著边缘图像和所述轮廓图像进行二值化并相交处理，生成去雨部分图像；

根据小波变换模极大值算法对所述去雨部分图像进行小波去噪处理，生成去噪后图像；

根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；

将所述YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；

将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

具体的，所述将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量，包括：

通过公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

具体的，将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像，包括：

步骤101：输入一帧所述初始图像的Y分量；

步骤102：将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初始图像的Y分量对应像素点的灰度值为Z坐标；

步骤103：通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集和局部极小值点集；

步骤104：分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E；

其中， $E=\frac{Emax+Emin}{2};$

步骤105：从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；

步骤106：确定所述结果信息是否满足每层筛选结束条件；

所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且所述代数均值为0；

若所述结果信息满足所述每层筛选结束条件，执行步骤107，否则若所述结果信息不满足所述每层筛选结束条件，返回执行步骤103；

步骤107：将所述结果信息作为第n层图像细节信息；

步骤108：确定第n层图像细节信息是否具有不超过1个极值点；

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109；

步骤109：在所述初始图像的Y分量中减去所述第n层图像细节信息，并返回执行步骤101；

步骤110、将所述结果信息作为所述初始图像的轮廓图像。

具体的，将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像，包括：

根据公式：将所述初始图像的Y分量中的每个像素点进行计算，生成物体显著边缘图像；

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数；

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

具体的，所述根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像，包括：

根据公式：C＝αC_b+(1-α)C_r进行α混合，生成YCbCr色彩空间下的结果图像；其中，C为所述YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值；C_b为去噪后图像的Y分量；C_r为所述初始图像的Y分量。

具体的，在根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像之后，包括：

将所述YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。

一种视频图像雨滴去除装置，包括：

色彩空间转换单元，用于获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；

二维经验模态分解单元，用于将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像；

双边滤波单元，用于将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；

去雨部分图像生成单元，用于将所述物体显著边缘图像和所述轮廓图像进行二值化并相交处理，生成去雨部分图像；

小波去噪处理单元，用于根据小波变换模极大值算法对所述去雨部分图像进行小波去噪处理，生成去噪后图像；

α混合处理单元，用于根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；

所述色彩空间转换单元，还用于将所述YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；

去雨视频合成单元，用于将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

另外，所述色彩空间转换单元，具体用于：

通过公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

另外，该二维经验模态分解单元，具体用于执行：

步骤101：输入一帧所述初始图像的Y分量；

步骤102：将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初始图像的Y分量对应像素点的灰度值为Z坐标；

步骤103：通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集和局部极小值点集；

步骤104：分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E；

其中， $E=\frac{Emax+Emin}{2};$

步骤105：从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；

步骤106：确定所述结果信息是否满足每层筛选结束条件；

所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且所述代数均值为0；

若所述结果信息满足所述每层筛选结束条件，执行步骤107，否则若所述结果信息不满足所述每层筛选结束条件，返回执行步骤103；

步骤107：将所述结果信息作为第n层图像细节信息；

步骤108：确定第n层图像细节信息是否具有不超过1个极值点；

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109；

步骤109：在所述初始图像的Y分量中减去所述第n层图像细节信息，并返回执行步骤101；

步骤110、将所述结果信息作为所述初始图像的轮廓图像。

另外，所述双边滤波单元，具体用于：

根据公式：将所述初始图像的Y分量中的每个像素点进行计算，生成物体显著边缘图像；

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数；

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

此外，所述α混合处理单元，具体用于：

根据公式：C＝αC_b+(1-α)C_r进行α混合，生成YCbCr色彩空间下的结果图像；其中，C为所述YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值；C_b为去噪后图像的Y分量；C_r为所述初始图像的Y分量。

此外，该视频图像雨滴去除装置，还包括：

亮度调节单元，用于将所述YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。

本发明实施例提供的一种视频图像雨滴去除方法及装置，通过获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像；将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像；根据小波变换模极大值算法对去雨部分图像进行小波去噪处理，生成去噪后图像；根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；将YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。通过本发明对视频帧初始图像进行色彩转换、二维经验模态分解、双边滤波及二值化相交处理、小波去噪处理、α混合处理，再返回进行色彩转换，从而能够生成去雨结果图像，解决了当前雨滴会对图像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频图像雨滴去除方法的流程图；

图2为本发明实施例中的二维经验模态分解过程的流程图；

图3为本发明实施例中的imadjust函数中的曲线形状示意图；

图4为本发明实施例提供一种视频图像雨滴去除装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种视频图像雨滴去除方法，包括：

步骤201、获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量。

步骤202、将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像。

步骤203、将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像。

步骤204、将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像。

该二值化可以利用Matlab中的二值化命令实现。

步骤205、根据小波变换模极大值算法对去雨部分图像进行小波去噪处理，生成去噪后图像。

该小波变换处理过程可以是将含噪的去雨部分图像进行多尺度小波变换，从时域变换到小波域，然后在各尺度下提取信号的小波系数，而除去噪声的小波系数。最后用小波逆变换重构信号。

步骤206、根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像。

步骤207、将YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像。

步骤208、将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

本发明实施例提供的一种视频图像雨滴去除方法，获取了视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像；将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像；根据小波变换模极大值算法对去雨部分图像进行小波去噪处理，生成去噪后图像；根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；将YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；将各帧RGB色彩空间下的结果图像进行合成，从而生成去雨视频。通过本发明对视频帧初始图像进行色彩转换、二维经验模态分解、双边滤波及二值化相交处理、小波去噪处理、α混合处理，再返回进行色彩转换，从而能够生成去雨结果图像，解决了当前雨滴会对图像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低的问题。

具体的，上述步骤201中的将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量，可以通过如下公式实现：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

值得说明的是，在RGB色彩空间下，由于需要处理3个分量，会造成较大的时间浪费，因此此处进行色彩空间转换为YCbCr色彩空间，通过雨滴的色彩属性，确定在YCbCr空间中，仅Y分量受到雨滴影响。

对上述公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

进行变形，可得：

$\left[\begin{array}{c}Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{bg}+\mathrm{\Δ}R\\ G_{bg}+\mathrm{\Δ}G\\ B_{bg}+\mathrm{\Δ}B\end{array}\right]$

进而可得：

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

其中，R_bg、G_bg、B_bg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为0。通过上式可以发现，通过颜色空间转换后，受雨滴影响图像仅Y分量含有雨滴成分，Cb和Cr两个分量可以消去雨滴引起的强度变化部分，使得其不受雨滴的存在的影响。

具体的，如图2所示，上述步骤202中的将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像，可以通过如下步骤实现，例如：

步骤101：输入一帧初始图像的Y分量。

步骤102：将初始图像的Y分量映射到一XOY直角坐标平面上。其中，初始图像的Y分量对应像素点的灰度值为Z坐标。

步骤103：通过图像形态学方法识别出初始图像的Y分量的局部极大值点集和局部极小值点集。

步骤104：分别将局部极大值点集和局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E。

其中， $E=\frac{Emax+Emin}{2}.$

步骤105：从初始图像的Y分量中减去代数均值E，形成结果信息。

步骤106：确定结果信息是否满足每层筛选结束条件。

其中，该每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且代数均值为0。

若结果信息满足每层筛选结束条件，执行步骤107，否则若结果信息不满足每层筛选结束条件，返回执行步骤103。

步骤107：将结果信息作为第n层图像细节信息。

步骤108：确定第n层图像细节信息是否具有不超过1个极值点。

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109。

步骤109：在初始图像的Y分量中减去第n层图像细节信息，并返回执行步骤101。

步骤110、将结果信息作为初始图像的轮廓图像。

该轮廓图像即为初始图像的高频部分。

具体的由于初始图像通常具有较为明显的雨线，不利于进一步的混合操作，所以需要进行双边滤波处理，如步骤203将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像，可以根据如下公式实现：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)\mathrm{\ω}(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}\mathrm{\ω}(i,j,k,l)}$

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数。

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

该权重系数ω(i,j,k,l)是由像素几何空间距离决定的滤波器系数d(i,j,k,l)和像素灰度值差异决定的滤波器系数r(i,j,k,l)所影响。

其中，

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2})$

$\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$

具体的，上述步骤207的根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像，可以通过如下公式实现：

C＝αC_b+(1-α)C_r

其中，C为YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值，例如其可谓0.85；C_b为去噪后图像的Y分量；C_r为初始图像的Y分量。

另外，在步骤206生成YCbCr色彩空间下的结果图像之后，由于α混合技术处理Y通道会造成一定程度上的色彩失真，所以需要将YCbCr色彩空间下的结果图像的Y分量进行亮度：

具体可以将YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。该imadjust函数为matlab中的函数，其函数内容为：

g＝imadjust(f,[low_inhigh_in],[low_outhigh_out],gamma)

该函数参数gamma指定了曲线的形状，该曲线用来映射f的亮度值，以便生成图像g。若gamma小于1，则映射被加权至较高的输出值，若gamma大于1则映射被加权至较低的输出值。若此处忽略gamma，则默认值为1，为线性映射。该曲线形状如图3所示。例如将0-0.5区间上的值映射到0-1，能够获得较好的效果，但不仅局限于此。

对应于图1所示的方法实施例，本发明实施例提供一种视频图像雨滴去除装置，如图4所示，包括：色彩空间转换单元31、二维经验模态分解单元32、双边滤波单元33、去雨部分图像生成单元34、小波去噪处理单元35、α混合处理单元36、去雨视频合成单元37。其中：

色彩空间转换单元31，可以获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量。

二维经验模态分解单元32，可以将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像。

双边滤波单元33，可以将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像。

去雨部分图像生成单元34，可以将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像。

小波去噪处理单元35，可以根据小波变换模极大值算法对去雨部分图像进行小波去噪处理，生成去噪后图像。

α混合处理单元36，可以根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像。

色彩空间转换单元31，还可以将YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像。

去雨视频合成单元37，可以将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

另外，色彩空间转换单元31，具体可以：

通过公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

另外，该二维经验模态分解单元32，具体可以执行：

步骤101：输入一帧初始图像的Y分量。

步骤102：将初始图像的Y分量映射到一XOY直角坐标平面上；其中，初始图像的Y分量对应像素点的灰度值为Z坐标。

步骤103：通过图像形态学方法识别出初始图像的Y分量的局部极大值点集和局部极小值点集。

步骤104：分别将局部极大值点集和局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E。

其中， $E=\frac{Emax+Emin}{2}.$

步骤105：从初始图像的Y分量中减去代数均值E，形成结果信息。

步骤106：确定结果信息是否满足每层筛选结束条件。

每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且代数均值为0。

若结果信息满足每层筛选结束条件，执行步骤107，否则若结果信息不满足每层筛选结束条件，返回执行步骤103。

步骤107：将结果信息作为第n层图像细节信息。

步骤108：确定第n层图像细节信息是否具有不超过1个极值点。

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109。

步骤109：在初始图像的Y分量中减去第n层图像细节信息，并返回执行步骤101。

步骤110、将结果信息作为初始图像的轮廓图像。

另外，双边滤波单元33，具体可以：

根据公式：将初始图像的Y分量中的每个像素点进行计算，生成物体显著边缘图像。

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数。

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

此外，α混合处理单元36，具体可以：

根据公式：C＝αC_b+(1-α)C_r进行α混合，生成YCbCr色彩空间下的结果图像；其中，C为YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值；C_b为去噪后图像的Y分量；C_r为初始图像的Y分量。

此外，如图4所示，该视频图像雨滴去除装置，还可以包括：

亮度调节单元38，可以将YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。

值得说明的是，本发明实施例提供的一种视频图像雨滴去除装置的具体实现方式可以参见上述图1所对应的方法实施例，此处不再赘述。

本发明实施例提供的一种视频图像雨滴去除装置，通过获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；将初始图像的Y分量进行二维经验模态分解，生成初始图像的轮廓图像；将初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；将物体显著边缘图像和轮廓图像进行二值化并相交处理，生成去雨部分图像；根据小波变换模极大值算法对去雨部分图像进行小波去噪处理，生成去噪后图像；根据去噪后图像的Y分量和初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；将YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。通过本发明对视频帧初始图像进行色彩转换、二维经验模态分解、双边滤波及二值化相交处理、小波去噪处理、α混合处理，再返回进行色彩转换，从而能够生成去雨结果图像，解决了当前雨滴会对图像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生可以实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供可以实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种视频图像雨滴去除方法，其特征在于，包括：

获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；

将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像；

将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；

将所述物体显著边缘图像和所述轮廓图像进行二值化并相交处理，生成去雨部分图像；

根据小波变换模极大值算法对所述去雨部分图像进行小波去噪处理，生成去噪后图像；

根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；

将所述YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；

将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

2.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，所述将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量，包括：

通过公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

3.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像，包括：

步骤101：输入一帧所述初始图像的Y分量；

步骤102：将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初始图像的Y分量对应像素点的灰度值为Z坐标；

步骤103：通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集和局部极小值点集；

步骤104：分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E；

其中， $E=\frac{Emax+Emin}{2};$

步骤105：从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；

步骤106：确定所述结果信息是否满足每层筛选结束条件；

所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且所述代数均值为0；

若所述结果信息满足所述每层筛选结束条件，执行步骤107，否则若所述结果信息不满足所述每层筛选结束条件，返回执行步骤103；

步骤107：将所述结果信息作为第n层图像细节信息；

步骤108：确定第n层图像细节信息是否具有不超过1个极值点；

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109；

步骤109：在所述初始图像的Y分量中减去所述第n层图像细节信息，并返回执行步骤101；

步骤110、将所述结果信息作为所述初始图像的轮廓图像。

4.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像，包括：

根据公式：将所述初始图像的Y分量中的每个像素点进行计算，生成物体显著边缘图像；

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数；

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

5.根据权利要求1所述的视频图像雨滴去除方法，其特征在于，所述根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像，包括：

根据公式：C＝αC_b+(1-α)C_r进行α混合，生成YCbCr色彩空间下的结果图像；其中，C为所述YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值；C_b为去噪后图像的Y分量；C_r为所述初始图像的Y分量。

6.根据权利要求5所述的视频图像雨滴去除方法，其特征在于，在根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像之后，包括：

将所述YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。

7.一种视频图像雨滴去除装置，其特征在于，包括：

色彩空间转换单元，用于获取视频中的各帧初始图像，并将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；

二维经验模态分解单元，用于将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图像；

双边滤波单元，用于将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图像；

去雨部分图像生成单元，用于将所述物体显著边缘图像和所述轮廓图像进行二值化并相交处理，生成去雨部分图像；

小波去噪处理单元，用于根据小波变换模极大值算法对所述去雨部分图像进行小波去噪处理，生成去噪后图像；

α混合处理单元，用于根据去噪后图像的Y分量和所述初始图像的Y分量进行α混合，生成YCbCr色彩空间下的结果图像；

所述色彩空间转换单元，还用于将所述YCbCr色彩空间下的结果图像从YCbCr色彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；

去雨视频合成单元，用于将各帧RGB色彩空间下的结果图像进行合成，生成去雨视频。

8.根据权利要求7所述的视频图像雨滴去除装置，其特征在于，所述色彩空间转换单元，具体用于：

通过公式：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

将各帧初始图像从RGB色彩空间转换为YCbCr色彩空间，获取色彩空间转换后的初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值；Y、Cb、Cr分别为色彩空间转换后的初始图像的Y分量、Cb分量和Cr分量。

9.根据权利要求7所述的视频图像雨滴去除装置，其特征在于，二维经验模态分解单元，具体用于执行：

步骤101：输入一帧所述初始图像的Y分量；

步骤102：将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初始图像的Y分量对应像素点的灰度值为Z坐标；

步骤103：通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集和局部极小值点集；

步骤104：分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay三角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin，获取极大值包络曲面Emax和极小值包络曲面Emin的代数均值E；

其中， $E=\frac{Emax+Emin}{2};$

步骤105：从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；

步骤106：确定所述结果信息是否满足每层筛选结束条件；

所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目相等或仅相差1，并且所述代数均值为0；

若所述结果信息满足所述每层筛选结束条件，执行步骤107，否则若所述结果信息不满足所述每层筛选结束条件，返回执行步骤103；

步骤107：将所述结果信息作为第n层图像细节信息；

步骤108：确定第n层图像细节信息是否具有不超过1个极值点；

若第n层图像细节信息具有不超过1个极值点，执行步骤110；否则，若第n层图像细节信息的极值点超过1个，执行步骤109；

步骤109：在所述初始图像的Y分量中减去所述第n层图像细节信息，并返回执行步骤101；

步骤110、将所述结果信息作为所述初始图像的轮廓图像。

10.根据权利要求7所述的视频图像雨滴去除装置，其特征在于，所述双边滤波单元，具体用于：

根据公式：将所述初始图像的Y分量中的每个像素点进行计算，生成物体显著边缘图像；

其中，g(i,j)为物体显著边缘图像的像素值；(i,j)，(k,l)为初始图像的Y分量的两个像素点坐标；f(k,l)为像素点(k,l)处的像素灰度值；ω(i,j,k,l)为一权重系数；

其中， $\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{||f(i,j)-f(k,l)||}^2}{2{\mathrm{\σ}}_r^2});$ f(i,j)为像素点(i,j)处的像素灰度值。

11.根据权利要求7所述的视频图像雨滴去除装置，其特征在于，所述α混合处理单元，具体用于：

根据公式：C＝αC_b+(1-α)C_r进行α混合，生成YCbCr色彩空间下的结果图像；其中，C为所述YCbCr色彩空间下的结果图像的Y分量；α为一预先设置的通道值；C_b为去噪后图像的Y分量；C_r为所述初始图像的Y分量。

12.根据权利要求11所述的视频图像雨滴去除装置，其特征在于，还包括：

亮度调节单元，用于将所述YCbCr色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调节。