CN105335949A - 一种视频图像去雨方法及*** - Google Patents

Abstract

本发明涉及一种视频图像去雨方法及***。所述视频图像去雨方法包括：步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；步骤b：获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，得到雨区图像；步骤c：利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像。本发明通过色彩空间转换大幅缩小了雨滴去除所需的时间，提高去雨效率；利用快速模糊C均值聚类算法得到像素的最佳模糊C均值分类，提高了算法的准确率；采用雨滴的光度特性进行雨滴误检排除，增强了动态场景雨滴的识别；利用α混合技术进行雨滴去除，保证了雨滴去除以后不会留下尖锐的边缘。

Description

一种视频图像去雨方法及***

技术领域

本发明属于图像处理技术领域，尤其涉及一种视频图像去雨方法及***。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(StarikS,WermanM.Simulationofraininvideos[C]ProceedingofTextureWorkshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法及运动分割等很多方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文感知进行单幅视频图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对高频部分进行处理。特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。

综上所述，现有的视频图像去雨技术存在的缺点在于：去雨效果都不是很理想，具有一定的局限性；虽然能处理视频和图像，但是对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果，对于动态场景的去雨效果存在很多误判的情况。

发明内容

本发明提供了一种视频图像去雨方法及***，旨在解决现有的视频图像去雨技术去雨效果不佳，具有一定的局限性，且对于动态场景的去雨效果存在误判的技术问题。

本发明是这样实现的，一种视频图像去雨方法，包括：

步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；

步骤b：获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，得到雨区图像；

步骤c：利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法包括：利用分层减法聚类算法把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，到中心点v_i的距离用S_k的中心到v_i的距离表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

对于距离的计算，用式(4)，c个聚类中心V的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{...},c---\left(6\right)$

目标函数式的计算式为：

$J_m(U,V)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2\left(x_k^{\stackrel{\‾}{c}},v_i\right)D^c\left(x_k^c\right)---\left(7\right)$

利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割公式为：如果：

u^ik＝max{u^1k，u^2k，…u^ck}(8)

则x_k∈第i类。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法还包括：

步骤b1：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；

步骤b2：对中心集从大到小重新排序，并令c＝2；

步骤b3：以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；

步骤b4：根据模糊聚类结果计算F_XB(U,V,c)；

步骤b5：c＝c+1，如果c>c_max，执行步骤b6；否则，执行步骤b3；

步骤b6：确定F_XB(U,V,c)最小值对应的聚类中心V；

步骤b7：利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像。

本发明实施例采取的技术方案还包括：在所述步骤b后还包括：利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像。

本发明实施例采取的技术方案还包括：在所述步骤c中，所述利用α混合技术将雨区图像中的雨滴去除具体为：当成功检测出雨区图像后，将背景图像与雨区图像进行混合，通过用雨滴与背景色之间的混合值取代检测到的雨滴像素达到去雨效果；雨滴去除方式具体为：依据统计特性，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中I_mix代表输出图像的Y通道值，I_Bcenter代表背景图像的Y通道值，I_Rcenter代表雨区图像的Y通道值，α是背景类B中数目占总数目k的权重。

本发明实施例采取的技术方案还包括：在所述步骤c后还包括：将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例采取的另一技术方案为：一种视频图像去雨***，包括空间转换模块、雨滴初检模块、图像分割模块和图像去雨模块；

所述空间转换模块用于输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；

所述图像分割模块用于获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，得到雨区图像；

所述图像去雨模块用于利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像。

本发明实施例采取的技术方案还包括：所述图像分割模块利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法包括：利用分层减法聚类算法把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，到中心点v_i的距离用S_k的中心到v_i的距离表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

对于距离的计算，用式(4)，c个聚类中心V的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{..},c---\left(6\right)$

目标函数式的计算式为：

$J_m\left(U,V\right)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2\left(x_k^{\stackrel{\‾}{c}},v_i\right)D^c\left(x_k^c\right)---\left(7\right)$

利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割公式为：如果：

u^ik＝max{u^1k，u^2k，…，u^ck}(8)

则x_k∈第i类。

本发明实施例采取的技术方案还包括：所述图像分割模块利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法还包括：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；对中心集从大到小重新排序，并令c＝2；以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；根据模糊聚类结果计算F_XB(U,V,c)；c＝c+1，如果c>c_max，确定F_XB(U,V,c)最小值对应的聚类中心V，利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像；否则，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类。

本发明实施例采取的技术方案还包括：还包括雨滴排除模块和图像输出模块，所述雨滴排除模块用于利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像；所述图像输出模块用于将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例的视频图像去雨方法及***通过将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间，提高去雨效率；利用快速模糊C均值聚类算法得到像素的最佳模糊C均值分类，提高了算法的准确率；采用雨滴的光度特性进行雨滴误检排除，增强了动态场景雨滴的识别；利用α混合技术进行雨滴去除，保证了雨滴去除以后不会留下尖锐的边缘。

附图说明

图1是本发明实施例的视频图像去雨方法的流程图；

图2是RGB色彩空间图；

图3是本发明实施例的利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的方法的流程图；

图4是本发明实施例的视频图像去雨***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的视频图像去雨方法的流程图。本发明实施例的视频图像去雨方法包括以下步骤：

步骤100：输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；

在步骤100中，色彩空间是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。作为图像处理中最为基础的颜色模型，RGB模型是在配色实验的基础上建立起来的，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；具体如图2所示，是RGB色彩空间图；虽然RGB色彩空间具有简单、方便等特点，但在图像处理中使用RGB色彩空间时，需要处理3个通道，会造成较大程度上的时间浪费。而对于YCbCr色彩空间，虽然需要进行相应的转换，但通过深入研究雨滴的色彩属性，可以发现在YCbCr色彩空间中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

$\left[\begin{array}{c}Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{bg}+\mathrm{\Δ}R\\ G_{bg}+\mathrm{\Δ}G\\ B_{bg}+\mathrm{\Δ}B\end{array}\right]---\left(2\right)$

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

(3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在视频图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

步骤200：获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法(FFCM)对Y分量中的图像像素进行分割，将Y分量中的图像像素分为雨滴部分和背景部分，初步得到雨区图像；

在步骤200中，模糊C均值聚类算法是一种迭代优化的运算方法，其需要反复计算μ_ik和v_i。当样本数量n很大时，该计算极为耗时。本发明利用分层减法聚类算法，根据一定的相似性准则，把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，在这些子集上进行模糊聚类，可以极大地提高聚类速度。

具体地，由于每个子集S_k内像素点的色彩比较接近，到中心点v_i的距离可以近似地用S_k的中心到v_i的距离来表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式仍为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

但对于距离的计算，则用式(4)，c个聚类中心的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{..},c---\left(6\right)$

目标函数式的计算变为：

$J_m\left(U,V\right)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2\left(x_k^{\stackrel{\‾}{c}},v_i\right)D^c\left(x_k^c\right)---\left(7\right)$

算法收敛后，利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割可按下式进行，即如果：

u^ik＝max{u^1k，u^2k，…，u^ck}(8)

则x_k∈第i类。

由于n_p远小于n，利用式(4)、式(5)、式(6)和式(7)进行快速模糊聚类，计算速度将会得到很大提高，这也使得在实际应用中当分割区域数未知时，可以利用聚类及有效性指标快速确定聚类数目。

在本发明实施例中，以Xie-Beni指标(Xie-Beni指标使用最小的类与类中心距离平方来衡量类间分离度，使用类中各点与类中心的距离平方和来衡量类内紧密度，在类内紧密度与类间分离度之间寻找一个平衡点，使其达到最小，从而得到最优的聚类结果。)进行聚类有效性分析，其定义为：

$F_{XB}(U,V,c)=\frac{J_m\left(U,V\right)}{n\left(\min \left|\right|v_i-v_j\left|\right|\right)},i,j=1,2,\mathrm{...},c---\left(9\right)$

当c＝2,3,…,c_max,利用聚类结果计算式(9),其最小值对应最佳分类数c*。

综上所述，请一并参阅图3，是本发明实施例的利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的方法的流程图。本发明实施例的利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的方法为：利用快速模糊C均值聚类算法得到Y分量中的图像像素的最佳C均值分类，根据得到的像素灰度分界值将灰度序列分为背景灰度和雨滴灰度；具体包括以下步骤：

步骤201：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；

步骤202：对中心集从大到小重新排序，并令c＝2；

步骤203：以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；

步骤204：根据模糊聚类结果计算F_XB(U,V,c)；

步骤205：c＝c+1，如果c>c_max，执行步骤206；否则，执行步骤203；

步骤206：确定F_XB(U,V,c)最小值对应的聚类中心V；

步骤207：利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像。

步骤300：利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像；

在步骤300中，利用雨滴的光度特性对雨区图像进行雨滴误检排除具体包括：分析每个雨线，判断该雨线是否与前一帧上的背景亮度呈线性关系，如果该雨线与前一帧上的背景亮度呈线性关系，则确定该雨线为受雨影响的像素，否则认为该雨线为运动物体上的像素或其他不满足雨滴形态特征的候选像素，将该雨线从雨区图像中去掉，得到最终雨区图像。

步骤400：利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像；

在步骤400中，利用α混合技术将雨区图像中的雨滴去除具体为：当成功检测出雨区图像后，将背景图像与雨区图像进行混合，通过用雨滴与背景色之间的混合值取代检测到的雨滴像素来达到去雨效果。具体为：依据统计特性，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中I_mix代表输出图像的Y通道值，I_Bcenter代表背景图像的Y通道值，I_Rcenter代表雨区图像的Y通道值，α是背景类B中数目占总数目k的权重。因为在保留背景强度值I_Bcenter的基础上，混合了雨滴的平均强度值I_Rcenter，保证了雨滴去除后不会留下尖锐的边缘，起到了平滑的效果。

步骤500：将去雨图像转换为RGB色彩空间图像并输出图像。

请参阅图3，是本发明实施例的视频图像去雨***的结构示意图。本发明实施例的视频图像去雨***包括空间转换模块、图像分割模块、雨滴排除模块、图像去雨模块和图像输出模块；具体地：

空间转换模块用于输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；其中，色彩空间是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。作为图像处理中最为基础的颜色模型，RGB模型是在配色实验的基础上建立起来的，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；具体如图2所示，是RGB色彩空间图；虽然RGB色彩空间具有简单、方便等特点，但在图像处理中使用RGB色彩空间时，需要处理3个通道，会造成较大程度上的时间浪费。而对于YCbCr色彩空间，虽然需要进行相应的转换，但通过深入研究雨滴的色彩属性，可以发现在YCbCr色彩空间中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

$\left[\begin{array}{c}Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{bg}+\mathrm{\Δ}R\\ G_{bg}+\mathrm{\Δ}G\\ B_{bg}+\mathrm{\Δ}B\end{array}\right]---\left(2\right)$

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

(3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在视频图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

图像分割模块用于获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，将Y分量中的图像像素分为雨滴部分和背景部分，初步得到雨区图像；其中，模糊C均值聚类算法是一种迭代优化的运算方法，其需要反复计算μ_ik和v_i。当样本数量n很大时，该计算极为耗时。本发明利用分层减法聚类算法，根据一定的相似性准则，把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，在这些子集上进行模糊聚类，可以极大地提高聚类速度。具体地，由于每个子集S_k内像素点的色彩比较接近，到中心点v_i的距离可以近似地用S_k的中心到v_i的距离来表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式仍为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

但对于距离的计算，则用式(4)，c个聚类中心的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{..},c---\left(6\right)$

目标函数式的计算变为：

$J_m\left(U,V\right)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2\left(x_k^{\stackrel{\‾}{c}},v_i\right)D^c\left(x_k^c\right)---\left(7\right)$

算法收敛后，利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割可按下式进行，即如果：

u^ik＝max{u^1k，u^2k，…，u^ck}(8)

则x_k∈第i类。

由于n_p远小于n，利用式(4)、式(5)、式(6)和式(7)进行快速模糊聚类，计算速度将会得到很大提高，这也使得在实际应用中当分割区域数未知时，可以利用聚类及有效性指标快速确定聚类数目。

在本发明实施例中，以Xie-Beni指标(Xie-Beni指标使用最小的类与类中心距离平方来衡量类间分离度，使用类中各点与类中心的距离平方和来衡量类内紧密度，在类内紧密度与类间分离度之间寻找一个平衡点，使其达到最小，从而得到最优的聚类结果。)进行聚类有效性分析，其定义为：

$F_{XB}(U,V,c)=\frac{J_m\left(U,V\right)}{n\left(\min \left|\right|v_i-v_j\left|\right|\right)},i,j=1,2,\mathrm{...},c---\left(9\right)$

当c＝2,3,…,c_max,利用聚类结果计算式(9),其最小值对应最佳分类数c*。

综上所述，图像分割模块利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的方法为：利用快速模糊C均值聚类算法得到Y分量中的图像像素的最佳C均值分类，根据得到的像素灰度分界值将灰度序列分为背景灰度和雨滴灰度；具体包括：

(1)：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；

(2)：对中心集从大到小重新排序，并令c＝2；

(3)：以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；

(4)：根据模糊聚类结果计算F_XB(U,V,c)；

(5)：c＝c+1，如果c>c_max，执行步骤(6)；否则，执行步骤(3)；

(6)：确定F_XB(U,V,c)最小值对应的聚类中心V；

(7)：利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像。

雨滴排除模块用于利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像；其中，利用雨滴的光度特性对雨区图像进行雨滴误检排除具体包括：分析每个雨线，判断该雨线是否与前一帧上的背景亮度呈线性关系，如果该雨线与前一帧上的背景亮度呈线性关系，则确定该雨线为受雨影响的像素，否则认为该雨线为运动物体上的像素或其他不满足雨滴形态特征的候选像素，将该雨线从雨区图像中去掉，得到最终雨区图像。

图像去雨模块用于利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像；其中，利用α混合技术将雨区图像中的雨滴去除具体为：当成功检测出雨区图像后，将背景图像与雨区图像进行混合，通过用雨滴与背景色之间的混合值取代检测到的雨滴像素来达到去雨效果。具体为：依据统计特性，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中I_mix代表输出图像的Y通道值，I_Bcenter代表背景图像的Y通道值，I_Rcenter代表雨区图像的Y通道值，α是背景类B中数目占总数目k的权重。因为在保留背景强度值I_Bcenter的基础上，混合了雨滴的平均强度值I_Rcenter，保证了雨滴去除后不会留下尖锐的边缘，起到了平滑的效果。

图像输出模块用于将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例的视频图像去雨方法及***通过将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间，提高去雨效率；利用快速模糊C均值聚类算法得到像素的最佳模糊C均值分类，提高了算法的准确率；采用雨滴的光度特性进行雨滴误检排除，增强了动态场景雨滴的识别；利用α混合技术进行雨滴去除，保证雨滴去除以后不会留下尖锐的边缘。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图像去雨方法，包括：

步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；

步骤b：获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，得到雨区图像；

步骤c：利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像。

2.根据权利要求1所述的视频图像去雨方法，其特征在于，在所述步骤b中，所述利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法包括：利用分层减法聚类算法把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，到中心点v_i的距离用S_k的中心到v_i的距离表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

对于距离的计算，用式(4)，c个聚类中心V的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{...},c---\left(6\right)$

目标函数式的计算式为：

$J_m(U,V)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2(x_k^{\stackrel{\‾}{c}},v_i)D^c\left(x_k^c\right)---\left(7\right)$

利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割公式为：如果：

u^ik＝max{u^1k，u^2k，…，u^ck}(8)

则x_k∈第i类。

3.根据权利要求2所述的视频图像去雨方法，其特征在于，在所述步骤b中，所述利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法还包括：

步骤b1：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；

步骤b2：对中心集从大到小重新排序，并令c＝2；

步骤b3：以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；

步骤b4：根据模糊聚类结果计算F_XB(U,V,c)；

步骤b5：c＝c+1，如果c>c_max，执行步骤b6；否则，执行步骤b3；

步骤b6：确定F_XB(U,V,c)最小值对应的聚类中心V；

步骤b7：利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像。

4.根据权利要求1所述的视频图像去雨方法，其特征在于，在所述步骤b后还包括：利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像。

5.根据权利要求1所述的视频图像去雨方法，其特征在于，在所述步骤c中，所述利用α混合技术将雨区图像中的雨滴去除具体为：当成功检测出雨区图像后，将背景图像与雨区图像进行混合，通过用雨滴与背景色之间的混合值取代检测到的雨滴像素达到去雨效果；雨滴去除方式具体为：依据统计特性，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中I_mix代表输出图像的Y通道值，I_Bcenter代表背景图像的Y通道值，I_Rcenter代表雨区图像的Y通道值，α是背景类B中数目占总数目k的权重。

6.根据权利要求1或5所述的视频图像去雨方法，其特征在于，在所述步骤c后还包括：将去雨图像转换为RGB色彩空间图像并输出图像。

7.一种视频图像去雨***，其特征在于，包括空间转换模块、雨滴初检模块、图像分割模块和图像去雨模块；

所述空间转换模块用于输入视频帧图像，并将视频帧图像从RGB色彩空间转换为YCbCr色彩空间；

所述图像分割模块用于获取图像视频帧的Y分量序列，利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割，得到雨区图像；

所述图像去雨模块用于利用α混合技术将雨区图像中的雨滴去除，得到最终去雨图像。

8.根据权利要求7所述的视频图像去雨***，其特征在于，所述图像分割模块利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法包括：利用分层减法聚类算法把序列点集S分为n_p个子集S_k(k＝1,2,…,n_p)，到中心点v_i的距离用S_k的中心到v_i的距离表示，即：

$d_{il}^2(x_l,v_i)\≈d_{ik}^2(x_k^c,v_i)=\left|\right|x_k^c-v_i|{|}_A^2---\left(4\right)$

模糊矩阵U的大小由原来的n×c变为n_p×c，隶属度的计算公式为：

$u_{ik}={\[\underset{j=1}{\overset{c}{\Σ}}{\left(\frac{d_{ik}\left(x_k,v_i\right)}{d_{jk}\left(x_k,v_j\right)}\right)}^{2/\left(m-1\right)}\]}^{-1},k=1,2,\mathrm{...},n---\left(5\right)$

对于距离的计算，用式(4)，c个聚类中心V的计算由式(4)改为：

$v_i=\frac{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{x}_k^c{D}^c\left(x_k^c\right)}{\underset{k=1}{\overset{n_P}{\Σ}}{\left(u_{ik}\right)}^m{D}^c\left(x_k^c\right)},i=1,2,\mathrm{..},c---\left(6\right)$

目标函数式的计算式为：

$J_m\left(U,V\right)=\underset{k=1}{\overset{n_P}{\Σ}}\underset{i=1}{\overset{c}{\Σ}}{\left(u_{ik}\right)}^m{d}_{ik}^2\left(x_k^{\stackrel{\‾}{c}},v_i\right)D^c\left(x_k^c\right)---\left(7\right)$

利用获得的聚类中心V根据式(5)重新计算模糊矩阵U，图像分割公式为：如果：

u^ik＝max{u^1k，u^2k，…，u^ck}(8)

则x_k∈第i类。

9.根据权利要求8所述的视频图像去雨***，其特征在于，所述图像分割模块利用快速模糊C均值聚类算法对Y分量中的图像像素进行分割的分割方法还包括：利用二层减法聚类对图像数据进行聚类，获得n_p个子集；对中心集从大到小重新排序，并令c＝2；以中前c个元素初始化中心点集V，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类；根据模糊聚类结果计算F_XB(U,V,c)；c＝c+1，如果c>c_max，确定F_XB(U,V,c)最小值对应的聚类中心V，利用聚类中心V重新计算模糊矩阵U，并根据式(8)分割图像；否则，利用式(4)、式(5)、式(6)和式(7)进行模糊聚类。

10.根据权利要求7所述的视频图像去雨***，其特征在于：还包括雨滴排除模块和图像输出模块，所述雨滴排除模块用于利用雨滴的光度特性对雨区图像进行进一步的雨滴误检排除，得到最终雨区图像；所述图像输出模块用于将去雨图像转换为RGB色彩空间图像并输出图像。