CN104112255A - 单幅图像去雨方法和*** - Google Patents

Abstract

本发明涉及一种单幅图像去雨方法和***。所述方法包括以下步骤：将RGB图像转换为YIQ色彩空间；提取所述YIQ色彩空间中的表示图像亮度的Y分量；对所述Y分量进行去雨处理；将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。上述单幅图像去雨方法和***，通过将RGB图像转换为YIQ色彩空间，然后仅对Y分量进行去雨处理，将去雨处理后的Y分量和I、Q分量结合，转换为RGB图像，实现了单幅彩色图像的去雨处理，保证图像色彩不失真，提高了单幅图像去雨算法的使用范围，且将输出图像转换为CMYK模式，可直接打印，避免了直接打印RGB图像出现失真的现象，节约成本，减少操作步骤。

Description

单幅图像去雨方法和***

技术领域

本发明涉及图像处理领域，特别是涉及一种单幅图像去雨方法和***。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术性能的提高。

传统的去雨算法有很多，如基于偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差等方法的视频图像去雨算法。其中，单幅图像去雨算法种类很多，如通过图像分解的方法进行单幅图像去雨，通过情景感知去雨等，然而，传统的单幅图像去雨算法处理后得到的都是灰度图像，无法对彩色图像进行处理以保证图像色彩不失真，且输出图像无法打印。

发明内容

基于此，有必要针对传统的单幅去雨方法得到的均为灰度图像，无法对彩色图像进行处理的问题，提供一种单幅图像去雨方法和***，能实现对彩色图像进行去雨处理，保证图像色彩不失真，且输出图像能打印。

一种单幅图像去雨方法，包括以下步骤：

将RGB图像转换为YIQ色彩空间；

提取所述YIQ色彩空间中的表示图像亮度的Y分量；

对所述Y分量进行去雨处理；

将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

在其中一个实施例中，所述将RGB图像转换为YIQ色彩空间采用矩阵转换。

在其中一个实施例中，所述将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

在其中一个实施例中，所述将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像的步骤包括：

将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；

将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

在其中一个实施例中，所述将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right],$

所述将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255，

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}.$

$Y=\frac{Y^{\′}-K}{1-K}$

一种单幅图像去雨***，包括：

第一转换模块，用于将RGB图像转换为YIQ色彩空间；

提取模块，用于提取所述YIQ色彩空间中的表示图像亮度的Y分量；

去雨模块，用于对所述Y分量进行去雨处理；

第二转换模块，用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

在其中一个实施例中，所述将RGB图像转换为YIQ色彩空间采用矩阵转换。

在其中一个实施例中，所述将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

在其中一个实施例中，所述第二转换模块还用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

在其中一个实施例中，所述将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right],$

所述将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255，

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}.$

$Y=\frac{Y^{\′}-K}{1-K}$

上述单幅图像去雨方法和***，通过将RGB图像转换为YIQ色彩空间，然后仅对Y分量进行去雨处理，将去雨处理后的Y分量和I、Q分量结合，转换为RGB图像，实现了单幅彩色图像的去雨处理，保证图像色彩不失真，提高了单幅图像去雨算法的使用范围，且将输出图像转换为CMYK模式，可直接打印，避免了直接打印RGB图像出现失真的现象，节约成本，减少操作步骤。

附图说明

图1为一个实施例中单幅图像去雨方法的流程图；

图2为雨滴影响的示意图；

图3为一个实施例中单幅图像去雨***的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中单幅图像去雨方法的流程图。如图1所示，该RGB(Red-Green-Blue，红-绿-蓝)彩色图像处理方法，包括以下步骤：

步骤102，将RGB图像转换为YIQ色彩空间。

具体的，YIQ是NTSC(National Television Standards Committee)电视***标准。Y是提供亮度信号，I代表In-phase，色彩从橙色到青色，Q代表Quadrature-phase，色彩从紫色到黄绿色。

因被覆盖像素的亮度不仅受雨滴影响，也会受背景影响。考虑相机曝光时间为T，假设雨滴在这段时间内覆盖某一像素的时间为τ，且τ远小于相机曝光时间T。图像上该像素在曝光时间T内的雨线亮度I_br由雨滴和背景亮度共同决定，计算公式如式(1)和(2)：

$I_{\mathrm{br}}={\∫}_o^{\mathrm{\τ}}{E}_r\mathrm{dt}+{\∫}_{\mathrm{\τ}}^T{E}_b\mathrm{dt}---\left(1\right)$

I_br＝I_b+ΔI   (2)

其中，E_r是有雨滴覆盖时的瞬时雨滴亮度，E_b是无雨滴覆盖时的瞬时背景亮度。I_b是T时间内没有雨滴覆盖的背景亮度，ΔI是T时间内受雨滴影响的亮度变化量。雨线的亮度高于背景亮度主要是因为雨滴在成像的时候由于镜面反射、内反射、折射等作用汇聚了更广视场角范围内的光线，如图2所示，镜面反射内反射折射雨线亮度因红光、绿光和蓝光的频率相近，雨滴对三者的临界角近似相等，而光强的变化直接决定像素的亮度变化，再加上三者的镜面反射一样，因此雨滴引起像素的亮度变化量ΔR、ΔG、ΔB也近似相等，属于雨滴的色彩特性。

本实施例中，该将RGB图像转换为YIQ色彩空间采用矩阵转换。

具体的，该将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(3\right)$

根据式(2)可知，未被雨滴影响的像素其RGB值保持不变，而被雨滴影响的像素亮度会变化，RGB转换成YIQ后，Y代表像素的亮度，即灰度图像的灰度值，而I和Q则为：

I＝0.596(R_b+ΔR)-0.274(G_b+ΔG)-0.322(B_b+ΔB)   (4)

Q＝0.211(R_b+ΔR)-0.523(G_b+ΔG)+0.312(B_b+ΔB)   (5)

式(4)和(5)中，R_b、G_b、B_b分别是红、绿、蓝三通道未受雨滴影响的背景亮度值，由雨滴的色彩特性可知，ΔR、ΔG、ΔB近似相等，则：

I＝0.596R_b-0.274G_b-0.322B_b   (6)

Q＝0.211R_b-0.523G_b+0.312B_b   (7)

故I和Q通道的值未受到雨滴亮度变化的影响，只有Y通道受影响。

步骤104，提取该YIQ色彩空间中的表示图像亮度的Y分量。

步骤106，对该Y分量进行去雨处理。

具体的，采用单幅图像去雨算法对该Y分量进行去雨处理。单幅图像去雨算法可包括Yu-Hsiang Fu等(Fu Y H，Kang L W，Lin C W，et al.Single-frame-based rain removal via image decomposition.In:Proceeding of2011IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).Prague，Czech:IEEE Press,2011:1453-1456.)和Li-Wei Kang等(KangL W,Lin C W,Fu Y H.Automatic single-image-based rain streaks removal via imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了通过图像分解的方法进行单幅图像去雨；De-An Huang等(Huang D A,KangL W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了通过情景感知去雨；Jaina George等(George J,Bhavani S,Jaya J.Certain explorations on removal of rain streaks usingmorphological component analysis.International Journal of Engineering Research&Technology.2013,2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removalvia sparse coding.In:Proceeding of2012International Symposium on IntelligentSignal Processing and Communications Systems.New Taipei,Taiwan:IEEE,2012:151-156.)通过引导滤波和稀疏编码进行去雨。

步骤108，将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

具体的，CMYK也称为印刷色彩模式，是一种依靠反光的色彩模式。其中，CMY是3种印刷油墨名称的首字母：青色Cyan、品红色Magenta、黄色Yellow。K是源自一种只使用黑墨的印刷版Key Plate。理论上，只需要CMY三种油墨足够，三个加在一起就得到黑色，但由于工艺的限制，CMY相加的结果实际是一种暗红色。

在一个实施例中，将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像的步骤包括：将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

在一个实施例中，该将结合后的YIQ转换为RGB色彩空间采用求取矩阵 $\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]$ 的逆矩阵进行转换，得到去雨后的RGB图像，其精度高。

在一个实施例中，该将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]---\left(8\right)$

将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255   (9)

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}---.\left(10\right)$

$Y=\frac{Y^{\′}-K}{1-K}$

上述单幅图像去雨方法，通过将RGB图像转换为YIQ色彩空间，然后仅对Y分量进行去雨处理，将去雨处理后的Y分量和I、Q分量结合，转换为RGB图像，实现了单幅彩色图像的去雨处理，保证图像色彩不失真，提高了单幅图像去雨算法的使用范围，且将输出图像转换为CMYK模式，可直接打印，避免了直接打印RGB图像出现失真的现象，节约成本，减少操作步骤。

图3为一个实施例中单幅图像去雨***的结构框图。如图3所示，该单幅图像去雨***，包括第一转换模块320、提取模块340、去雨模块360和第二转换模块380。其中：

第一转换模块320用于将RGB图像转换为YIQ色彩空间。

在一个实施例中，该将RGB图像转换为YIQ色彩空间采用矩阵转换。

该将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(3\right)$

提取模块340用于提取该YIQ色彩空间中的表示图像亮度的Y分量。

去雨模块360用于对该Y分量进行去雨处理。

第二转换模块380用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

第二转换模块380还用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

在一个实施例中，该将结合后的YIQ转换为RGB色彩空间采用求取矩阵 $\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]$ 的逆矩阵进行转换。

在一个实施例中，该将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]---\left(8\right).$

将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255(9)

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}---.\left(10\right)$

$Y=\frac{Y^{\′}-K}{1-K}$

上述单幅图像去雨***，通过将RGB图像转换为YIQ色彩空间，然后仅对Y分量进行去雨处理，将去雨处理后的Y分量和I、Q分量结合，转换为RGB图像，实现了单幅彩色图像的去雨处理，保证图像色彩不失真，提高了单幅图像去雨算法的使用范围，且将输出图像转换为CMYK模式，可直接打印，避免了直接打印RGB图像出现失真的现象，节约成本，减少操作步骤。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种单幅图像去雨方法，包括以下步骤：

将RGB图像转换为YIQ色彩空间；

提取所述YIQ色彩空间中的表示图像亮度的Y分量；

对所述Y分量进行去雨处理；

将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

2.根据权利要求1所述的单幅图像去雨方法，其特征在于，所述将RGB图像转换为YIQ色彩空间采用矩阵转换。

3.根据权利要求2所述的单幅图像去雨方法，其特征在于，所述将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

4.根据权利要求1所述的单幅图像去雨方法，其特征在于，所述将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像的步骤包括：

将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；

将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

5.根据权利要求1所述的单幅图像去雨方法，其特征在于，所述将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right];$

所述将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255，

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}.$

$Y=\frac{Y^{\′}-K}{1-K}$

6.一种单幅图像去雨***，其特征在于，包括：

第一转换模块，用于将RGB图像转换为YIQ色彩空间；

提取模块，用于提取所述YIQ色彩空间中的表示图像亮度的Y分量；

去雨模块，用于对所述Y分量进行去雨处理；

第二转换模块，用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为CMYK色彩空间，得到去雨后的CMYK图像。

7.根据权利要求6所述的单幅图像去雨***，其特征在于，所述将RGB图像转换为YIQ色彩空间采用矩阵转换。

8.根据权利要求7所述的单幅图像去雨***，其特征在于，所述将RGB图像转换为YIQ色彩空间采用矩阵转换的公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

9.根据权利要求6所述的单幅图像去雨***，其特征在于，所述第二转换模块还用于将去雨后的Y分量结合I和Q分量，并将结合后的YIQ转换为RGB色彩空间；将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像。

10.根据权利要求9所述的单幅图像去雨***，其特征在于，所述将结合后的YIQ转换为RGB色彩空间的公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}1& 0.956& 0.621\\ 1& -0.272& -0.647\\ 1& -1.106& 1.703\end{array}\right]\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right],$

所述将RGB色彩空间转换为CMYK色彩空间，得到去雨后的CMYK图像的计算公式包括：

C'＝1-R/255

M'＝1-G/255，

Y'＝1-B/255

若min{C',M',Y'}＝1，则C'＝0，M'＝0，K＝1，否则：

K＝min{C',M',Y'},

$\frac{C^{\′}-K}{1-K}$

$M=\frac{M^{\′}-K}{1-K}.$

$Y=\frac{Y^{\′}-K}{1-K}$