CN110111268B - 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 - Google Patents

Abstract

本发明涉及一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置，其中方法包括：步骤S1：对原始图像去雾预处理；步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间；步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练；步骤S4：将测试集部分的Y通道作为模糊宽度学习的输入，得到Y通道的无雨图；步骤S5：将高通层去雨图和低通基础层结合得到初步的去雨效果图；步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图。与现有技术相比，本发明具有色彩还原度高等优点。

Description

基于暗通道和模糊宽度学习的单幅图像去雨方法及装置

技术领域

本发明涉及图像处理技术，尤其是涉及一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置。

背景技术

计算机视觉***被广泛应用于各个行业，包括视频监控、视觉跟踪和导航、智能交通、娱乐产业等方面。室内情况下的计算机视觉***已被普遍使用和研究，而一些室外条件，例如雨、雪、雾仍然是计算机视觉***的具有挑战性的问题。常见的不良天气根据组成颗粒和视觉特征主要分为稳态不良天气(主要指雾、霾)和动态不良天气(主要指雨、雪、沙尘暴等)。其中，稳态不良天气主要由非常小的水滴以及灰尘等颗粒组成的气溶胶***构成。由于气溶胶颗粒对大气光的吸收和散射作用，导致图像中像素强度变化相对缓慢。与稳态不良天气相比，雨水天气等动态不良天气的组成颗粒通常要大得多，并且这些颗粒在快速下落的同时其运动轨迹容易受到风等外界因素影响，从而在图像中产生模糊及雨线遮挡，导致模型的建立和场景复原变得更加复杂，造成局部区域过亮、背景图像模糊等问题。雨天图像质量的退化极大制约了视觉监控、视觉导航与目标跟踪等户外智能视觉***的功能，且雨滴颗粒状态多变，不同情形下的雨线方向和粗细均不相同。因此，研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，包括：

步骤S1：对原始图像去雾预处理；

步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间；

步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练；

步骤S4：将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入，得到Y通道的无雨图；

步骤S5：将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图，并将步骤S2中得到的低频部分作为低通基础层，将高通层去雨图和低通基础层结合得到初步的去雨效果图；

步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图。

所述步骤S1中去雾预处理后的结果为：

其中：Fr(x)为去雾预处理之后的图像，F(x)为原始图像，A为全球大气光亮，tr(x)为透射率，T0为设置为0.1的一个阈值。

所述步骤S6具体包括：

步骤S61：利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分；

步骤S62：将提取出的细节部分透明度调至设定比例；

步骤S63：将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。

所述设定比例为30％，调整透明度后的细节部分具体为：

I_deT＝(I_de×Alpha+127)/255

其中：I_deT为调整透明度后的细节部分，Alpha为透明度，I_de为原始细节部分。

所述步骤S63中的叠加过程的数学表达式为：

其中：B为最终的去雨效果图，I_pre为去雨细节层与基础层相结合得到的初步去雨效果图。

一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：对原始图像去雾预处理；

步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间；

步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练；

步骤S4：将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入，得到Y通道的无雨图；

步骤S5：将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图，并将步骤S2中得到的低频部分作为低通基础层，将高通层去雨图和低通基础层结合得到初步的去雨效果图；

步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图。

与现有技术相比，本发明具有以下有益效果：

1)应用暗通道去雾的原理将图片中因雨水产生的雾气处理干净，这样就会使得隐藏在雾气中雨线突显出来，从而提升后续的雨水去除效果。

2)把经过去雾操作后的图像经过高通滤波和低通滤波操作，分别得到细节层和基础层，仅将高频部分经过颜色空间转换后的Y通道进行模糊宽度学习进行去雨处理，一来将三通道的彩色图像训练问题转换为单通道细节层训练问题，极大地减少了网络训练时间，从而提升了网络效率；二来保留了更多的原始信息，使得色彩还原度得到了强化。

3)用引导滤波器对原始去雾图像提取图像细节，最后将细节图以百分之三十的透明度作为混合色叠加至作为基色的初步去雨效果图上，即得到最终经过增强的去雨图。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为本发明方法生成效果图与其它算法生成效果图的对比示例图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，该方法通过计算机程序的形式通过计算机***实现，该计算机***包括存储器、处理器，以及存储于存储器中并由处理器执行的程序，如图1所示，处理器执行程序时实现以下步骤：

步骤S1：对原始图像去雾预处理，

具体的，采用暗通道优先去雾的算法，去除图像中远处的雾状雨景。对于任意

的输入的无雾图像F_D，其暗通道先验有如下定义：

其中：Fr_D表示彩色图像RGB的每一个通道，Ω(x)代表以像素x为中心的窗口。接着我们可以结合以下雾图模型求解去雾后图像：

F(x)＝Fr(x)tr(x)+A(1-tr(x))

其中：F(x)是输入的待去雾图像，Fr(x)是待还原的无雾图像，A是全球大气光亮，tr(x)是透射率。最后经过一系列公式变形后，我们的无雾求解模型为：

其中：Fr(x)为去雾预处理之后的图像，F(x)为原始图像，A为全球大气光亮，tr(x)为透射率，T0为设置为0.1的一个阈值。

步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间，具体的，本申请将去雾后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间。最后取高频部分在YCbCr颜色空间中的Y通道作为模糊宽度学习的输入。RGB颜色空间转换的具体数学表达式为；

Y＝0.257*R+0.564*G+0.098*B+16

Cb＝-0.148*R-0.291*G+0.439*B+128

Cr＝0.439*R-0.368*G-0.071*B+128

其中：其中R、G、B分别为RGB颜色空间三种通道的数值。

步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练，即输入数据是：X＝(x₁,x₂,...,x_N)^T∈R^N×M，本申请使用一阶TS模型，本申请采用一阶TS模糊模型来将输入：

x_s＝(x_s1，x_s2，...，s_xm)

将其映射到第i个模糊子***中，并且这个模糊子***有kⁱ个模糊规则。把它记为：

其中：

是在[0,1]之间随机生成的系数，k＝1，2，...，kⁱ是第i个模糊***的模糊规则。

对于增强层的输入，第i个模糊子***的第s个训练样本的中间输出值Zsi可表示为:

其中：

为模糊规则系数

p模糊子***映射到增强层的中间输出的Zp可以表示为：

其中：j为模糊子***的个数。接着对Z^j进行非线性变换，即得到增强层的输出，表示为：

最终，整个网络的输出O，即Y通道无雨图为：

O＝F^p+H^gW_e

其中：F^p表示第p个模糊子***，W为系数矩阵，通过伪逆计算得到

步骤S5：将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图，并将步骤S2中得到的低频部分作为低通基础层，将高通层去雨图和低通基础层结合得到初步的去雨效果图；

步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图，具体包括：

步骤S61：利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分；

步骤S62：将提取出的细节部分透明度调至设定比例，优选的，该设定比例为30％，调整透明度后的细节部分具体为：

I_deT＝(I_de×Alpha+127)/255

其中：I_deT为调整透明度后的细节部分，Alpha为透明度，I_de为原始细节部分。

步骤S63：将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。

步骤S63中的叠加过程的数学表达式为：

其中：B为最终的去雨效果图，I_pre为去雨细节层与基础层相结合得到的初步去雨效果图。

由于很多深度学***滑部分，本文采用细节混合叠加的方法对网络结果进行增强，如图2所示，在抑制雨线的情况下增强了图像细节。因此在有较高的准确率的同时，训练速度大幅度提升，具体如表1所示：

Claims (8)

1.一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，其特征在于，包括：

步骤S1：对原始图像去雾预处理，

步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间，

步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练，

步骤S4：将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入，得到Y通道的无雨图，

步骤S5：将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图，并将步骤S2中得到的低频部分作为低通基础层，将高通层去雨图和低通基础层结合得到初步的去雨效果图，

步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图；

所述步骤S6具体包括：

步骤S61：利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分，

步骤S62：将提取出的细节部分透明度调至设定比例，

步骤S63：将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。

2.根据权利要求1所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，其特征在于，所述步骤S1中去雾预处理后的结果为：

其中：Fr(x)为去雾预处理之后的图像，F(x)为原始图像，A为全球大气光亮，tr(x)为透射率，T0为设置为0.1的一个阈值。

3.根据权利要求1所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，其特征在于，所述设定比例为30％，调整透明度后的细节部分具体为：

I_deT＝(I_de×Alpha+127)/255

其中：I_deT为调整透明度后的细节部分，Alpha为透明度，I_de为原始细节部分。

4.根据权利要求3所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法，其特征在于，所述步骤S63中的叠加过程的数学表达式为：

其中：B为最终的去雨效果图，I_pre为去雨细节层与基础层相结合得到的初步去雨效果图。

5.一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置，其特征在于，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：对原始图像去雾预处理，

步骤S2：将去雾预处理后图像进行高低频分离，取高频部分进行颜色空间的转换，从RGB颜色空间转换为YCbCr颜色空间，

步骤S3：将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练，

步骤S4：将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入，得到Y通道的无雨图，

步骤S5：将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图，并将步骤S2中得到的低频部分作为低通基础层，将高通层去雨图和低通基础层结合得到初步的去雨效果图，

步骤S6：基于去雾预处理后图像，对初步的去雨效果图进行优化处理，得到最终的去雨效果图；

所述步骤S6具体包括：

步骤S61：利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分，

步骤S62：将提取出的细节部分透明度调至设定比例，

步骤S63：将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。

6.根据权利要求5所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置，其特征在于，所述步骤S1中去雾预处理后的结果为：

其中：Fr(x)为去雾预处理之后的图像，F(x)为原始图像，A为全球大气光亮，tr(x)为透射率，T0为设置为0.1的一个阈值。

7.根据权利要求5所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置，其特征在于，所述设定比例为30％，调整透明度后的细节部分具体为：

I_deT＝(I_de×Alpha+127)/255

其中：I_deT为调整透明度后的细节部分，Alpha为透明度，I_de为原始细节部分。

8.根据权利要求7所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置，其特征在于，所述步骤S63中的叠加过程的数学表达式为：

其中：B为最终的去雨效果图，I_pre为去雨细节层与基础层相结合得到的初步去雨效果图。

Images