CN110111268B - 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 - Google Patents
基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 Download PDFInfo
- Publication number
- CN110111268B CN110111268B CN201910314127.3A CN201910314127A CN110111268B CN 110111268 B CN110111268 B CN 110111268B CN 201910314127 A CN201910314127 A CN 201910314127A CN 110111268 B CN110111268 B CN 110111268B
- Authority
- CN
- China
- Prior art keywords
- image
- rain
- channel
- defogging
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000002834 transmittance Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 description 7
- 239000000443 aerosol Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置,其中方法包括:步骤S1:对原始图像去雾预处理;步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间;步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练;步骤S4:将测试集部分的Y通道作为模糊宽度学习的输入,得到Y通道的无雨图;步骤S5:将高通层去雨图和低通基础层结合得到初步的去雨效果图;步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图。与现有技术相比,本发明具有色彩还原度高等优点。
Description
技术领域
本发明涉及图像处理技术,尤其是涉及一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置。
背景技术
计算机视觉***被广泛应用于各个行业,包括视频监控、视觉跟踪和导航、智能交通、娱乐产业等方面。室内情况下的计算机视觉***已被普遍使用和研究,而一些室外条件,例如雨、雪、雾仍然是计算机视觉***的具有挑战性的问题。常见的不良天气根据组成颗粒和视觉特征主要分为稳态不良天气(主要指雾、霾)和动态不良天气(主要指雨、雪、沙尘暴等)。其中,稳态不良天气主要由非常小的水滴以及灰尘等颗粒组成的气溶胶***构成。由于气溶胶颗粒对大气光的吸收和散射作用,导致图像中像素强度变化相对缓慢。与稳态不良天气相比,雨水天气等动态不良天气的组成颗粒通常要大得多,并且这些颗粒在快速下落的同时其运动轨迹容易受到风等外界因素影响,从而在图像中产生模糊及雨线遮挡,导致模型的建立和场景复原变得更加复杂,造成局部区域过亮、背景图像模糊等问题。雨天图像质量的退化极大制约了视觉监控、视觉导航与目标跟踪等户外智能视觉***的功能,且雨滴颗粒状态多变,不同情形下的雨线方向和粗细均不相同。因此,研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于暗通道和模糊宽度学习的单幅图像去雨方法及装置。
本发明的目的可以通过以下技术方案来实现:
一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法,包括:
步骤S1:对原始图像去雾预处理;
步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间;
步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练;
步骤S4:将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入,得到Y通道的无雨图;
步骤S5:将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图,并将步骤S2中得到的低频部分作为低通基础层,将高通层去雨图和低通基础层结合得到初步的去雨效果图;
步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图。
所述步骤S1中去雾预处理后的结果为:
其中:Fr(x)为去雾预处理之后的图像,F(x)为原始图像,A为全球大气光亮,tr(x)为透射率,T0为设置为0.1的一个阈值。
所述步骤S6具体包括:
步骤S61:利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分;
步骤S62:将提取出的细节部分透明度调至设定比例;
步骤S63:将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。
所述设定比例为30%,调整透明度后的细节部分具体为:
IdeT=(Ide×Alpha+127)/255
其中:IdeT为调整透明度后的细节部分,Alpha为透明度,Ide为原始细节部分。
所述步骤S63中的叠加过程的数学表达式为:
其中:B为最终的去雨效果图,Ipre为去雨细节层与基础层相结合得到的初步去雨效果图。
一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置,包括存储器、处理器,以及存储于存储器中并由所述处理器执行的程序,所述处理器执行所述程序时实现以下步骤:
步骤S1:对原始图像去雾预处理;
步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间;
步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练;
步骤S4:将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入,得到Y通道的无雨图;
步骤S5:将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图,并将步骤S2中得到的低频部分作为低通基础层,将高通层去雨图和低通基础层结合得到初步的去雨效果图;
步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图。
与现有技术相比,本发明具有以下有益效果:
1)应用暗通道去雾的原理将图片中因雨水产生的雾气处理干净,这样就会使得隐藏在雾气中雨线突显出来,从而提升后续的雨水去除效果。
2)把经过去雾操作后的图像经过高通滤波和低通滤波操作,分别得到细节层和基础层,仅将高频部分经过颜色空间转换后的Y通道进行模糊宽度学习进行去雨处理,一来将三通道的彩色图像训练问题转换为单通道细节层训练问题,极大地减少了网络训练时间,从而提升了网络效率;二来保留了更多的原始信息,使得色彩还原度得到了强化。
3)用引导滤波器对原始去雾图像提取图像细节,最后将细节图以百分之三十的透明度作为混合色叠加至作为基色的初步去雨效果图上,即得到最终经过增强的去雨图。
附图说明
图1为本发明方法的主要步骤流程示意图;
图2为本发明方法生成效果图与其它算法生成效果图的对比示例图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法,该方法通过计算机程序的形式通过计算机***实现,该计算机***包括存储器、处理器,以及存储于存储器中并由处理器执行的程序,如图1所示,处理器执行程序时实现以下步骤:
步骤S1:对原始图像去雾预处理,
具体的,采用暗通道优先去雾的算法,去除图像中远处的雾状雨景。对于任意
的输入的无雾图像FD,其暗通道先验有如下定义:
其中:FrD表示彩色图像RGB的每一个通道,Ω(x)代表以像素x为中心的窗口。接着我们可以结合以下雾图模型求解去雾后图像:
F(x)=Fr(x)tr(x)+A(1-tr(x))
其中:F(x)是输入的待去雾图像,Fr(x)是待还原的无雾图像,A是全球大气光亮,tr(x)是透射率。最后经过一系列公式变形后,我们的无雾求解模型为:
其中:Fr(x)为去雾预处理之后的图像,F(x)为原始图像,A为全球大气光亮,tr(x)为透射率,T0为设置为0.1的一个阈值。
步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间,具体的,本申请将去雾后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间。最后取高频部分在YCbCr颜色空间中的Y通道作为模糊宽度学习的输入。RGB颜色空间转换的具体数学表达式为;
Y=0.257*R+0.564*G+0.098*B+16
Cb=-0.148*R-0.291*G+0.439*B+128
Cr=0.439*R-0.368*G-0.071*B+128
其中:其中R、G、B分别为RGB颜色空间三种通道的数值。
步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练,即输入数据是:X=(x1,x2,...,xN)T∈RN×M,本申请使用一阶TS模型,本申请采用一阶TS模糊模型来将输入:
xs=(xs1,xs2,...,sxm)
将其映射到第i个模糊子***中,并且这个模糊子***有ki个模糊规则。把它记为:
对于增强层的输入,第i个模糊子***的第s个训练样本的中间输出值Zsi可表示为:
p模糊子***映射到增强层的中间输出的Zp可以表示为:
其中:j为模糊子***的个数。接着对Zj进行非线性变换,即得到增强层的输出,表示为:
最终,整个网络的输出O,即Y通道无雨图为:
O=Fp+HgWe
其中:Fp表示第p个模糊子***,W为系数矩阵,通过伪逆计算得到
步骤S5:将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图,并将步骤S2中得到的低频部分作为低通基础层,将高通层去雨图和低通基础层结合得到初步的去雨效果图;
步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图,具体包括:
步骤S61:利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分;
步骤S62:将提取出的细节部分透明度调至设定比例,优选的,该设定比例为30%,调整透明度后的细节部分具体为:
IdeT=(Ide×Alpha+127)/255
其中:IdeT为调整透明度后的细节部分,Alpha为透明度,Ide为原始细节部分。
步骤S63:将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。
步骤S63中的叠加过程的数学表达式为:
其中:B为最终的去雨效果图,Ipre为去雨细节层与基础层相结合得到的初步去雨效果图。
由于很多深度学***滑部分,本文采用细节混合叠加的方法对网络结果进行增强,如图2所示,在抑制雨线的情况下增强了图像细节。因此在有较高的准确率的同时,训练速度大幅度提升,具体如表1所示:
Claims (8)
1.一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法,其特征在于,包括:
步骤S1:对原始图像去雾预处理,
步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间,
步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练,
步骤S4:将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入,得到Y通道的无雨图,
步骤S5:将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图,并将步骤S2中得到的低频部分作为低通基础层,将高通层去雨图和低通基础层结合得到初步的去雨效果图,
步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图;
所述步骤S6具体包括:
步骤S61:利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分,
步骤S62:将提取出的细节部分透明度调至设定比例,
步骤S63:将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。
3.根据权利要求1所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理方法,其特征在于,所述设定比例为30%,调整透明度后的细节部分具体为:
IdeT=(Ide×Alpha+127)/255
其中:IdeT为调整透明度后的细节部分,Alpha为透明度,Ide为原始细节部分。
5.一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置,其特征在于,包括存储器、处理器,以及存储于存储器中并由所述处理器执行的程序,所述处理器执行所述程序时实现以下步骤:
步骤S1:对原始图像去雾预处理,
步骤S2:将去雾预处理后图像进行高低频分离,取高频部分进行颜色空间的转换,从RGB颜色空间转换为YCbCr颜色空间,
步骤S3:将训练集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入进行模型训练,
步骤S4:将测试集部分的图像对应的YCbCr颜色空间的Y通道作为模糊宽度学习的输入,得到Y通道的无雨图,
步骤S5:将Y通道的无雨图与Cb通道Cr通道合成为高通层去雨图,并将步骤S2中得到的低频部分作为低通基础层,将高通层去雨图和低通基础层结合得到初步的去雨效果图,
步骤S6:基于去雾预处理后图像,对初步的去雨效果图进行优化处理,得到最终的去雨效果图;
所述步骤S6具体包括:
步骤S61:利用高斯高通滤波器从去雾预处理后图像中提取出图像细节部分,
步骤S62:将提取出的细节部分透明度调至设定比例,
步骤S63:将调整透明度之后的细节部分作为混合色叠加至作为基色的初步的去雨效果图上得到最终的去雨效果图。
7.根据权利要求5所述的一种基于暗通道和模糊宽度学习的单幅图像去雨处理装置,其特征在于,所述设定比例为30%,调整透明度后的细节部分具体为:
IdeT=(Ide×Alpha+127)/255
其中:IdeT为调整透明度后的细节部分,Alpha为透明度,Ide为原始细节部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910314127.3A CN110111268B (zh) | 2019-04-18 | 2019-04-18 | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910314127.3A CN110111268B (zh) | 2019-04-18 | 2019-04-18 | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110111268A CN110111268A (zh) | 2019-08-09 |
CN110111268B true CN110111268B (zh) | 2021-08-03 |
Family
ID=67485815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910314127.3A Active CN110111268B (zh) | 2019-04-18 | 2019-04-18 | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110111268B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110544217B (zh) * | 2019-08-30 | 2021-07-20 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN110928187B (zh) * | 2019-12-03 | 2021-02-26 | 北京工业大学 | 一种基于模糊宽度自适应学习模型的污水处理过程故障监测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184761A (zh) * | 2015-08-28 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
CN105931208A (zh) * | 2015-08-22 | 2016-09-07 | 首都师范大学 | 基于物理模型的低照度图像增强算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI480810B (zh) * | 2012-03-08 | 2015-04-11 | Ind Tech Res Inst | 基於單一影像的影像內雨紋去除方法與裝置 |
CN105046653B (zh) * | 2015-06-12 | 2018-04-17 | 中国科学院深圳先进技术研究院 | 一种视频雨滴去除方法及*** |
CN107909556B (zh) * | 2017-11-27 | 2021-11-23 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
CN109064419A (zh) * | 2018-07-12 | 2018-12-21 | 四川大学 | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 |
-
2019
- 2019-04-18 CN CN201910314127.3A patent/CN110111268B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931208A (zh) * | 2015-08-22 | 2016-09-07 | 首都师范大学 | 基于物理模型的低照度图像增强算法 |
CN105184761A (zh) * | 2015-08-28 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110111268A (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110148095B (zh) | 一种水下图像增强方法及增强装置 | |
CN102750674B (zh) | 基于自适应容差的视频图像去雾方法 | |
CN105354806B (zh) | 基于暗通道的快速去雾方法及*** | |
CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
CN106157267A (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
CN106530257A (zh) | 一种基于暗通道先验模型的遥感图像去雾方法 | |
CN111292258A (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
CN110148093B (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
CN110111268B (zh) | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 | |
CN105631823A (zh) | 基于阈值分割优化的暗原色天空区域去雾方法 | |
CN109523474A (zh) | 一种基于雾天退化模型的低照度图像增强方法 | |
CN108717686A (zh) | 一种基于暗通道先验的实时视频去雾方法 | |
CN105809643A (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
CN107730472A (zh) | 一种基于暗原色先验的图像去雾优化算法 | |
CN106251296A (zh) | 一种图像去雾方法和*** | |
CN114693548B (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
CN115063434A (zh) | 一种基于特征去噪的低弱光图像实例分割方法及*** | |
CN112419163A (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
CN115249211A (zh) | 一种基于水下非均匀入射光模型的图像复原方法 | |
CN111161196A (zh) | 一种输电线路航拍图像自适应增强方法 | |
CN109360169B (zh) | 一种单幅图像去雨除雾的信号处理方法 | |
Xu et al. | Global image dehazing via frequency perception filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |