CN114565539B - 一种基于线上知识蒸馏的图像去雾方法 - Google Patents
一种基于线上知识蒸馏的图像去雾方法 Download PDFInfo
- Publication number
- CN114565539B CN114565539B CN202210264692.5A CN202210264692A CN114565539B CN 114565539 B CN114565539 B CN 114565539B CN 202210264692 A CN202210264692 A CN 202210264692A CN 114565539 B CN114565539 B CN 114565539B
- Authority
- CN
- China
- Prior art keywords
- image
- computer
- layer
- feature
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 96
- 230000002776 aggregation Effects 0.000 claims abstract description 45
- 238000004220 aggregation Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims description 127
- 230000006870 function Effects 0.000 claims description 50
- 238000010586 diagram Methods 0.000 claims description 45
- 230000004927 fusion Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 241000282326 Felis catus Species 0.000 claims description 12
- 239000003623 enhancer Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004821 distillation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 239000000284 extract Substances 0.000 abstract 1
- 238000013461 design Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 102100022778 POC1 centriolar protein homolog A Human genes 0.000 description 1
- 101710125073 POC1 centriolar protein homolog A Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于线上知识蒸馏的图像去雾方法,包括步骤:一、训练集图像的获取;二、图像去雾网络教师模型的建立;三、有雾训练图像的特征提取;四、总损失函数的建立;五、有雾训练图像对图像去雾网络教师模型的训练;六、利用训练好的图像去雾网络教师模型对单幅图像去雾。本发明通过主体网络模型进行特征提取,通过学生分支网络生成两个去雾图像,并通过特征聚合网络模型进行特征聚合,然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,提高图像去雾效果,且减少网络参数。
Description
技术领域
本发明属于图像去雾处理技术领域,具体涉及一种基于线上知识蒸馏的图像去雾方法。
背景技术
随着计算机技术的发展,图像已经成为当前获取信息的主要途径之一。目标检测、语义分割等高级计算机视觉任务也被研究者广泛关注。然而,摄像机在成像过程中,会受到大气中雾霾、沙尘、雨雪等恶劣天气的影响,特别是在雾霾条件下获取的图像亮度低,对比度下降,使得图像质量降低,从而影响其在目标检测、语义分割等高级计算机视觉任务中的应用,因此,开展图像去雾技术研究具有重大意义的。图像去雾就是给定一张有雾图像,对其进行去雾处理得到相应的无雾图像。
目前图像去雾方法包括基于暗通道统计先验的方法、基于颜色先验的方法,这类方法取得了一定的效果,但是由于人为进行统计制定先验信息,并不适用于所有有雾条件,所以方法的泛化能力不好,对天空等图像较亮区域产生偏差,且会造成去雾后的图像色彩发生偏差。随着神经网络对透射率和大气光进行估计,然后使用大气散射模型得到无雾图像。这类方法不依赖先验信息,依靠神经网络进行训练,去雾效果有了一定的改进,但是由于采用大气散射模型进行去雾,而大气散射模型是一个理想方程。因此这类方法仍不能完全地进行去雾。考虑到大气散射模型对去雾结果的影响,开始直接使用端到端的网络来进行去雾,给定的有雾图像通过网络学习直接得到相应的无雾图像,对图像的去雾效果提升,但同时也带来了网络参数的增加,使得网络的计算更加复杂。最近,知识蒸馏经常被应用来进行模型压缩,但是知识蒸馏在目标检测等高级计算机视觉任务中应用较多,而在图像去雾中应用较少。
因此,现如今缺少一种结构简单,设计合理的基于线上知识蒸馏的图像去雾方法,通过主体网络模型进行特征提取,通过学生分支网络生成两个去雾图像,并通过特征聚合网络模型进行特征聚合,然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,提高图像去雾效果,且减少网络参数。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于线上知识蒸馏的图像去雾方法,其方法步骤简单,设计合理,通过主体网络模型进行特征提取,通过学生分支网络生成两个去雾图像,并通过特征聚合网络模型进行特征聚合,然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,提高图像去雾效果,且减少网络参数。
为解决上述技术问题,本发明采用的技术方案是:一种基于线上知识蒸馏的图像去雾方法,其特征在于,该方法包括以下步骤:
步骤一、训练集图像的获取:
从雾天图像数据库RESIDE中选择训练集;其中,训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像,所述有雾训练图像和所述无雾训练图像的数量均相同;
步骤二、图像去雾网络教师模型的建立:
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型,具体过程如下:
步骤201、采用计算机建立预处理模型;其中,所述预处理模型包括第一卷积层和第二卷积层;
步骤202、采用计算机建立主体网络模型;其中,所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型,所述第一特征提取网络模型包括6层基于PA和CA的RDB模块,所述第二特征提取网络模型包括4层基于PA和CA的RDB模块,所述第三特征提取网络模型包括2层基于PA和CA的RDB模块;
步骤203、采用计算机建立学生分支网络模型;其中,所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型,所述第一学生分支网络模型包括第三卷积层和第四卷积层;
所述第二学生分支网络模型包括第五卷积层和第六卷积层;
所述第三学生分支网络模型为大气光估计网络模型;
步骤204、采用计算机建立特征聚合网络模型;其中,所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块,所述第一特征提取模型包括第七卷积层和第八卷积层;
所述第二特征提取模型包括第九卷积层和第十卷积层;
所述第三特征提取模型包括第十一卷积层和第十二卷积层;
步骤三、有雾训练图像的特征提取:
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out;
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取,具体过程如下:
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取,得到第一无雾图像J;
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取,得到透射图t;
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取,得到大气光特征图A;
步骤3024、采用计算机利用大气散射模型,将有雾训练图像I、透射图t和大气光特征图A输入,得到第二无雾图像Jmod;
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接,得到拼接后图像;
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取,得到聚合特征图;
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取,得到三个特征图αJ,αJmod和αI;
步骤四、总损失函数的建立:
步骤401、采用计算机根据Lrec=(gt,outEFAB)L1-SSIM(gt,outEFAB),得到重构损失函数Lrec;其中,gt表示有雾训练图像I对应的无雾训练图像,(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离,SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失;
步骤402、采用计算机根据得到感知损失函数Lper;其中,N=5,且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图,Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu i_1层输出的特征图,1≤i≤5;Ci,Hi和Wi分别代表特征图的通道数、高度和宽度;(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离;
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取,得到中间特征融合图out′;
采用计算机根据Ldiss=(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1,得到蒸馏损失函数Ldiss;其中,(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离,(outEFAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离,(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离;
步骤404、采用计算机根据Lloss=Lrec+Lper+λLdiss,得到总损失函数Lloss;其中,λ为常数,且λ=0.5;
步骤五、有雾训练图像对图像去雾网络教师模型的训练:
步骤501、计算机采用Adam优化算法,利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化,直至训练集全部训练,完成一次迭代训练;
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数,得到训练好的图像去雾网络教师模型;
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾:
步骤601、采用摄像机对待监控区域拍摄并发送至计算机,得到有雾图像监测视频;
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像;
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理,得到无雾监测图像。
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层,所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层,Conv1卷积层和Conv2卷积层中卷积核的数量为32,卷积核的大小为3×3,滑动步长为1,padding为1;
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层,3个并列的卷积层分别为卷积层1、卷积层2和卷积层3,卷积层1中卷积核大小为1×1,padding为0;卷积层2中卷积核大小为1×1,padding为0;卷积层3中卷积核大小为3×3,padding为1;
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层,所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层;Conv3卷积层中卷积核的数量为32,Conv4卷积层中卷积核的数量为3,Conv3卷积层和Conv4卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;所述第五卷积层为Conv5卷积层,第六卷积层为Conv6卷积层,Conv5卷积层中卷积核的数量为32,Conv6卷积层中卷积核的数量为1,Conv5卷积层和Conv6卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;
步骤204中所述第七卷积层为Conv7卷积层,第八卷积层为Conv8卷积层,所述第九卷积层为Conv9卷积层,第十卷积层为Conv10卷积层,所述第十一卷积层为Conv11卷积层,第十二卷积层为Conv12卷积层;Conv7卷积层至Conv12卷积层中卷积核的数量均32,Conv7卷积层中卷积核大小为3×3,滑动步长为1,padding为1;Conv8卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv9卷积层中卷积核大小为5×5,滑动步长为1,padding为2;Conv10卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv11卷积层中卷积核大小为7×7,滑动步长为1,padding为3;Conv12卷积层中卷积核大小为1×1,滑动步长为1,padding为0。
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out,具体过程如下:
步骤3011、采用计算机将有雾训练图像I输入预处理模型中,并依次经过第一卷积层和第二卷积层进行特征提取,得到初特征图Fpre;其中,初特征图Fpre的大小为256×256,初特征图Fpre的通道数为32;
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取,得到第一深层特征图;
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样,得到第一下采样特征图;
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取,得到第二深层特征图;
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样,得到第二下采样特征图;
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取,得到第三深层特征图;
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样,得到第一上采样特征图;
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接,得到第一拼接后特征图;
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样,得到第二上采样特征图;
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接,得到特征融合图out。
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取,得到聚合特征图,具体过程如下:
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取,得到第一特征图;
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取,得到第二特征图;
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取,得到第三特征图;
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取,得到第四特征图;
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接,得到聚合特征图。
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中,经过任一个基于PA和CA的RDB模块的特征提取过程均相同,具体过程如下:
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图;
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理,得到特征图Fin1、特征图Fin2和特征图Fin3,并将特征图Fin2输入RDB模块得到特征图FRDB,特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs;
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤3024中采用计算机利用大气散射模型,将有雾训练图像I经过透射图t和大气光特征图A输入,得到第二无雾图像Jmod,具体过程下:
步骤30241、采用计算机根据大气光特征图A,得到大气光特征图A中第i′个像素位置的大气光值A(i′);其中,i′为正整数;
采用计算机根据透射图t,得到透射图t中第i′个像素位置的透射率t(i′);
步骤30242、采用计算机根据公式得到第i′个像素位置的像素值Jmod(i′),通过第i′个像素位置的像素值Jmod(i′)得到第二无雾图像Jmod;其中,I(i′)表示有雾训练图像I中第i′个像素位置的像素值。
上述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤305中门控网络模块包括3个并列的卷积核,且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3,卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3,滑动步长为1,padding为1。
本发明与现有技术相比具有以下优点:
1、本发明方法步骤简单,设计合理,首先是训练集图像的获取;其次是图像去雾网络教师模型的建立,接着是有雾训练图像的特征提取,之后是总损失函数的建立,然后是有雾训练图像对图像去雾网络教师模型的训练,最后利用训练好的图像去雾网络教师模型对单幅图像去雾,提高图像去雾效果,且减少网络参数。
2、本发明图像去雾网络教师模型中主体网络模型采用基于PA和CA的RDB模块进行多尺度特征提取,生成端到端的去雾图像和利用大气散射模型生成的去雾图像,利用了神经网络的优点,又具有较强的泛化能力。
3、本发明图像去雾网络教师模型中特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块,通过第一特征提取模型、第二特征提取模型、第三特征提取模型等的平行卷积和增强块进行特征聚合,使聚合的细节特征更加丰富。
4、本发明利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,这样基于线上知识蒸馏进行去雾,大大降低了模型参数和网络复杂性。
综上所述,本发明方法步骤简单,设计合理,通过主体网络模型进行特征提取,通过学生分支网络生成两个去雾图像,并通过特征聚合网络模型进行特征聚合,然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,提高图像去雾效果,且减少网络参数。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明图像去雾网络教师模型的结构示意图。
图3为本发明特征聚合网络模型的结构示意图。
图4为本发明一个基于PA和CA的RDB模块的结构示意图。
具体实施方式
如图1至图4所示,本发明的一种基于线上知识蒸馏的图像去雾方法,包括以下步骤:
步骤一、训练集图像的获取:
从雾天图像数据库RESIDE中选择训练集;其中,训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像,所述有雾训练图像和所述无雾训练图像的数量均相同;
步骤二、图像去雾网络教师模型的建立:
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型,具体过程如下:
步骤201、采用计算机建立预处理模型;其中,所述预处理模型包括第一卷积层和第二卷积层;
步骤202、采用计算机建立主体网络模型;其中,所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型,所述第一特征提取网络模型包括6层基于PA和CA的RDB模块,所述第二特征提取网络模型包括4层基于PA和CA的RDB模块,所述第三特征提取网络模型包括2层基于PA和CA的RDB模块;
步骤203、采用计算机建立学生分支网络模型;其中,所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型,所述第一学生分支网络模型包括第三卷积层和第四卷积层;
所述第二学生分支网络模型包括第五卷积层和第六卷积层;
所述第三学生分支网络模型为大气光估计网络模型;
步骤204、采用计算机建立特征聚合网络模型;其中,所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块,所述第一特征提取模型包括第七卷积层和第八卷积层;
所述第二特征提取模型包括第九卷积层和第十卷积层;
所述第三特征提取模型包括第十一卷积层和第十二卷积层;
步骤三、有雾训练图像的特征提取:
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out;
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取,具体过程如下:
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取,得到第一无雾图像J;
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取,得到透射图t;
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取,得到大气光特征图A;
步骤3024、采用计算机利用大气散射模型,将有雾训练图像I、透射图t和大气光特征图A输入,得到第二无雾图像Jmod;
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接,得到拼接后图像;
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取,得到聚合特征图;
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取,得到三个特征图αJ,αJmod和αI;
步骤四、总损失函数的建立:
步骤401、采用计算机根据Lrec=(gt,outEFAB)L1-SSIM(gt,outEFAB),得到重构损失函数Lrec;其中,gt表示有雾训练图像I对应的无雾训练图像,(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离,SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失;
步骤402、采用计算机根据得到感知损失函数Lper;其中,N=5,且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图,Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu i_1层输出的特征图,1≤i≤5;Ci,Hi和Wi分别代表特征图的通道数、高度和宽度;(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离;
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取,得到中间特征融合图out′;
采用计算机根据Ldiss=(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1,得到蒸馏损失函数Ldiss;其中,(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离,(outEFAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离,(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离;
步骤404、采用计算机根据Lloss=Lrec+Lper+λLdiss,得到总损失函数Lloss;其中,λ为常数,且λ=0.5;
步骤五、有雾训练图像对图像去雾网络教师模型的训练:
步骤501、计算机采用Adam优化算法,利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化,直至训练集全部训练,完成一次迭代训练;
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数,得到训练好的图像去雾网络教师模型;
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾:
步骤601、采用摄像机对待监控区域拍摄并发送至计算机,得到有雾图像监测视频;
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像;
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理,得到无雾监测图像。
本实施例中,步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层,所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层,Conv1卷积层和Conv2卷积层中卷积核的数量为32,卷积核的大小为3×3,滑动步长为1,padding为1;
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层,3个并列的卷积层分别为卷积层1、卷积层2和卷积层3,卷积层1中卷积核大小为1×1,padding为0;卷积层2中卷积核大小为1×1,padding为0;卷积层3中卷积核大小为3×3,padding为1;
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层,所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层;Conv3卷积层中卷积核的数量为32,Conv4卷积层中卷积核的数量为3,Conv3卷积层和Conv4卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;所述第五卷积层为Conv5卷积层,第六卷积层为Conv6卷积层,Conv5卷积层中卷积核的数量为32,Conv6卷积层中卷积核的数量为1,Conv5卷积层和Conv6卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;
步骤204中所述第七卷积层为Conv7卷积层,第八卷积层为Conv8卷积层,所述第九卷积层为Conv9卷积层,第十卷积层为Conv10卷积层,所述第十一卷积层为Conv11卷积层,第十二卷积层为Conv12卷积层;Conv7卷积层至Conv12卷积层中卷积核的数量均32,Conv7卷积层中卷积核大小为3×3,滑动步长为1,padding为1;Conv8卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv9卷积层中卷积核大小为5×5,滑动步长为1,padding为2;Conv10卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv11卷积层中卷积核大小为7×7,滑动步长为1,padding为3;Conv12卷积层中卷积核大小为1×1,滑动步长为1,padding为0。
本实施例中,步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out,具体过程如下:
步骤3011、采用计算机将有雾训练图像I输入预处理模型中,并依次经过第一卷积层和第二卷积层进行特征提取,得到初特征图Fpre;其中,初特征图Fpre的大小为256×256,初特征图Fpre的通道数为32;
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取,得到第一深层特征图;
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样,得到第一下采样特征图;
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取,得到第二深层特征图;
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样,得到第二下采样特征图;
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取,得到第三深层特征图;
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样,得到第一上采样特征图;
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接,得到第一拼接后特征图;
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样,得到第二上采样特征图;
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接,得到特征融合图out。
本实施例中,步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取,得到聚合特征图,具体过程如下:
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取,得到第一特征图;
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取,得到第二特征图;
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取,得到第三特征图;
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取,得到第四特征图;
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接,得到聚合特征图。
本实施例中,步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中,经过任一个基于PA和CA的RDB模块的特征提取过程均相同,具体过程如下:
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图;
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理,得到特征图Fin1、特征图Fin2和特征图Fin3,并将特征图Fin2输入RDB模块得到特征图FRDB,特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs;
本实施例中,步骤3024中采用计算机利用大气散射模型,将有雾训练图像I经过透射图t和大气光特征图A输入,得到第二无雾图像Jmod,具体过程下:
步骤30241、采用计算机根据大气光特征图A,得到大气光特征图A中第i′个像素位置的大气光值A(i′);其中,i′为正整数;
采用计算机根据透射图t,得到透射图t中第i′个像素位置的透射率t(i′);
步骤30242、采用计算机根据公式得到第i′个像素位置的像素值Jmod(i′),通过第i′个像素位置的像素值Jmod(i′)得到第二无雾图像Jmod;其中,I(i′)表示有雾训练图像I中第i′个像素位置的像素值。
本实施例中,步骤305中门控网络模块包括3个并列的卷积核,且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3,卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3,滑动步长为1,padding为1。
本实施例中,需要说明的是,第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型中基于PA和CA的RDB模块结构相同仅卷积核数量不同。
本实施例中,需要说明的是,PA模块即空间注意力机制模块,CA模块即通道注意力机制模块,RDB即残差密集块(Res idual Dense Block)。
本实施例中,需要说明的是,Adam优化算法即Adapt ive momentum优化算法,是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新网络参数。
本实施例中,步骤203中大气光估计网络模型可参考DenselyConnected PyramidDehazing Network(密集连接金字塔去雾网络)即DCPDN中的Atmospher ic Light Estimat ion net。
本实施例中,步骤204中增强器模块可参考Enhanced Pix2pixDehazing Network中的增强器模块。
本实施例中,所述有雾训练图像和所述无雾训练图像的数量均为13990。
本实施例中,需要说明的是,实际使用时,是指图像矩阵之间的哈达玛积,例如设定矩阵A中的第i行第j列元素为ai j,矩阵B中第i行第j列元素为bi j,则则C中第i行第j列元素为ci j=ai j×bi j,且A、B和C是同阶矩阵。
本实施例中,需要说明的是,步骤502中迭代训练预设次数为30。
本实施例中,需要说明的是,i=1时,则Φ1(gt)表示无雾训练图像gt经过VGG19网络模型中Relu1_1层输出的特征图,Φ1(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu1_1层输出的特征图;
i=2时,则Φ2(gt)表示无雾训练图像gt经过VGG19网络模型中Relu2_1层输出的特征图,Φ2(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu2_1层输出的特征图;
i=3时,则Φ3(gt)表示无雾训练图像gt经过VGG19网络模型中Relu3_1层输出的特征图,Φ3(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu3_1层输出的特征图;
i=4时,则Φ4(gt)表示无雾训练图像gt经过VGG19网络模型中Relu4_1层输出的特征图,Φ4(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu4_1层输出的特征图;
i=5时,则Φ5(gt)表示无雾训练图像gt经过VGG19网络模型中Relu5_1层输出的特征图,Φ5(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relu5_1层输出的特征图。
本实施例中,需要说明的是,第一下采样模块和第二下采样模块使得图像的通道数变为原来的2倍,图像的大小变为原来的1/2。
本实施例中,需要说明的是,第一上采样模块和第二上采样模块使得图像的通道数变为原来的1/2倍,图像的大小变为原来的2。
本实施例中,特征图的大小用通道数×高×宽表示,初特征图Fpre的大小为32×256×256,第一深层特征图的大小为32×256×256,第一下采样特征图的大小为64×128×128,第二深层特征图的大小为64×128×128,第二下采样特征图的大小为128×64×64,第三深层特征图的大小为128×64×64,第一上采样特征图的大小为64×128×128,第一拼接后特征图的大小为128×128×128,第二上采样特征图的大小为64×256×256,特征融合图out的大小为96×256×256。
本实施例中,中间卷积层中卷积核的数量为3,卷积核的大小为3×3,滑动步长为1,padding为1。
本实施例中,中间特征融合图out′的大小为3×256×256。
本实施例中,有雾训练图像I为三通道的RGB彩色图像,即3×256×256。有雾监测图像的大小为3×256×256。
本实施例中,第一无雾图像J的大小为3×256×256,第二无雾图像Jmod的大小为3×256×256。
本实施例中,步骤303中拼接后图像的大小为9×256×256;第一特征图、第二特征图、第三特征图和第四特征图的大小均为32×256×256,聚合特征图的大小为128×256×256。
本实施例中,三个特征图αJ,αJmod和αI的大小均为1×256×256,输出去雾图像outEFAB的大小为3×256×256。
本实施例中,步骤A中输入图像和步骤F中特征图Fout的大小相同。
综上所述,本发明方法步骤简单,设计合理,通过主体网络模型进行特征提取,通过学生分支网络生成两个去雾图像,并通过特征聚合网络模型进行特征聚合,然后利用聚合特征图对主体网络模型和学生分支的网络进行知识蒸馏,提高图像去雾效果,且减少网络参数。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (7)
1.一种基于线上知识蒸馏的图像去雾方法,其特征在于,该方法包括以下步骤:
步骤一、训练集图像的获取:
从雾天图像数据库RESIDE中选择训练集;其中,训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像,所述有雾训练图像和所述无雾训练图像的数量均相同;
步骤二、图像去雾网络教师模型的建立:
所述图像去雾网络教师模型包括预处理模型、主体网络模型、学生分支网络模型和特征聚合网络模型,具体过程如下:
步骤201、采用计算机建立预处理模型;其中,所述预处理模型包括第一卷积层和第二卷积层;
步骤202、采用计算机建立主体网络模型;其中,所述主体网络模型包括第一特征提取网络模型、第二特征提取网络模型和第三特征提取网络模型,所述第一特征提取网络模型包括6层基于PA和CA的RDB模块,所述第二特征提取网络模型包括4层基于PA和CA的RDB模块,所述第三特征提取网络模型包括2层基于PA和CA的RDB模块;PA模块即空间注意力机制模块,CA模块即通道注意力机制模块,RDB即残差密集块;
步骤203、采用计算机建立学生分支网络模型;其中,所述学生分支网络模型包括第一学生分支网络模型、第二学生分支网络模型和第三学生分支网络模型,所述第一学生分支网络模型包括第三卷积层和第四卷积层;
所述第二学生分支网络模型包括第五卷积层和第六卷积层;
所述第三学生分支网络模型为大气光估计网络模型;
步骤204、采用计算机建立特征聚合网络模型;其中,所述特征聚合网络模型包括第一特征提取模型、第二特征提取模型、第三特征提取模型和增强器模块,所述第一特征提取模型包括第七卷积层和第八卷积层;
所述第二特征提取模型包括第九卷积层和第十卷积层;
所述第三特征提取模型包括第十一卷积层和第十二卷积层;
步骤三、有雾训练图像的特征提取:
步骤301、采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out;
步骤302、采用计算机将特征融合图out经过学生分支网络模型进行特征提取,具体过程如下:
步骤3021、采用计算机将特征融合图out经过第一学生分支网络模型进行特征提取,得到第一无雾图像J;
步骤3022、采用计算机将特征融合图out经过第二学生分支网络模型进行特征提取,得到透射图t;
步骤3023、采用计算机将特征融合图out经过第三学生分支网络模型进行特征提取,得到大气光特征图A;
步骤3024、采用计算机利用大气散射模型,将有雾训练图像I、透射图t和大气光特征图A输入,得到第二无雾图像Jmod;
步骤303、采用计算机调用拼接cat函数模块将第一无雾图像J、第二无雾图像Jmod和有雾训练图像I拼接,得到拼接后图像;
步骤304、采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征聚合提取,得到聚合特征图;
步骤305、采用计算机将聚合特征图经过门控网络模块进行特征提取,得到三个特征图αJ,αJmod和αI;
步骤四、总损失函数的建立:
步骤401、采用计算机根据Lrec=(gt,outEFAB)L1-SSIM(gt,outEFAB),得到重构损失函数Lrec;其中,gt表示有雾训练图像I对应的无雾训练图像,(gt,outFEAB)L1表示无雾训练图像gt和输出去雾图像outEFAB之间的曼哈顿距离,SSIM(gt,outFEAB)表示gt图像和outEFAB图像之间的SSIM损失;
步骤402、采用计算机根据得到感知损失函数Lper;其中,N=5,且Φi(gt)表示无雾训练图像gt经过VGG19网络模型中Relui_1层输出的特征图,Φi(outEFAB)表示输出去雾图像outEFAB经过VGG19网络模型中Relui_1层输出的特征图,1≤i≤5;Ci,Hi和Wi分别代表特征图的通道数、高度和宽度;(Φi(gt),Φi(outEFAB))L1表示VGG19网络模型中Relui_1层输出的两个特征图之间的曼哈顿距离;
步骤403、采用计算机将特征融合图out经过中间卷积层进行特征提取,得到中间特征融合图out′;
采用计算机根据Ldiss=(outEFAB,J)L1+(outEFAB,Jmod)L1+(outEFAB,out′)L1,得到蒸馏损失函数Ldiss;其中,(outEFAB,J)L1表示输出去雾图像outEFAB和第一无雾图像J之间的曼哈顿距离,(outEFAB,Jmod)L1表示输出去雾图像outEFAB和第二无雾图像Jmod之间的曼哈顿距离,(outEFAB,out′)L1表示输出去雾图像outEFAB和中间特征融合图out′之间的曼哈顿距离;
步骤404、采用计算机根据Lloss=Lrec+Lper+λLdiss,得到总损失函数Lloss;其中,λ为常数,且λ=0.5;
步骤五、有雾训练图像对图像去雾网络教师模型的训练:
步骤501、计算机采用Adam优化算法,利用总损失函数Lloss对图像去雾网络教师模型进行迭代优化,直至训练集全部训练,完成一次迭代训练;
步骤502、重复步骤501迭代训练直至满足迭代训练预设次数,得到训练好的图像去雾网络教师模型;
步骤六、利用训练好的图像去雾网络教师模型对单幅图像去雾:
步骤601、采用摄像机对待监控区域拍摄并发送至计算机,得到有雾图像监测视频;
步骤602、计算机对有雾图像监测视频按照拍摄先后顺序提取多幅有雾监测图像;
步骤603、采用计算机将任一幅有雾监测图像输入训练好的图像去雾网络教师模型中进行去雾处理,得到无雾监测图像。
2.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤201中所述第一卷积层包括Conv1卷积层、批量归一化层和ReLU激活函数层,所述第二卷积层包括Conv2卷积层、批量归一化层和ReLU激活函数层,Conv1卷积层和Conv2卷积层中卷积核的数量为32,卷积核的大小为3×3,滑动步长为1,padding为1;
步骤202中基于PA和CA的RDB模块包括依次相连的第一Conv+ReLU层、3个并列的卷积层、RDB模块、第二Conv+ReLU层、CA模块、PA模块和Sigmoid激活函数层,3个并列的卷积层分别为卷积层1、卷积层2和卷积层3,卷积层1中卷积核大小为1×1,padding为0;卷积层2中卷积核大小为1×1,padding为0;卷积层3中卷积核大小为3×3,padding为1;
步骤203中所述第三卷积层包括Conv3卷积层、批量归一化层和ReLU激活函数层,所述第四卷积层包括Conv4卷积层、批量归一化层和Tanh激活函数层;Conv3卷积层中卷积核的数量为32,Conv4卷积层中卷积核的数量为3,Conv3卷积层和Conv4卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;所述第五卷积层为Conv5卷积层,第六卷积层为Conv6卷积层,Conv5卷积层中卷积核的数量为32,Conv6卷积层中卷积核的数量为1,Conv5卷积层和Conv6卷积层中卷积核的大小为3×3,滑动步长为1,padding为1;
步骤204中所述第七卷积层为Conv7卷积层,第八卷积层为Conv8卷积层,所述第九卷积层为Conv9卷积层,第十卷积层为Conv10卷积层,所述第十一卷积层为Conv11卷积层,第十二卷积层为Conv12卷积层;Conv7卷积层至Conv12卷积层中卷积核的数量均32,Conv7卷积层中卷积核大小为3×3,滑动步长为1,padding为1;Conv8卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv9卷积层中卷积核大小为5×5,滑动步长为1,padding为2;Conv10卷积层中卷积核大小为1×1,滑动步长为1,padding为0;Conv11卷积层中卷积核大小为7×7,滑动步长为1,padding为3;Conv12卷积层中卷积核大小为1×1,滑动步长为1,padding为0。
3.按照权利要求2所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤301中采用计算机将有雾训练图像I经过预处理模型和主体网络模型进行特征提取,得到特征融合图out,具体过程如下:
步骤3011、采用计算机将有雾训练图像I输入预处理模型中,并依次经过第一卷积层和第二卷积层进行特征提取,得到初特征图Fpre;其中,初特征图Fpre的大小为256×256,初特征图Fpre的通道数为32;
步骤3012、采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取,得到第一深层特征图;
步骤3013、采用计算机调用第一下采样模块对初特征图Fpre进行下采样,得到第一下采样特征图;
步骤3014、采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取,得到第二深层特征图;
步骤3015、采用计算机调用第二下采样模块对第一下采样特征图进行下采样,得到第二下采样特征图;
步骤3016、采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取,得到第三深层特征图;
步骤3017、采用计算机调用第一上采样模块对第三深层特征图进行上采样,得到第一上采样特征图;
步骤3018、采用计算机调用拼接cat函数模块将第一上采样特征图和第二深层特征图进行拼接,得到第一拼接后特征图;
步骤3019、采用计算机调用第二上采样模块对第一拼接后特征图进行上采样,得到第二上采样特征图;
步骤301A、采用计算机调用拼接cat函数模块将第二上采样特征图和第一深层特征图进行拼接,得到特征融合图out。
4.按照权利要求2所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤304中采用计算机将步骤303中拼接后图像经过特征聚合网络模型进行特征提取,得到聚合特征图,具体过程如下:
步骤3041、采用计算机将拼接后图像输入第一特征提取模型中经过特征提取,得到第一特征图;
步骤3042、采用计算机将拼接后图像输入第二特征提取模型中经过特征提取,得到第二特征图;
步骤3043、采用计算机将拼接后图像输入第三特征提取模型中经过特征提取,得到第三特征图;
步骤3044、采用计算机将拼接后图像输入增强器模块经过特征提取,得到第四特征图;
步骤3045、采用计算机调用拼接cat函数模块将第一特征图、第二特征图、第三特征图和第四特征图进行拼接,得到聚合特征图。
5.按照权利要求3所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤3012中采用计算机将初特征图Fpre经过第一特征提取网络模型进行特征提取、步骤3014中采用计算机将第一下采样特征图经过第二特征提取网络模型进行特征提取、步骤3016中采用计算机将第二下采样特征图经过第三特征提取网络模型进行特征提取的过程中,经过任一个基于PA和CA的RDB模块的特征提取过程均相同,具体过程如下:
步骤A、计算机将输入图像经过第一Conv+ReLU层进行特征提取得到Fin特征图;
步骤B、计算机将Fin特征图分别输入卷积层1、卷积层2和卷积层3进行卷积处理,得到特征图Fin1、特征图Fin2和特征图Fin3,并将特征图Fin2输入RDB模块得到特征图FRDB,特征图Fin3经过Sigmoid激活函数进行归一化得到空间权重图Fs;
6.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤3024中采用计算机利用大气散射模型,将有雾训练图像I经过透射图t和大气光特征图A输入,得到第二无雾图像Jmod,具体过程下:
步骤30241、采用计算机根据大气光特征图A,得到大气光特征图A中第i′个像素位置的大气光值A(i′);其中,i′为正整数;
采用计算机根据透射图t,得到透射图t中第i′个像素位置的透射率t(i′);
7.按照权利要求1所述的一种基于线上知识蒸馏的图像去雾方法,其特征在于:步骤305中门控网络模块包括3个并列的卷积核,且3个并列的卷积核分别为卷积核1-1、卷积核1-2和卷积核1-3,卷积核1-1、卷积核1-2和卷积核1-3的大小为3×3,滑动步长为1,padding为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210264692.5A CN114565539B (zh) | 2022-03-17 | 2022-03-17 | 一种基于线上知识蒸馏的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210264692.5A CN114565539B (zh) | 2022-03-17 | 2022-03-17 | 一种基于线上知识蒸馏的图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114565539A CN114565539A (zh) | 2022-05-31 |
CN114565539B true CN114565539B (zh) | 2023-04-07 |
Family
ID=81719010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210264692.5A Active CN114565539B (zh) | 2022-03-17 | 2022-03-17 | 一种基于线上知识蒸馏的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565539B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456913A (zh) * | 2022-11-07 | 2022-12-09 | 四川大学 | 一种夜间雾图去雾方法及装置 |
CN116542872B (zh) * | 2023-04-10 | 2024-03-19 | 中国人民解放***箭军工程大学 | 一种基于半监督知识蒸馏的单幅图像去雾方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013141210A (ja) * | 2011-12-30 | 2013-07-18 | Hitachi Ltd | 画像霧除去装置、画像霧除去方法及び画像処理システム |
CN111598793A (zh) * | 2020-04-24 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种用于输电线路图像去雾的方法、***及存储介质 |
CN114119420A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
CN110232666B (zh) * | 2019-06-17 | 2020-04-28 | 中国矿业大学(北京) | 基于暗原色先验的地下管道图像快速去雾方法 |
CN111681178B (zh) * | 2020-05-22 | 2022-04-26 | 厦门大学 | 一种基于知识蒸馏的图像去雾方法 |
CN113744146A (zh) * | 2021-08-23 | 2021-12-03 | 山东师范大学 | 一种基于对比学习和知识蒸馏的图像去雾方法 |
-
2022
- 2022-03-17 CN CN202210264692.5A patent/CN114565539B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013141210A (ja) * | 2011-12-30 | 2013-07-18 | Hitachi Ltd | 画像霧除去装置、画像霧除去方法及び画像処理システム |
CN111598793A (zh) * | 2020-04-24 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种用于输电线路图像去雾的方法、***及存储介质 |
CN114119420A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114565539A (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
JP7161320B2 (ja) | ニューラルネットワークによる画風変換を用いたデータオーグメンテーション技術 | |
WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
Li et al. | DewaterNet: A fusion adversarial real underwater image enhancement network | |
CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
Wu et al. | FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion | |
CN114820408A (zh) | 基于自注意力和卷积神经网络的红外可见光图像融合方法 | |
CN116343144B (zh) | 一种融合视觉感知自适应去雾的实时目标检测方法 | |
CN114820388B (zh) | 一种基于编解码器结构的图像去雾方法 | |
CN116757988A (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
CN116977208A (zh) | 双分支融合的低照度图像增强方法 | |
CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
CN117952883A (zh) | 一种基于双边网格和显著性引导的逆光图像增强方法 | |
CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
He et al. | Low-light image enhancement with multi-scale attention and frequency-domain optimization | |
CN116363015A (zh) | 一种基于Retinex理论和卷积神经网络的低照度图像增强方法 | |
Liu et al. | Dual UNet low-light image enhancement network based on attention mechanism | |
Lu et al. | Low-light image enhancement via gradient prior-aided network | |
CN114926359A (zh) | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 | |
Xu et al. | Deep residual convolutional network for natural image denoising and brightness enhancement | |
CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |