CN112991200A - 一种红外图像自适应增强的方法与装置 - Google Patents
一种红外图像自适应增强的方法与装置 Download PDFInfo
- Publication number
- CN112991200A CN112991200A CN202110183673.5A CN202110183673A CN112991200A CN 112991200 A CN112991200 A CN 112991200A CN 202110183673 A CN202110183673 A CN 202110183673A CN 112991200 A CN112991200 A CN 112991200A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared image
- infrared
- visible light
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 33
- 238000013135 deep learning Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 7
- 238000005065 mining Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
为了解决现有的红外图像增强方法存在图像局部细节丢失,图像细节丰富程度不够以及无法形成端到端的解决方案,不具备发掘、丰富图像细节的能力,也不具备自动修复图像细节能力的技术问题,本发明提供了一种红外图像自适应增强的方法与装置。本发明设计了一种基于对抗生成网络的红外图像增强模型,充分利用对抗神经网络特征,通过神经网络设计、损失函数设计,实现生成子网络和鉴别子网络的动态平衡,能够实现端到端的红外图像增强处理;在模型训练过程中,以真实的可见光灰度图像为条件,依靠鉴别子网络D监督生成子网络G,以及生成子网络与鉴别子网络间的相互博弈,使得本网络模型具备良好的红外图像增强能力。
Description
技术领域
本发明涉及一种红外图像自适应增强的方法与装置。
背景技术
随着红外成像技术的发展与成熟,各种适用于民用的红外成像设备不断涌现,其在国民经济各个领域发挥越来越重要的作用。红外成像,其重要应用就是昼夜观察和热目标探测,其在安防监控、辅助驾驶、消防警用、工业监测、电力监测等领域得到广泛应用。但由于红外成像原理限制,红外图像存在整体偏暗、对比度偏低、边缘模糊、噪声较大、细节信息不明显、视觉效果参较差等特点。
为克服红外图像的上述缺陷,公布号为CN104252700B的专利文献中公开了一种红外图像的直方图均衡化方法,包括:读取红外图像,将红外图像分割成至少两个子图像,对每个子图像进行直方图均衡化处理,获得子图像的均衡化子图像,然后拼接直方图均衡化子图像;该方法的核心思想是将红外图像进行分割处理,得到多个子图像,然后并行对每个子图像进行直方图均衡化增强处理,将直方图均衡化之后的子图像拼接融合成最终的直方图均衡化后的红外图像;该方法的缺陷是:①整理图像对比度依赖原始红外图像,图像局部对比度不够,存在细节丢失等现象;②没有结合响应可见光图像特征,图像细节丰富程度不够,给后续目标检测等应用带来困难。
公布号为CN110009569A的专利文献中公开了一种基于轻量级卷积神经网络的红外可见光图像融合方法”,该方法首先将红外和可见光图像进行批处理,使得图像尺寸大小一致,然后构造了一个轻量级的卷积神经网络,分别提取红外和可见光特征,形成二维张量权值图,最后利用特征融合策略,将源图像进行融合,实现可见光和红外图像的融合。该方案的核心在于利用神经网络分别提取红外图像特征和可见光图像特征,进而构造特征权值图,再利用融合策略实现红外图像和可见光图像的融合。虽然该方案将红外图像和可见光图像进行了融合,但是在工程应用中不能形成端到端的解决方案,每一次提取的特征较为独立,不具备发掘、丰富图像细节的能力,也不具备自动修复图像细节的能力。
发明内容
为了解决现有的红外图像增强方法存在图像局部细节丢失,图像细节丰富程度不够以及无法形成端到端的解决方案,不具备发掘、丰富图像细节的能力,也不具备自动修复图像细节能力的技术问题,本发明提供了一种红外图像自适应增强的方法与装置。
本发明的技术方案是:
一种红外图像自适应增强的方法,其特殊之处在于,包括以下步骤:
步骤1:构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础,对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像,然后利用对比度变换或者直方图变换将灰度图像转为红外图像,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本;
步骤2:模型训练
构建对抗神经网络,将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练,得到红外图像增强模型;
步骤3:将步骤2得到的红外图像增强模型下装到并行处理模块中;
步骤4:红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像,当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10%时,用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本,然后返回步骤2;同时,将实时采集到的红外图像拷贝一份,发送给并行处理模块;
步骤5:利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理,输出相应的增强后图像。
进一步地,步骤2所构建的对抗神经网络包括生成子网络G和鉴别子网络D;
生成子网络用于生成增强红外图像;鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定,得到0~1的概率值,0代表增强红外图像质量很低无可信度,1代表增强红外图像质量很高逼近真实图像。
进一步地,生成子网络的网络结构为:
CR-CBR-CBR-D-Tanh
生成子网络的的损失函数为:
LG=E[λ×Lcout+log(D(G(X),X)]
其中:
E为欧氏距离;
Y为输入红外图像对应的可见光灰度图像;
G(X)为利用生成子网络得到的增强红外图像;D为鉴别子网络的输出;
鉴别子网络D的网络结构为:
CL-CBL-CBL-CBL-C-Sigmoid;
鉴别子网络D的损失函数为:
其中:
X为红外图像,Y为可见光灰度图像,G(X)为利用生成子网络得到的增强红外图像。
本发明还提供了一种红外图像自适应增强装置,其特殊之处在于:包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块;
图像数据集用于为所述基于深度学习的红外图像增强模块提供模型训练的图像样本;
基于深度学习的红外图像增强模块用于深度学习训练,得到所述红外图像增强模型;
模型下装模块用于将所述红外图像增强模型,通过远程服务总线方式,下装到并行处理模块中;
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像,并传输给图像传输模块和并行处理模块;
并行处理模块用于对其接收到的多张红外图像进行并行增强处理;
图像传输模块用于将红外及可见光图像采集装置采集的可见光灰度图像和红外图像传输至图像数据集。
进一步地,所述图像数据集是按照下述方法构建的:
对可见光图像利用灰度变换将其转为可见光灰度图像,然后利用对比度变换或者直方图变换将灰度图像转为红外图像,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本。
进一步地,基于深度学习的红外图像增强模块包括生成子网络G和鉴别子网络D;
生成子网络用于生成增强红外图像;鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定,得到0~1的概率值,0代表增强红外图像质量很低无可信度,1代表增强红外图像质量很高逼近真实图像。
进一步地,生成子网络的网络结构为:
CR-CBR-CBR-D-Tanh
生成子网络的的损失函数为:
LG=E[λ×Lcout+log(D(G(X),X)]
其中:
E为欧氏距离;
Y为输入红外图像对应的可见光灰度图像;
G(X)为利用生成子网络得到的增强红外图像;D为鉴别子网络的输出;
鉴别子网络D的网络结构为:
CL-CBL-CBL-CBL-C-Sigmoid;
鉴别子网络D的损失函数为:
其中:
X为红外图像,Y为可见光灰度图像,G(X)为利用生成子网络得到的增强红外图像。
与现有技术相比,本发明的优点是:
1、利用本发明在模型训练过程中,以真实的可见光灰度图像为条件,依靠鉴别子网络D监督生成子网络G,以及生成子网络与鉴别子网络间的相互博弈,使得本网络模型具备良好的红外图像增强能力。
2、本发明设计了一种基于对抗生成网络的红外图像增强模型,充分利用对抗神经网络特征,通过神经网络设计、损失函数设计,实现生成子网络和鉴别子网络的动态平衡,能够实现端到端的红外图像增强处理。
3、本发明提供了一种红外图像增强训练与红外及可见光图像采集装置动态采集同步更新机制,实现红外图像增强模型的自动优化,进而进一步提高红外图像增强处理效果,最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。
4、本发明已在电力***设备监控场景下进行***验证,结果表明本发明能有效提升红外图像细节特征,通过自适应方式,提升图像对比度,通过引入可见光特征,有效地增强了图像细节层次,为后续设备监控的图像识别、状态监测提供了良好的图像基础。
附图说明
图1是本发明红外图像自适应增强装置的架构图。
图2是本发明中基于对抗生成网络的红外图像增强模型。
图3是经本发明增强前后的原始图像与增强后图像的效果对比图,(a)为原始红外图像;(b)为增强后红外图像。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示,本发明所提供的红外图像自适应增强的方法,包括以下步骤:
步骤1:构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础,对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像,然后利用对比度变换或者直方图变换将灰度图像转为红外图像,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本;
步骤2:模型训练
构建对抗神经网络,将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练,得到红外图像增强模型;
步骤3:将步骤2得到的红外图像增强模型下装到并行处理模块中;
步骤4:红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像,当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10%时,用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本,然后返回步骤2;同时,将实时采集到的红外图像拷贝一份,发送给并行处理模块;
步骤5:利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理,输出增强后图像。
如图1所示,本发明还提供了实现上述红外图像自适应增强方法的红外图像自适应增强装置,包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块。
1、图像数据集
图像数据集是用于基于深度学习的红外图像增强模块训练所用的图像集合,鉴于目前基于神经网络的红外图像增强中普遍缺乏红外图像,而红外图像是基于深度学习红外图像增强技术能达到较好图像处理效果的关键因素之一。因此本发明首要构建具有足够样本数量的图像数据集。
图像数据集的构建方法:
选用现有的ImageNet数据集作为图像数据集构建的基础,对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像,对灰度图像再采用对比度变换或者直方图变换技术得到红外图像,,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本;本实施例中基础数据集共10000个样本,其中可见光灰度图像分辨率为:512x512,红外图像分辨率为:512x512。
采用上述方法构建基础数据集的好处是可以解决红外图像匮乏的问题,为基于深度学习的红外图像增强模块提供具有足够样本数量的训练集,但是由于该方法所构建的基础数据集中的红外图像并非真正的红外图像,若仅利用基础数据集对基于深度学习的红外图像增强模块进行训练,则训练得到的红外图像增强模型涵盖红外图像特性不足,红外图像增强效果不够理想。为解决该问题,基于应用场景,本发明对图像数据集进行动态更新。
图像数据集的动态更新方法:
红外及可见光图像采集装置每设定时间(例如15分钟)采集一组可见光灰度图像和红外图像,每天采集时间为09:00~17:00,单套红外及可见光图像采集装置每天共采集32组红外及可见光灰度图像。采集时间段选择为09:00~17:00,主要考虑在成像条件较好的情况下,同时获取红外图像及对应可见光灰度图像,整个***在应用时,部署不低于50套红外及可见光图像采集装置,分布在公路、森林、学校等不同场景,确保涵盖不同场景的应用画面,即:每天产生1600组新增图像。
当采集的图像数目大于当前图像数据集中图像数目的10%时,从当前图像数据集内随机抽取10%的图像,用采集的图像对其进行替换处理,替换过程中对用于替换的、由红外及可见光图像采集装置所采集的图像打上标记,在下一次更新替换时,对于已打标记的图像,不做替换,最终当整个图像数据集中所有图像都被标记过,则表示整个图像数据集更新完毕,整个图像数据集更新完毕后,将图像数据集中的当前样本图像所打的标记删除,然后按照相同的方法进入下一轮动态更新。
表1图像数据集的更新阈值选择
动态更新阈值 | 红外图像增强PSNR |
3% | 25.36 |
6% | 25.78 |
9% | 26.02 |
10% | 26.39 |
表1是针对图像数据集动态更新时采用不同阈值所做的实验,每一次动态更新后,会触发基于深度学习的红外图像增强模块进行训练,得到新的红外图像增强模型,进而利用新的红外图像增强模型进行红外图像增强;通过对512幅红外图像增强训练的PSNR分析,发现随着阈值升高,红外图像增强后质量逐步提高,鉴于质量与速度的考虑,最终在动态更新时选择10%作为阈值。
2、基于深度学习的红外图像增强模块
基于深度学习的红外图像增强模块主要用于深度学习训练,其输入为图像数据集,其输出为训练好的红外图像增强模型。
如图2所示,基于深度学习的红外图像增强模块的网络架构基于对抗生成网络,共包括2个子网络:生成子网络G和鉴别子网络D。
2.1生成子网络
2.1.1网络构成
生成子网络由3个卷积层conv和1个反卷积层Deconv构成,在第二个卷积层和第三个卷积层后面各加上批归一化网络,即:Batch NN,在深度学习训练中,Batch NN是一种被实践证明的数据归一化方法,其作用可以加快模型训练时的收敛速度,使得模型训练过程更加稳定,并起到一定的正则化作用。
2.1.2生成子网络设计:
①生成子网络输入图像分辨率为256x256,因而图像数据集中图像在输入生成子网络前需要先进行缩放处理;
②网络结构为:
CR-CBR-CBR-D-Tanh
第一个卷积层CR输入图像大小为256x256,经过卷积操作及ReLu处理,保留较好的特征,最终得到64个特征向量,之后跟随2个卷积层操作,进一步强化提取特征。
③如图2所示,为了减少图像细节的丢失,在卷积层1之后和卷积层2之后加入残差连接Skip Connection连接,加权处理之后得到特征向量与卷积层3再次进行残差连接,这样各卷积层得到不同维度的图像特征向量在生成子网络内各层进行流动,保留了图像细节特征;
④生成子网络用于生成增强图像(增强后的红外图像);
⑤损失函数设计:LG=E[λ×Lcout+log(D(G(X),X)];其中:Lcont表示增强红外图像与可见光灰度图像的质量损失函数,其采用L2距离进行定义,E为欧氏距离;Y为输入红外图像对应的可见光灰度图像;G(X)为利用生成子网络得到的增强红外图像;D为鉴别子网络的输出;鉴别子网络用于对可见光灰度图像、增强红外图像进行真伪度判定,得到0~1的概率值,0代表增强红外图像质量很低无可信度,1代表增强红外图像质量很高逼近真实图像,LG使用数学期望来衡量生成子网络和鉴别子网络在红外图像增强方面的特性,公式中λ×Lcout鼓励生成子网络产生更加逼真的红外增强图像,公式中log(D(G(X),X)鼓励鉴别子网络能够区分红外增强图像,两者最终达成动态平衡。
2.1.3相关网络参数设置:
类型 | 卷积核 | 卷积步长 | 填充 |
conv | 4×4 | 2×2 | 1×1 |
conv | 3×3 | 1×1 | 1×1 |
conv | 3×3 | 1×1 | 1×1 |
deconv | 4×4 | 2×2 | 1×1 |
2.2鉴别子网络
2.2.1网络构成
鉴别子网络由5个卷积层conv构成。
2.2.2鉴别子网络设计:
①网络输入图像为:生成子网络输出的增强图像和该增强图像所对应的可见光灰度图像
③网络采用5个卷积层得到特征图像,并利用Sigmoid函数做归一化处理,判断红外增强图像和可见光灰度图像相似程度[0-1];
④损失函数设计:其中:LD为鉴别子网络的损失函数,X为红外图像,Y为可见光灰度图像,G(X)为利用生成子网络得到的增强红外图像;损失函数采用交叉熵损失函数进行设计,其目的在于,当鉴别子网络遇到可见光灰度图像这种真实数据时,损失函数的期望值要达到最大,而当鉴别子网络遇到红外增强图像这种生成数据时,要能判别出图像为生成图像,在整个训练过程中,对于鉴别子网络其目标是生成图像被鉴别出来,LD达到最大,而对于生成子网络其目标是生成图像不被鉴别出来,LD趋于最小,这种采用极大极小博弈方式的损失函数设计,能够使网络模型具备良好的红外图像增强能力。
2.2.3相关网络参数设置:
类型 | 卷积核 | 卷积步长 | 填充 |
conv | 4×4 | 2×2 | 1×1 |
conv | 4×4 | 2×2 | 1×1 |
conv | 4×4 | 2×2 | 1×1 |
conv | 4×4 | 1×1 | 1×1 |
conv | 4×4 | 1×1 | 1×1 |
利用基于深度学习的红外图像增强模块对512幅红外测试图像进行增强后的图像质量数据如下表,随机测试512幅图像,利用上述方法进行红外图像处理后,图像评价指标PSNT和SSIM均有比较好表现,可见本发明具备良好的红外图像增强效果。
PSNR | SSIM | |
512幅红外测试图像 | 26.67 | 0.974 |
3、红外图像增强模型
红外图像增强模型是基于深度学习的红外图像增强模块对图像数据集进行训练后,得到的结果。
4、模型下装模块
模型下装模块用于将基于深度学习的红外图像增强模块训练后输出的红外图像增强模型,通过远程服务总线方式,下装到并行处理模块中。
5、红外及可见光图像采集装置
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像,采集到的红外图像本身用于送入并行处理模块中进行图像增强处理,另外红外图像和可见光灰度图像本身也通过图像传输模块发送给图像数据集,用于动态更新图像数据集。
6、并行处理模块
并行处理模块的输入是红外及可见光图像采集装置实时采集的红外图像,利用下装在其内的红外图像增强模型对接收到的红外图像进行增强处理;为了提高红外图像增强的实时处理速度,并行处理模块采用基于Cuda的加速技术,充分利用GPU运算能力,同时采用多线程并行技术,提高图像增强的处理速度。
7、图像传输模块
图像传输模块负责将红外及可见光图像采集装置所采集的可见光灰度图像与红外图像传输至图像数据集,当增量图像组的数目大于等于图像数据集的动态更新阈值时,触发基于深度学习的红外图像增强模块自动训练,实现下装在并行处理模块中的红外图像增强模型的自动更新,以便后续图像增强过程中,实现红外图像增强模型持续更新,不断优化红外图像增强效果,最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。
图3是经本发明增强前后的原始图像与增强后图像的效果对比图,左侧为原始红外图像,右侧为增强后红外图像,可以看出右侧图像画面内容更加丰富,纹理明显,细节突出,视觉效果更好。
Claims (7)
1.一种红外图像自适应增强的方法,其特征在于,包括以下步骤:
步骤1:构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础,对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像,然后利用对比度变换或者直方图变换将灰度图像转为红外图像,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本;
步骤2:模型训练
构建对抗神经网络,将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练,得到红外图像增强模型;
步骤3:将步骤2得到的红外图像增强模型下装到并行处理模块中;
步骤4:红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像,当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10%时,用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本,然后返回步骤2;同时,将实时采集到的红外图像拷贝一份,发送给并行处理模块;
步骤5:利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理,输出相应的增强后图像。
2.根据权利要求1所述的红外图像自适应增强的方法,其特征在于:步骤2所构建的对抗神经网络包括生成子网络G和鉴别子网络D;
生成子网络用于生成增强红外图像;鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定,得到0~1的概率值,0代表增强红外图像质量很低无可信度,1代表增强红外图像质量很高逼近真实图像。
3.根据权利要求2所述的红外图像自适应增强的方法,其特征在于:
生成子网络的网络结构为:
CR-CBR-CBR-D-Tanh
生成子网络的的损失函数为:
LG=E[λ×Lcout+log(D(G(X),X)]
其中:
E为欧氏距离;
Y为输入红外图像对应的可见光灰度图像;
G(X)为利用生成子网络得到的增强红外图像;D为鉴别子网络的输出;
鉴别子网络D的网络结构为:
CL-CBL-CBL-CBL-C-Sigmoid;
鉴别子网络D的损失函数为:
其中:
X为红外图像,Y为可见光灰度图像,G(X)为利用生成子网络得到的增强红外图像。
4.一种红外图像自适应增强装置,其特征在于:包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块;
图像数据集用于为所述基于深度学习的红外图像增强模块提供模型训练的图像样本;
基于深度学习的红外图像增强模块用于深度学习训练,得到所述红外图像增强模型;
模型下装模块用于将所述红外图像增强模型,通过远程服务总线方式,下装到并行处理模块中;
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像,并传输给图像传输模块和并行处理模块;
并行处理模块用于对其接收到的多张红外图像进行并行增强处理;
图像传输模块用于将红外及可见光图像采集装置采集的可见光灰度图像和红外图像传输至图像数据集。
5.根据权利要求4所述的红外图像自适应增强装置,其特征在于:
所述图像数据集是按照下述方法构建的:
对可见光图像利用灰度变换将其转为可见光灰度图像,然后利用对比度变换或者直方图变换将灰度图像转为红外图像,将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本。
6.根据权利要求5所述的红外图像自适应增强装置,其特征在于:基于深度学习的红外图像增强模块包括生成子网络G和鉴别子网络D;
生成子网络用于生成增强红外图像;鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定,得到0~1的概率值,0代表增强红外图像质量很低无可信度,1代表增强红外图像质量很高逼近真实图像。
7.根据权利要求6所述的红外图像自适应增强装置,其特征在于:
生成子网络的网络结构为:
CR-CBR-CBR-D-Tanh
生成子网络的的损失函数为:
LG=E[λ×Lcout+log(D(G(X),X)]
其中:
E为欧氏距离;
Y为输入红外图像对应的可见光灰度图像;
G(X)为利用生成子网络得到的增强红外图像;D为鉴别子网络的输出;
鉴别子网络D的网络结构为:
CL-CBL-CBL-CBL-C-Sigmoid;
鉴别子网络D的损失函数为:
其中:
X为红外图像,Y为可见光灰度图像,G(X)为利用生成子网络得到的增强红外图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110183673.5A CN112991200B (zh) | 2021-02-08 | 2021-02-08 | 一种红外图像自适应增强的方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110183673.5A CN112991200B (zh) | 2021-02-08 | 2021-02-08 | 一种红外图像自适应增强的方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991200A true CN112991200A (zh) | 2021-06-18 |
CN112991200B CN112991200B (zh) | 2024-02-02 |
Family
ID=76393138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110183673.5A Active CN112991200B (zh) | 2021-02-08 | 2021-02-08 | 一种红外图像自适应增强的方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991200B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154523A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种机载光电平台中的实时目标跟踪***及方法 |
US20180293734A1 (en) * | 2017-04-06 | 2018-10-11 | General Electric Company | Visual anomaly detection system |
CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
CN110084757A (zh) * | 2019-04-15 | 2019-08-02 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
CN111160307A (zh) * | 2019-12-31 | 2020-05-15 | 帷幄匠心科技(杭州)有限公司 | 一种人脸识别方法及人脸识别打卡*** |
CN111612725A (zh) * | 2020-04-29 | 2020-09-01 | 中国科学院西安光学精密机械研究所 | 一种基于可见光图像对比度增强的图像融合方法 |
CN112116573A (zh) * | 2020-09-16 | 2020-12-22 | 四川嘉能佳网创新能源科技有限责任公司 | 一种高精度的红外图像异常检测方法及*** |
US20200410212A1 (en) * | 2018-03-09 | 2020-12-31 | South China University Of Technology | Fast side-face interference resistant face detection method |
-
2021
- 2021-02-08 CN CN202110183673.5A patent/CN112991200B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293734A1 (en) * | 2017-04-06 | 2018-10-11 | General Electric Company | Visual anomaly detection system |
CN108154523A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种机载光电平台中的实时目标跟踪***及方法 |
US20200410212A1 (en) * | 2018-03-09 | 2020-12-31 | South China University Of Technology | Fast side-face interference resistant face detection method |
CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
CN110084757A (zh) * | 2019-04-15 | 2019-08-02 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
CN111160307A (zh) * | 2019-12-31 | 2020-05-15 | 帷幄匠心科技(杭州)有限公司 | 一种人脸识别方法及人脸识别打卡*** |
CN111612725A (zh) * | 2020-04-29 | 2020-09-01 | 中国科学院西安光学精密机械研究所 | 一种基于可见光图像对比度增强的图像融合方法 |
CN112116573A (zh) * | 2020-09-16 | 2020-12-22 | 四川嘉能佳网创新能源科技有限责任公司 | 一种高精度的红外图像异常检测方法及*** |
Non-Patent Citations (4)
Title |
---|
XIAODONG KUANG, ET.AL: "Single infrared image enhancement using a deep convolutional neural network", 《NEUROCOMPUTING》 * |
XIAODONG KUANG, ET.AL: "Single infrared image enhancement using a deep convolutional neural network", 《NEUROCOMPUTING》, 7 March 2019 (2019-03-07), pages 1 - 10 * |
陈佛计等: "基于生成对抗网络的红外图像数据增强", 《计算机应用》 * |
陈佛计等: "基于生成对抗网络的红外图像数据增强", 《计算机应用》, no. 07, 31 March 2020 (2020-03-31), pages 228 - 232 * |
Also Published As
Publication number | Publication date |
---|---|
CN112991200B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414387B (zh) | 一种基于道路分割的车道线多任务学习检测方法 | |
CN113592736B (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
CN104809443A (zh) | 基于卷积神经网络的车牌检测方法及*** | |
CN110781928B (zh) | 一种提取图像多分辨率特征的图像相似度学习方法 | |
CN116958825B (zh) | 一种移动式遥感图像采集方法及公路维护监测方法 | |
CN110826411B (zh) | 一种基于无人机图像的车辆目标快速识别方法 | |
CN112767226A (zh) | 基于gan网络结构自动学习失真的图像隐写方法和*** | |
CN113689382A (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及*** | |
CN113128481A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
CN109685772B (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
Li et al. | Image manipulation localization using attentional cross-domain CNN features | |
CN106355210A (zh) | 基于深度神经元响应模式的绝缘子红外图像特征表达方法 | |
CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
CN115661777A (zh) | 一种联合语义的雾天道路目标检测算法 | |
CN112102186A (zh) | 一种水下视频图像实时增强方法 | |
CN115965968A (zh) | 基于知识引导的小样本目标检测识别方法 | |
CN112308093B (zh) | 基于图像识别的空气质量感知方法、模型训练方法及*** | |
CN112330562B (zh) | 一种异构遥感图像变换方法及*** | |
CN115423809B (zh) | 图像质量评价方法、装置、可读存储介质及电子设备 | |
CN112991200B (zh) | 一种红外图像自适应增强的方法与装置 | |
CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 | |
CN115393802A (zh) | 一种基于小样本学习的铁路场景不常见入侵目标识别方法 | |
CN114708635A (zh) | 基于MesoNet和LSTM的面部视频篡改检测方法 | |
CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |