CN113256525A - 红外热成像图像增强方法、装置、设备及可读存储介质 - Google Patents
红外热成像图像增强方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113256525A CN113256525A CN202110572941.2A CN202110572941A CN113256525A CN 113256525 A CN113256525 A CN 113256525A CN 202110572941 A CN202110572941 A CN 202110572941A CN 113256525 A CN113256525 A CN 113256525A
- Authority
- CN
- China
- Prior art keywords
- network
- enhancement
- image
- pixel
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001931 thermography Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 22
- 230000004044 response Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种红外热成像图像增强方法，该方法应用深度神经网络对获取的红外图像数据进行图像增强，该网络中通过像素增强网络对每个像素点进行增强处理，解决了红外热成像探测器各像元响应的差异性问题；同时调用全局特征提取网络提取图像整体特征，作用于像素增强网络的输出以保证增强的局部和整体一致性，并且可以抑制噪声，提升图像增强效果；另外，该过程是一种无参数的图像增强的过程，无需人工设置参数，可以简化用户侧操作，可以提升应用时的用户体验。本发明还公开了一种红外热成像图像增强装置、设备及可读存储介质，具有相应的技术效果。
Description
技术领域
本发明涉及图像预处理技术领域，特别是涉及一种红外热成像图像增强方法、装置、设备及可读存储介质。
背景技术
数字图像处理技术现在已普遍应用于各种行业，而图像增强处理技术就是其主要组成部分之一。所谓的图像增强处理，就是抑制原始图像上的干扰因素，从而改善原画面的质量。换句话说，就是对重要内容进行增强，以及对不重要内容进行抑制，然后获得清晰的图像显示效果。有时由于场景条件的影响导致图像拍摄出来的视觉效果不好，这就需要利用图像增强技术来改善人们看到的视觉效果，例如突出图像中目标物的一些特点、从数字图像中提取目标的特征参数等，以便于对图像中目标物进行识别、跟踪和理解。
虽然基于深度学习等手段，可见光图像增强算法取得了一定的进展，然而在夜间、雾天等可见光不充足的场景，无法采集可靠的可见光图像，而这些情况下，红外热成像是有益的补充。
但是目前，可见光图像增强算法不适用于红外图像增强，将可见光的图像增强算法直接应用于红外热成像时图像增强效果很差，无法达到后续图像处理的精准度需求；而且目前针对红外热成像图像的增强算法由于无法适用于局部亮度特征增强以及应用环境限制大、噪声大、参数众多且调整难度大等缺点导致增强效果不佳，用户体验差；目前也存在一些基于深度学习红外图像增强算法，但是由于红外增强过程的效果影响因素较多，目前这些基于深度学习红外图像增强算法并没有考虑到这些影响因素所带来的增强效果差异性问题，而且不能完全提取红外图像中的特征信息，尤其是图像细节得不到增强，导致增强效果欠佳。
综上所述，如何提升红外图像增强效果，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种红外热成像图像增强方法、装置、设备及可读存储介质，以提升红外图像增强效果。
为解决上述技术问题，本发明提供如下技术方案：
一种红外热成像图像增强方法，包括：
获取红外图像数据；
调用预训练的红外图像增强深度神经网络对所述红外图像数据进行图像增强前向推理；其中，所述红外图像增强深度神经网络包括若干级联的网络层；所述网络层中包括：用于对每个像素点进行增强处理的像素增强网络以及用于提取图像整体特征的全局特征提取网络；
获取所述红外图像增强深度神经网络输出的图像，作为所述红外图像数据对应的增强后图像。
可选地，所述网络层的图像增强前向推理处理，包括：
确定所述网络层输入的图像数据，作为目标图像数据；
所述像素增强网络对所述目标图像数据中每个像素点进行增强处理，得到所述像素增强网络的输出结果；
所述全局特征提取网络对所述目标图像数据进行整体特征提取，得到所述全局特征提取网络的输出结果；
将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果进行数据融合，得到网络层输出图像数据。
可选地，所述像素增强网络对接收到的图像数据中每个像素点进行增强处理，包括：
所述像素增强网络中的卷积层对接收到的图像数据中每个像素点进行特征提取，得到像素特征；
所述像素增强网络中的激活层对所述像素特征进行非线性映射能力增强处理，得到增强数据；
将所述增强数据与对应的像素点的信号值相乘，得到所述像素点对应的增强结果；
统计所有像素点对应的增强结果，作为所述像素增强网络的输出结果。
可选地，所述激活层具体为：sigmoid激活层。
可选地，所述全局特征提取网络对所述接收到的图像数据进行整体特征提取，包括：
所述全局特征提取网络中的卷积层对所述接收到的图像数据中各部分图像进行特征提取，得到分组特征；
统计所述图像数据中所有分组特征的均值，作为所述全局特征提取网络的输出结果。
可选地，所述将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果进行数据融合，包括：
将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果相乘。
可选地，所述红外图像增强深度神经网络包括3层级联的所述网络层。
一种红外热成像图像增强装置，包括：
图像获取单元，用于获取红外图像数据；
网络推理单元，用于调用预训练的红外图像增强深度神经网络对所述红外图像数据进行图像增强前向推理；其中，所述红外图像增强深度神经网络包括若干级联的网络层；所述网络层中包括：用于对每个像素点进行增强处理的像素增强网络以及用于提取图像整体特征的全局特征提取网络；
输出获取单元，用于获取所述红外图像增强深度神经网络输出的图像，作为所述红外图像数据对应的增强后图像。
一种红外热成像图像增强设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述红外热成像图像增强方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述红外热成像图像增强方法的步骤。
本发明实施例所提供的方法，调用红外图像增强深度神经网络对获取的红外图像数据进行图像增强前向推理，该网络中通过像素增强网络对每个像素点进行增强处理，解决了红外热成像探测器各像元响应的差异性问题；同时调用全局特征提取网络提取图像整体特征，作用于像素增强网络的输出以保证增强的局部和整体一致性，并且可以抑制噪声，提升图像增强效果；另外，该过程是一种无参数的图像增强的过程，无需人工设置参数，可以简化用户侧操作，可以提升应用时的用户体验。
相应地，本发明实施例还提供了与上述红外热成像图像增强方法相对应的红外热成像图像增强装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种红外热成像图像增强方法的实施流程图；
图2为本发明实施例中一种像素增强网络的结构示意图；
图3为本发明实施例中一种全局特征提取网络的结构示意图；
图4为本发明实施例中一种三级红外图像增强深度神经网络结构示意图；
图5为本发明实施例中一种红外图像增强深度神经网络训练示意图；
图6a为本发明实施例中一种输入至红外图像增强深度神经网络的待增强的红外图像示意图；
图6b为本发明实施例中一种增强后的红外图像示意图；
图7a为本发明实施例中一种输入至红外图像增强深度神经网络的待增强的可见光图像示意图；
图7b为本发明实施例中一种增强后的可见光图像示意图；
图8为本发明实施例中一种红外热成像图像增强装置的结构示意图；
图9为本发明实施例中一种红外热成像图像增强设备的结构示意图。
具体实施方式
本发明的核心是提供一种红外热成像图像增强方法，可以提升红外图像增强效果。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例中一种红外热成像图像增强方法的流程图，该方法包括以下步骤：
S101、获取红外图像数据；
红外图像数据为通过红外热成像仪采集生成的图像数据，本实施例中对于红外图像数据的拍摄场景、拍摄对象的温度不做限定，可以根据实际使用需要获取采集的红外图像数据。
S102、调用预训练的红外图像增强深度神经网络对红外图像数据进行图像增强前向推理；
本申请中调用红外图像增强深度神经网络进行图像增强前向推理，是一种无参数的图像增强方法，无需人工设置参数，可以简化用户侧操作，提升实践时用户体验。
红外图像增强深度神经网络为预先训练的一种基于像素敏感的轻量级红外热成像图像增强网络，该网络由若干级联的网络层构成，每个网络层的结构相同，其中选用的卷积核等内部参数、配置可以根据不同的层级适应性调整。
每个网络层中包括两个网络：像素增强网络以及全局特征提取网络。由于两网络层分别对输入的图像数据进行不同的处理，两网络在网络层中可以并行，在某些情况下也可以串行，本实施例中对此不做限定。
其中，像素增强网络主要用于对网络层中输入的图像数据中每个像素点进行增强处理。由于同一个探测器的像素点对于不同温度的敏感程度不同，红外热成像探测器每个像素点响应曲线差异较大，并且随温度的变化而变化，传统的3*3、5*5等卷积核不能描述红外热成像探测器各像素的独立特性，因此，本实施例中提出通过针对每个独立像素进行增强处理，为每个像素点进行温度响应曲线的描述，用以解决红外热成像探测器各像元响应的差异性问题，提升图像增强能力。
全局特征提取网络主要用于对网络层中输入的图像数据进行整体特征提取，作用于像素增强网络输出的增强图像，以保证增强图像中局部和整体一致性；并且通过全局特征作用减少增强图像中不同像素点的不同噪声干扰，实现抑制噪声的作用。
每个网络层根据像素增强网络以及全局特征提取网络的网络输出结果生成层级结果，两网络间可以串行可以并行，为提升计算速度，两网络可以并行分别对输出的图像数据进行相应的处理(增强处理、整体特征提取)，再将两网络输出的结果进行数据融合，将融合后的图像数据作为网络层的输出结果。本实施例中对于像素增强网络以及全局特征提取网络生成图像处理结果后生成层级结果的实现方式不做限定，即对于数据融合的方式不做限定，可以以相减、相乘、加权和等形式进行数据融合，可选地，可以将像素增强网络的输出结果与全局特征提取网络的输出结果相乘，作为网络层输出图像数据。经试验验证，以相乘作为结果融合方式时实现方式简单易行，且生成的图像效果较好。其它数据融合方式均可参照本实施例的介绍，在此不再赘述。
本实施例中对于像素增强网络以及全局特征提取网络的网络结构不做限定，可以根据实际使用需要选取相应的处理单元进行网络以及参数的配置。由于网络结构不做限定，则相应地，本实施例中对于两网络的数据处理过程不做限定。为加深理解，在此介绍一种像素增强网络以及全局特征提取网络的网络结构以及对应的数据处理过程。
可选地，一种像素增强网络的结构如图2所示，主要由串联的1*1卷积层以及激活层构成。其中x为输入至网络层的图像数据，若为第一个网络层，则x即为接收到的红外图像数据，若非第一个网络层，则x即为前一个网络层输出的图像数据；y为该网络层输出的图像数据。本像素增强网络中通过1*1卷积提取每个独立像素的特征，并且采用激活层增强其非线性映射能力，并和原始信号相乘作为每个像素点的输出，本像素增强网络其数学形式为：
其中，x为每个像素点的输入，y为每个像素点的输出，w为每个像素点学习的增强特征权重。
相应地，像素增强网络对接收到的图像数据中每个像素点进行增强处理的过程具体可以包括以下步骤：
(1)像素增强网络中的卷积层对接收到的图像数据中每个像素点进行特征提取，得到像素特征；
(2)像素增强网络中的激活层对像素特征进行非线性映射能力增强处理，得到增强数据；
(3)将增强数据与对应的像素点的信号值相乘，得到像素点对应的增强结果；
(4)统计所有像素点对应的增强结果，作为像素增强网络的输出结果。
最后生成的输出结果可以以矩阵形式输出，则依照上述(公式1)，生成的输出结果可以表示为：
其中X∈Rm*n，WiRm*n，Yi∈Rm*n，m为输入图像的行数，n为输入图像的列数，X为未增强的原始红外图像，Yi为每层的预测输出，gi为全局特征提取网络学习的增益因子，Wi为每个像素学习的权重矩阵，i∈{1,2,3}，Y0＝X。
其中，本像素增强网络中具体选用sigmoid激活层作为激活层，该种激活方式实现简单，且资源占用小，适用于轻量级设备。当然，也可以选用其他类型的激活层，本实施例中对此不做限定。
可选地，一种全局特征提取网络的结构如图3所示，主要由卷积层(Conv)以及均值化层(mean)构成，卷积层提取图像局部和整体特征，再对卷积层输出的图像数据进行均值化处理，作为全局特征提取网络的输出结果，与像素增强网络的输出结果相融合(比如将全局特征提取网络的输出结果与像素增强网络的输出结果相乘)，以控制像素增强网络的整体增益，抑制增强噪声。其中x为输入至网络层的图像数据，Yc为全局特征提取网络的卷积层输出，g为全局特征提取网络中卷积层提取的增益因子。
在图3所示的网络结构下，全局特征提取网络对接收到的图像数据进行整体特征提取的过程具体包括以下步骤：
(1)全局特征提取网络中的卷积层对接收到的图像数据中各部分图像进行特征提取，得到分组特征；
(2)统计图像数据中所有分组特征的均值，作为全局特征提取网络的输出结果。
另外，需要说明的是，本实施例中对于网络层的数量不做限定，可以设置2层、3层、4层甚至更多网络层，网络层数越多，图像增强效果越好，但是算法越复杂，处理效率越低，为了保证图像增强效果的同时提升计算效率，可以选用3层网络层进行网络模型的搭建。如图4所示为一种基于图2、图3所示的网络结构设置，由三级网络层组成的一种红外图像增强深度神经网络结构示意图。
图4中整个网络由三层相同的网络层结构级联堆叠而成，每个网络层由像素增强网络和全局特征提取网络组成。其中X为获取的原始红外图像数据，Y1、Y2、Y3分别为每各网络层中像素增强网络的输出，其中各网络层中的卷积层的卷积核分别为7*7、3*3、3*3，stride(步长)均为2。Yc1、Yc2为各网络层中全局特征提取网络的卷积层输出，g1、g2、g3分别为各网络层中全局特征提取网络卷积层提取的增益因子，此增益因子是通过学习自动获取的。模型大小为146k左右，应用于RTX6000处理720p图像需要3ms，可见上述结构占用空间小且计算速度快，可移植到低端AI芯片，对于应用设备限制小。
另外，需要说明的是，本实施例中对于红外图像增强深度神经网络的训练过程不做限定，可以参照相关技术中的网络训练过程。为加深理解，以图4所示的网络结构介绍一种网络训练方式，如图5所示为一种红外图像增强深度神经网络训练示意图。
使用操作***为Ubuntu 18.04的计算机进行训练，红外图像增强深度神经网络的训练和测试模型在Pytorch1.4架构下搭建，所使用的服务器为RTX 6000。数据集使用HD1280红外相机采集。
首先通过红外热成像仪获取不同温度、不同场景的原始的红外图像10000张，利用传统的图像增强方法(如引导滤波的高动态增强、色调映射、去条纹、去锅盖、降噪等方式)获得高质量的训练图像集(原始的红外图像数据和处理后高质量的图像一一对应，高质量的图像指增强后的图像)。共采集10000张图像，其中9000张图像作为训练样本，1000张图像作为验证样本。
图5中Y为训练样本以及验证样本，Loss为损失函数，其计算公式为
其中，N为训练的样本数目，Y3为第三个网络层的输出。
红外图像增强深度神经网络使用Adam梯度下降法训练了200轮，批处理大小为12，输入/输出分辨率为1280*720。对于前150轮，学习率大小为10-4，剩下的50轮，将学习率降至10-5后输出红外图像增强深度神经网络。
需要说明的是，本实施例中仅以上述红外图像增强深度神经网络的结构以及训练方式为例进行介绍，基于其他结构的红外图像增强深度神经网络搭建以及训练方式均可参照上述介绍，在此不再赘述。
S103、获取红外图像增强深度神经网络输出的图像，作为红外图像数据对应的增强后图像。
获取红外图像增强深度神经网络输出的图像，作为红外图像数据对应的增强后图像，如图6a所示为一种输入至红外图像增强深度神经网络的待增强的红外图像，图6b所示为红外图像增强深度神经网络输出的图6a对应的增强后的红外图像。由图6a和图6b对比可看出，增强后的红外图像细节明显好于未增强的图像，譬如能看到键盘、墙壁砖块的结合部等，因此调用本实施例提供红外图像增强深度神经网络可以实现较好的图像增强效果。
虽然本申请初衷是针对红外热成像探测器每个像素点响应曲线差异较大，并且随温度的变化而变化而专门设计的，但本实施例提供的红外图像增强深度神经网络对可见光图像增强也同样有效，如图7a所示为一种输入至红外图像增强深度神经网络的待增强的可见光图像(光线有限时采集得到)，图7b所示为红外图像增强深度神经网络输出的图7a对应的增强后的可见光图像，由图7a和图7b对比可看出，增强后的可见光图像中细节清楚明显，说明了本申请具有很好的泛化能力，不仅对红外热成像图像具有良好的增强效果，在不对模型做任何修改的情况下，对可见光图像也具有增强效果。
基于上述介绍，本发明实施例所提供的技术方案中调用红外图像增强深度神经网络对获取的红外图像数据进行图像增强前向推理，该网络中通过像素增强网络对每个像素点进行增强处理，解决了红外热成像探测器各像元响应的差异性问题；同时调用全局特征提取网络提取图像整体特征，作用于像素增强网络的输出以保证增强的局部和整体一致性，并且可以抑制噪声，提升图像增强效果；另外，该过程是一种无参数的图像增强的过程，无需人工设置参数，可以简化用户侧操作，可以提升应用时的用户体验。
相应于上面的方法实施例，本发明实施例还提供了一种红外热成像图像增强装置，下文描述的红外热成像图像增强装置与上文描述的红外热成像图像增强方法可相互对应参照。
参见图8所示，该装置包括以下模块：
图像获取单元110主要用于获取红外图像数据；
网络推理单元120主要用于调用预训练的红外图像增强深度神经网络对红外图像数据进行图像增强前向推理；其中，红外图像增强深度神经网络包括若干级联的网络层；网络层中包括：用于对每个像素点进行增强处理的像素增强网络以及用于提取图像整体特征的全局特征提取网络；
输出获取单元130主要用于获取红外图像增强深度神经网络输出的图像，作为红外图像数据对应的增强后图像。
相应于上面的方法实施例，本发明实施例还提供了一种红外热成像图像增强设备，下文描述的一种红外热成像图像增强设备与上文描述的一种红外热成像图像增强方法可相互对应参照。
该红外热成像图像增强设备包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述方法实施例的红外热成像图像增强方法的步骤。
具体的，请参考图9，为本实施例提供的一种红外热成像图像增强设备的具体结构示意图，该红外热成像图像增强设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在红外热成像图像增强设备301上执行存储器332中的一系列指令操作。
红外热成像图像增强设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作***341。
上文所描述的红外热成像图像增强方法中的步骤可以由红外热成像图像增强设备的结构实现。
相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种红外热成像图像增强方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的红外热成像图像增强方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种红外热成像图像增强方法，其特征在于，包括：
获取红外图像数据；
调用预训练的红外图像增强深度神经网络对所述红外图像数据进行图像增强前向推理；其中，所述红外图像增强深度神经网络包括若干级联的网络层；所述网络层中包括：用于对每个像素点进行增强处理的像素增强网络以及用于提取图像整体特征的全局特征提取网络；
获取所述红外图像增强深度神经网络输出的图像，作为所述红外图像数据对应的增强后图像。
2.根据权利要求1所述的红外热成像图像增强方法，其特征在于，所述网络层的图像增强前向推理处理，包括：
确定所述网络层输入的图像数据，作为目标图像数据；
所述像素增强网络对所述目标图像数据中每个像素点进行增强处理，得到所述像素增强网络的输出结果；
所述全局特征提取网络对所述目标图像数据进行整体特征提取，得到所述全局特征提取网络的输出结果；
将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果进行数据融合，得到网络层输出图像数据。
3.根据权利要求2所述的红外热成像图像增强方法，其特征在于，所述像素增强网络对接收到的图像数据中每个像素点进行增强处理，包括：
所述像素增强网络中的卷积层对接收到的图像数据中每个像素点进行特征提取，得到像素特征；
所述像素增强网络中的激活层对所述像素特征进行非线性映射能力增强处理，得到增强数据；
将所述增强数据与对应的像素点的信号值相乘，得到所述像素点对应的增强结果；
统计所有像素点对应的增强结果，作为所述像素增强网络的输出结果。
4.根据权利要求3所述的红外热成像图像增强方法，其特征在于，所述激活层具体为：sigmoid激活层。
5.根据权利要求2所述的红外热成像图像增强方法，其特征在于，所述全局特征提取网络对所述接收到的图像数据进行整体特征提取，包括：
所述全局特征提取网络中的卷积层对所述接收到的图像数据中各部分图像进行特征提取，得到分组特征；
统计所述图像数据中所有分组特征的均值，作为所述全局特征提取网络的输出结果。
6.根据权利要求2所述的红外热成像图像增强方法，其特征在于，所述将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果进行数据融合，包括：
将所述像素增强网络的输出结果与所述全局特征提取网络的输出结果相乘。
7.根据权利要求1所述的红外热成像图像增强方法，其特征在于，所述红外图像增强深度神经网络包括3层级联的所述网络层。
8.一种红外热成像图像增强装置，其特征在于，包括：
图像获取单元，用于获取红外图像数据；
网络推理单元，用于调用预训练的红外图像增强深度神经网络对所述红外图像数据进行图像增强前向推理；其中，所述红外图像增强深度神经网络包括若干级联的网络层；所述网络层中包括：用于对每个像素点进行增强处理的像素增强网络以及用于提取图像整体特征的全局特征提取网络；
输出获取单元，用于获取所述红外图像增强深度神经网络输出的图像，作为所述红外图像数据对应的增强后图像。
9.一种红外热成像图像增强设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述红外热成像图像增强方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述红外热成像图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572941.2A CN113256525B (zh) | 2021-05-25 | 2021-05-25 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572941.2A CN113256525B (zh) | 2021-05-25 | 2021-05-25 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256525A true CN113256525A (zh) | 2021-08-13 |
| CN113256525B CN113256525B (zh) | 2023-01-10 |
Family
ID=77184371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110572941.2A Active CN113256525B (zh) | 2021-05-25 | 2021-05-25 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256525B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797471A (zh) * | 2022-12-20 | 2023-09-22 | 慧之安信息技术股份有限公司 | 一种基于深度学习的水下目标图像检测方法和*** |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564025A (zh) * | 2018-04-10 | 2018-09-21 | 广东电网有限责任公司 | 一种基于可变形卷积神经网络的红外图像物体识别方法 |
| CN108961180A (zh) * | 2018-06-22 | 2018-12-07 | 理光软件研究所（北京）有限公司 | 红外图像增强方法及*** |
| CN109102483A (zh) * | 2018-07-24 | 2018-12-28 | 厦门美图之家科技有限公司 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
| CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
| CN109558840A (zh) * | 2018-11-29 | 2019-04-02 | 中国科学院重庆绿色智能技术研究院 | 一种特征融合的活体检测方法 |
| CN109784358A (zh) * | 2018-11-23 | 2019-05-21 | 南京航空航天大学 | 一种融合人工特征和深度特征的无参考图像质量评价方法 |
| CN110084757A (zh) * | 2019-04-15 | 2019-08-02 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
| CN110097617A (zh) * | 2019-04-25 | 2019-08-06 | 北京理工大学 | 基于卷积神经网络与显著性权重的图像融合方法 |
| CN110717864A (zh) * | 2019-08-29 | 2020-01-21 | 苏州千视通视觉科技股份有限公司 | 一种图像增强方法、装置、终端设备及计算机可读介质 |
| CN111861914A (zh) * | 2020-07-07 | 2020-10-30 | 天津大学 | 基于深度神经网络的低照度彩色偏振图像增强方法 |
| CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及*** |
-
2021
- 2021-05-25 CN CN202110572941.2A patent/CN113256525B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564025A (zh) * | 2018-04-10 | 2018-09-21 | 广东电网有限责任公司 | 一种基于可变形卷积神经网络的红外图像物体识别方法 |
| CN108961180A (zh) * | 2018-06-22 | 2018-12-07 | 理光软件研究所（北京）有限公司 | 红外图像增强方法及*** |
| CN109102483A (zh) * | 2018-07-24 | 2018-12-28 | 厦门美图之家科技有限公司 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
| CN109544487A (zh) * | 2018-09-30 | 2019-03-29 | 西安电子科技大学 | 一种基于卷积神经网络的红外图像增强方法 |
| CN109784358A (zh) * | 2018-11-23 | 2019-05-21 | 南京航空航天大学 | 一种融合人工特征和深度特征的无参考图像质量评价方法 |
| CN109558840A (zh) * | 2018-11-29 | 2019-04-02 | 中国科学院重庆绿色智能技术研究院 | 一种特征融合的活体检测方法 |
| CN110084757A (zh) * | 2019-04-15 | 2019-08-02 | 南京信息工程大学 | 一种基于生成对抗网络的红外深度图像增强方法 |
| CN110097617A (zh) * | 2019-04-25 | 2019-08-06 | 北京理工大学 | 基于卷积神经网络与显著性权重的图像融合方法 |
| CN110717864A (zh) * | 2019-08-29 | 2020-01-21 | 苏州千视通视觉科技股份有限公司 | 一种图像增强方法、装置、终端设备及计算机可读介质 |
| CN111861914A (zh) * | 2020-07-07 | 2020-10-30 | 天津大学 | 基于深度神经网络的低照度彩色偏振图像增强方法 |
| CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及*** |
Non-Patent Citations (1)
| Title |
|---|
| 左岑 等: ""基于轻量级金字塔密集残差网络的红外图像超分辨增强"", 《红外技术》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797471A (zh) * | 2022-12-20 | 2023-09-22 | 慧之安信息技术股份有限公司 | 一种基于深度学习的水下目标图像检测方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256525B (zh) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020192483A1 (zh) | 图像显示方法和设备 | |
| CN108898567B (zh) | 图像降噪方法、装置及*** | |
| CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN112446834A (zh) | 图像增强方法和装置 | |
| WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、***、设备及介质 | |
| CN111914997A (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN110335221B (zh) | 一种基于无监督学习的多曝光图像融合方法 | |
| CN114730456A (zh) | 神经网络模型的训练方法、图像处理方法及其装置 | |
| CN112614136A (zh) | 一种红外小目标实时实例分割方法及装置 | |
| Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN116547694A (zh) | 用于对模糊图像去模糊的方法和*** | |
| CN113256525B (zh) | 红外热成像图像增强方法、装置、设备及可读存储介质 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| Heinze et al. | Joint multi-frame demosaicing and super-resolution with artificial neural networks | |
| CN113674186A (zh) | 基于自适应调整因子的图像合成方法、装置 | |
| Lu et al. | Kernel estimation for motion blur removal using deep convolutional neural network | |
| CN109949332B (zh) | 用于处理图像的方法和装置 | |
| CN112396602A (zh) | 基于帧间跨尺度相似性聚合的钢材涂层检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210813 Assignee: INFIRAY TECHNOLOGIES CO.,LTD. Assignor: Yantai Airui Photo-Electric Technology Co.,Ltd. Contract record no.: X2024980006380 Denomination of invention: Infrared thermal imaging image enhancement method, device, equipment, and readable storage medium Granted publication date: 20230110 License type: Common License Record date: 20240530 |