CN117391938A - 一种红外图像超分辨率重建方法、***、设备及终端 - Google Patents

Abstract

本发明属于红外超分辨率重建技术领域，公开了一种红外图像超分辨率重建方法、***、设备及终端，包括：准备数据集，对数据集进行预处理并将数据集划分为训练集和测试集两部分；构建包含初级特征提取、深度特征提取及重建模块的网络模型；利用准备好的可见光数据集对网络模型进行预训练，预训练时冻结除轮廓提取外的另外两条支路，然后用红外图像对整个网络模型进行训练，直至达到预设阈值；利用准备好的验证数据集对网络模型进行再次训练和微调，获取最终模型；将获得最终模型的参数进行固化，保存神经网络模型。本发明使得红外图像超分辨率重建能够在保持较好的重建能力的同时具有更快的重建速度，更符合实际应用。

Description

一种红外图像超分辨率重建方法、***、设备及终端

技术领域

本发明属于红外超分辨率重建技术领域，尤其涉及一种红外图像超分辨率重建方法、***、设备及终端。

背景技术

图像超分辨率重建是一种通过红外图像的纹理、场景细节等信息，实现对低分辨率红外图像进行高分辨率重建的方法。在红外超分辨率重建任务中，旨在准确地提升红外图像的分辨率，以获得更清晰、更具细节的图像。红外超分辨率重建方法的发展对于提升红外图像应用领域的效果具有重要意义，例如红外监控、目标检测与跟踪、火灾识别等。尽管在红外超分辨率重建方面已经进行了大量的研究工作，但由于任务的复杂性，红外超分辨率重建网络仍然面临几个关键性问题：重建精度不够、重建效率低和算法缺乏通用性。

中国专利公开号为“CN116152062A”，名称为“一种轻量化超分辨率重建方法”，该方法首先对数据集进行预处理；接着利用超分辨率重建网络将低分辨率图像处理为高分辨率图像，然后该方法通过损失函数调整模型参数，获得最优解；最后固化模型参数并利用评价指标对模型性能进行评估。该方法得到的重建图像边缘信息模糊，不符合人眼视觉效果，同时计算复杂度高。

通过上述分析，现有技术存在的问题及缺陷为：现有的红外超分辨率重建网络重建精度不够、重建效率低和算法缺乏通用性，如：重建后的高分辨率图像边缘纹理信息模糊不清、算法的退化模型较为单一，不能很好地模拟自然界中的退化环境等。

发明内容

针对现有技术存在的问题，本发明提供了一种红外图像超分辨率重建方法、***、设备及终端。

本发明是这样实现的，一种红外图像超分辨率重建方法，首先，采用FLIR红外图像数据集和KAIST可见光数据集，对数据进行细致划分，形成训练集、测试集和验证集，以便于模型的全面训练和评估。其次，实施多样化的退化处理（如加入噪声、运动模糊等）并通过双线性插值进行下采样，以模拟实际应用中图像的低分辨率状态。接着，构建一个包含初级特征提取卷积层、深度特征提取支路、亚像素卷积层和双三次插值上采样层的网络模型，用于有效的高分辨率图像重建和特征融合。此外，采用复合损失函数（结合L1像素损失、感知损失和边缘损失），先使用可见光数据集对网络进行预训练，再用红外图像数据集进行微调和优化，从而提高模型的性能和适应性。最后，完成模型训练后，将参数固化并存储于合适的存储设备，以便于后续的应用和部署。这一系列的技术特征共同构成了一种高效且实用的红外图像超分辨率重建方法。

进一步，具体包括：

S1，准备训练数据：选择可见光数据集和红外图像数据集，将数据集划分为训练集、测试集和验证集，完成训练数据的准备；

S2，构建退化策略：将准备好的训练集随机经过多种退化策略，如：加入噪声、运动模糊等退化策略，然后经过双线性插值下采样4倍像素大小；

S3，构建网络模型：整个网络包括一个卷积层用于初级特征提取，三条支路用于深度特征提取，一个亚像素卷积层用于重建高分辨率图像，一个上采样模块用于将特征信息直接传递给后续深层特征，然后通过ADD操作进行特征融合，网络亚像素卷积层后的卷积层用于再一次特征提取及通道变换，然后输出高分辨率图像；

S4，训练网络模型：选择合适的损失函数，先用可见光数据集对网络模型进行预训练，保存权重，期间冻结除轮廓提取支路的另外两条支路，保存权重，然后将权重赋值给网络模型，用红外图像数据集对整个网络进行训练，直到训练次数达到初始设定阈值或损失函数的值达到预设范围，即可认为网络模型训练已完成，保存网络模型参数，将参数存储进固态硬盘、ROM或移动U盘等存储设备；

S5，微调网络模型：使用验证集对网络模型进行调整，优化网络模型参数，进一步提高超分辨率重建网络性能，得到能够实现超分辨率重建效果最好的网络模型；

S6，保存模型：完成网络模型微调后，固化网络参数，将网络参数、训练所得权重、代码等数据存储进存储器，确定最终的红外图像超分辨率重建模型；若后续需要进行红外图像超分辨率重建时，可以直接将待超分辨率重建的图像输入进网络模型中，得到重建后的高分辨率图像。

进一步，S1中的红外图像数据集为FLIR数据集，可见光数据集为KAIST数据集。

进一步，S2中的卷积块一和卷积块二组成结构相同，由一个卷积核为的卷积层和一个卷积核为/>的卷积层组成；四个堆叠块的组成结构相同，由通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、/>连接和一个卷积核为/>的卷积层组成。

进一步，S3中整个网络包括两个卷积块、四个堆叠块、一个亚像素卷积层及一个双三次插值上采样层，卷积块一对输入图像进行初级特征提取；堆叠块一、堆叠块二、堆叠块三、堆叠块四对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，其中采用分组卷积方法降低模型参数，同时采用参数共享方法，堆叠块共享相同权重；亚像素卷积层对输入图像进行上采样；双三次插值上采样层将输入图像进行上采样后与亚像素卷积层输出进行ADD操作；后输出经过卷积块二进行去噪等操作后输出高分辨率图像，所有卷积块组成结构均相同，均包括一个卷积核大小为的卷积层和一个卷积核大小为/>的卷积层；其中所有堆叠块组成结构均相同，均包括通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、/>操作和一个卷积核大小为/>的卷积层，亚像素卷积层重建倍数为4。

进一步，S4中的损失函数为一种复合损失，包括L1像素损失、感知损失和边缘损失，其中边缘损失采用Sobel求得边缘特征E，然后用系数E进行损失设计；总损失为上述三种损失加权组合计算而得。

进一步，S4中网络模型训练方法包括：

网络模型预处理：先用可见光图像数据集对网络进行预训练，训练时冻结堆叠块中轮廓提取支路外的两条支路，对网络模型进行预训练，保存权重；

网络模型训练：将预训练后的网络权重赋值后，对整个网络模型用红外图像数据集进行训练，直到训练次数达到设定阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完成，保存模型参数。

本发明的另一目的在于提供一种应用所述红外图像超分辨率重建方法的红外图像超分辨率重建***，包括：

图像获取模块：用于获取输入的原红外图像，并对图像进行预处理，得到的图像用于后续相关模块；获取方式为对原红外图像进行随机退化策略处理，然后对该图像进行下采样操作，获取其指定大小的分辨率图；

图像重建模块：用于处理提取红外图像中的特征信息，包括卷积块、堆叠块、跳跃连接块和上采样块。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的红外图像超分辨率重建方法的步骤，输出并显示重建后的高分辨率图像。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的红外图像超分辨率重建方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的红外图像超分辨率重建***。

第一，本发明设计了一种用于红外图像的轻量化超分辨率重建网络框架，旨在充分利用图像的低分辨率信息和高分辨率图像的细节信息，通过快速处理低分辨率图像的方式，提高红外图像的分辨率，并在保证重建质量的同时，提升超分辨率重建的速度；本实验提出的网络模型参数量仅有1.13M，计算力为6.53G，重建后的高分辨率图像拥有清晰的边缘纹理信息。

本发明设计了一种随机退化策略，输入原图像数据后会随机选取一种或多种退化方式，用于模拟真实世界中的随机退化环境，极大地提高了网络的泛化能力，解决了一种超分辨率重建网络不适用于多环境的问题。

本发明采用的模型训练方法，通过可见光图像对网络进行预训练，采用迁移学习提高神经网络在红外图像中边缘轮廓特征的特征提取能力。

本发明提出的重建模型在FLIR数据集、KAIST数据集中均表现出了良好的效果，在重建倍数为2的数据集中，峰值信噪比提高0.12，结构相似度提高0.016，在重建倍数为3和4的实验中，评价指标也均有提升。

本发明的存储介质，由于具有可以在执行时运行上述方法的代码，因而也具有上述方法具有的优点。

第二，本发明提供的模型训练方法：先用可见光图像训练轮廓注意力，其余两条支路冻结，不进行预训练，保存权重；然后将预训练的权重赋值给网络模型，训练整个完整的神经网络，最终输出重建后的高分辨率红外图像；该模型训练方法能够增强模型对边缘的提取能力。

本发明提供的随机退化策略：输入原图像数据后会随机选取一种或多种退化方式，用于模拟真实世界中的随机退化环境，极大地提高了网络的泛化能力，解决了一种超分辨率重建网络不适用于多环境的问题。

第三，本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

本发明提出了一种用于红外超分辨率重建的模型训练方法，该训练方法先用可见光图像训练集对网络进行预训练，预训练过程中堆叠块只训练轮廓注意力，其余两条支路冻结，不进行预训练，保存权重；然后将预训练的权重赋值给网络模型，训练整个完整的神经网络，最终输出重建后的高分辨率红外图像；因红外图像中边缘信息不明显，直接用红外图像训练网络并不能使网络具有很高的边缘提取能力，故先用可见光进行预训练，这样重建生成的红外图像边缘纹理信息更丰富；

本发明提出的超分辨率重建网络中设计了一种轮廓注意力，该轮廓注意力能够使网络关注图像的边缘信息，增强网络对边缘纹理的提取能力；

本发明设计了一种复合损失，其中包括边缘损失，先通过Sobel算子求得边缘特征E后，用E去设计边缘损失，该损失能够帮助模型更好地捕捉图像中的边缘信息，生成边缘纹理更清晰的高分辨率图像。

本发明设计了一种随机退化策略，能够模拟自然界中的退化环境，使模型的泛化能力更强，解决了一个网络只能应用于某种固定的退化环境中的难题。

第四，本发明提供的红外图像超分辨率重建方法展现了一系列显著的技术进步，特别是在红外图像处理和超分辨率重建方面。以下是该方法的主要技术进步和优点：

1. 高效的数据集利用

多数据集融合：结合FLIR红外图像数据集和KAIST可见光数据集，提高了模型对不同数据源的适应能力。

细致的数据集划分：通过将数据集划分为训练集、测试集和验证集，确保了模型的全面验证和优化。

2. 创新的退化策略

多样化退化处理：通过引入噪声、运动模糊等退化策略，模拟了真实世界中的各种图像退化情况，增强了模型的实用性。

下采样技术：采用双线性插值下采样方法，有效模拟了低分辨率图像，为超分辨率重建提供了实际的训练基础。

3. 先进的网络模型设计

深度特征提取：通过多个卷积层和堆叠块对图像进行深度特征提取，提高了模型的识别和重建能力。

亚像素卷积层的应用：使用亚像素卷积层进行上采样，有效提高了图像的分辨率。

特征融合和通道变换：通过特征融合和通道变换，进一步提升了模型的性能和输出图像的质量。

4. 多阶段训练和微调

复合损失函数：采用L1像素损失、感知损失和边缘损失的组合，全面考虑了图像重建的质量。

分阶段预训练和微调：先使用可见光数据集进行预训练，再使用红外图像数据集进行微调，提高了模型的适应性和精确度。

参数固化与保存：完成训练后的模型参数固化，易于后续的使用和部署。

5. 显著的技术进步

提高了红外图像的分辨率和质量：使得细节更加清晰，有助于在监控、医疗成像等领域的应用。

提升了红外图像分析的准确性：对于需要高分辨率红外图像的领域（如遥感、安全监控等）来说尤为重要。

增强了红外图像的实用性：使得原本分辨率较低的红外图像可以用于更广泛的应用场景。

综合来看，这种红外图像超分辨率重建方法在数据集利用、退化策略、网络设计、训练策略和模型优化等方面取得了显著的技术进步，大大提升了红外图像的处理能力和应用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的红外图像超分辨率重建方法的流程图；

图2是本发明实施例提供的基于轻量化网络的超分辨率重建方法的网络整体概述视图；

图3是本发明实施例提供的基于轻量化网络的超分辨率重建方法的具体网络结构图；

图4是本发明实施例提供的超分辨率重建网络中卷积块的网络结构图；

图5是本发明实施例提供的超分辨率重建网络中堆叠块的网络结构图；

图6是本发明实施例提供的超分辨率重建网络堆叠块中轻量化特征提取层网络结构图；

图7是本发明实施例提供的超分辨率重建网络堆叠块中通道注意力网络结构图；

图8是本发明实施例提供的超分辨率重建网络堆叠块中边缘提取注意力网络结构图；

图9是本发明实施例提供的超分辨率重建网络中预处理采用的随机退化策略示意图；

图10是本发明实施例提供的模型训练方法示意图；

图11是本发明实施例提供的***示意图。

实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种红外图像超分辨率重建方法、***、设备及终端，下面结合附图对本发明作详细的描述。

基于提出的红外图像超分辨率重建方法，以下是两个具体的实施例及其实现方案：

实施例1：安全监控中的人员识别

1. 数据集准备：使用FLIR红外图像数据集，特别是包含人员的图像。

2. 退化处理：

-对红外图像应用加噪声、运动模糊等退化策略，模拟实际监控中的退化情况。

使用双线性插值进行下采样，模拟低分辨率监控图像。

3. 网络模型构建：

设计包含多个卷积层和堆叠块的网络模型，重点提取人员特征。

使用亚像素卷积层进行上采样，重建高分辨率人员图像。

4. 模型训练和微调：

使用KAIST可见光数据集进行预训练，之后使用红外图像数据集进行微调。

优化损失函数，以提升人员图像的重建质量和细节。

5. 模型保存和应用：

保存优化后的模型。

在实际安全监控***中部署，用于提升人员识别的准确性和细节清晰度。

实施例2：遥感成像中的地形分析

1. 数据集准备：选取FLIR红外图像数据集中的地形相关图像。

2. 退化处理：

对地形图像实施加噪声、模糊等退化处理，模拟低分辨率遥感图像。

进行双线性插值下采样，创建低分辨率数据。

3. 网络模型构建：

构建专注于地形特征提取的网络模型，包括多个卷积层和堆叠块。

运用亚像素卷积层实现高分辨率地形图像的重建。

4. 模型训练和微调：

首先在KAIST可见光数据集上进行预训练，然后在红外数据集上进行微调。

通过调整损失函数优化地形图像的重建质量。

5. 模型保存和应用：

存储训练后的模型参数。

在遥感成像***中应用，以提高地形分析的精确度和图像质量。

这两个实施例展示了如何根据具体应用场景定制超分辨率重建方法，从而在安全监控和遥感成像领域提高红外图像的分辨率和应用价值。

本发明实施例提供的红外图像超分辨率重建方法包括如下步骤：

步骤1，准备训练数据：本方法使用红外、可见光图像的KAIST数据集和FLIR数据集，将数据集分为训练集和测试集。

步骤2，构建退化策略：首先对数据集图像经过随机退化策略得到退化图像，然后经过双线性插值下采样4倍像素大小，完成准备训练数据。

步骤3，构建网络模型：整个网络包括两个卷积块、四个堆叠块、一个亚像素卷积层及一个双三次插值上采样层，卷积块一对输入图像进行初级特征提取；堆叠块一、堆叠块二、堆叠块三、堆叠块四对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，其中采用分组卷积方法降低模型参数，同时采用参数共享方法，堆叠块共享相同权重；亚像素卷积层对输入图像进行上采样；双三次插值上采样层将输入图像进行上采样后与亚像素卷积层输出进行ADD操作；后输出经过卷积块二进行去噪等操作后输出高分辨率图像。

步骤4，训练网络模型：将步骤2中预处理好的KAIST数据集中可见光图像训练集对网络进行预训练，预训练过程中堆叠块只训练轮廓注意力，其余两条支路冻结，不进行预训练，保存权重；然后将预训练的权重赋值给网络模型，用FLIR数据集和KAIST数据集中的红外图像训练集对网络再次进行训练，获取训练权重。

步骤5，选择合适的损失函数并确定本超分重建方法的最优评价指标，选择合适的损失函数使得输出图像的权重与真实标签值损失最小，设定训练损失阈值，不断迭代优化模型，直到训练次数达到设定阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完成，保存模型参数。

步骤6，确定超分辨率重建模型：固化网络模型参数，确定最终超分重建模型，如若进行图像超分任务时，可直接将红外图像图像输入训练好的端到端网络模型中，得到最终红外高分辨率图像。

步骤7，保存模型：将最终确定的模型参数进行固化，将训练所得权重、代码、参数等数据存入存储器中，之后需要进行红外超分辨率重建操作时，直接将图像输入到网络中即可得到最终的重建图像。

实施例1：如图1所示，一种红外图像超分辨率重建方法，该方法具体包括如下步骤：

步骤1，准备训练数据：选择数据集KAIST中可见光图像和数据集FLIR中红外图像，分别将数据集划分为训练集、验证集和测试集。

步骤2，构建退化策略：首先对数据集图像经过随机退化策略得到退化图像，然后经过双线性插值下采样4倍像素大小，完成对数据的预处理。

步骤3，构建网络模型：本方法网络模型主要包括两个卷积块、四个堆叠块、一个亚像素卷积层和一个双三次插值上采样层组成，卷积块一和双三次插值上采样层以预处理得到的低分辨率图像作为输入；四个堆叠块用于提取图像的边缘、细节等纹理信息；双三次插值上采样层输入为低分辨率图像，这样可以保留更多的低频信息；亚像素卷积层重建倍数为，后直接与低分辨率图像经过双三次插值上采样放大/>倍后的图像进行ADD操作；ADD操作后输出作为卷积块二的输入，进行进一步的特征提取；最后得到输出图像；其中所有卷积块组成结构均相同，均包括一个卷积核大小为/>的卷积层和一个卷积核大小为/>的卷积层；其中所有堆叠块组成结构均相同，均包括通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、/>操作和一个卷积核大小为/>的卷积层。

步骤4，选择复合损失，包括L1像素损失、感知损失和边缘损失，其中边缘损失采用Sobel算子求得边缘特征E，用E去加权，边缘部分的占比就会变大，那么这个就能更好地优化边缘信息；总损失由上述损失加权组合来计算。首先采用KAIST数据集中可见光图像的训练集对网络进行训练，训练期间冻结堆叠块的轻量化特征提取层和通道注意力两条支路，只对主网络和堆叠块中的边缘信息提取支路进行训练，开始网络训练，最小化输出图像与真实标签的损失函数值，直到训练次数达到初始设定阈值或损失函数的值达到预设范围，即认为网络模型已训练完成，保存网络模型参数；再采用FLIR数据集和KAIST数据集中红外图像的训练集对整个网络进行训练，开始网络训练，最小化输出图像与真实标签的损失函数值，直到训练次数达到初始设定阈值或损失函数的值达到预设范围，即认为网络模型已训练完成，保存网络模型参数。

步骤5，微调网络模型：使用验证集对网络模型进行调整，优化网络模型参数，进一步提高超分辨率重建网络性能，得到能够实现最优重建效果的网络模型。

步骤6，固化网络模型：完成网路模型调整后，固定网络参数，确定最终的红外图像超分辨率重建网络模型；若后续需要进行红外图像超分重建任务时，可以直接将低分辨率图像输入至网络模型中，得到高分辨率图像。

实施例2：如图1所示，一种红外图像超分辨率重建方法，该方法具体包括如下步骤：

步骤1，准备训练数据：选择数据集KAIST，将KAIST数据集中可见光图像和红外图像分别划分为训练集、验证集和测试集；选择数据集FLIR，将数据集划分为训练集、验证集和测试集。

步骤2，构建退化策略：首先对数据集图像经过随机退化策略得到退化图像，然后经过双线性插值下采样4倍像素大小，完成准备训练数据；其随机退化策略如图9所示。

步骤3，构建网络模型：如图3所示，网络模型主要包括两个卷积块、四个堆叠块、一个亚像素卷积层和一个双三次插值上采样层；

卷积块一的输入为退化后的低分辨率图像，其结构如图4所示，卷积块一和卷积块二由一个卷积核为的卷积层和一个卷积核为/>的卷积层构成；卷积块一提取低分辨率图像的低级信息，生成新的特征图作为堆叠块的输入；卷积块二将上采样放大4倍后的图像特征图作为输入，进一步提取特征信息后输出为高分辨率图像。

堆叠块结构如图5所示，由通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、操作和一个卷积核为/>的卷积层构成，其中输入堆叠块的特征图经通道分离层分为三部分，分别输入到轻量化特征提取层、通道注意力、边缘提取注意力三条支路进行特征提取，这样做的目的是为了减小模型的参数量；三条支路输出的特征信息经/>汇聚到一起，然后经过一个卷积核为/>的卷积层进而输出。

堆叠块中，轻量化特征提取层如图6所示，采用深度可分离卷积对特征进行深度提取；通道注意力结构如图7所示，用于处理特征图中不同通道之间的相关性和重要性，以提高模型的表达能力和性能。边缘提取注意力结构如图8所示，用于检测和突出图像中的边缘或边界，首先用可见光图像对其进行预训练，这样做能够增强边缘提取注意力在红外图像中的边缘细节提取能力；最后将三条支路输出进行操作，通过一个卷积核为/>的卷积层后进行输出。

亚像素卷积层由一个亚像素卷积组成，其上采样倍数为4，将堆叠块输出作为输入，亚像素卷积原理是将特征图像素进行重新排列，速度较快，输入特征图经亚像素卷积上采样放大4倍后进而输出。

双三次插值上采样层由一个双三次插值操作组成，其输入为低分辨率图像，输入经过双三次插值上采样放大4倍后进而输出，与亚像素卷积层输出进行操作后作为卷积块二的输入。

步骤4，构建复合损失函数，包括L1像素损失、感知损失和边缘损失，其中L1像素损失用来衡量生成图像与真实图像之间的差异，它通过比较生成图像和真实图像的像素值来计算损失值，以此作为优化模型的目标；其具体数学表达式如下式所示：

感知损失主要用于衡量生成图像与真实图像之间的感知差异，而不是直接比较像素级别的差异，能够起到模拟人类感知、保留更多语义信息、降低平滑性等作用；其具体数学表达式如下式所示：

其中，是输出图像，/>是真实图像，/>和/>分别表示他们在预训练的神经网络中的第/>层的特征表示，/>是特征层数。

边缘损失的目的是促进生成图像的边缘清晰度和准确性，能够帮助模型更好地捕捉图像中边缘信息，生成边缘纹理更清晰的高分辨率图像；其数学表达式如下式所示：

其中，表示输出图像，/>是真实图像，/>是通过Sobel算子求得的边缘特征。我们更关心边缘的信息，所以用/>去加权，边缘部分的占比就会变大，那么这个/>就能更好地优化边缘信息。

总损失由上述三个部分的损失组成，可以通过加权组合来计算，总损失的具体计算公式如下：

其中，、/>和/>分别代表不同的损失函数在总损失中所占的比例系数。

开始网络训练，设定训练次数为1000，训练过程中的学习率设置为0.001，以确保网络训练过程中的稳定性，较小的学习率可以帮助网络在训练初期更加谨慎地调整参数，避免错过局部最优解；为了优化网络模型参数，选择Adam优化器作为随机梯度下降算法的替代方案；损失函数的函数值阈值设定在0.005左右，当损失函数的值小于0.005时，可以认为整个网络的训练已基本完成；在训练完成后，保存网络的参数以备将来使用。其中，是通过将/>作为网络输入而获得的，/>是对应的ground-truth。

本发明，在用KAIST数据集和FLIR数据集中红外图像进行训练前，先用KAIST数据集中的可见光图像训练集对网络进行训练，训练过程中冻结堆叠块中的轻量化特征提取层和通道注意力两条支路，只对边缘提取注意力一条支路进行预训练，这样做可以确保该网络在对红外图像进行特征提取时，能够更好地提取红外图像的边缘、角点等细节特征信息；然后用KAIST数据集中的可见光图像测试集对网络进行微调，保存网络参数，至此，网络预训练已完成；然后用FLIR数据集中的红外图像训练集对整个网络进行训练，损失函数采用如上损失，训练完成后，保存网络参数。

步骤5，微调网络模型：在网络预训练期间，使用KAIST数据集中的可将光图像测试集对预训练过程中的网络模型进行调整；网络预训练结束后，用KAIST数据集和FLIR数据集中的可见光图像测试集对网络模型进行微调，进一步提高超分辨率重建精度，评估该网络泛化性能，得到能够重建清晰的高分辨率图像的网络模型。

步骤6，确定网络模型：网络模型微调完成后，固化网络参数，确定最终的超分辨率重建模型；如若后续进行红外图像超分辨率重建任务时，可直接将低分辨率图像输入进训练好的网络模型中，得到最终的高分辨率图像；

实施例3：如图10所示，本实施例提供了一种新的模型训练方法，用于对网络模型进行预处理。其具体包括：

网络模型预处理：先用可见光图像数据集对网络进行预训练，训练时冻结堆叠块中轮廓提取支路外的两条支路，对网络模型进行预训练，保存权重；

网络模型训练：将预训练后的网络权重赋值后，对整个网络模型用红外图像数据集进行训练，直到训练次数达到设定阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完成，保存模型参数。

实施例4：如图11所示，本发明提供了一种红外超分辨率重建***，其包括图像获取模块和图像重建模块，其具体组成包括：

图像获取模块：用于获取输入的原红外图像，并对图像进行预处理，得到的图像用于后续相关模块；获取方式为对原红外图像进行随机退化策略处理，然后对该图像进行下采样操作，获取其指定大小的分辨率图；

图像重建模块：用于处理提取红外图像中的特征信息；主要包括两个卷积块、四个堆叠块、一个亚像素卷积层和一个双三次插值上采样层组成，卷积块一和双三次插值上采样层以预处理得到的低分辨率图像作为输入；四个堆叠块用于提取图像的边缘、细节等纹理信息；双三次插值上采样层输入为低分辨率图像，这样可以保留更多的低频信息；亚像素卷积层重建倍数为，后直接与低分辨率图像经过双三次插值上采样放大/>倍后的图像进行ADD操作；ADD操作后输出作为卷积块二的输入，进行进一步的特征提取；最后得到输出图像；其中所有卷积块组成结构均相同，均包括一个卷积核大小为/>的卷积层和一个卷积核大小为/>的卷积层；其中所有堆叠块组成结构均相同，均包括通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、/>操作和一个卷积核大小为/>的卷积层。

实施例5：本发明提供一种计算机存储介质，该存储介质中存有该发明超分辨率重建网络的代码及网络的训练权重，当执行该存储介质中的代码时，可实现本发明实施例中的红外图像超分辨率重建方法中的任一步骤；本发明实例中的计算机存储介质是指计算机可以读取的存储媒体或设备，它们用于将数据从介质中读取到计算机的内存或进行数据传输，可以是ROM、固态硬盘、U盘等设备；本发明实例中的存储介质中存储着可执行的实施例1和实施例2所述方法的代码。

其中，卷积、拼接操作、亚像素卷积等方法的实现均是本领域技术人员公知的算法，具体流程和实现过程可在相应的教科书或技术文献中查阅得到。

表1 本方法与现有方法效果对比表

现有技术和本发明提出的方法的相应评价指标对比示意图如表1所示，从表中可知，当重建倍数为2时，本发明提出的方法比现有方法拥有更高的峰值信噪比和结构相似度，且模型参数量和计算力也达到了相应最优；在重建倍数为3和4时，本发明提出的方法比现有方法的相应评价指标也有所提升；这些指标说明本发明所提出的方法比现有方法效果更好，重建的高分辨率图像更加清晰。

本发明的应用实施例提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行红外图像超分辨率重建方法的步骤，输出并显示重建后的高分辨率图像。

本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行红外图像超分辨率重建方法的步骤。

本发明的应用实施例提供了一种信息数据处理终端，信息数据处理终端用于实现所述的红外图像超分辨率重建***。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

应用实施例1：本发明提供了一种用于红外图像超分辨率重建的***和计算机设备，计算机设备包括存储器和处理器，因超分辨率重建***网络含有较少的参数，同时采用分组卷积的方法，网络运行速度快，故具有轻量化的性能；当遇到红外超分辨率重建任务时，将待超分辨率重建的低分辨率红外图像输入到计算机设备中，计算机设备从存储器中获取相应代码或权重，然后在执行器中运行上述代码，输出并显示超分辨率重建后的高分辨率红外图像。

应用实施例2：本发明提供了一种红外图像超分辨率重建***，该***具有轻量化等优点，能够应用于多个领域，提供了更灵活、高效和经济的解决方案。以下是该***在一些具体领域的应用示例：

1、军事侦察和监视***

在军事领域，红外监视***对于远距离目标的识别至关重要。由于传感器重量和功耗的限制，采用轻量化的红外图像超分辨率重建方法对于提高军事侦察设备的性能至关重要。该***可以在轻量级设备上实现高质量的图像增强，提供更清晰的目标识别和追踪，从而改善军事决策的准确性。

2、火灾监测和救援

在火灾监测和救援领域，红外图像用于检测火源和寻找受困人员。采用轻量化的超分辨率重建***，可以在资源有限的情况下提供更详细的图像，有助于火灾的早期识别和救援行动的精准执行。轻量化的***还能够适应便携式设备，如无人机和手持红外摄像机。

3、医学红外成像

医学领域中的红外成像用于疾病诊断和治疗监测。采用轻量化的超分辨率重建***，可以提高医学红外图像的清晰度，帮助医生更准确地定位异常区域，为患者提供更精确的诊断和治疗方案。

三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

实施例1：本发明提供了一种针对恢复重建边缘纹理等高频信息而设计的轮廓注意力，如图8所示，运用Scharr边缘特征提取，提取红外图像边缘纹理信息，然后与原始特征进行融合操作，该设计能够使网络更关注于红外图像的边缘纹理信息，重建后的高分辨率图像具有清晰的纹理边缘。

实施例2：本发明提出了一种模型训练方法，因红外图像边缘纹理信息没有可见光图像中的纹理信息丰富明显，故先用可见光图像训练集预训练网络，期间冻结除轮廓注意力外的两条支路，然后用红外图像训练整个网络，得到最后的红外图像超分辨率网络；该模型训练方法使超分辨率重建网络学习到较强的边缘提取能力，能够使重建后的高分辨率图像具有清晰的纹理边缘。

实施例3：本发明提出的红外图像超分辨率重建方法与现有技术的相应评价指标对比示意图如表1所示，从表中可知，本发明提出的方法比现有方法的相应评价指标均有所提升；这些指标说明本发明所提出的方法比现有方法效果更好，重建的高分辨率图像更加清晰。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种红外图像超分辨率重建方法，其特征在于，包括：

S1，准备训练数据：选择可见光数据集和红外图像数据集，将数据集划分为训练集、测试集和验证集，完成训练数据的准备；

S2，构建退化策略：将准备好的训练集随机经过多种退化策略，然后经过双线性插值下采样4倍像素大小；

S3，构建网络模型：整个网络包括一个卷积层用于初级特征提取，三条支路用于深度特征提取，一个亚像素卷积层用于重建高分辨率图像，一个上采样模块用于将特征信息直接传递给后续深层特征，然后通过ADD操作进行特征融合，网络亚像素卷积层后的卷积层用于再一次特征提取及通道变换，然后输出高分辨率图像；

S4，训练网络模型：选择合适的损失函数，先用可见光数据集对网络模型进行预训练，保存权重，期间冻结除轮廓提取支路的另外两条支路，保存权重，然后将权重赋值给网络模型，用红外图像数据集对整个网络进行训练，直到训练次数达到初始设定阈值或损失函数的值达到预设范围，即可认为网络模型训练已完成，保存网络模型参数，将参数存储进固态硬盘、ROM或移动U盘等存储设备；

S5，微调网络模型：使用验证集对网络模型进行调整，优化网络模型参数，进一步提高超分辨率重建网络性能，得到能够实现超分辨率重建效果最好的网络模型；

S6，保存模型：完成网络模型微调后，固化网络参数，将网络参数存储进存储器，确定最终的红外图像超分辨率重建模型；若后续需要进行红外图像超分辨率重建时，可以直接将待超分辨率重建的图像输入进网络模型中，得到重建后的高分辨率图像。

2.如权利要求1所述的红外图像超分辨率重建方法，其特征在于，S1中的红外图像数据集为FLIR数据集，可见光数据集为KAIST数据集。

3.如权利要求1所述的红外图像超分辨率重建方法，其特征在于，S2中的卷积块一和卷积块二组成结构相同，由一个卷积核为的卷积层和一个卷积核为/>的卷积层组成；四个堆叠块的组成结构相同，由通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、连接和一个卷积核为/>的卷积层组成。

4.如权利要求1所述的红外图像超分辨率重建方法，其特征在于，S3中整个网络包括两个卷积块、四个堆叠块、一个亚像素卷积层及一个双三次插值上采样层，卷积块一对输入图像进行初级特征提取；堆叠块一、堆叠块二、堆叠块三、堆叠块四对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，其中采用分组卷积方法降低模型参数，同时采用参数共享方法，堆叠块共享相同权重；亚像素卷积层对输入图像进行上采样；双三次插值上采样层将输入图像进行上采样后与亚像素卷积层输出进行ADD操作；后输出经过卷积块二进行去噪等操作后输出高分辨率图像，所有卷积块组成结构均相同，均包括一个卷积核大小为的卷积层和一个卷积核大小为的卷积层；其中所有堆叠块组成结构均相同，均包括通道分离层、轻量化特征提取层、通道注意力、边缘提取注意力、操作和一个卷积核大小为的卷积层，亚像素卷积层重建倍数为。

5.如权利要求1所述的红外图像超分辨率重建方法，其特征在于，S4中的损失函数为一种复合损失，包括L1像素损失、感知损失和边缘损失，其中边缘损失采用Sobel求得边缘特征E，然后用系数E进行损失设计；总损失为上述三种损失加权组合计算而得。

6.如权利要求1所述的红外图像超分辨率重建方法，其特征在于，S4中网络模型训练方法包括：

网络模型预处理：先用可见光图像数据集对网络进行预训练，训练时冻结堆叠块中轮廓提取支路外的两条支路，对网络模型进行预训练，保存权重；

网络模型训练：将预训练后的网络权重赋值后，对整个网络模型用红外图像数据集进行训练，直到训练次数达到设定阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完成，保存模型参数。

7.一种应用如权利要求1~6任意一项所述红外图像超分辨率重建方法的红外图像超分辨率重建***，其特征在于，包括：

图像获取模块：用于获取输入的原红外图像，并对图像进行预处理，得到的图像用于后续相关模块；获取方式为对原红外图像进行随机退化策略处理，然后对该图像进行下采样操作，获取其指定大小的分辨率图；

图像重建模块：用于处理提取红外图像中的特征信息，包括卷积块、堆叠块、跳跃连接块和上采样块。

8.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1~6任意一项所述的红外图像超分辨率重建方法的步骤。

9.一种信息数据处理终端，信息数据处理终端用于实现如权利要求7所述的红外图像超分辨率重建***。