CN114757862B - 用于红外光场设备的图像增强渐进式融合方法 - Google Patents

Abstract

本发明涉及一种用于红外光场设备的图像增强渐进式融合方法，用来提高红外图像的质量。本发明所提方法的目标是建立一个图像增强渐进式融合网络，将红外光场设备生成的低质量阵列红外图像重建一个中心视图的高质量红外图像，输出的高质量红外图像尽可能地接近地面真值红外图像。图像增强渐进式融合网络的整体结构主要由分组、组内特征融合和组间特征融合三个部分组成。经本发明提供的新的方法，在用于红外光场设备及其他红外阵列图像时，可不进行图像配准，生成一个融合的中心视图的高质量红外图像。与目前最先进的方法相比可以获得更好的图像效果。

Description

用于红外光场设备的图像增强渐进式融合方法

技术领域

本发明属于图像处理领域，特别是涉及用于红外光场设备的图像增强渐进式融合方法。

背景技术

红外成像技术能够捕捉物体发出的热辐射信息，是用于安防、监控及军事目标检测等领域的重要技术，但红外图像受到成像机理的限制，成像细节纹理不足，严重影响了红外成像的质量。因此，学者们研究了许多红外图像处理方法，这些方法已应用于成像***或红外图像，旨在提高红外成像质量，但这些方法主要是针对红外成像***的某个问题而提出的改进算法，通过***的方法专门用于改进红外成像设备的方法较少。现在某些学者基于卷积神经网络(CNN)提出了一些用于单幅热图像增强的方法，其中几种方法还融合了多幅红外图像，以提高成像质量。然而，前者只依赖于单个输入，因此性能有限；后者的性能在很大程度上取决于图像配准，这本身就是一个难题。因此，需要将软硬件技术结合起来，设计一种高效的红外图像增强***。为了解决这个问题，我们设计了一种红外光场成像设备和渐进融合算法来提高红外图像的质量。

发明内容

本发明针对现有技术的不足，本发明提供一种用于红外光场设备的图像增强渐进式融合方法及***的技术方案来提高红外图像的质量。本发明所提方法的目标是建立一个图像增强渐进式融合网络，将红外光场设备生成的低质量阵列红外图像重建一个中心视图的高质量红外图像，输出的高质量红外图像尽可能地接近地面真值红外图像。图像增强渐进式融合网络的整体结构主要由分组、组内特征融合和组间特征融合三个部分组成。

经本发明提供的新的方法，在用于红外光场设备及其他红外阵列图像时，可不进行图像配准，生成一个融合的中心视图的高质量红外图像。与目前最先进的方法相比可以获得更好的图像效果。

本发明的技术方案包括以下步骤：

步骤1，设计一个红外光场成像设备，并根据所述的红外光场成像设备生成红外光场数据集，并将红外光场数据集中的图像进行分组；

所述的红外光场成像设备由多个红外摄像机组成，所述的多个红外摄像机以一定大小的规则网格严格等距布置排列，利用红外光场成像设备生成的多幅子图像阵列构成红外光场数据集，多幅子图像阵列的排列顺序与多个红外摄像机阵列相同；

步骤2，构建图像增强渐进式融合网络，所述图像增强渐进式融合网络包括组内特征融合部分和组间特征融合部分；

其中组内特征融合部分通过利用一个具有共享权重的渐进式金字塔可变形融合模块来提取各组内的合并特征，从而充分提取和融合各组图像的空间视差信息；

组间特征融合部分整合从不同角度方向的获得的合并特征，通过建立循环注意力融合模块，充分融合不同角度方向的空间视差信息，根据不同角度方向合并特征的互补性，循环注意力融合模块采用循环结构逐步融合，将各个组内的合并特征进一步融合得到最终融合特征，进而获得最终的高质量红外图像；

步骤3，构建损失函数，对构建的构建图像增强渐进式融合网络进行训练；

步骤4，通过训练好的图像增强渐进式融合网络重建一个中心视图的高质量红外图像。

进一步的，步骤1中，红外光场数据集中的每一帧3×3阵列的子图像为低质量红外图像LQ，定义为/> 表示为：

其中，U′、V′表示3×3阵列的角度分辨率，U′∈{1,2，3}，V′∈{1,2，3}。H、W表示红外光场成像设备中红外子图像的高度和宽度；

红外光场数据集中的每一帧的3×3阵列的子图像按照四个方向0°、45°、90°、135°分为4组红外堆栈，每组堆栈包含3幅子图像，每组图像为统一沿同一方向的视差偏移，4组红外堆栈表示为/>

进一步的，步骤2中，组内特征融合部分中各组内的合并特征M_a的表达式为：

其中，F_PPDFM(·)表示渐进式金字塔可变形融合模块。

进一步的，渐进式金字塔可变形融合模块的具体处理过程如下；

以一组红外堆栈作为输入，首先使用5×5卷积H_5×5和3个残差模块为组内每个红外子视图提取浅层特征浅层特征/>的表达式为：

其中，F_RB为残差模块，U为特征深度，取值为自然数；

为了充分捕获组内空间视差相关性，使用G个增强渐进式融合残差模块F_EPFRB和一个金字塔可变形融合模块F_PDFB来提取组内合并特征M^a，M^a的表达式为：

其中，F_EPFRB表示增强渐进式融合残差模块，F_PDFB表示金字塔可变形融合模块。

进一步的，所述的增强渐进式融合残差模块是在渐进式融合残差模块上的改进，将1×1卷积改进为金字塔可变形融合模块，使用两个3×3卷积提取更深一层的特征 的表达式为：

其中，为/>上一层的特征，当g为1时，/>为浅层特征/>G为自然数；

将特征输入至金字塔可变形融合模块，以融合与中心红外视图最具视差相关性的特征/> 的表达式为：

将融合后的特征连接到之前所有的特征图/>中，并进一步采用一个1×1卷积和一个密集残差模块提取包含空间信息和视差信息的输出特征/>同时，使用局部残差学习降低网络学习难度，/>的表达式为：

所述的金字塔可变形合融合模块以深度为U×N的连接特征LF为输入，其中U×N为特征深度，LF是或/>其中/>是第G个增强渐进式融合残差模块的输出；由于各组内的红外子视图高度相关且具有同一方向的偏移，对某一红外子视图的偏移预测可以从组内其他红外子视图中受益，因此使用一个3×3卷积、3个残差模块和一个3×3卷积联合预测所有偏移ΔP，ΔP的表达式为：

ΔP＝H(LF)＝H_3×3(F_RB(F_RB(F_RB(H_3×3(LF)))))

使用空间视差可变形卷积Dconv(·)直接融合得到深度为N的合并特征MF，MF的表达式为：

其中K为卷积核的大小，w_u,k表示权重值，p_k表示规则的采样偏移量；当K＝3时,p_k∈{(-1，-1)，(-1,0),...,(0,1),(1,1)}；

可学习的偏移量是基于特定位置的，将为每个以视差空间位置(u,p)为中心的卷积窗口分配独立的偏移量p_u,P，以这种方式，能够同时建模空间可变形和不同角度方向红外堆栈中的视差动态；

以尺度金字塔的方式实施空间视差可变形卷积，并以级联细化的方式获取最终合并特征；为了在第l层生成合并特征MF^l，使用跨步因子为2的跨步卷积将连接特征降采样到l+1层，获得特征的三层金字塔；在第l层，最终的可学习偏移量由本层可学习偏移量及l+1层上采样可学习偏移量共同生成，其合并特征MF^l的表达式为：

MF^l＝H_3×3([Dconv(LF^l,ΔP^l),(MF^l+1)↑²])

其中，ΔP^l＝H_3×3(H(LF^l),(ΔP^l+1)↑²)，(·)↑²表示因子为2的上采样操作，通过双线性插值实现；

当时，MF为增强渐进式融合残差模块输出的中间合并特征/>当/>时，MF为渐进式金字塔可变形融合模块输出的最终合并特征M^a。

进一步的，步骤2中，循环注意力融合模块的处理过程如下；

首先使用一个3×3卷积获得M^a更深一层的特征由于不同组红外堆栈携带的空间视差信息对中心红外视图具有不同的贡献度，因此使用角度注意力融合模块融合来自不同角度方向的两个特征，最后将角度注意力融合模块的输出反馈给自己，同时输入到一个3×3卷积并利用全局残差学习得到输出的HQ红外图像/> 的表达式为：

其中，FF^a表示最终融合特征，F_AAFM表示角度注意力融合模块，当a＝0°时，FF^a-45°＝M^a；

角度注意力融合模块首先采用3×3卷积为每个多通道输入特征生成一个单通道特征，随后沿角度维度利用Softmax函数计算注意力掩模：

其中，和/>表示生成的注意力掩膜在位置p处的权重；

通过元素级乘法将注意力掩模应用到单通道特征上，以有效整合不同角度方向的特征和FF^′a-45°，/>和FF^′a-45°的表达式为：

其中，表示元素级乘法；

将加权特征连接输入到一个3×3卷积、4个密集残差模块和一个3×3卷积得到最终融合特征FF^a，FF^a可以描述为：

进一步的，步骤4中损失函数L的表达式如下；

其中B表示一个训练批次的图像数量，为地面真实高质量图像。

进一步的，步骤1中所述的红外光场成像设备由9个红外摄像机组成，9个红外摄像机以3×3的规则网格严格等距布置排列。

与现有技术相比，本发明的优点和有益效果：

经本发明增强得到的红外图像在不进行图像配准的情况下，通过用于红外图像增强的渐进式融合网络实现了最先进的性能，与目前最先进的方法相比可以获得更好的图像效果。

附图说明

图1为渐进式融合网络整体架构；

图2为红外光场成像设备及3×3阵列子图像；

图3为渐进式金字塔可变形融合模块；

图4为循环注意力融合模块；

图5为不同退化而模糊的图像的各方法的定性结果；

图6为不同类型噪声的各算法处理效果对比。

具体实施方式

下面结合具体实例对本发明的技术方案作进一步的详细说明。

本发明提供的一种用于红外光场设备的图像增强渐进式融合方法，包括如下步骤：

步骤1：设计一个红外光场成像设备，并根据所述的红外光场成像设备生成红外光场数据集，并将每帧图像分组。

步骤1.1：所述的红外光场成像设备由9个红外摄像机组成，所述的9个红外摄像机以3×3的规则网格严格等距布置排列，9幅子图像阵列排列顺序与9个红外摄像机阵列相同。

步骤1.2：所述的红外光场成像设备生成的连续帧子图像阵列构建了一个红外光场数据集所述的红外光场数据集/>中的每一帧3×3阵列的子图像为低质量红外图像(LQ)，定义为/> 表示为：

其中，U′、V′表示3×3阵列的角度分辨率，U′∈{1,2，3}，V′∈{1,2，3}。H、W表示红外光场成像设备中红外子图像的高度和宽度。

步骤1.3：所述的红外光场数据集中的每一帧的3×3阵列的子图像，以阵列中间的子图像为中心，按照四个方向0°、45°、90°、135°分为4组红外堆栈，每组堆栈包含3幅子图像，每组图像为统一沿同一方向的视差偏移，4组红外堆栈表示为/>四组堆栈如下所示：

为图2(a)中C4、C5和C6的摄像机所生成的子图像；

为图2(a)中C7、C5和C3的摄像机所生成的子图像；

为图2(a)中C2、C5和C8的摄像机所生成的子图像；

为图2(a)中C2、C5和C8的摄像机所生成的子图像。

步骤2：整体架构：构建图像增强渐进式融合网络，所述图像增强渐进式融合网络包括组内特征融合部分和组间特征融合部分；

其中组内特征融合部分：设计一个具有共享权重的渐进式金字塔可变形融合模块来提取各组内的合并特征M^a，从而充分提取和融合所述各组堆栈子图像的空间视差信息。M^a的表达式为：

其中，F_PPDFM(·)表示渐进式金字塔可变形融合模块。

组间特征融合部分：为了充分融合不同角度方向的空间视差信息，设计了循环注意力融合模块，将各个组内的合并特征进一步融合得到最终输出 的表达式为：

其中，F_RAFM表示循环注意力融合模块。

步骤2.1：组内特征融合：建立一个渐进式金字塔可变形融合模块F_PPDFM(·)，以所述的一组红外堆栈作为输入，首先使用5×5卷积H_5×5和3个残差模块F_RB为组内每个红外子视图提取特征浅层特征/>的表达式为：

其中，F_RB为残差模块，U为特征深度，取值为自然数。

为了充分捕获组内空间视差相关性，使用G个增强渐进式融合残差模块F_EPFRB和一个金字塔可变形融合模块F_PDFB来提取浅层特征的组内合并特征M^a，M^a的表达式为：

其中，F_EPFRB表示增强渐进式融合残差模块，F_PDFB表示金字塔可变形融合模块。

步骤2.1.1：增强渐进式融合残差模块：在马佳义提出的渐进式融合残差模块上进行改进，设计一个增强渐进式融合残差模块F_EPFRB。所述的增强渐进式融合残差模块将1×1卷积改进为金字塔可变形融合模块，使用两个3×3卷积H_3×3提取更深一层的特征 的表达式为：

其中，为/>上一层的特征，当g为1时，/>为浅层特征/>

将特征输入至金字塔可变形融合模块F_PRDB，以融合与中心红外视图最具视差相关性的特征/> 的表达式为：

将融合后的特征连接到之前所有的特征图/>中，并进一步采用一个1×1卷积和一个密集残差模块提取包含空间信息和视差信息的输出特征/>同时，使用局部残差学习降低网络学习难度。/>的表达式为：

步骤2.1.2：金字塔可变形融合模块：所述的金字塔可变形合融合模块以深度为U×N的连接特征LF为输入，其中U×N为特征深度。LF可以是或/>其中是第G个增强渐进式融合残差模块的输出。由于各组内的红外子视图高度相关且具有同一方向的偏移，对某一红外子视图的偏移预测可以从组内其他红外子视图中受益，因此使用一个3×3卷积H_3×3、3个残差模块F_RB和一个3×3卷积H_3×3联合预测所有偏移ΔP，ΔP的表达式为：

ΔP＝H(LF)＝H_3×3(F_RB(F_RB(F_RB(H_3×3(LF)))))

使用空间视差可变形卷积Dconv(·)直接融合得到深度为N的合并特征MF，MF的表达式为：

其中，K为卷积核的大小，w_u,k表示权重值，p_k表示规则的采样偏移量。当K＝3时,p_k∈{(-1，-1)，(-1,0),...,(0,1),(1,1)}。

可学习的偏移量是基于特定位置的，将为每个以视差空间位置(u,p)为中心的卷积窗口分配独立的偏移量p_u,P。以这种方式，能够同时建模空间可变形和不同角度方向红外堆栈中的视差动态。

以尺度金字塔的方式实施空间视差可变形卷积，并以级联细化的方式获取最终合并特征。为了在第l层(l＝1,2)生成合并特征MF^l，使用跨步因子为2的跨步卷积将连接特征降采样到l+1层，获得特征的三层金字塔。在第l层，最终的可学习偏移量由本层可学习偏移量及l+1层上采样可学习偏移量共同生成，其合并特征MF^l的表达式为：

MF^l＝H_3×3([Dconv(LF^l,ΔP^l),(MF^l+1)↑²])

其中，ΔP^l＝H_3×3(H(LF^l),(ΔP^l+1)↑²)。(·)↑²表示因子为2的上采样操作，通过双线性插值实现。

当时，MF为增强渐进式融合残差模块输出的中间合并特征/>当/>时，MF为渐进式金字塔可变形融合模块输出的最终合并特征M^a。

步骤2.2：组间特征融合：整合从不同角度方向的获得的合并特征M^a，建立循环注意力融合模块F_RAFM，循环注意力融合模块F_RAFM采用循环结构逐步融合M^a，得到最终融合特征FF^a，进而获得最终的高质量红外图像。

步骤2.2.1：循环注意力融合模块的处理过程为：首先使用一个3×3卷积获得M^a的更深一层的特征由于不同组红外堆栈携带的空间视差信息对中心红外视图具有不同的贡献度，因此使用角度注意力融合模块融合来自不同角度方向的两个特征，最后将角度注意力融合模块的输出反馈给自己，同时输入到一个3×3卷积并利用全局残差学习得到输出的高质量红外图像/> 的表达式为：

其中，FF^a表示最终融合特征，F_AAFM表示角度注意力融合模块。当a＝0°时，FF^a-45°＝M^a。尽管循环注意力融合模块输出多个高质量红外图像但仅将/>作为最终输出结果，因为其包含所有辅助信息。

步骤2.2.2：角度注意力融合模块首先采用3×3卷积为每个多通道输入特征生成一个单通道特征，随后沿角度维度利用Softmax函数计算注意力掩模：

其中，和/>表示生成的注意力掩膜在位置p处的权重。

通过元素级乘法将注意力掩模应用到单通道特征上，以有效整合不同角度方向的特征和FF^′a-45°，/>和FF^′a-45°的表达式为：

其中，表示元素级乘法。

步骤2.2.3：将加权特征连接输入到一个3×3卷积、4个密集残差模块F_RDB和一个3×3卷积得到最终融合特征FF^a，FF^a可以描述为：

步骤3：训练网络：由于本发明中以循环的方式集成辅助信息，因此采用多重监督对整个网络进行训练，其中损失函数L的表达式为：

其中B表示一个训练批次的图像数量，为地面真实高质量图像。

PPDFM中包含3个EPFRB(即G＝3)，其中每个卷积层有64个滤波器，后面跟着一个LReLU激活函数。设定β₁，β₂，ε的值，通过ADAM优化器来训练网络。在训练过程中，将批处理大小设置为16，输入的低质量阵列图像大小设置为3×3×32×32。学习速率初始化为3×10^-4，然后逐渐降低到10^-5。整个训练过程基于Pytorch深度学习框架，在NVIDIA GTX3090TiGPU上迭代240K次后停止。

步骤4：通过图像增强渐进式融合网络重建一个中心视图的高质量红外图像 的表达式为：

本发明的渐进式金字塔可变形融合模块中包含3个增强渐进式融合残差模块，即G＝3，其中每个卷积层有64个滤波器，后面跟着一个LReLU激活函数。EPC的层数设置为3，即T＝3。本发明使用β₁＝0.9，β₂＝0.999，ε＝10^-8的ADAM优化器来训练所提网络。在训练过程中，将批处理大小设置为16，输入的低质量阵列图像大小设置为3×3×32×32。学习速率初始化为3×10^-4，然后逐渐降低到10^-5。整个训练过程基于Pytorch深度学习框架，在NVIDIAGTX 3090TiGPU上迭代240K次后停止。

之前关于图像增强的研究很少针对红外光场设备的图像展开，缺乏标准和大规模的红外图像数据集限制了该领域的发展。本发明将我单位提出的IRLF-WHU数据集划分为训练集、验证集和测试集。为了进行定量评估，原始图像被用作地真高质量图像，通过应用降低细节、模糊和添加噪声等降级操作生成低质量红外图像阵列。

由于我们是设计红外光场装置的先驱，比较方法只能是单一图像增强或光场图像增强算法。因此，我们将我们提出的方法与五种算法进行了比较，包括两种最先进的深度单图像增强方法，即TherISuRNet和MIRNet，以及三种当前先进的深度光场图像增强方法，即resLF、LF-ATO和DPT。为了进行公平比较，这些方法都是在同一数据集上从头开始训练的，以获得最佳性能。

不同模糊退化的实验：我们考虑了红外图像中广泛存在的三种模糊，即高斯模糊、圆盘模糊和运动模糊。具体来说，高斯模糊核大小为7×7，宽度为0.6，圆盘模糊半径为2.5。对于运动模糊，我们将角度设置为10度，将运动位移设置为10像素。为了生成LQ图像，我们首先对高质量图像进行模糊处理，并使用比例因子为4的双三次下采样和上采样来减少细节。在真实LQ退化模型中加入了带标准差的高斯白噪声。

不同模糊类型的定量结果见表1。可以观察到，本发明的方法(IR PFNet)在不同模糊退化情况下，在所有场景的平均PSNR和SSIM方面都达到了最佳性能。更具体地说，我们的方法在PSNR值上比第二好的方法平均高出0.2dB。我们注意到，本发明的方法考虑了来自不同方向的角度信息，不像DPT利用整个光场图像作为输入，从而完全提取空间角度相关性。

表1

图5提供了三幅因不同退化而模糊的图像的各方法的定性结果。虽然图像质量增强可以适当地减少这些伪影，但生成的图像通常会变得过于平滑，缺乏细节。可以看出，与单一图像增强方法(Surnet和MIRNet)相比，光场图像增强方法在辅助视图的帮助下可以产生更好的效果。总之，我们的红外PFNet可以恢复更清晰的结构细节，并且由于更好地探索空间角度信息，因此对模糊退化更具鲁棒性。

不同噪声衰减的实验：我们还对不同类型的噪声进行了降解实验，包括密度为0.06的椒盐噪声、均值和标准偏差为零的加性高斯白噪声、由输入图像亮度决定的泊松噪声。在添加噪声后，我们使用比例因子为4的双三次下采样和上采样来减少细节，并通过大小为5×5、宽度为0.5的高斯核模糊高质量图像来生成低质量图像。

表2显示了测试集上不同类型噪声的PSNR和SSIM结果。如表2所示，本发明的方法在所有因不同类型噪声而退化的场景中都具有优越性。在本发明的模型中，由于渐进式金字塔可变形融合模块和循环注意力融合模块，本发明的方法可以获得更好的增强效果。

表2

图6显示了三种不同类型噪声的所有比较方法的增强图像。从视觉增强结果中，我们可以看到大多数其他方法会产生模糊或误导性的结构。相比之下，本发明的方法能够重建清晰正确的纹理，更接近地面真实纹理，显示出更高的重建质量。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.用于红外光场设备的图像增强渐进式融合方法，其特征在于，包括如下步骤：

步骤1，设计一个红外光场成像设备，并根据所述的红外光场成像设备生成红外光场数据集，并将红外光场数据集中的图像进行分组；

所述的红外光场成像设备由多个红外摄像机组成，所述的多个红外摄像机以一定大小的规则网格严格等距布置排列，利用红外光场成像设备生成的多幅子图像阵列构成红外光场数据集，多幅子图像阵列的排列顺序与多个红外摄像机阵列相同；

步骤2，构建图像增强渐进式融合网络，所述图像增强渐进式融合网络包括组内特征融合部分和组间特征融合部分；

其中组内特征融合部分通过利用一个具有共享权重的渐进式金字塔可变形融合模块来提取各组内的合并特征，从而充分提取和融合各组图像的空间视差信息；

组间特征融合部分整合从不同角度方向的获得的合并特征，通过建立循环注意力融合模块，充分融合不同角度方向的空间视差信息，根据不同角度方向合并特征的互补性，循环注意力融合模块采用循环结构逐步融合，将各个组内的合并特征进一步融合得到最终融合特征，进而获得最终的高质量红外图像；

步骤2中，组内特征融合部分中各组内的合并特征M_a的表达式为：

其中，F_PPDFM(·)表示渐进式金字塔可变形融合模块，表示不同方向上的子图像阵列；

渐进式金字塔可变形融合模块的具体处理过程如下；

以一组红外堆栈作为输入，首先使用5×5卷积H_5×5和3个残差模块为组内每个红外子视图提取浅层特征浅层特征/>的表达式为：

其中，F_RB为残差模块，U为特征深度，取值为自然数；

为了充分捕获组内空间视差相关性，使用G个增强渐进式融合残差模块F_EPFRB和一个金字塔可变形融合模块F_PDFB来提取组内合并特征M^a，M^a的表达式为：

其中，F_EPFRB表示增强渐进式融合残差模块，F_PDFB表示金字塔可变形融合模块；

所述的增强渐进式融合残差模块是在渐进式融合残差模块上的改进，将1×1卷积改进为金字塔可变形融合模块，使用两个3×3卷积提取更深一层的特征 的表达式为：

其中，为/>上一层的特征，当g为1时，/>为浅层特征/>G为自然数；

将特征输入至金字塔可变形融合模块，以融合与中心红外视图最具视差相关性的特征/> 的表达式为：

将融合后的特征连接到之前所有的特征图/>中，并进一步采用一个1×1卷积和一个密集残差模块提取包含空间信息和视差信息的输出特征/>同时，使用局部残差学习降低网络学习难度，/>的表达式为：

所述的金字塔可变形合融合模块以深度为U×N的连接特征LF为输入，其中U×N为特征深度，LF是或/>其中/>是第G个增强渐进式融合残差模块的输出；由于各组内的红外子视图高度相关且具有同一方向的偏移，对某一红外子视图的偏移预测可以从组内其他红外子视图中受益，因此使用一个3×3卷积、3个残差模块和一个3×3卷积联合预测所有偏移ΔP，ΔP的表达式为：

ΔP＝H(LF)＝H_3×3(F_RB(F_RB(F_RB(H_3×3(LF)))))

使用空间视差可变形卷积Dconv(·)直接融合得到深度为N的合并特征MF，MF的表达式为：

其中K为卷积核的大小，w_u,k表示权重值，p_k表示规则的采样偏移量；当K＝3时,p_k∈{(-1，-1)，(-1,0),...,(0,1),(1,1)}；

可学习的偏移量是基于特定位置的，将为每个以视差空间位置(u,p)为中心的卷积窗口分配独立的偏移量p_u,P，以这种方式，能够同时建模空间可变形和不同角度方向红外堆栈中的视差动态；

以尺度金字塔的方式实施空间视差可变形卷积，并以级联细化的方式获取最终合并特征；为了在第l层生成合并特征MF^l，使用跨步因子为2的跨步卷积将连接特征降采样到l+1层，获得特征的三层金字塔；在第l层，最终的可学习偏移量由本层可学习偏移量及l+1层上采样可学习偏移量共同生成，其合并特征MF^l的表达式为：

MF^l＝H_3×3([Dconv(LF^l,ΔP^l),(MF^l+1)↑²])

其中，ΔP^l＝H_3×3(H(LF^l),(ΔP^l+1)↑²)，(·)↑²表示因子为2的上采样操作，通过双线性插值实现；

当时，MF为增强渐进式融合残差模块输出的中间合并特征/>当时，MF为渐进式金字塔可变形融合模块输出的最终合并特征M^a；

步骤2中，循环注意力融合模块的处理过程如下；

首先使用一个3×3卷积获得M^a更深一层的特征由于不同组红外堆栈携带的空间视差信息对中心红外视图具有不同的贡献度，因此使用角度注意力融合模块融合来自不同角度方向的两个特征，最后将角度注意力融合模块的输出反馈给自己，同时输入到一个3×3卷积并利用全局残差学习得到输出的HQ红外图像/> 的表达式为：

其中，FF^a表示最终融合特征，F_AAFM表示角度注意力融合模块，当a＝0°时，FF^a-45°＝M^a；

角度注意力融合模块首先采用3×3卷积为每个多通道输入特征生成一个单通道特征，随后沿角度维度利用Softmax函数计算注意力掩模：

其中，和/>表示生成的注意力掩膜在位置p处的权重；

通过元素级乘法将注意力掩模应用到单通道特征上，以有效整合不同角度方向的特征和FF′^a-45°，/>和FF′^a-45°的表达式为：

其中，表示元素级乘法；

将加权特征连接输入到一个3×3卷积、4个密集残差模块和一个3×3卷积得到最终融合特征FF^a，FF^a可以描述为：

步骤3，构建损失函数，对构建的构建图像增强渐进式融合网络进行训练；

步骤4，通过训练好的图像增强渐进式融合网络重建一个中心视图的高质量红外图像。

2.如权利要求1所述的用于红外光场设备的图像增强渐进式融合方法，其特征在于：

步骤1中，红外光场数据集中的每一帧3×3阵列的子图像为低质量红外图像LQ，定义为/> 表示为：

其中，U′、V′表示3×3阵列的角度分辨率，U′∈{1,2，3}，V′∈{1,2，3}；H、W表示红外光场成像设备中红外子图像的高度和宽度；

红外光场数据集中的每一帧的3×3阵列的子图像按照四个方向0°、45°、90°、135°分为4组红外堆栈，每组堆栈包含3幅子图像，每组图像为统一沿同一方向的视差偏移，4组红外堆栈表示为/>

3.如权利要求1所述的用于红外光场设备的图像增强渐进式融合方法，其特征在于：

步骤4中损失函数L的表达式如下；

其中B表示一个训练批次的图像数量，为地面真实高质量图像。

4.如权利要求1所述的用于红外光场设备的图像增强渐进式融合方法，其特征在于：

步骤1中所述的红外光场成像设备由9个红外摄像机组成，9个红外摄像机以3×3的规则网格严格等距布置排列。