CN117974960A - 一种双光融合动态超分辨率分层感知方法 - Google Patents

Abstract

本发明公开一种双光融合动态超分辨率分层感知方法，属于多模态遥感图像处理技术领域。具体包括：S1对可见光和红外多模态遥感图像进行预处理；S2对处理后的多模态图像数据进行训练数据集和验证数据集的划分；S3基于多模态遥感数据集构建一种双光融合动态超分辨率分层感知目标的检测模型；S4使用S2中的训练数据集对S3搭建的检测模型进行训练和优化，并将得到的最优模型权重进行保存；S5将S2中的验证数据集输入S3中构建的模型，通过加载S4中的最优模型权重，以检测多模态遥感图像的目标。相比现有技术，本发明模型有更少的参数数量和计算量并拥有较高的检测精度，能以低成本搭载到终端设备中对遥感图像进行实时监测。

Description

一种双光融合动态超分辨率分层感知方法

技术领域

本发明属于多模态遥感图像处理技术领域，具体涉及一种双光融合动态超分辨率分层感知方法。

背景技术

遥感图像的检测为防火防灾、军事和航空航天等行业提供了有效的帮助，是保证人们生命财产安全的基础和重要支撑。高分辨率的遥感图像是保证检测精度的重要指标。不同模态的高分辨率图像可以研究人员设计模型来更好的检测目标。但是检测高分辨的遥感图像会极大的消耗计算资源，因此通过研究有效的多模态融合算法是提高检测精度更有效的方法。

随着遥感技术的不断发展，图像的可用性也越来越高，一个区域位置的遥感图像存在多种模式，基于深度学习的多模态融合检测方法逐渐脱颖而出。这种方法就是通过有效融合不同模态的图像数据，以弥补信息不足的问题，主要是通过训练大量的图像数据，将训练好的模型去检测图像，以获得目标的检测结果。例如中国专利申请CN202311368193.1，其公开了一种多模态遥感图像目标检测的特征压缩融合方法及装置。这是一种有效的检测方法，但是可见光和红外图像的融合低效、物体像素占比极小和物体分布不均匀且角度任意变化等问题会影响模型的检测效果，此外，由于遥感图像尺寸太大，严重影响了模型的训练速度。因此，需要一种更适合多模态遥感图像的深度学习目标检测方法。

发明内容

本发明针对现有技术中存在的问题，本发明提供一种双光融合动态超分辨率分层感知方法。

为实现上述技术目的，本发明所采用的技术方案为：

一种双光融合动态超分辨率分层感知方法，包括以下步骤：

S1：对遥感图像的可见光和红外图像进行预处理；

S2：将步骤S1中的处理后的图像数据划分为训练数据集和验证数据集；

S3：基于遥感多模态数据集构建一种双光融合动态超分辨率分层感知目标的检测模型；

S4：使用步骤S2中的训练数据集对步骤S3搭建的检测模型进行训练和优化，并将得到的最优模型权重进行保存；

S5：将步骤S2中的验证数据集输入S3中构建的模型，通过加载S4中的最优模型权重，以检测遥感图像的目标。

进一步的，步骤S1，对遥感图像的可见光和红外图像进行预处理，包括以下步骤：

S11：对可见光和红外图像的数据进行筛选，将没有标签的图像和标签重复的图像筛除，保留有标签和没有重复标签的图像数据；

S12：对步骤S11中有标签和没有重复标签的图像数据重新调整输入图像的分辨率大小，保持所有图像分辨率一致。

进一步的，步骤S2，将步骤S1中的处理后的图像数据划分为训练数据集和验证数据集，包括以下步骤：

S21：对步骤S12相同分辨率的可见光和红外图像数据的所有图片名字进行修改；

S22：根据S21中修改的图像将所对应的标签也进行修改名称，将可见光图像和红外图像名称与标签名称保持一致；

S23：对S22修改后的图像和标签分别建立图像和标签文件夹，并将可见光和红外图像放入图像文件夹，仅将可见光的标签放入标签文件夹；

S24：将所有步骤S23的图像样本按照8：2的比例划分为训练数据集和验证数据集。

进一步的，基于遥感多模态数据集构建一种双光融合动态超分辨率分层感知目标的检测模型，包括以下步骤：

S31：训练的可见光和红外图像被重新分配尺寸，并分别被输入跨模态融合模块中，其中，可见光图像和红外图像分别被1×1卷积进行特征提取，提取的特征分别乘以高的0.5倍，并通过哈达玛乘积进行计算，再分别通过3×3卷积进行特征提取，提取到的特征被通道拼接为特征的公式为：/>，其中/>表示卷积核为1的卷积，/>表示卷积核为3的卷积，/>是哈达玛乘积，/>和/>分别表示可见光和红外数据，/>是特征的高度，/>是按照通道拼接，/>被自适应平均池化处理，接着经过1×1卷积和激活函数处理，将处理后的特征与特征/>按通道维度拼接得到跨模态融合模块的最终特征/>公式为：/>，其中是底为2的指数函数，/>表示输入尺寸大小是宽度为/>和高度为/>的特征/>，/>表示步长，/>表示填充值，/>是卷积核大小，/>是权重系数，/>是偏置值，/>是缩放因子；

S32：将跨模态融合模块的输出特征输入到5个普通卷积块和4个残差卷积块中进行特征提取的操作，将第3个残差卷积块提取的特征送入到空洞感知模块，对目标特征进行有效感知；其中空洞感知模块的结构为：对提取的特征分两条路径处理，第一条路径经过1×1组卷积后被3×3空洞卷积处理，接着被激活函数进行线性映射，提高表征能力，接着通过三个连续采样率为3的3×3空洞卷积对特征的不同尺度进行感知，将三个3×3空洞卷积处理后的特征分别按通道拼接，拼接后的特征被3×3空洞卷积处理，经过激活函数进行非线性映射得到特征；第二条路径经过1×1组卷积处理，将处理后的特征与/>按通道拼接得到空洞感知模块的输出特征/>，空洞感知模块的流程表示为：，其中，/>表示采样率大小，/>表示输入的样本向量，/>表示分组数为/>的标准卷积，/>表示卷积核为3的空洞卷积，/>是第个向量的权重系数，/>是第/>个向量的偏置值，/>是激活函数，/>表示空洞卷积的数量，/>表示样本的总量；

S33：将空洞感知模块的输出特征和第4个残差卷积块的特征都输入到滑动注意力解码器中对输入的高质量特征进行有效融合以建立稀疏目标局部与全局的依赖关系，进一步更好地区分背景与目标；滑动注意力解码器的具体结构为：将输入特征划分成三条路径进行处理，第一条路径用于生成向量/>，第二条路径被1×1卷积处理，并通过滑动窗口选取局部特征查询向量/>，第三条路径被3×3卷积进行特征提取，通过批归一化和激活函数进行初步处理，接着再继续用3×3卷积和批归一化进行处理，通过滑动窗口选取局部特征，并与第三条路径的输入特征通过残差连接进行逐元素加和得到特征查询向量/>，将乘以参数/>与/>乘以参数/>进行逐元素加和得到查询向量/>和转置向量/>，将向量、/>和第一条路径的向量/>进行逐元素相乘来计算注意力分数以得到特征向量/>，将向量/>与向量/>重新设置尺寸大小并按通道拼接并利用1×1卷积处理得到键向量/>，将向量/>与特征向量/>逐元素相乘以计算注意力分数；特征向量/>和转置向量/>的计算公式为：/>，，其中，/>和/>分别表示第二条路径和第三条路径的输入，/>和/>表示控制变量的参数，/>表示重新调整尺寸大小，/>表示卷积操作，/>是批归一化操作，/>是激活函数，/>是向量/>的转置，/>表示滑动窗口的大小为宽度/>和高度，/>表示矩阵的各个元素值。此外，滑动注意力解码器的注意力计算公式表示为：/>，/>，，其中，/>，/>和/>是可学习权重，目的是为了学习特征之间的依赖关系，/>表示某一层的特征向量，/>表示注意力的头数，/>是比例因子，目的是调整数值大小，/>是一个注意力头的计算分数，/>是参数矩阵，/>表示/>和注意力头的注意力分数，/>表示按通道维度拼接，/>表示将计算结果转换成权重概率；通过设置多个注意力头将特征映射到多组/>，/>和/>中，使用相同的计算过程来得到最终的注意力分数，最后利用1×1卷积处理，并将处理后的特征与特征向量/>按通道拼接得到最后的输出特征/>表示为：/>，其中，表示第三个分支在逐元素加和后的输出值，/>是1×1卷积，/>表示逐元素加和；

S34：将第四个普通卷积块的输出与滑动注意力解码器的输出输入到超分辨率模块中，以增强特征的质量，超分辨率模块的结构为：输入特征先被1×1卷积进行通道压缩，再分两个分支分别被3×3卷积和采样率为3和采样率为2得到亚像素卷积进行上采样操作，然后上采样后的特征被批归一化处理，经过激活函数映射到复杂的空间，以增强模型的表征能力；超分辨率模块对特征的增强过程为：，其中，/>表示采样率为2的亚像素卷积，/>表示采样率为3的亚像素卷积，/>表示第四个普通卷积块的输出特征，/>表示滑动注意力解码器的输出特征，/>表示卷积核为1的标准卷积，/>表示卷积核为3的标准卷积，/>表示批归一化操作，/>表示激活函数，/>表示超分辨率模块的输出特征；

S35：将超分辨率模块的输出特征视为浅层特征，与滑动注意力解码器的输出特征/>按通道拼接得到中间层特征，将中间层特征与空洞感知模块的输出特征/>按通道拼接得到深层特征，浅层特征、中间层特征和深层特征分别被两个普通卷积块分别处理，并按通道拼接得到最后的三个输出。

进一步的，步骤S4，使用步骤S2中的训练数据集对步骤S3搭建的多模态检测模型进行训练和优化，并保存最优权重，具体方法为：

S41：将多模态训练集输入到模型中进行模型的训练，进一步设置模型的相关超参数，其中动量值为0.935，学习率为0.001，总的训练轮数为500轮，每20轮保存一次权重，结束训练时保留最优权重；

S42：构建检测模型反向传播的损失函数，通过计算损失函数来不断优化模型的性能，模型的整体损失函数由旋转检测损失函数/>和超分辨率融合损失函数/>表示为：/>，其中/>和/>表示平衡系数；接着，通过分类损失函数/>、回归损失/>和旋转角度损失函数/>构成旋转损失函数/>表示为：，其中/>、/>和/>表示损失函数在不同层的权重值，/>表示检测头部分的输出层数，/>、/>和/>分别表示调节边界框的坐标、维度和角度的权重值，/>表示每个类别的权重系数，/>是标签，/>是标签的掩码矩阵，是预测值，/>是真实值，/>是样本/>预测为正样本的概率，/>表示二进制交叉熵损失函数，/>是预测旋转角度，/>是实际的旋转角度，超分辨率损失函数/>表示为：，其中，/>表示图像对的数量，/>表示真实值，/>表示预测值；

S43：通过验证多模态数据集测试模型的性能，在模型预测部分需要计算平均精度（mean Average Precision，）指标/>来体现模型性能的好坏，一般来说，/>的数值越高，表示模型的性能越好，/>的计算公式为：/>，其中，，精确率/>，召回率，/>是正确检测的正样本数，/>是未能被检测出来的正样本数，/>是错误检测的正样本数，/>是预测的类别数量；将计算的/>结果的最高权重文件进行保存；

S44：多模态数据训练过程中，利用SGD（Stochastic Gradient Descent）优化器优化模型以保证模型参数的优化更新，目的是解决局部最优点问题，即将每个数据样本输入网络计算梯度后就进行一次更新，其计算公式为：，其中，/>是模型的参数，/>表示样本/>和样本/>输入模型后在的范围内对参数进行更新，/>表示样本的个数，/>表示批次大小，/>是学习率，循环更新到训练次数结束,输出模型的最优权重；

S45：按照步骤S43继续计算的数值，直到完成所有的500个训练轮数为止。

进一步的，步骤S5，将步骤S2中的测试数据集输入S3中构建的模型，通过加载S4中的最优模型权重，以检测无人机拍摄的小目标，具体方法为：

S51：将步骤S2的测试数据集输入到步骤S3构建的模型中，设置置信度为0.6；

S52：将步骤S4中保存的最优权重加载到步骤S3构建的模型中，冻结主干网部分，测试输出结果。

有益效果：

本发明提供一种双光融合动态超分辨率分层感知方法，能够通过可见光和红外的高分辨率遥感图像来提升检测角度任意和背景信息复杂的物体的效果。相比于流行的目标检测模型，本发明提出的模型有更少的参数数数量和计算量，能以低成本搭载到移动设备中进行实时监测。

附图说明

图1为本发明提供的一种双光融合动态超分辨率分层感知方法的整体流程示意图；

图2为本发明设计的双光融合动态超分辨率分层感知目标的检测模型的示意图；

图3为图2中普通卷积块的结构示意图；

图4为图2中残差卷积块的结构示意图；

图5为图2中跨模态融合模块的结构示意图；

图6为图2中空洞感知模块的结构示意图；

图7为图2中滑动注意力解码器的结构示意图；

图8为图2中超分辨率模块的结构示意图；

图9为本发明所提出方法的检测可见光图像的效果；

图10为本发明所提出方法的检测红外图像的效果；

图11为本发明中模型训练的流程图。

具体实施方式

下面结合具体实施例对本发明的技术方案做进一步说明，但不限于此。

实施例1

一种双光融合动态超分辨率分层感知方法，整体流程图如图1所示，包括以下步骤：

步骤S1，对遥感图像的可见光和红外图像进行预处理；

S11，对可见光和红外多模态图像的数据进行筛选，将没有标签的图像和标签重复的图像筛除，保留有标签和没有重复标签的图像数据；

S12，对步骤S11中有标签和没有重复标签的图像数据重新调整输入图像的分辨率大小为832×832，保持所有图像分辨率一致。

步骤S2，将步骤S1中的处理后的图像数据划分为训练数据集和验证数据集；

S21，对步骤S12相同分辨率的可见光和红外图像数据的所有图片名字进行修改；

S22，根据S21中修改的图像将所对应的标签也进行修改名称，将可见光图像和红外图像名称与标签名称保持一致；

S23，对S22修改后的图像和标签分别建立图像和标签文件夹，并将可见光和红外图像放入图像文件夹，仅将可见光的标签放入标签文件夹；

S24，将所有步骤S23的图像样本包括5个类别，分别是汽车、货车、卡车、面包车和公交车，图像被划分为14000张训练数据集和3500张验证数据集。

步骤S3，基于遥感多模态数据集构建一种双光融合动态超分辨率分层感知目标的检测模型，模型整体结构图如附图2所示；

S31，训练的可见光和红外图像被重新分配尺寸，并分别被输入跨模态融合模块中，跨模态融合模块如附图5所示，可见光图像和红外图像分别被1×1卷积进行特征提取，提取的特征分别乘以高的0.5倍，并通过哈达玛乘积进行计算，再分别通过3×3卷积进行特征提取，提取到的特征被通道拼接为特征的公式为：，其中/>表示卷积核为1的卷积，/>表示卷积核为3的卷积，/>是哈达玛乘积，/>和/>分别表示可见光和红外数据，/>是特征的高度，/>是按照通道拼接，/>被自适应平均池化处理，接着经过1×1卷积和激活函数处理，将处理后的特征与特征/>按通道维度拼接得到跨模态融合模块的最终特征/>公式为：/>，其中/>是底为2的指数函数，/>表示输入尺寸大小是宽度为/>和高度为/>的特征/>，/>表示步长，/>表示填充值，/>是卷积核大小，/>是权重系数，/>是偏置值，/>是缩放因子；

S32，将跨模态融合模块的输出特征输入到5个普通卷积块和4个残差卷积块中进行特征提取的操作，将第3个残差卷积块提取的特征送入到空洞感知模块，空洞感知模块如附图6所示，对目标特征进行有效感知；其中空洞感知模块的结构为：对提取的特征分两条路径处理，第一条路径经过1×1组卷积后被3×3空洞卷积处理，接着被激活函数进行线性映射，提高表征能力，接着通过三个连续采样率为3的3×3空洞卷积对特征的不同尺度进行感知，将三个3×3空洞卷积处理后的特征分别按通道拼接，拼接后的特征被3×3空洞卷积处理，经过激活函数进行非线性映射得到特征；第二条路径经过1×1组卷积处理，将处理后的特征与/>按通道拼接得到空洞感知模块的输出特征/>，空洞感知模块的流程表示为：/>，其中，/>表示采样率大小，表示输入的样本向量，/>表示分组数为/>的标准卷积，/>表示卷积核为3的空洞卷积，是第/>个向量的权重系数，/>是第/>个向量的偏置值，/>是激活函数，/>表示空洞卷积的数量，/>表示样本的总量；

S33，将空洞感知模块的输出特征和第4个残差卷积块的特征都输入到滑动注意力解码器中对输入的高质量特征进行有效融合以建立稀疏目标局部与全局的依赖关系，滑动注意力解码器如附图7所示，进一步更好地区分背景与目标；滑动注意力解码器的具体结构为：将输入特征划分成三条路径进行处理，第一条路径用于生成向量/>，第二条路径被1×1卷积处理，并通过滑动窗口选取局部特征查询向量/>，第三条路径被3×3卷积进行特征提取，通过批归一化和激活函数进行初步处理，接着再继续用3×3卷积和批归一化进行处理，通过滑动窗口选取局部特征，并与第三条路径的输入特征通过残差连接进行逐元素加和得到特征查询向量/>，将/>乘以参数/>与/>乘以参数/>进行逐元素加和得到查询向量/>和转置向量/>，将向量/>、/>和第一条路径的向量/>进行逐元素相乘来计算注意力分数以得到特征向量/>，将向量/>与向量/>重新设置尺寸大小并按通道拼接并利用1×1卷积处理得到键向量/>，将向量/>与特征向量/>逐元素相乘以计算注意力分数。特征向量/>和转置向量/>的计算公式为：，，其中，/>和/>分别表示第二条路径和第三条路径的输入，/>和/>表示控制变量的参数，/>表示重新调整尺寸大小，/>表示卷积操作，/>是批归一化操作，/>是激活函数，/>是向量/>的转置，/>表示滑动窗口的大小为宽度/>和高度，/>表示矩阵的各个元素值。此外，滑动注意力解码器的注意力计算公式表示为：/>，/>，，其中，/>，/>和/>是可学习权重，目的是为了学习特征之间的依赖关系，/>表示某一层的特征向量，/>表示注意力的头数，/>是比例因子，目的是调整数值大小，/>是一个注意力头的计算分数，/>是参数矩阵，/>表示/>和注意力头的注意力分数，/>表示按通道维度拼接，/>表示将计算结果转换成权重概率。通过设置多个注意力头将特征映射到多组/>，/>和/>中，使用相同的计算过程来得到最终的注意力分数，最后利用1×1卷积处理，并将处理后的特征与特征向量/>按通道拼接得到最后的输出特征/>表示为：/>，其中，表示第三个分支在逐元素加和后的输出值，/>是1×1卷积，/>表示逐元素加和；

S34，将第四个普通卷积块的输出与滑动注意力解码器的输出输入到超分辨率模块中，超分辨率模块如附图8所示，以增强特征的质量，超分辨率模块的结构为：输入特征先被1×1卷积进行通道压缩，再分两个分支分别被3×3卷积和采样率为3和采样率为2得到亚像素卷积进行上采样操作，然后上采样后的特征被批归一化处理，经过激活函数映射到复杂的空间，以增强模型的表征能力；超分辨率模块对特征的增强过程为：，其中，/>表示采样率为2的亚像素卷积，/>表示采样率为3的亚像素卷积，/>表示第四个普通卷积块的输出特征，/>表示滑动注意力解码器的输出特征，/>表示卷积核为1的标准卷积，/>表示卷积核为3的标准卷积，/>表示批归一化操作，/>表示激活函数，/>表示超分辨率模块的输出特征；

S35，将超分辨率模块的输出特征视为浅层特征，与滑动注意力解码器的输出特征/>按通道拼接得到中间层特征，将中间层特征与空洞感知模块的输出特征/>按通道拼接得到深层特征，浅层特征、中间层特征和深层特征分别被两个普通卷积块分别处理，并按通道拼接得到最后的三个输出。

步骤S4，使用步骤S2中的训练数据集对步骤S3搭建的多模态检测模型进行训练和优化，并保存最优权重，整个训练过程如附图11所示；

S41，将多模态训练集输入到模型中进行模型的训练，进一步设置模型的相关超参数，其中动量值为0.935，学习率为0.001，总的训练轮数为500轮，每20轮保存一次权重，结束训练时保留最优权重；

S42，构建检测模型反向传播的损失函数，通过计算损失函数来不断优化模型的性能，模型的整体损失函数由旋转检测损失函数/>和超分辨率融合损失函数/>表示为：/>，其中/>和/>表示平衡系数；接着，通过分类损失函数/>、回归损失/>和旋转角度损失函数/>构成旋转损失函数/>表示为：，

其中、/>和/>表示损失函数在不同层的权重值，/>表示检测头部分的输出层数，/>、/>和/>分别表示调节边界框的坐标、维度和角度的权重值，/>表示每个类别的权重系数，/>是标签，/>是标签的掩码矩阵，/>是预测值，/>是真实值，/>是样本/>预测为正样本的概率，/>表示二进制交叉熵损失函数（Binary Cross Entropy Loss，BCELoss），/>是预测旋转角度，/>是实际的旋转角度，超分辨率损失函数/>表示为：/>，其中，/>表示图像对的数量，/>表示真实值，/>表示预测值；

S43，通过验证多模态数据集测试模型的性能，在模型预测部分需要计算平均精度指标（mean Average Precision，/>）来体现模型性能的好坏，一般来说，/>的数值越高，表示模型的性能越好，/>的计算公式为：/>，其中，，精确率/>，召回率，/>是正确检测的正样本数，/>是未能被检测出来的正样本数，/>是错误检测的正样本数，/>是预测的类别数量；将计算的/>结果的最高权重文件进行保存；

S44，多模态数据训练过程中，利用SGD（Stochastic Gradient Descent）优化器优化模型以保证模型参数的优化更新，目的是解决局部最优点问题，即将每个数据样本输入网络计算梯度后就进行一次更新，其计算公式为：，其中，/>是模型的参数，/>表示样本/>和样本/>输入模型后在的范围内对参数进行更新，/>表示样本的个数，/>表示批次大小，/>是学习率，循环更新到训练次数结束,输出模型的最优权重；

S45，按照步骤S43继续计算的数值，直到完成所有的500个训练轮数为止。

步骤S5，将步骤S2中的测试数据集输入S3中构建的模型，通过加载S4中的最优模型权重，以实现多模态遥感图像的检测。

S51，将步骤S2的多模态验证数据集输入到步骤S3构建的模型中，设置交并比阈值0.01，置信度为0.5；

S52，将步骤S4中保存的最优权重加载到步骤S3构建的模型中，冻结特征提取部分，测试输出结果。

需要说明的是，上述实施例仅仅是实现本发明的优选方式的部分实施例，而非全部实施例。显然，基于本发明的上述实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他所有实施例，都应当属于本发明保护的范围。

需要说明的是，上述实施例仅仅是实现本发明的优选方式的部分实施例，而非全部实施例。显然，基于本发明的上述实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他所有实施例，都应当属于本发明保护的范围。

Claims (6)

1.一种双光融合动态超分辨率分层感知方法，其特征在于，包括以下步骤：

S1：对遥感图像的可见光和红外图像进行预处理；

S2：将步骤S1中的处理后的图像数据划分为训练数据集和验证数据集；

S3：基于遥感多模态数据集构建一种双光融合动态超分辨率分层感知目标的检测模型；

S4：使用步骤S2中的训练数据集对步骤S3搭建的检测模型进行训练和优化，并将得到的最优模型权重进行保存；

S5：将步骤S2中的验证数据集输入S3中构建的模型，通过加载S4中的最优模型权重，以检测遥感图像的目标。

2.根据权利要求1所述双光融合动态超分辨率分层感知方法，其特征在于，步骤S1包括以下步骤：

S11：对可见光和红外图像的数据进行筛选，将没有标签的图像和标签重复的图像筛除，保留有标签和没有重复标签的图像数据；

S12：对步骤S11中有标签和没有重复标签的图像数据重新调整输入图像的分辨率大小，保持所有图像分辨率一致。

3.根据权利要求1所述双光融合动态超分辨率分层感知方法，其特征在于，步骤S2包括以下步骤：

S21：对步骤S12相同分辨率的可见光和红外图像数据的所有图片名字进行修改；

S22：根据S21中修改的图像将所对应的标签也进行修改名称，将可见光图像和红外图像名称与标签名称保持一致；

S23：对S22修改后的图像和标签分别建立图像和标签文件夹，并将可见光和红外图像放入图像文件夹，仅将可见光的标签放入标签文件夹；

S24：将所有步骤S23的图像样本按照8：2的比例划分为训练数据集和验证数据集。

4.根据权利要求1所述双光融合动态超分辨率分层感知方法，其特征在于，步骤S3包括以下步骤：

S31：训练的可见光和红外图像被重新分配尺寸，并分别被输入跨模态融合模块中，其中，可见光图像和红外图像分别被1×1卷积进行特征提取，提取的特征分别乘以高的0.5倍，并通过哈达玛乘积进行计算，再分别通过3×3卷积进行特征提取，提取到的特征被通道拼接为特征的公式为：/>，其中/>表示卷积核为1的卷积，/>表示卷积核为3的卷积，/>是哈达玛乘积，/>和/>分别表示可见光和红外数据，/>是特征的高度，/>是按照通道拼接，/>被自适应平均池化处理，接着经过1×1卷积和激活函数处理，将处理后的特征与特征/>按通道维度拼接得到跨模态融合模块的最终特征/>公式为：/>，其中是底为2的指数函数，/>表示输入尺寸大小是宽度为/>和高度为/>的特征/>，/>表示步长，/>表示填充值，/>是卷积核大小，/>是权重系数，/>是偏置值，/>是缩放因子；

S32：将跨模态融合模块的输出特征输入到5个普通卷积块和4个残差卷积块中进行特征提取的操作，将第3个残差卷积块提取的特征送入到空洞感知模块，对目标特征进行有效感知；其中空洞感知模块的结构为：对提取的特征分两条路径处理，第一条路径经过1×1组卷积后被3×3空洞卷积处理，接着被激活函数进行线性映射，提高表征能力，接着通过三个连续采样率为3的3×3空洞卷积对特征的不同尺度进行感知，将三个3×3空洞卷积处理后的特征分别按通道拼接，拼接后的特征被3×3空洞卷积处理，经过激活函数进行非线性映射得到特征；第二条路径经过1×1组卷积处理，将处理后的特征与/>按通道拼接得到空洞感知模块的输出特征/>，空洞感知模块的流程表示为：，其中，/>表示采样率大小，/>表示输入的样本向量，/>表示分组数为/>的标准卷积，/>表示卷积核为3的空洞卷积，/>是第个向量的权重系数，/>是第/>个向量的偏置值，/>是激活函数，/>表示空洞卷积的数量，/>表示样本的总量；

S33：将空洞感知模块的输出特征和第4个残差卷积块的特征都输入到滑动注意力解码器中；滑动注意力解码器的具体结构为：将输入特征划分成三条路径进行处理，第一条路径用于生成向量/>，第二条路径被1×1卷积处理，并通过滑动窗口选取局部特征查询向量/>，第三条路径被3×3卷积进行特征提取，通过批归一化和激活函数进行初步处理，接着再继续用3×3卷积和批归一化进行处理，通过滑动窗口选取局部特征，并与第三条路径的输入特征通过残差连接进行逐元素加和得到特征查询向量/>，将/>乘以参数/>与/>乘以参数/>进行逐元素加和得到查询向量/>和转置向量/>，将向量/>、/>和第一条路径的向量/>进行逐元素相乘来计算注意力分数以得到特征向量/>，将向量/>与向量/>重新设置尺寸大小并按通道拼接并利用1×1卷积处理得到键向量/>，将向量/>与特征向量/>逐元素相乘以计算注意力分数；特征向量/>和转置向量/>的计算公式为：，，其中，/>和/>分别表示第二条路径和第三条路径的输入，/>和/>表示控制变量的参数，/>表示重新调整尺寸大小，/>表示卷积操作，/>是批归一化操作，/>是激活函数，/>是向量/>的转置，/>表示滑动窗口的大小为宽度/>和高度，/>表示矩阵的各个元素值；此外，滑动注意力解码器的注意力计算公式表示为：/>，/>，，其中，/>，/>和/>是可学习权重，/>表示某一层的特征向量，/>表示注意力的头数，/>是比例因子，/>是一个注意力头的计算分数，/>是参数矩阵，/>表示/>和注意力头的注意力分数，/>表示按通道维度拼接，表示将计算结果转换成权重概率；通过设置多个注意力头将特征映射到多组/>，和/>中，使用相同的计算过程来得到最终的注意力分数，最后利用1×1卷积处理，并将处理后的特征与特征向量/>按通道拼接得到最后的输出特征/>表示为：，其中，/>表示第三个分支在逐元素加和后的输出值，是1×1卷积，/>表示逐元素加和；

S34：将第四个普通卷积块的输出与滑动注意力解码器的输出输入到超分辨率模块中，超分辨率模块的结构为：输入特征先被1×1卷积进行通道压缩，再分两个分支分别被3×3卷积和采样率为3和采样率为2得到亚像素卷积进行上采样操作，然后上采样后的特征被批归一化处理，经过激活函数映射到复杂的空间，以增强模型的表征能力；超分辨率模块对特征的增强过程为：，其中，/>表示采样率为2的亚像素卷积，/>表示采样率为3的亚像素卷积，/>表示第四个普通卷积块的输出特征，/>表示滑动注意力解码器的输出特征，/>表示卷积核为1的标准卷积，/>表示卷积核为3的标准卷积，/>表示批归一化操作，/>表示激活函数，/>表示超分辨率模块的输出特征；

S35：将超分辨率模块的输出特征视为浅层特征，与滑动注意力解码器的输出特征按通道拼接得到中间层特征，将中间层特征与空洞感知模块的输出特征/>按通道拼接得到深层特征，浅层特征、中间层特征和深层特征分别被两个普通卷积块分别处理，并按通道拼接得到最后的三个输出。

5.根据权利要求1所述双光融合动态超分辨率分层感知方法，其特征在于，步骤S4具体方法为：

S41：将多模态训练集输入到模型中进行模型的训练，进一步设置模型的相关超参数，其中动量值为0.935，学习率为0.001，总的训练轮数为500轮，每20轮保存一次权重，结束训练时保留最优权重；

S42：构建检测模型反向传播的损失函数，通过计算损失函数来不断优化模型的性能，模型的整体损失函数由旋转检测损失函数/>和超分辨率融合损失函数/>表示为：/>，其中/>和/>表示平衡系数；接着，通过分类损失函数/>、回归损失/>和旋转角度损失函数/>构成旋转损失函数/>表示为：，其中/>、/>和/>表示损失函数在不同层的权重值，/>表示检测头部分的输出层数，/>、/>和/>分别表示调节边界框的坐标、维度和角度的权重值，/>表示每个类别的权重系数，/>是标签，/>是标签的掩码矩阵，是预测值，/>是真实值，/>是样本/>预测为正样本的概率，/>表示二进制交叉熵损失函数，/>是预测旋转角度，/>是实际的旋转角度，超分辨率损失函数/>表示为：，其中，/>表示图像对的数量，/>表示真实值，/>表示预测值；

S43：通过验证多模态数据集测试模型的性能，在模型预测部分需要计算平均精度指标来体现模型性能的好坏，/>的数值越高，表示模型的性能越好，/>的计算公式为： /> ，其中，/> ，精确率，召回率/>，/>是正确检测的正样本数，/>是未能被检测出来的正样本数，/>是错误检测的正样本数，/>是预测的类别数量；将计算的结果的最高权重文件进行保存；

S44：多模态数据训练过程中，利用SGD优化器优化模型以保证模型参数的优化更新，即将每个数据样本输入网络计算梯度后就进行一次更新，其计算公式为：，其中，/>是模型的参数，表示样本/>和样本/>输入模型后在/>的范围内对参数进行更新，/>表示样本的个数，/>表示批次大小，/>是学习率，循环更新到训练次数结束,输出模型的最优权重；

S45：按照步骤S43继续计算的数值，直到完成所有的500个训练轮数为止。

6.根据权利要求1所述双光融合动态超分辨率分层感知方法，其特征在于，步骤S5具体方法为：

S51：将步骤S2的多模态验证数据集输入到步骤S3构建的模型中，设置交并比阈值0.01，置信度为0.5；

S52：将步骤S4中保存的最优权重加载到步骤S3构建的模型中，冻结特征提取部分，测试输出结果。