CN114494872A - 一种嵌入式轻量化遥感目标检测*** - Google Patents

Abstract

本发明公开了一种嵌入式轻量化遥感目标检测***，包括：嵌入式设备以及部署在嵌入式设备上的目标检测模型；目标检测模型采用深度学***台进行训练得到参数后部署到嵌入式设备；该目标检测模型包括：结构重参数化模块，用于将深度学习模型中多余的残差和卷积结构吸收到主干网络中；改进残差结构模块，用于通过改进的残差连接方式，实现输入输出相同维度。该嵌入式轻量化遥感目标检测***，基于结构重参数化，增加了残差连接的使用，并改进输入输出维度不同时的残差连接方式，降低了模型的FLOPs，提升了模型检测精度并保持了模型的推理速度，实现嵌入式设备在有限的计算能力下，满足遥感目标检测的实时性，便于提高工作效率。

Description

一种嵌入式轻量化遥感目标检测***

技术领域

本发明涉及遥感图像智能解译、深度学习及嵌入式***领域，特别涉及一种嵌入式轻量化遥感目标检测***。

背景技术

目前，随着高分辨率遥感图像技术的不断发展，遥感图像数据被广泛地应用到各种领域，如安全监测、资源勘探、防灾救灾、军事侦察等。遥感数据的获取具有突破时间地域限制、数据量大、节约成本等优势。但同时大幅面的遥感图像中往往只有少部分特定目标是关注的对象，因此如何从大幅面的遥感图像中检测到感兴趣的目标是数字图像处理领域的热点问题。大量基于深度神经网络的算法使得遥感图像目标检测精度达到较高水平。但是高精度的算法运行需要大量的内存空间，且时间复杂度高，因此高度依赖于高性能图形处理器。在遥感目标检测的实际工程应用中，目前的数据处理集中地面测控站。这样的处理平台一方面大量布设图形处理器耗费空间和资源，因此嵌入式***是更加通用的平台；另一方面，在嵌入式***有限的计算能力和内存空间下，任务还要求算法有较高的检测精度和运行速度。尽管传统的目标检测方法计算消耗低，运行速度快，但检测精度远远无法满足任务的需求。因此，如何将基于深度学习的遥感目标检测算法移植到嵌入式***当中是一个有应用价值的研究领域。

在图像的目标检测领域，传统的方法是利用诸如SIFT特征、HOG特征等人工设计的算子来提取图像局部区域特征，然后再用支持向量机等分类器对特征进行分类。随着深度学***衡等问题尤其突出，这也是遥感图像目标检测领域亟待解决的问题。另一方面，遥感图像有实时性的特点，需要在卫星、飞机等终端设备上实时进行图像处理。在实际应用中，终端的设备储存资源和计算能力有限，过于复杂和庞大的模型无法布设，也难以达到实时性的要求。

发明内容

鉴于上述问题，提出了本发明提供一种嵌入式轻量化遥感目标检测***，可解决目前嵌入式***在进行目标检测的计算能力有限、无法满足实时性、工作效率低的问题。

本发明实施例提供一种嵌入式轻量化遥感目标检测***，包括：嵌入式设备以及部署在所述嵌入式设备上的目标检测模型；

所述目标检测模型采用深度学***台进行训练得到参数后部署到所述嵌入式设备；该目标检测模型包括：

结构重参数化模块，用于将深度学习模型中多余的残差和卷积结构吸收到主干网络中；

改进残差结构模块，用于通过改进的残差连接方式，实现输入输出相同维度。

进一步地，利用基于C++的TensorRT库对所述目标检测模型的结构进行重新编译，并将训练好的参数进行转换，部署在嵌入式设备上运行。

进一步地，所述结构重参数化模块，具体用于将深度学习模型中1×1卷积和恒等映射的残差连接转换成3×3卷积形式。

进一步地，将深度学习模型中1×1卷积和恒等映射的残差连接转换成3×3卷积形式，包括：

将1×1卷积和恒等映射转换成3×3卷积，通过线性变换将批归一化操作整合到卷积参数当中，批归一化操作如下式所示：

其中，bn(·)为批归一化操作；M为遥感图像提取的特征图；μ,σ,γ,β为批归一化参数；

对于权重矩阵为W的卷积，令

则:

bn(M*W,μ,σ,γ,β)＝M*W'+b'；将批归一化吸收到卷积核当中。

进一步地，所述改进残差结构模块，具体用于当输出维度小于输入维度时，直接截取和输出维度相同的特征图与卷积结果相加。

进一步地，所述改进残差结构模块，还具体用于当输出维度大于输入维度时，通过将输入特征图沿维度复制叠加，得到和卷积输出同等维度的特征图后再与卷积输出相加的方式完成残差连接。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种嵌入式轻量化遥感目标检测***，包括：嵌入式设备以及部署在所述嵌入式设备上的目标检测模型；所述目标检测模型采用深度学***台进行训练得到参数后部署到所述嵌入式设备；该目标检测模型包括：结构重参数化模块，用于将深度学习模型中多余的残差和卷积结构吸收到主干网络中；改进残差结构模块，用于通过改进的残差连接方式，实现输入输出相同维度。该嵌入式轻量化遥感目标检测***，通过对深度学习的模型进行轻量化设计，并且利用嵌入式***对遥感图像进行目标检测。探索基于深度可分离卷积和结构重参数化的网络设计理念，考虑浮点计算数FLOPs和内存访问量等因素对模型推理速度的影响，基于结构重参数化，增加了残差连接的使用，并改进了输入输出维度不同时的残差连接方式，降低了模型的FLOPs，提升了模型检测精度并保持了模型的推理速度，获得了综合性能优异的轻量化目标检测模型，实现嵌入式设备在有限的计算能力下，满足遥感目标检测的实时性、准确性，有助于提高工作效率。

进一步地，为了满足星上智能处理***的实时性需求，可将轻量化的目标检测模型，利用TensorRT在终端嵌入式***上进行了部署，实现实时的嵌入式***目标检测。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的嵌入式轻量化遥感目标检测***对油罐、飞机目标检测示意图；

图2为本发明实施例提供的目标检测模型的整体架构图；

图3a为本发明实施例提供的训练阶段残差结构示意图；

图3b为本发明实施例提供的测试阶段残差结构示意图；

图4a为输入和输出相同维度的残差连接方式示意图；

图4b为本发明实施例提供的输入大于输出维度时的残差连接方式示意图；

图4c为本发明实施例提供的输入小于输出维度时的残差连接方式示意图；

图5为本发明实施例提供的TensorRT的部署过程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1所示，本发明实施例提供一种嵌入式轻量化遥感目标检测***，目的是对深度学习的模型进行轻量化设计，并且利用嵌入式***对遥感图像进行目标检测，比如对仓储设备油罐、飞机、舰船、大坝的识别。通过探索基于深度可分离卷积和结构重参数化的网络设计理念，考虑浮点计算数FLOPs和内存访问量等因素对模型推理速度的影响，设计的一种能够在终端嵌入式***中进行实时检测的轻量化目标检测模型。

该嵌入式轻量化遥感目标检测***包括：嵌入式设备以及部署在嵌入式设备上的目标检测模型；该目标检测模型采用深度学***台进行训练得到参数后部署到所述嵌入式设备；该目标检测模型包括：

结构重参数化模块，用于将深度学习模型中多余的残差和卷积结构吸收到主干网络中；

改进残差结构模块，用于通过改进的残差连接方式，实现输入输出相同维度。

如图2所示，为完整的目标检测模型的整体架构图，目标检测模型在训练阶段采用复杂的多卷积核多残差模式对特征进行充分的建模，在测试阶段通过结构重参数化将多余的残差和卷积结构吸收到主干网络中，在测试阶段进行单通道的推理，以此提升网络的推理速度。

具体的实现方式和结构流程如下，在训练阶段，网络模块采用多分支结构，同时使用3×3卷积、1×1卷积和恒等变换对特征进行提取，并采用残差连接提升模型的特征表达能力。在测试阶段，利用结构重参数化，对训练模型的结构进行调整，在保持数学运算不变的条件下讲1×1卷积和恒等变换操作吸收到3×3卷积当中，使测试模型呈现单通道信息流的形式。这样的结构可以保持较快的推理速度。同时，修改输入输出维度不同时的残差连接方式，省去1×1卷积而改为采用堆叠特征层的形式，提升模型推理速度。针对嵌入式***，利用基于C++的TensorRT库对模型结构进行重新编译，并将训练好的参数进行转换，使之在嵌入式***上的运行速度进一步提升，实现实时检测。

本实施例中，该目标检测模型基于结构重参数化，增加了残差连接的使用，并改进了输入输出维度不同时的残差连接方式，降低了模型的FLOPs，提升了模型检测遥感目标精度并保持了模型的推理速度。在具体实施时，比如为了满足星上智能处理***的实时性需求，可将该目标检测模型利用TensorRT在终端嵌入式***上进行部署，实现实时的嵌入式***目标检测。

下面通过三方面具体说明本发明的技术方案：

1.基于结构重参数化对模型进行轻量化设计

在实际应用中，模型的推理速度还受到内存访问量和硬件优化等因素的影响。在目前卷积神经网络最流行的残差结构中，由于在计算残差时需要在内存中暂时保留中间结果，因此模型的瞬时内存访问量大于通道模型。此外，在目前的主流神经网络框架，如PyTorch等中，针对卷积的优化导致深度可分离卷积中破碎的卷积结构反而不利于卷积计算的并行执行，造成运行速度的下降。由于网络结构和参数存在一一对应的关系，如果可以将多层的参数进行合并，那么网络结构就可以响应变化，结构重参数化的宏观过程是将1×1卷积和恒等映射的残差连接转换成3×3卷积的形式，随后将3条支路合并成一条，实现单支路的模型；在微观层面，1×1卷积和恒等映射很容易看做3×3卷积，再通过线性变换将批归一化操作整合到卷积参数当中，增强模型的泛化性，批归一化操作如下式所示：

其中，bn(·)为批归一化操作；M为遥感图像提取的特征图；μ,σ,γ,β为批归一化参数；

对于权重矩阵为W的卷积，令

则:

bn(M*W,μ,σ,γ,β)＝M*W'+b'；将批归一化吸收到卷积核当中后，即可通过简单相加的方式将残差连接融合到一条支路当中。

2.改进残差结构以提升推理速度

从ResNet首次在深度神经网络中使用残差连接开始，这种结构就广泛地应用于各类网络结构当中。残差结构可以保留浅层的梯度，防止深度网络训练中的梯度消失。同时，还能够通过ReLU激活函数引入更多的非线性变换，提升特征的表达能力。但是结构重参数化所使用的残差结构是不含隐含特征层的“伪残差”结构，若网络深度过大，在梯度反向传播的过程中依然可能会出现梯度消失。

参照图3a所示，输入通过两个并行结构后与输入进行残差连接，然后经过ReLU激活函数得到输出。在图3b所示的推理阶段模型结构中，并行结构的1×1卷积和恒等残差连接被结构重参数化吸收到3×3卷积中，因此成为了单分支的结构。但是最外层的残差连接得以保留，并在激活函数之前与卷积后的结果相加。此结构在推理的过程中保留了残差连接，并在残差连接之后通过ReLU非线性变化保留了网络抵抗梯度消失的能力。

此外，改进的残差连接方式还可以应对输入输出维度不同的残差连接需求。如图4a-4c所示，对于不同的输入输出维度，残差的连接方式也不同。图4a展示的是输入输出维度相同的情况。对于这种情况，残差的连接方式与大多数网络相同，采用恒等映射并与卷积后的特征图相加的方式。对于图4b所示的输出维度小于输入维度的情况(常见于下采样阶段)，不采用1×1卷积的方式改变残差支路的特征维度，而是直接截取和输出维度相同的特征图与卷积结果相加。对于图4c所示的输出维度大于输入维度的情况(常见于上采样阶段)，同样不进行1×1卷积，而是通过将输入特征图沿维度复制叠加，得到和卷积输出同等维度的特征图后再与卷积输出相加的方式完成残差连接。对于进行降采样后输入输出分辨率不同的情况，则先在残差支路中进行最大池化，再进行图4a-4c中的恒等映射、截取或堆叠。通过这样的残差连接方式，能使得残差支路不消耗任何FLOPs，同时通过减少并行的卷积计算提升运行速度。

3.轻量化模型在嵌入式***中的部署

目前的神经网络模型大多依赖于面向高性能服务器的深度学***台做优化，并不适配嵌入式***的计算方式，因此在嵌入式***上的运行速度表现不佳。为此，本发明实施例还利用专为嵌入式***量化设计的TensorRT库，重新编写了模型结构，使其能够部署到嵌入式平台，并进一步提升模型的推理速度。

由于嵌入式平台的计算能力较差，无法进行训练，因此需要事先在GPU上进行训练得到参数后部署到嵌入式平台进行推理。利用TensorRT库，可以将针对GPU的PyTorch模型转换为针对嵌入式平台的模型，部署过程如图5所示。首先根据设计的模型结构，利用基于Python的PyTorch框架在服务器端构建PyTorch模型，将训练图像输入进行迭代训练，最终得到模型参数。随后利用基于C++的TensorRT库重新进行模型的搭建，其结构需要与PyTorch模型保持一致以保证参数加载的正确性。在嵌入式终端对TensorRT模型进行编译并加载模型参数后，可以得到用于推理的模型引擎。如图5所示，将测试图像输入推理引擎就可以在嵌入式***中进行推理，进而输出对测试图像中目标的准确检测。

比如，目前星上遥感处理***的大规模运算能力和智能化程度较差，可使用本发明实施例提供的嵌入式轻量化遥感目标检测***，设计了轻量化的目标检测模型。本发明实施例对遥感目标检测模型进行了轻量化设计，结构重参数化模块基于结构重参数化方法设计了轻量化目标检测网络，并通过改进残差结构模块分析残差分支对推理速度的影响，并改进输入输出维度不同时的残差连接方式，降低了模型的FLOPs，提升了模型检测精度并保持了模型的推理速度，实现嵌入式设备在有限的计算能力下，满足遥感目标检测的实时性、准确性，有助于提高工作效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种嵌入式轻量化遥感目标检测***，其特征在于，包括：嵌入式设备以及部署在所述嵌入式设备上的目标检测模型；

所述目标检测模型采用深度学***台进行训练得到参数后部署到所述嵌入式设备；该目标检测模型包括：

结构重参数化模块，用于将深度学习模型中多余的残差和卷积结构吸收到主干网络中；

改进残差结构模块，用于通过改进的残差连接方式，实现输入输出相同维度。

2.如权利要求1所述的一种嵌入式轻量化遥感目标检测***，其特征在于，利用基于C++的TensorRT库对所述目标检测模型的结构进行重新编译，并将训练好的参数进行转换，部署在嵌入式设备上运行。

3.如权利要求2所述的一种嵌入式轻量化遥感目标检测***，其特征在于，所述结构重参数化模块，具体用于将深度学习模型中1×1卷积和恒等映射的残差连接转换成3×3卷积形式。

4.如权利要求3所述的一种嵌入式轻量化遥感目标检测***，其特征在于，将深度学习模型中1×1卷积和恒等映射的残差连接转换成3×3卷积形式，包括：

将1×1卷积和恒等映射转换成3×3卷积，通过线性变换将批归一化操作整合到卷积参数当中，批归一化操作如下式所示：

其中，bn(·)为批归一化操作；M为遥感图像提取的特征图；μ,σ,γ,β为批归一化参数；

对于权重矩阵为W的卷积，令

则:

bn(M*W,μ,σ,γ,β)＝M*W'+b'；将批归一化吸收到卷积核当中。

5.如权利要求4所述的一种嵌入式轻量化遥感目标检测***，其特征在于，所述改进残差结构模块，具体用于当输出维度小于输入维度时，直接截取和输出维度相同的特征图与卷积结果相加。

6.如权利要求5所述的一种嵌入式轻量化遥感目标检测***，其特征在于，所述改进残差结构模块，还具体用于当输出维度大于输入维度时，通过将输入特征图沿维度复制叠加，得到和卷积输出同等维度的特征图后再与卷积输出相加的方式完成残差连接。

Images