CN115393690A - 一种轻量化神经网络的空对地观测多目标识别方法 - Google Patents

Abstract

本发明公开了一种轻量化神经网络的空对地观测多目标识别方法，具体包括S1：建立多目标识别图像数据库；S2：多目标识别图像数据预处理，划分训练集与测试集；S3：对YOLOv5s神经网络结构进行优化；S4：设置初始训练超参数，将多目标识别图像数据库的训练集部分输入优化后的YOLOv5s神经网络模型进行预训练；S5：对优化后的YOLOv5s神经网络模型进行剪枝，然后在多目标识别图像数据库的训练集上对剪枝后的轻量化神经网络模型进行再训练；S6：将剪枝后的轻量化神经网络模型部署在机载嵌入式***中，对空对地视角下的目标进行识别。该发明的技术效果为有效解决卷积神经网络模型部署在硬件平台资源受限条件下的需求。

Description

一种轻量化神经网络的空对地观测多目标识别方法

技术领域

本发明涉及目标识别技术领域，具体为一种轻量化神经网络的空对地观测多目标识别方法。

背景技术

近年来，随着智能感知技术、目标识别技术的飞速发展使得深度学***台上探测与识别***的核心功能之一。针对机载对地观测目标探测与识别领域。依据近几年目标识别的最新研究成果可以看出基于深度学习多目标识别方法可以通过数据学习的方式有效获取目标的特征，在实际应用中极大提高了识别的准确性和鲁棒性，并且在实际应用场景中具有很好的识别效果。

但随着神经网络模型性能不断提高，神经网络模型层数逐渐加深，使得网络结构也更加复杂，这些因素极大地造成内存和计算资源的消耗，从而限制了多目标识别神经网络在显存和内存较小的机载嵌入式设备上运行。因此如何轻量化多目标识别深度学***台的桥梁，神经网络轻量化技术能够有效地减少网络的计算量和存储量，这对深度学***台上的实现具有重大的现实意义与价值。

基于深度学习神经网络的目标识别方法虽然提高了复杂场景下的多目标识别的准确度，但随着神经网络模型性能不断提高。为了提取更高层次的特征信息，神经网络模型层数逐渐加深，结构也更加复杂，使得模型参数激增，计算量越来越大，这些因素极大地造成内存和计算资源的消耗，从而制约了多目标识别神经网络在显存和内存较小的嵌入式设备上运行。

为了克服上述现有技术中所存在的缺陷，本发明的目的是提供一种基于轻量化神经网络的机载空对地视角多目标识别方法及***。首先使用GhostNet中的GhostBottleneck轻量化结构代替YOLOv5s主干网络的标准卷积的同时，其次对改进优化后的YOLOv5s网络模型进行结构化剪枝操作，在减少网络参数量以及模型占用内存，最大程度地保证网络的检测精度，有效解决卷积神经网络模型部署在硬件平台资源受限条件下的需求。

发明内容

本发明的目的在于提供一种轻量化神经网络的空对地观测多目标识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，发明提供如下技术方案：一种轻量化神经网络的空对地观测多目标识别方法，具体包括以下步骤：

S1：建立多目标识别图像数据库；

S2：多目标识别图像数据预处理，划分训练集与测试集；

S3：对YOLOv5s神经网络结构进行优化；

S4：设置初始训练超参数，将多目标识别图像数据库的训练集部分输入优化后的YOLOv5s神经网络模型进行预训练；

S5：通过基于BN层结构化剪枝方法对优化后的YOLOv5s神经网络模型进行剪枝，设置初始剪枝率，然后在多目标识别图像数据库的训练集上对剪枝后的轻量化神经网络模型进行再训练，并在多目标识别图像数据库的测试集上对剪枝后的轻量化神经网络模型进行识别；

S6：将剪枝后的轻量化神经网络模型部署在机载嵌入式***中，对空对地视角下的目标进行识别。

优选的，所述的建立多目标识别图像数据库，具体包括以下步骤：

S11：搭建俯视角图像采集***；

S12：对目标进行图像采集，获取样本图像，采集图像数据集过程中充分模拟机载摄像机获取图像时的光照条件、下滑角与尺度变化。

优选的，所述多目标识别图像数据预处理，具体包括以下步骤：

S21：对数据进行缩放、旋转、裁剪、对称变换，统一图像的尺寸，实现数据库的归一化处理；

S22：将数据集制作成VOC格式，使用labellmg软件对图像中的识别对象进行以框的形式手动标注，生成xml文件，xml文件标签包含图像名称、目标类别、目标所在位置坐标信息；

S23：将多目标识别图像数据库按照设定比例划分为训练集和测试集；

S24：使用程序将VOC格式数据库转换成YOLO格式。

优选的，所述对YOLOv5s神经网络结构进行优化，具体包括以下步骤：

S31：使用GhostNet中的GhostBottleneck结构代替YOLOv5s主干网络的标准卷积，提取目标特征；

S32：最后一个Ghost模块不使用ReLU函数，在每一层后均通过批标准化(BN)和ReLU函数进行非线性激活，避免特征信息丢失。

优选的，所述优化后的YOLOv5s神经网络模型进行预训练，具体包括以下步骤：

S41：修改神经网络配置文件；

S42：加载标注好的图像数据库对神经网络进行预训练。

优选的，所述对优化后的YOLOv5s神经网络模型进行剪枝，具体包括以下步骤：

S51：采用基于BN层缩放因子γ的通道式(channel-level)剪枝的方式对模型进行压缩；

S52：BN层的引入可以加快网络的训练速度，提高模型的泛化能力，但有大量冗余参数通过卷积操作后传入BN层；

S53：将γ的L₁范数g(γ)作为正则化项，加入到原始损失函数中一起训练，引入缩放因子和稀疏化惩罚项，构造剪枝目标损失函数如下：

L＝∑_(x，y)l(f(x，W)，y)+λ∑_γ∈Γg(γ)

上式中x为网络的输入，W为网络中的权重参数，f(x，W)为网络的预测输出，y为标签，代表数据的真实值；l(f(x，W)，y)为网络的预测输出与真实标签值之间的损失，g(γ)为γ系数的正则化项，γ是的系数，g(γ)用于平衡两项损失的权重；

S54：将S4训练好的YOLOv5s网络模型进行稀疏化训练，稀疏率设定为0.0001，最终得到其稀疏化模型权重参数；

S55：查看剪枝后的轻量化神经网络在测试集上的识别精度是否达到要求，若未达到要求，转S5，调整与训练相关的参数，重复步骤S52、S53和S54；否则，转步骤S6。

与现有技术相比，发明的有益效果是：

1、该轻量化神经网络的空对地观测多目标识别方法，通过优化神经网络和模型结构化剪枝方法构建空对地视角下多目标识别神经网络，它的参数量更少、识别速度更快，能够在机载嵌入式平台上实现高精度俯视角复杂背景下的多目标识别任务。

2、该轻量化神经网络的空对地观测多目标识别方法，对YOLOv5s神经网络结构进行优所使用的GhostBottleneck轻量化结构相比标准卷积所需要的参数更少，整体神经网络模型还借鉴了残差的思想，通过旁路连接将输入特征图连接到输出上，能有效防止梯度消失和梯度***问题，并能增加网络的稳定性从而提升训练效果。

3、该轻量化神经网络的空对地观测多目标识别方法，在对YOLOv5s神经网络结构进行优化的基础上进行的，通使用γ系数作为通道的尺度因子，来评价各个通道的重要性，即γ系数的绝对值越小，表明该系数所对应通道的重要性越小，便可以优先剪枝掉该通道。稀疏化的过程，便是将γ的L₁范数g(γ)作为正则化项，加入到原始损失函数中一起训练。最终得到剪枝后的模型具有更低的参数量，并在一定程度上起到了正则化的效果。

附图说明

图1为一种轻量化神经网络的空对地观测多目标识别方法的流程图；

图2为实施例中的GhostBottleneck结构模块组成图；

图3为实施例中的优化改进后的YOLOv5s神经网络结构图；

图4为实施例中的基于YOLOv5s神经网络BN层γ因子结构化剪枝流程图；

图5为实施例中的BN层结构化剪枝后网络模型识别检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，发明提供一种技术方案：一种轻量化神经网络的空对地观测多目标识别方法，包括如下步骤:

步骤1：建立多目标识别图像数据库，为了评估本课题所发明的机载空对地视角轻量化多目标识别神经网络的性能。在制作图像数据集过程中充分保证多目标图像数据的真实性与多样性。该图像数据库目标类别包含4种不同形态的目标，分别命名为Plane、Tank、Car、House，目标所在背景为机场、森林、沙漠等场景，图像分辨率为1024*768，构建图像数据库数量总计10000张。

步骤2：多目标识别图像数据库预处理，首先使用数据增强方法对每种类别数据进行处理，数据增强方法具体包括对图像进行轻微水平或垂直平移、调整图像饱和度、白化处理等，其次使用labellmg软件手动对图像中的目标元素进行标记，按照8:2的比例划分训练集和测试集，构建出VOC格式交多目标识别图像数据库；最后将VOC格式数据库转换成YOLO格式。

步骤3：对YOLOv5s神经网络模型结构进行优化处理，为了更高效地提取特征，使用GhostBottleneck结构代替YOLOv5s主干网络的标准卷积，结构如图2所示。该结构在两个Ghost模块之间通过一个步长为2的深度卷积进行向下采样连接，最后将这两个Ghost模块的输入和输出合并。第一个Ghost模块用于增加通道数，第二个Ghost模块用于压缩通道数，这构成了逆残差结构，使得信息损失更少，结构表征能力更强。假设输入特征图的通道数、高度和宽度分别为c，h和w，输出特征图的通道数、高度和宽度分别为n，h′和w′，普通卷积中卷积核的大小为k×k。Ghost模块中通过普通卷积生成的特征图数量为m，每个线性运算的平均内核大小为d×d。则GhostBottleneck模块的计算量可表示为2[mh′w′ckk+ddh′w′(n-m)]。根据图2，Bottleneck模块的计算量可表示为2nh′w′ckk。因此Bottleneck模块与GhostBottleneck模块的计算量之比可表示为：

其中，k和d的大小相同，m＜n，且n-m＜＜c。得到Bottleneck模块的计算量约为GhostBottleneck模块的r倍。由于Bottleneck中使用了较多3×3标准卷积，因此用该结构替换C3模块中的Bottleneck模块能够将模型的体积和计算量进一步压缩。优化后的YOLOv5s神经网络模型结构如图3所示。

步骤4：对步骤3优化后的YOLOv5s神经网络模型进行预训练，加载步骤S2标注好的图像数据库对神经网络进行预训练；根据各自服务器计算资源配置情况将学习率设置在0.0001～0.001之间，神经网络输入图片尺寸为640×640，选用Adam优化器，Batch_size值设置为64，迭代次数Epoch设定为200轮；

步骤5：对步骤4预训练好的YOLOv5s网络模型进行网络结构化剪枝，如图4所示，本发明采用基于BN层缩放因子γ的网络模型结构化剪枝的方法对神经网络模型进行压缩；YOLOv5在卷积层后都引入了BN层，可以采用BN层的参数γ作为通道剪枝的因子，不用额外引入参数，减小神经网络的开销。当模型中的参数值接近0或变为0时，这些参数在神经网络传播时的作用非常小，其对应的神经元在网络连接中的贡献就明显降低，因此可以通过裁剪掉这些不重要的神经元来维持整个模型的检测性能又能达到压缩的效果。为了将权重中的参数值减小到0，可以采用稀疏化训练的方式来实现。因为最后根据参数γ的大小进行裁剪，在训练过程中要不断缩小γ的值，所以需要稀疏化训练BN层中的参数γ，引入L1正则化，训练过程采用公式如下所示。

其中X为当前BN层的某个输入通道，μ为该通道在batch-size下的均值，σ为该通道在batch-size下的方差，为了防止分母为0，ε可以取值1e-16，γ为网络BN层中的待学习的方差参数，β为BN层中待学习的均值参数，这两项参数都是需要通过网络学习得到的，Y为该通道经过BN层后的输出。

首先将步骤4训练好的YOLOv5s网络模型进行稀疏化训练，稀疏率设定为0.001，选用Adam优化器，Batch_size值设置为64，迭代次数Epoch设定为200轮；得到一个稀疏化模型权重参数。在稀疏训练过程则引入缩放因子和稀疏化惩罚项，构造剪枝目标函数如下：

上式x和y是训练输入和目标值，W是网络中可训练参数，第一项是YOLOv5s网络模型的训练损失函数，是平衡因子项，g(γ)是在缩放因子γ上的惩罚函数。

重复步骤5数次，通过对比多次实验的结果以获得最优的网络模型剪枝率。最终得到一个几乎不失去精度的低参数量、运行占用存储空间小、所需计算资源少的轻量型深度学习网络。

步骤6：将剪枝后的轻量化神经网络模型部署在机载嵌入式***中，对空对地视角下的目标进行识别，证明本方法机载在嵌入式计算平台下的实用性。

为了证明本文所提出的剪枝方法在基于深度学习神经网络轻量化的机载空对地视角复杂背景下多目标识别方法的优越性，本文设置不同剪枝率对神经网络进行轻量化操作，除了剪枝率不同外，其他所有设置(如稀疏化训练，剪枝阈值等)都保持不变。

通过对比分析可以发现，当剪枝率为0.35时，YOLOv5网络模型参数量从7，270，000减少到约4，072，193，同时剪枝之后的模型准确率mAP可以达到91.9％，与原始网络相比，约减少6％。准确率下降仍在可以接受范围内。在结构化剪枝操作完成，为了评估BN层结构化剪枝算法对YOLOv5多目标识别神经网络模型进行轻量化的可行性，随机选取采集的图像进行目标识别测试，其识别效果如图5所示。从测试效果图中可以看出，剪枝率为0.35时，进行BN层结构化剪枝操作后YOLOv5对各类目标识别准确率均在90％以上，且不存在误检和漏检目标，因此，从实验结果可以看出本文提出的BN层结构化剪枝算法生成的轻量化神经网络在机载空对地视角下的实际应用场景中各类目标识别具备很好的识别效果。综上所述，本发明所提出的一种轻量化神经网络的机载空对地视角多目标识别方法是切实可行的。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：具体包括以下步骤：

S1：建立多目标识别图像数据库；

S2：多目标识别图像数据预处理，划分训练集与测试集；

S3：对YOLOv5s神经网络结构进行优化；

S4：设置初始训练超参数，将多目标识别图像数据库的训练集部分输入优化后的YOLOv5s神经网络模型进行预训练；

S5：通过基于BN层结构化剪枝方法对优化后的YOLOv5s神经网络模型进行剪枝，设置初始剪枝率，然后在多目标识别图像数据库的训练集上对剪枝后的轻量化神经网络模型进行再训练，并在多目标识别图像数据库的测试集上对剪枝后的轻量化神经网络模型进行识别；

S6：将剪枝后的轻量化神经网络模型部署在机载嵌入式***中，对空对地视角下的目标进行识别。

2.如权利要求1所述的一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：所述的建立多目标识别图像数据库，具体包括以下步骤：

S11：搭建俯视角图像采集***；

S12：对目标进行图像采集，获取样本图像，采集图像数据集过程中充分模拟机载摄像机获取图像时的光照条件、下滑角与尺度变化。

3.如权利要求1所述的一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：所述多目标识别图像数据预处理，具体包括以下步骤：

S21：对数据进行缩放、旋转、裁剪、对称变换，统一图像的尺寸，实现数据库的归一化处理；

S22：将数据集制作成VOC格式，使用labellmg软件对图像中的识别对象进行以框的形式手动标注，生成xml文件，xml文件标签包含图像名称、目标类别、目标所在位置坐标信息；

S23：将多目标识别图像数据库按照设定比例划分为训练集和测试集；

S24：使用程序将VOC格式数据库转换成YOLO格式。

4.如权利要求1所述的一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：所述对YOLOv5s神经网络结构进行优化，具体包括以下步骤：

S31：使用GhostNet中的GhostBottleneck结构代替YOLOv5s主干网络的标准卷积，提取目标特征；

S32：最后一个Ghost模块不使用ReLU函数，在每一层后均通过批标准化(BN)和ReLU函数进行非线性激活，避免特征信息丢失。

5.如权利要求1所述的一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：所述优化后的YOLOv5s神经网络模型进行预训练，具体包括以下步骤：

S41：修改神经网络配置文件；

S42：加载标注好的图像数据库对神经网络进行预训练。

6.如权利要求1所述的一种轻量化神经网络的空对地观测多目标识别方法，其特征在于：所述对优化后的YOLOv5s神经网络模型进行剪枝，具体包括以下步骤：

S51：采用基于BN层缩放因子γ的通道式(channel-level)剪枝的方式对模型进行压缩；

S52：BN层的引入可以加快网络的训练速度，提高模型的泛化能力，但有大量冗余参数通过卷积操作后传入BN层；

S53：将γ的L₁范数g(γ)作为正则化项，加入到原始损失函数中一起训练，引入缩放因子和稀疏化惩罚项，构造剪枝目标损失函数如下:

L＝∑_(x，y)l(f(x，W)，y)+λ∑_y∈Γg(γ)

上式中x为网络的输入，W为网络中的权重参数，f(x，W)为网络的预测输出，y为标签，代表数据的真实值；l(f(x，W)，y)为网络的预测输出与真实标签值之间的损失，g(γ)为γ系数的正则化项，γ是的系数，g(γ)用于平衡两项损失的权重；

S54：将S4训练好的YOLOv5s网络模型进行稀疏化训练，稀疏率设定为0.0001，最终得到其稀疏化模型权重参数；

S55：查看剪枝后的轻量化神经网络在测试集上的识别精度是否达到要求，若未达到要求，转S5，调整与训练相关的参数，重复步骤S52、S53和S54；否则，转步骤S6。

Images