CN110348357A - 一种基于深度卷积神经网络的快速目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的快速目标检测方法。首先通过构造基本的SSD检测模型，将预处理的数据进行训练，得到一个原始训练模型。然后，通过卷积核重要性的度量，采取卷积核剪枝策略，去除不重要的卷积核，精简检测模型中的特征提取网络，并得到压缩模型。具体来讲，通过使得对第i+1层的通道子集构成的输入与第i+1层的输出尽可能相近，从而可以去除第i+1层输入的其他通道，并进而去除第i层中相应的卷积核，从而实现对模型卷积核的剪枝。每去除一个卷积层，然后对压缩模型进行微调，以恢复检测模型精度。当所有卷积层剪枝完毕后，得到最终的压缩检测模型。本发明通过模型压缩，使得模型可以在移动端部署，同时提升检测速度，并保持检测精度。

Description

一种基于深度卷积神经网络的快速目标检测方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于深度卷积神经网络的快速目标检测方法。

技术背景

人类获取信息的途径，最直观的就是听觉和视觉。研究表明，人类获取信息中的百分之八九十，都是通过人眼观察到的。也正是基于此，视觉机制一直是人类研究的重要领域，尤其是计算机视觉，近年来，伴随着深度学习的发展，计算机视觉取得了许多重大的突破。而目标检测，就是人们实现视觉感知和理解的重要一环，其检测物体的速度和精度，直接决定了我们获取信息的质量，其重要性可见一斑。此外，目标检测有着广阔的应用前景，诸如在无人驾驶中，通过3D目标检测可以实现快速的定位，从而汽车可以避开障碍物并顺利行驶；在制造业领业，通过人工智能的质量检测，自动识别出生产品中的斑点，可以迅速找出不合格的产品，不但可以提高质检的精度和速度，还可以节省大量的劳动力；在交通***中，通过对视频的实时检测，可以快速识别出车牌号。总而言之，目标检测，尤其是快速的目标检测，在我们生活中扮演着越来越重要的角色。

目标检测主要包括两个过程，即定位和识别。相比于一般的图像识别任务，虽然只多出了定位这一过程，但其模型实现上却要复杂得多。在传统的目标检测实现中，其难点在于特征提取以及特征分类。其旨在采用Haar小波、LBP、SIFT、HOG(histogram of orientedgradient)等方法对目标进行人工特征提取，再通过级联分类器AdaBoost、支持向量机SVM、DMP等方法进行分类。但是，由于特征提取主要是基于底层的信息，对拥有比较丰富语义信息的高层特征提取不足，同时特征提取具有特定性，故而存在识别中精度不高和识别物体种类单一的问题。

因此，尽管研究了许多年，在基于传统的检测方法下，一直未能得到广泛的应用。直到2012年，Alexnet模型的横空出世，计算机视觉的研究实现了历史性的突破。其在大规模图像识别的应用中取得了瞩目的成就，并在ImageNet比赛中取得第一名的成绩。其发展，一方面是计算机硬件性能的提升，在大数据存储以及计算速度上有了明显的提高；另一方面得益于机器学习算法的进步，尤其是深度神经网络的提出，使其在特征提取，尤其是高层特征提取上，有了极大的提高。此后，基于卷积神经网络的目标检测方法，如雨后春笋一般，得到了蓬勃发展。

目前，基于卷积神经网络模型的目标检测方法，主要有两类，即二阶段检测与一阶段检测。在二阶段检测中最著名的，当属R-CNN系列。其旨在通过区域检测的方法，将目标检测分为两个过程，一个是边界提议框的选取，主要通过回归来实现；另一个就是对物体进行分类。其后，又陆续提出了fast R-CNN,faster R-CNN以及Mask R-CNN等模型,尽管检测的速度以及精度上都有所提高，但是离实际应用中的实时检测，仍相去甚远。另外一个思路是，对输入的图片通过卷积神经网络后提取特征，直接进行回归处理，将定位与识别作为一个过程来实现，其典型代表就是yolo、SSD等。尽管检测速度大幅提高，但在实际生产应用中，却仍无法满足检测的实时性要求。

发明内容

本发明主要解决的技术问题是提供一种基于深度卷积神经网络的快速目标检测方法，通过对原始检测模型进行卷积核剪枝操作，减小了模型大小，有利于模型的部署。同时，在保证检测精度的情况下提高了检测速度，能够解决智能交通***中视频监控、行人检测等问题。

本发明提出了一种基于深度卷积神经网络的快速目标检测方法，包括以下步骤：训练原始模型、模型压缩、压缩模型上进行微调，具体而言，主要包括以下四个步骤：

Step1：对训练集的图像数据进行预处理，具体为：采用随机裁剪固定区域、随机裁剪随机大小、颜色变化和亮度扭曲方法，对图像数据进行増广，然后再随机做水平翻转，最后对増广后的图片做归一化处理，使其为固定大小，其尺寸为w×h。

将预处理后的训练集输入SSD模型进行训练得到初始模型；

(1)构建SSD模型，以去掉全连接层的VGG16为基本的特征提取网络，然后再加入Conv6、Conv7、Conv8、Conv9、Conv10和Conv11六个卷积层，并抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2层的特征图作为预测层；

(2)将预处理的训练集输入SSD模型进行特征提取，在每个预测层上生成固定数目的不同尺寸与不同长宽比的先验候选框，然后将先验候选框与训练集的图片数据中标注的真实边框进行匹配，得到训练过程中的正样本与负样本，并分别进行分类与回归预测，首先，将真实边框与其交并比最大的先验后选框进行匹配；然后，对于交并比大于0.5的真实边框与剩余的候选框进行匹配，将与真实边框匹配的候选先验框作为正样本，其他的则作为负样本，将负样本按照预测置信度降序排列，选取前面的负样本，并保证正负样本比例为1：3。

在此训练过程中，使用SGD梯度下降优化算法，通过反向传播训练网络，得到初始的训练模型，训练过程中的损失函数为：

其中，N为与真实边框相匹配的先验候选框的个数，L_loc为定位损失函数，L_conf为分类置信度的损失量，α为正则化参数，z为输入图像，p为目标类别，l为模型预测边框，g为标注边框。

Step2：对Step1中得到的初始模型采取卷积核剪枝的策略，对初始模型进行压缩得到压缩模型；在上述的基础卷积神经网络VGG16(Conv1_1-Conv4_3)中，设置一种基于卷积核通道和大小的剪枝策略，对卷积特征提取贡献率高的卷积核通道就予以保留，特征提取影响小的则舍弃。具体来说，对图像进行特征提取，设第i层卷积特征层通道数为C_i,宽和高分别为H_i和D_i，将第i层卷积层记为I_i，并且有对应的，卷积核大小为n_i×C_i×K_i×K_i,即共有n_i个卷积核，通道数为C_i,宽和高分别为K_i和K_i,第i层卷积核记为W_i，并且有我们的目的是去除W_i中不重要的卷积核，以缩减模型参数。基于卷积核剪枝的主要思想在于：对于第i+1层，其输入为第i层的输出，其输出为第i+2层的输入，如果第i层通道子集构成的第i+1层输入与第i+1层输出近似，则第i+1层输入对应的第i层中的其他通道可以移除，同时，第i层中相应的卷积核也可以去除。

具体过程为：

设y为第i+2层输入特征层中的随机采样点，也即第i+1层的输出特征层中的随机采样点

其中，和分别为第i+1层响应的卷积核与滑动窗口，c表示卷积核通道，C为最大的通道数，k₁表示宽度，k₂表示高度，两者最大值均为K，b为相应的偏置；

第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为

则第i+1层的输出特征层中的随机采样点表示为：

其中，

如果第i层通道子集构成的第i+1层输入与第i+1层输出近似，则第i+1层输入对应的第i层中的其他通道可以移除，具体为其中S为特征层通道子集，且有如果上式成立，则任何对应的通道特征可以移除，与此同时，第i+1的输入为第i层的输出，则第i层中相应的卷积核也会被移除，从而实现第i层卷积核剪枝；

在训练过程中，设有训练集其中M为图片数量与卷积特征空间位置数量的乘积,为第m个输入卷积特征，由公式(3)得到，为相应的卷积核与滑动窗口卷积操作得到的第j通道输出；由公式(4)得到，为输出特征层中第m个随机采样点，则将原通道选择问题转变为以下优化问题：

其中，|S|为通道子集S中元素的数量，r为压缩率，令T表示特征层被移除的通道子集，则集合T与S的交集为空集，其并集为通道集合{1,2，...,C}，上式转换为：

一般而言，|T|＜|S|，因此在实际训练过程中，通过优化式子(6)来实现卷积核通道的剪枝。通过上述优化，得到了第i层要去除的卷积核，同时，为了确保卷积核移除后的模型性能，最小化其重构误差。

式子(7)根据普通最小二乘求解，可以得到

根据以上步骤，对检测模型的基础模型VGG16中前10个卷积层(Conv1_1-Conv4_3)的卷积核进行剪枝操作，并得到压缩模型。

Step3：对step(2)中模型的每一特征层进行减枝后，紧接着对模型进行微调训练，即使用预处理后的训练集对压缩模型进行训练并将模型保存。在微调过程中，使用step(1)中的训练步骤，得到卷积核剪枝后的检测模型，以提升剪枝后的模型检测精度。一般而言，重复训练一到两个周期，并将最终得到的模型保存。

Step4：重复进行步骤Step2-Step3若干次，将Step(3)中微调后的模型再次采取Step(2)的卷积核剪枝策略，以进一步压缩模型，直到所有对检测性能影响较小的卷积核全部去除，并将最后微调得到的模型保存，作为最后的压缩检测模型。

本发明的有益效果：

本发明在缩小模型大小、保证检测精度的情况下尽可能提高检测速度。

在Step1中，通过对数据进行増广，可以使得模型对目标尺寸、大小更具鲁棒性。并同时尽量提升原始检测模型的精度，以提高压缩模型的检测精度上限。

在Step2中，通过度量原始模型中卷积核的重要性，去除对检测性能没有影响的卷积核，从而实现模型压缩，并同时保持检测精度。

在Step3中，在压缩的网络上进行微调，以使得压缩后的模型检测性能重新达到最优。

在Step4中，重复step(3)与step(4)若干次，以实现所有卷积层的卷积核剪枝，并保持检测精度，从而得到最终的检测模型。

附图说明

图1是本发明的一种较佳实施例的流程示意图；

图2是本发明实施例的基本检测器网络结构模型SSD，其中基础网络为VGG-16。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例1：本发明可以应用在诸多领域，例如在交通***中，通过检测监控视频来实时定位目标；也可以应用于刑侦领域，通过快速检测来定位犯罪嫌疑人；在自动驾驶中，对道路场景的快速定位，以避开行人与障碍物。为了表现本方法的通用性，下面主要以在公开数据集Pascal VOC上的实验为例，共检测20个类别，来说明本发明的具体使用情况。本发明的实验过程中，使用***Ubuntu18.04，采用硬件CPU为i78700k 3.7GHz×6，编程语言为python3.6，显卡为英伟达GeForce RTX 2070，深度学习框架为Pytorch1.0。

Step1：对训练集的图像数据进行预处理，将预处理后的训练集输入SSD模型进行训练得到初始模型；首先，构建SSD网络模型，并以去掉全连接层的VGG16为基本的特征提取网络，整体网络结构如图2所示。使用VOC2007和VOC2012训练集和验证集作为训练数据集，共有16551张训练图片；测试集为VOC2007 test数据集，共有4952张图片。然后，对数据进行预处理，采用随机裁剪固定区域、随机裁剪随机大小、颜色变化、亮度扭曲等方法，对图像数据进行増广，然后再随机做水平翻转。最后对増广后的图片做归一化处理，使其为固定大小300x300。将预处理的数据输入SSD检测模型进行特征提取，并在六个不同尺度的预测层上分别作分类与回归分析。在训练过程中，批次为32，共迭代120000次，并使用SGD梯度下降优化算法，通过反向传播训练网络，得到初始的训练模型。

Step2：对Step1中得到的初始模型采取卷积核剪枝的策略，对初始模型进行压缩得到压缩模型，使用初始模型对训练数据进行特征提取，得到VGG16中前10个卷积层(Conv1_1-Conv4_3)的特征层。设y为第i+2层的输入，也即第i+1特征层的输出，其由卷积操作式得到:

其中，和分别为第i+1层响应的卷积核与滑动窗口，c表示卷积核通道，C为最大的通道数，k₁表示宽度，k₂表示高度，两者最大值均为K，b为相应的偏置；

进一步地，第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为

则第i+1层的输出特征层中的随机采样点可以表示为：

其中，

通过上式，得到训练集我们的目的是优化下式，以去除不重要的卷积特征通道：

其中，T为除出去的卷积通道集合，C为卷积层通道集合，r为压缩率。

为了解决以上优化问题，首先设定T＝φ,即|T|＝0，同时设定压缩率r＝0.5，式子(7)的初始解设为min_val→+∞。则当|T|＜C×(1-r)时,执行以下操作：对于任意的m∈C,设定T′＝T∪{m},并用T′来得到式子(7)的解，使得每增加一个通道时式子(7)取值最小，设为val,如果val＜min_val，则更新min_val＝val，同时更新T＝T′，否则，继续以上操作。

通过上述方法，使得每次增加一个通道时上式的取值最小，可以得到要去除的卷积核集合T，从而实现网络模型压缩。

同时，为了确保卷积核移除后的模型性能，我们最小化下式所示的重构误差：

根据普通最小二乘求解对上式求解，可以得到

根据以上步骤，对检测模型的基础模型VGG16中前10个卷积层(Conv1_1-Conv4_3)的卷积核进行剪枝操作，并得到压缩模型。

Step3:对step(2)中模型的每一特征层进行减枝后，紧接着对模型进行微调训练，并将模型保存。在微调过程中，使用step(1)中的训练步骤，得到卷积核剪枝后的检测模型，以提升剪枝后的模型检测精度。一般而言，重复训练一到两个周期，并将最终得到的模型保存。

Step4:重复Step(3)与Step(4)若干次，本次操作采取3次重复，得到最终的检测模型。

通过以上步骤，最后可以得到原始模型与卷积核剪枝后的模型检测效果，同时下表1给出了剪枝前后的模型大小、检测速度与检测精度。从表中可知，相比原来模型，尽管检测精度略有下降，由77.3％减为75.2％，但模型大小由105.2M减小到13.8M，模型检测速度由46FPS(帧每秒)提升到200FPS(帧每秒)，这样可以在略微牺牲检测精度的情况下，满足实际生产应用中移动端的模型部署以及检测的实时性要求。

表1原始模型与压缩模型性能对比

模型	模型大小(M)	检测速度(FPS)	检测精度(mAP)
				原始模型	105.2	46	77.3
压缩模型	13.8	200	75.2

与现有的其他方法相比，本例的实施通过使用训练数据训练得到一个初始的检测模型，然后通过对检测器特征提取网络的卷积核进行重要性评估，去除不要重要的卷积核，以此精简模型。不同于以往使用第i层特征层的统计量来评估卷积核的重要性，我们通过第i+1的特征层来引导对第i层特征层的卷积核评估。在整个卷积核剪枝过程中，我们并没有改变原来模型的结构，这样可以更好的保持模型的精度。在完成卷积核剪枝后，再对模型进行微调，以使得压缩模型性能达到最优。通过我们的算法，实现了模型的压缩，使得可以部署在移动端，同时提升了检测速度，而基本保持了检测的精度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于深度卷积神经网络的快速目标检测方法，其特征在于，包括以下步骤：

Step1：对训练集的图像数据进行预处理，将预处理后的训练集输入SSD模型进行训练得到初始模型；

Step2：对Step1中得到的初始模型采取卷积核剪枝的策略，对初始模型进行压缩得到压缩模型；

Step3：使用预处理后的训练集对压缩模型进行训练，即对压缩模型进行微调；

Step4：重复进行步骤Step2-Step3若干次，得到最终的检测模型。

2.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法，其特征在于，所述Step1中训练集的图像数据预处理具体为：采用随机裁剪固定区域、随机裁剪随机大小、颜色变化和亮度扭曲方法，对图像数据进行増广，然后再随机做水平翻转，最后对増广后的图片做归一化处理，使其为固定大小，其尺寸为w×h。

3.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法，其特征在于，所述Step1中SSD模型进行训练得到初始的训练模型的具体过程为：

(1)构建SSD模型，以去掉全连接层的VGG16为基本的特征提取网络，然后再加入Conv6、Conv7、Conv8、Conv9、Conv10和Conv11六个卷积层，并抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2层的特征图作为预测层；

(2)将预处理的训练集输入SSD模型进行特征提取，在每个预测层上生成固定数目的不同尺寸与不同长宽比的先验候选框，然后将先验候选框与训练集的图片数据中标注的真实边框进行匹配，得到训练过程中的正样本与负样本，并分别进行分类与回归预测，在此训练过程中，使用SGD梯度下降优化算法，通过反向传播训练网络，得到初始的训练模型。

4.根据权利要求3所述的基于深度卷积神经网络的快速目标检测方法，其特征在于，所述先验候选框与训练集的图片数据中标注的真实边框进行匹配策略为：首先，将真实边框与其交并比最大的先验后选框进行匹配；然后，对于交并比大于0.5的真实边框与剩余的候选框进行匹配，将与真实边框匹配的候选先验框作为正样本，其他的则作为负样本，将负样本按照预测置信度降序排列，选取前面的负样本，并保证正负样本比例为1：3。

5.根据权利要求3所述的基于深度卷积神经网络的快速目标检测方法，其特征在于，所述训练过程中的损失函数为：

其中，N为与真实边框相匹配的先验候选框的个数，L_loc为定位损失函数，L_conf为分类置信度的损失量，α为正则化参数，z为输入图像，p为目标类别，l为模型预测边框，g为标注边框。

6.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法，其特征在于，所述卷积核剪枝的策略为：使用初始模型对Step1中得到的预处理的训练集进行特征提取，得到VGG16中前10个卷积层的特征层并对卷积核进行剪枝操作，具体过程为：

设y为第i+2层输入特征层中的随机采样点，也即第i+1层的输出特征层中的随机采样点：

其中，和分别为第i+1层响应的卷积核与滑动窗口，c表示卷积核通道，C为最大的通道数，k₁表示宽度，k₂表示高度，两者最大值均为K，b为相应的偏置；

第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为

则第i+1层的输出特征层中的随机采样点表示为：

其中，

如果第i层通道子集构成的第i+1层输入与第i+1层输出近似，则第i+1层输入对应的第i层中的其他通道可以移除，具体为其中S为特征层通道子集，且有如果上式成立，则任何对应的通道特征可以移除，与此同时，第i+1的输入为第i层的输出，则第i层中相应的卷积核也会被移除，从而实现第i层卷积核剪枝；

在训练过程中，设有训练集其中M为图片数量与卷积特征空间位置数量的乘积,为第m个输入卷积特征，为相应的卷积核与滑动窗口卷积操作得到的第j通道输出；为输出特征层中第m个随机采样点，则将原通道选择问题转变为以下优化问题：

其中，|S|为通道子集S中元素的数量，r为压缩率，令T表示特征层被移除的通道子集，则集合T与S的交集为空集，其并集为通道集合{1,2，...,C}，上式转换为：

通过上述优化，得到了第i层要去除的卷积核，同时，为了确保卷积核移除后的模型性能，最小化其重构误差。