CN112163499A - 一种基于融合特征的小目标行人检测方法 - Google Patents

Abstract

本发明公开了一种基于融合特征的小目标行人检测方法，在分析了SSD算法运用到行人检测中存在不足的地方，采用融合多尺度卷积特征来检测行人共享了卷积层之间的特征信息，每一层的输入包括了前一层的输出和之前卷积层的部分卷积信息，从而更好的回归出行人的中心点位置；考虑到小分辨率的特征图不容易检测小目标行人的缺点，增大了最后生成掩码图的尺寸，解决了小区域特征图分辨率不足的问题。本发明方法通过融合各阶段的卷积特征来扩大最后的特征图尺寸，丰富小目标的特征信息，很好地实现了对小目标的识别，提高了小目标行人检测的识别准确率，与SDD方相比具有更高的召回率和识别率。

Description

一种基于融合特征的小目标行人检测方法

技术领域

本发明属于目标检测技术领域，具体涉及一种基于融合特征的小目标行人检测方法。

背景技术

行人检测在智能监控、图像检索和环境感知等领域有着广泛的应用，因而成为了计算机视觉领域的一项重要研究课题。准确的行人检测为后续分析提供了较好的前提条件，如行人跟踪、人数统计、人的重新识别，姿态估计和人脸识别等。

多年来，人们对行人检测进行了广泛的研究。传统的检测方法大多都是通过手工设计特征和构造负载的检测模型来达到目的的。该类目标检测方法的研究重点在于技巧性地设计合适的特征和强大的分类器，例如HoG+SVM、HoG+DPM、DOT+RF等等。随着深度学习的迅速发展，许多研究利用深度神经网络将特征提取和特征分类相结合，产生了一阶段的目标检测算法。该种算法直接把识别图片输入到神经网络中，通过预测目标位置坐标来进行目标识别。一阶段的代表算法有YOLO，YOLO v2，SSD等。而SSD作为目标检测领域最常用的一阶段检测算法，因其具备较高的检测率和检测速度，也被广泛运用到工业界的目标检测领域。

在一种名叫SSD:Single Shot MultiBox Detector的目标检测方法中，该方法一共由两部分组成，特征提取网络和识别网络。特征提取网络由全卷积网络组成，常用的两种结构分别是基于VGG和VGG改进型来设计的，经过提取特征的特征图输入到识别网络中来预测目标的具***置和类别，识别网络也是由全卷积网络组成，不用于YOLO只在最后一张特征图上对目标进行预测，SSD分别抽取了Conv Conv4_3，Conv7，Conv8_2，Conv9_2，Conv10_2和Conv11_2的特征图，然后分别在这些特征图上面的每一个点构造6个不同尺度大小的默认框。接着分别对不同特征图上生成的检测框进行微调和预测，删除识别结果为背景的检测框，从而生成多个初步符合条件的检测框。最后将不同特征图上生成的检测框结合起来，采用NMS(非极大值抑制算法)方法来抑制掉一部分重叠或者不正确的检测框，生成最终的检测框集合(即检测结果)尽管SSD是一个通用的目标检测算法，但是在工业界，常常被用于行人检测和监控安全领域，同样也能取得不错的检测效果。基于SSD的行人检测算法尽管通过在不同特征图上对行人进行预测来提高对于小目标行人的检测率，但是不同尺度特征图之间不共享特征。小目标行人的卷积特征在浅层特征图中较丰富，但是冗余信息较多难以识别；在深层特征图存在较少也难以识别。在多个卷积特征图上预测多个尺寸的目标框，并且需要对每个目标框进行位置微调和类别预测，计算量较大，且符合要求的检测框较多，使得增加了NMS算法的检测时间，也让得到最后的识别结果这一步骤较为繁琐。

发明内容

针对现有技术中的上述不足，本发明提供的基于融合特征的小目标行人检测方法解决了背景技术中对小目标行人检测时无法识别或识别率不高的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于融合特征的小目标行人检测方法，包括以下步骤：

S1、通过Unet全卷积神经网络对待检测图像进行特征提取，生成对应的特征图；

S2、将特征图分别输入到中心预测网络和位置预测网络中得到对应的预测结果，并根据预测结果构建行人检测框集合；

S3、采用非极大抑制算法将行人检测框集合中重叠率大于设置值的检测框删除，得到最终的行人检测结果，实现小目标行人检测。

进一步地，所述步骤S1中输入到Unet全卷积神经网络中的待检测图像尺寸相同；

所述步骤S1中Unet全卷积神经网络生成的特征图

为：

式中，f(·)为RELU激活函数；

为第l-1层的第i个特征图；

为Unet全卷积神经网络中第l层卷积层的卷积核；

为Unet全卷积神经网络中第l层卷积层的平移参数。

进一步地，所述步骤S2中，所述中心预测网络为卷积核为1×1、计算函数为Sigmod函数的独立卷积层，用于对提取到的特征图进行融合，并生成行人的位置掩码图M。

进一步地，所述步骤S2中，所述位置预测网络为卷积核为1×1的独立卷积层，用于对提取到的特征图进行重构，并得到一张四通道的位置特征图N。

进一步地，所述位置掩码图M为：

out_cen＝f(o)

式中，out_cen为位置掩码图M的表达式，f(o)为Sigmod函数中自变量为0时的函数值，Sigmod函数的表达式为

进一步地，所述位置特征图N中包括有若干行人检测框，且每个行人检测框均标注有左上角坐标(x1,y1)和右下角坐标(x2,y2)。

进一步地，所述步骤S2具体为：

S21、当任意位置掩码图M中存在像素值大于0.5的位置时，认定该位置掩码图M对应的位置特征图N中该位置所在的行人检测框有效；

S22、将所有认定有效的行人检测框作为行人检测框集合中的组成元素，构建行人检测框集合。

进一步地，所述步骤S3具体为：

S31、将行人检测框集合B中的每个行人检测框在对应的位置掩码图M中的像素值作为该行人检测框的置信得分，从而构建出所有行人检测框的得分集合S；

S32、将得分集合S中最高置信得分s对应的行人检测框从行人检测框集合B中删除；

S33、从行人检测框集合B删除与最高置信得分s对应的行人检测框重叠区域大于0.5的其他行人检测框；

S34、重复步骤S31-S33，直到行人检测框集合B为空，最终将当前行人检测框集合作为行人检测结果，实现小目标行人检测。

本发明的有益效果为：

本发明提供了一种基于融合特征的小目标行人检测方法，在分析了SSD算法运用到行人检测中存在不足的地方，采用融合多尺度卷积特征来检测行人共享了卷积层之间的特征信息，每一层的输入包括了前一层的输出和之前卷积层的部分卷积信息，从而更好的回归出行人的中心点位置；考虑到小分辨率的特征图不容易检测小目标行人的缺点，增大了最后生成掩码图的尺寸，解决了小区域特征图分辨率不足的问题。本发明方法通过融合各阶段的卷积特征来扩大最后的特征图尺寸，丰富小目标的特征信息，很好地实现了对小目标的识别，提高了小目标行人检测的识别准确率，与SDD方相比具有更高的召回率和识别率。

附图说明

图1为本发明提供的基于融合特征的小目标行人检测方法流程图。

图2为本发明提供的Unet全卷积神经网络计算组成示意图。

图3为本发明提供的Unet全卷积神经网络的结构图。

图4为本发明提供的Unet全卷积神经网络中时卷积运算示意图。

图5为本发明提供的Unet全卷积神经网络中Max pool运算过程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于融合特征的小目标行人检测方法，包括以下步骤：

S1、通过Unet全卷积神经网络对待检测图像进行特征提取，生成对应的特征图；

S2、将特征图分别输入到中心预测网络和位置预测网络中得到对应的预测结果，并根据预测结果构建行人检测框集合；

S3、采用非极大抑制算法将行人检测框集合中重叠率大于设置值的检测框删除，得到最终的行人检测结果，实现小目标行人检测。

上述步骤S1中输入到Unet全卷积神经网络中的待检测图像尺寸相同；

步骤S1中Unet全卷积神经网络进行特征提取时，通过重复的卷积计算，下采样计算和上采样计算组成，具体的组成情况如图2所示，生成的特征图

为：

式中，f(·)为RELU激活函数；

为第l-1层的第i个特征图；

为Unet全卷积神经网络中第l层卷积层的卷积核；

为Unet全卷积神经网络中第l层卷积层的平移参数；

上述过程中，下采样计算的表达式为：

上采样计算的表达式为：

如图3所示为本发明中的Unet全卷积神经网络的结构图，conv表示的是一次卷积运算，copy and crop表示的是把前面某个卷积特征和当前得到的卷积特征连接起来输出到下个神经层。ReLU表示的激活函数，其表达式为：

图3中Up表示的是扩大特征图尺寸，我们采用的是线性插值算法，来扩大特征图的尺寸，Max pool表示下采样运算，图4为上述过程中的时卷积运算示意图，图5为上述过程中的Max pool运算过程示意图。

上述步骤S2中，中心预测网络为卷积核为1×1、计算函数为Sigmod函数的独立卷积层，用于对提取到的特征图进行融合，并生成行人的位置掩码图M为：

out_cen＝f(o)

式中，out_cen为位置掩码图M的表达式，f(o)为Sigmod函数中自变量为0时的函数值，Sigmod函数的表达式为

上述步骤S2中，位置预测网络为卷积核为1×1的独立卷积层，用于对提取到的特征图进行重构，并得到一张四通道的位置特征图N，该位置特征图N中包括有若干行人检测框，且每个行人检测框均标注有左上角坐标(x1,y1)和右下角坐标(x2,y2)。

上述步骤S2具体为：

S21、当任意位置掩码图M中存在像素值大于0.5的位置时，认定该位置掩码图M对应的位置特征图N中该位置所在的行人检测框有效；

S22、将所有认定有效的行人检测框作为行人检测框集合中的组成元素，构建行人检测框集合。

上述步骤S3具体为：

S31、将行人检测框集合B中的每个行人检测框在对应的位置掩码图M中的像素值作为该行人检测框的置信得分，从而构建出所有行人检测框的得分集合S；

S32、将得分集合S中最高置信得分s对应的行人检测框从行人检测框集合B中删除；

S33、从行人检测框集合B删除与最高置信得分s对应的行人检测框重叠区域大于0.5的其他行人检测框；

S34、重复步骤S31-S33，直到行人检测框集合B为空，最终将当前行人检测框集合作为行人检测结果，实现小目标行人检测。

在本发明的一个实施例中，提供了本发明方法与背景技术中SDD方法进行小目标行人识别时的实验对比：

与背景技术相比，本发明融合多尺度卷积特征来识别行人，通过生成与检测图片相同尺寸的掩码图来检测行人，并提高小目标行人的检测率。经实验表明，我们提出的方法相比原来的SDD具有更高的召回率和识别率。我们选择INRIA以及Caltech两个数据集实现改进方案并和原有的SSD的对比实验。从表1、表2可以看出，我们的方法无论在召回率，还是准确率上都有较好的体现。这也证明了我们方法的有效性。

表1 SSD算法和我们提出的算法在INRIA行人数据集上的对比实验结果

方法	召回率	准确率
			SSD	13.3％	88.6％
Ours	9.8％	92.5％

表2 SSD算法和我们提出的算法在Caltech行人数据集上的对比实验结果

方法	召回率	准确率
			SSD	21.1％	85.3％
Ours	13.7％	90.2％

另外为了验证本发明可以有效改善数据集中对小目标的行人检测精度，我们针对Caltech的小目标数据集进行改进方案实验，该数据集根据行人标记框的像素高度把它们划分成了3个不同的子集，其中行人像素小于30像素视为小目标。我们采用本方案与SSD算法进行了对比并将漏检率作为评判指标，从表3可以看出本发明方法在Caltech小目标数据集中的漏检率上有了明显的改善。

表3 SSD算法和我们提出的算法在Caltech行人数据集上的对比实验结果

方法	漏检率
		SSD	48.5％
Ours	35.2％

本发明的有益效果为：

本发明提供了一种基于融合特征的小目标行人检测方法，在分析了SSD算法运用到行人检测中存在不足的地方，采用融合多尺度卷积特征来检测行人共享了卷积层之间的特征信息，每一层的输入包括了前一层的输出和之前卷积层的部分卷积信息，从而更好的回归出行人的中心点位置；考虑到小分辨率的特征图不容易检测小目标行人的缺点，增大了最后生成掩码图的尺寸，解决了小区域特征图分辨率不足的问题。本发明方法通过融合各阶段的卷积特征来扩大最后的特征图尺寸，丰富小目标的特征信息，很好地实现了对小目标的识别，提高了小目标行人检测的识别准确率，与SDD方相比具有更高的召回率和识别率。

Claims (8)

1.一种基于融合特征的小目标行人检测方法，其特征在于，包括以下步骤：

S1、通过Unet全卷积神经网络对待检测图像进行特征提取，生成对应的特征图；

S2、将特征图分别输入到中心预测网络和位置预测网络中得到对应的预测结果，并根据预测结果构建行人检测框集合；

S3、采用非极大抑制算法将行人检测框集合中重叠率大于设置值的检测框删除，得到最终的行人检测结果，实现小目标行人检测。

2.根据权利要求1所述的基于融合特征的小目标行人检测方法，其特征在于，所述步骤S1中输入到Unet全卷积神经网络中的待检测图像尺寸相同；

所述步骤S1中Unet全卷积神经网络生成的特征图

为：

式中，f(·)为RELU激活函数；

为第l-1层的第i个特征图；

为Unet全卷积神经网络中第l层卷积层的卷积核；

为Unet全卷积神经网络中第l层卷积层的平移参数。

3.根据权利要求1所述的基于融合特征的小目标行人检测方法，其特征在于，所述步骤S2中，所述中心预测网络为卷积核为1×1、计算函数为Sigmod函数的独立卷积层，用于对提取到的特征图进行融合，并生成行人的位置掩码图M。

4.根据权利要求3所述的基于融合特征的小目标行人检测方法，其特征在于，所述步骤S2中，所述位置预测网络为卷积核为1×1的独立卷积层，用于对提取到的特征图进行重构，并得到一张四通道的位置特征图N。

5.根据权利要求4所述的基于融合特征的小目标行人检测方法，其特征在于，所述位置掩码图M为：

out_cen＝f(o)

式中，out_cen为位置掩码图M的表达式，f(o)为Sigmod函数中自变量为0时的函数值，Sigmod函数的表达式为

6.根据权利要求5所述的基于融合特征的小目标行人检测方法，其特征在于，所述位置特征图N中包括有若干行人检测框，且每个行人检测框均标注有左上角坐标(x1,y1)和右下角坐标(x2,y2)。

7.根据权利要求6所述的基于融合特征的小目标行人检测方法，其特征在于，所述步骤S2具体为：

S21、当任意位置掩码图M中存在像素值大于0.5的位置时，认定该位置掩码图M对应的位置特征图N中该位置所在的行人检测框有效；

S22、将所有认定有效的行人检测框作为行人检测框集合中的组成元素，构建行人检测框集合。

8.根据权利要求7所述的基于融合特征的小目标行人检测方法，其特征在于，所述步骤S3具体为：

S31、将行人检测框集合B中的每个行人检测框在对应的位置掩码图M中的像素值作为该行人检测框的置信得分，从而构建出所有行人检测框的得分集合S；

S32、将得分集合S中最高置信得分s对应的行人检测框从行人检测框集合B中删除；

S33、从行人检测框集合B删除与最高置信得分s对应的行人检测框重叠区域大于0.5的其他行人检测框；

S34、重复步骤S31-S33，直到行人检测框集合B为空，最终将当前行人检测框集合作为行人检测结果，实现小目标行人检测。

Images