CN107909027A - 一种具有遮挡处理的快速人体目标检测方法 - Google Patents

Abstract

本发明公开了一种具有遮挡处理的快速人体目标检测方法，在现有人体目标检测区域全卷积神经网络模型的基础上，进一步对实时采集并检测得到的人体目标检测框的融合进行改进，采用带有放回采样策略的非极大值抑制算法，这样使得人体目标的检测对阈值具有不敏感性，可有效避免人体目标的漏检和重复检测，从而很好地以解决两个靠得很近即存在部分遮挡的人体目标检测。

Description

一种具有遮挡处理的快速人体目标检测方法

技术领域

本发明属于计算机视觉、模式识别、机器学习等技术领域，更为具体地讲，涉及在监控场景下一种基于区域全卷积神经网络的、具有遮挡处理的快速人体目标检测方法。

背景技术

近年来，随着科技的进步，各个行业开始越来越关注安全问题。在银行、机场、地铁、车站、小区等重要区域以及公共场所，人们都安装了监控摄像头进行视频监控。这些监控摄像头一般都安装在较高的位置，以俯视的角度进行监控。而我们所说的监控场景即是指在这种情景下拍摄的监控画面。

一般情况下，人是监控场景的主体，对人体目标的跟踪和后续的行为识别分析严重依赖于人体目标检测的精度，因此如何在监控场景下准确检测人体目标已经成为学术界和工业界广泛关注的热点之一。

早期的研究者一般将人体目标检测问题分为两个步骤来解决，首先是基于手工设计的模型进行特征提取，然后基于目标特征设计分类器训练检测模型。比如，Dalal N与Triggs B提出了一种基于梯度直方图(Histograms of Oriented Gradients，HOG)特征和支持向量机(Support Vector Machine,SVM)框架的人体目标检测方法，具体算法原理参见：Dalal N,Triggs B.Histograms of oriented gradients for human detection[C].Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer SocietyConference on.IEEE,2005,1:886-893。Shanshan Zhang和Rodrigo Benenson采用梯度直方图(HOG)和颜色空间变换(LUV)提取特征，用提升决策树(Boosted Decision Tree)训练人体目标分类器。具体算法原理参见：Shanshan Zhang,Rodrigo Benenson,and BerntSchiele.Filtered channel features for pedestrian detection[C].Computer Visionand Pattern Recognition,2015.CVPR 2015:1751-1760。这些方法在简单监控场景下对人体目标检测取得了较好的结果，但是对于复杂的监控场景下的人体目标检测结果还是不能满足我们的实际需求，而且该类传统算法的检测速度较慢，远远达不到实时检测的要求。

随着最近几年深度学习的兴起，基于深度学习的方法在图像分类领域取得了优异的成绩。很多研究者基于此也尝试将深度学习应用于目标检测领域。Ren,Shaoqing提出了一种快速区域卷积神经网络(Faster R-RCNN)的方法，将人体目标检测问题分为三个阶段，首先是获取人体目标区域候选框，然后是使用卷积神经网络进行目标特征提取，最后对目标特征进行分类训练得到模型。相较于传统的人体目标检测方法，提高了57％的检测准确率。具体算法原理可以参见文献：Ren,Shaoqing,et al.Faster R-CNN:Towards real-timeobject detection with region proposal networks.Advances in neural informationprocessing systems.2015。

随后，Jifeng Dai和Yi Li等提出了一种基于区域全卷积网络(R-FCN)的检测模型，具体算法原理可以参见文献:Dai J,Li Y,He K,et al.R-FCN:Object Detection viaRegion-based Fully Convolutional Networks[J].2016。R-FCN方法使用了一种位置敏感得分图来处理图像检测中的平移变换性的问题，使得该网络可以基于整幅图片进行全卷积计算，这种方法可以有效的降低网络模型的训练时间和检测时间。同时该模型使用残差网络(ResNet)作为自己的特征提取模型。在通用的目标检测平台Pascal VOC上，相较于Faster R-CNN,R-FCN不仅提高了目标检测的准确率同时也降低了目标检测的时间。

虽然R-FCN方法在通用的目标检测以及人体目标检测方面取得了较好的检测结果，但也还存在着一些问题，比如当人体目标之间存在遮挡时，存在将两人检测为单人的情况，造成漏检，以及当人体目标尺度较小时，存在漏检等检测失败的情况。此外，对于一些复杂的监控场景中的人体目标，比如：背景复杂、人体目标数量较多、人体遮挡比较严重这样的监控场景，现有人体目标检测方法还存在着一定程度的漏检和误检。

在2017年06月20日公布的、公布号为CN106874894A的发明专利申请中国，申请人提出了“一种基于区域全卷积神经网络的人体目标检测方法”，对生成anchors的规则进行了改进，同时，通过计算一幅人体目标图像各区域候选框损失值，并选取损失值最大前B区域候选框作为难例样本，其损失值反馈到区域全卷积神经网络模型中，使用随机梯度下降法更新区域全卷积神经网络模型的参数，以提高复杂场景下的人体目标检测的准确率，减少漏检率和误检率。

在上述人体目标检测的区域全卷积神经网络模型中，对监控场景下采集的图像的人体目标进行检测时，仍然需要对得到的人体目标检测框进行边框融合。现有的边框融合方法采用单一的阈值分割方法，很难处理两个靠的很近的需检测的人体目标。当阈值较小时容易导致人体目标的漏检，而阈值较大时又会引起人体目标的重复检测。

发明内容

本发明的目的在于克服现有技术的不足，提出一种具有遮挡处理的快速人体目标检测方法，以进一步减少漏检率和误检率，提高检测准确率。

为实现上述发明目的，本发明具有遮挡处理的快速人体目标检测方法，其特征在于，包括以下步骤：

(1)、训练得到人体目标检测区域全卷积神经网络模型，用于监控场景下采集的图像的人体目标检测；

(2)、将实时采集的图像输入到人体目标检测区域全卷积神经网络模型中，得到检测框以及其置信得分；

(3)、检测框融合

3.1)、对于所有的检测框，先删除置信得分低于0.5的检测框，然后将剩下的检测框，按置信得分降序排列并存入有序队列Q；

3.2)、对于有序队列Q里的检测框，计算第一个检测框与后续检测框的重叠度和相似度；其中，相似度按照以下公式进行计算：

metric＝e^{-(λ*dxy+dw+dh)}

其中：

其中，x*和y*为第一个检测框的中心位置坐标，w*和h*为第一个检测框的宽和高；x和y表示后续检测框的中心位置坐标，w和h分别表示后续检测框的宽和高，||||表示L1范数，λ是权重平衡因子，根据具体实施情况确定；

3.3)、将有序队列Q中重叠度大于0.3的检测框移动到缓存队列B中；

3.4)、搜索缓存队列B中重叠度小于0.5并且相似度超过设定的阈值T的检测框，将搜索的检测框按照置信得分降序排列并重新放回到有序队列Q的末尾，然后将有序队列Q的第一个检测框移动到输出列表L中；

3.5)、如果有序队列Q为空，则处理完成，输出列表L中的检测框即为人体检测目标，否则返回步骤3.2)。

本发明的目的是这样实现的。

本发明具有遮挡处理的快速人体目标检测方法，在现有人体目标检测区域全卷积神经网络模型的基础上，进一步对实时采集并检测得到的人体目标检测框的融合进行改进，采用带有放回采样策略的非极大值抑制算法，这样使得人体目标的检测对阈值具有不敏感性，可有效避免人体目标的漏检和重复检测，从而很好地以解决两个靠得很近即存在部分遮挡的人体目标检测。

附图说明

图1是本发明具有遮挡处理的快速人体目标检测方法中训练、检测一种具体实施方式原理框图；

图2是本发明中带有放回采样策略的非极大值抑制算法与传统的非极大值抑制方法在最后检测框融合效果上的对比图；

图3是图1所示带有放回采样策略的非极大值抑制算法的具体处理过程示意图；

图4是本发明与R-FCN,Faster-RCNN在不同数据集上的P-R曲线对比图；

图5是本发明与R-FCN,Faster-RCNN分别在实际场景中的检测效果图，其中，第一行为使用Faster-RCNN方法得到的检测结果图像，第二行为使用R-FCN方法得到的对应检测结果，第三行为使用本发明方法得到的对应检测结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明具有遮挡处理的快速人体目标检测方法中训练、检测一种具体实施方式原理框图。

在本实施例中，如图1所示，本发明具有遮挡处理的快速人体目标检测方法包括以下步骤：

1、人体目标检测区域全卷积神经网络模型的训练

1.1)、人体目标标定

对于监控场景下的图像，当人体目标较多时，人体的下半身很容易被遮挡。在人体目标检测的问题中，人们一般将人体目标的全身图像作为人体目标的特征表达。但是在监控场景下，人体目标的下半身图像很容易被遮挡，这样使得两个人体目标的检测框之间存在着大量的重合。因此，采用这样的标定数据进行训练的网络很难把两个目标分开。为了降低人体目标在监控场景下被遮挡的概率，本发明采用基于人体头肩模型标定的图像作为人体目标的特征表达，这样，在同样的监控场景下基于人体头肩区域标定的检测框(训练时的标定框)之间具有更少的重叠，同时基于人体头肩区域标定的特征对于人体的姿态变化，视角变化具有一定程度上的鲁棒性。因此让网络学习人体目标头肩区域的特征表达，这样可以解决监控场景下存在的遮挡问题，在一定程度上可以减少人体目标的漏检和误检。

在本实例中，采用了Caltech和Bronze两个数据集来进行训练和测试。公共的加州理工大学的Caltech行人数据集是目前规模较大的行人数据集，挑选了其中的25482张图片，采用人体头肩区域的方式重新标定，选择其中的17799张样本作为训练集，剩下的7629张样本作为验证集。Bronze是我们自建的数据集，该数据集包含的是俯视角度拍摄的监控场景的图像。其中包含一些遮挡较为严重，人员较为密集的复杂场景。对于每一张人体目标图像，我们标定人体目标头肩区域的所在位置作为人体目标的标定框。同时，将该数据集按照5：1的比例划为分训练集和验证集。

1.2)、生成区域候选框

在本实施例中，区域候选网络(region proposal network,RPN)生成候选框时，沿用Faster-RCNN中的方法。在获取经过残差网络得到的卷积特征后，采用多个不同的尺度比和长宽比的框来生成滑动窗口。不同于通用物体检测时生成锚(anchors)的规则，在本实施例中，选用{0.8,1.2}两个不同比例的宽高比和{48,96,144,192,240}五个不同尺度作为生成anchors的规则。

1.3)、计算位置敏感得分图

在本实施例中，借鉴R-FCN中提出的方法，首先根据卷积特征、区域候选框，用一组卷积滤波器计算位置敏感得分图，然后采用位置敏感区域池化方法得到候选框的置信得分和边框回归值。得到的区域候选框为正候选框的概率S_i以及负候选框的概率S_j；同时，根据人体目标标定框，得到区域候选框的真实类别概率S；其中，区域候选框与真实的人体目标标定框的交并比大于等于0.5时，判定区域候选框为正候选框样本，真实类别概率S为1；当候选框与真实的人体目标标定框的交并比小于0.5时，判定区域候选框为负候选框样本，真实类别概率S为0。

1.4)、计算区域候选框的分类损失值和回归损失值

在本实例中，采用区域候选框的交叉熵损失值作为区域候选框的分类损失值L_cls，其具体计算公式如下：

采用区域候选框的一阶平滑损失值作为区域候选框的回归损失值L_reg，其具体计算公式如下：

L_reg＝smooth_L1(x^*-x)+smooth_L1(y^*-y)+smooth_L1(w^*-w)+smooth_L1(h^*-h) (2)，

其中，x和y表示区域候选框的左上位置坐标，w和h分别表示区域候选框的宽和高，x^*和y^*表示真实的人体目标标定框的左上位置坐标，w^*和h*分别表示真实的人体目标标定框的宽和高；

其中，一阶平滑函数smooth_L1计算公式下：

其中，σ根据具体监控场景确定，一般取3.0，z为公式(2)中括号内的差值。

1.5)、在线难例挖掘

对于每一个区域候选框，计算出其损失值，其计算公式如下：

其中，λ是分类损失与回归损失之间的平衡因子，根据具体实施情况确定，通常取值为1。

对于一些复杂的监控场景，本发明参考了R-FCN中的在线难例挖掘算法来提高复杂监控场景下人体目标的检测能力，根据公式(4)，得到每一个区域候选框的损失值，将区域候选框损失值进行排序，选择损失值最大的前1/2个区域候选框作为难例样本，然后将这些难例样本的损失值，反馈到区域全卷积神经网络模型中，使用随机梯度下降法更新区域全卷积神经网络模型的参数。

对于每一幅人体目标图像，根据步骤1.2)～1.5)不断更新区域全卷积神经网络的参数，从而得到人体目标检测的区域全卷积神经网络模型，用于监控场景下采集的图像的人体目标检测。

2、采用带有放回采样策略的非极大值抑制算法进行测试(检测)。

在本发明中，提出了一种检测框融合方法，我们称之为带有放回采样策略的非极大值抑制算法。研究发现，现有的检测框融合方法很难处理两个靠的很近的需检测的目标。传统的非极大值抑制方法采用单一阈值分割的方法，当阈值较小时容易导致漏检。

图2是本发明中带有放回采样策略的非极大值抑制算法与传统的非极大值抑制方法在最后检测框融合效果上的对比图。

在本实施例中，如图2第一栏所示，而阈值较大时又会引起重复检测，如图2第二栏所示。本发明通过定义一个检测框相似度函数来区分两个的检测框是否是同一个目标，检测框相似度metric的定义如下：

其中，x*和y*为第一个检测框即最大置信得分检测框的中心位置坐标，w*和h*为第一个检测框即最大置信得分检测框的宽和高；x和y表示后续检测框的中心位置坐标，w和h分别表示后续检测框的宽和高，||||表示L1范数，这里设置权重λ为1。最后的相似度距离是3个偏差(dxy，dw，dh)的加权和。

图3是本发明中带有放回采样策略的非极大值抑制算法的处理过程示意图。

在本发明中，带有放回采样策略的非极大值抑制算法的具体步骤如下：

1)、对于所有的检测框，先删除置信得分C低于0.5的检测框，然后将剩下的检测框，按置信得分C降序排列并存入有序队列Q。图3中，有n个检测框，队列中C₁、C₂、C₃、…、C_n-1、C_n表示为各个检测框的置信得分，F₁、F₂、F₃、…、F_n-1、F_n表示为各个检测框的位置，包括中心位置坐标、宽度和高度。

2)、对于有序队列Q里的检测框，计算第一个检测框与后续检测框的重叠度r₂、r₃、…、r_n-1、r_n和相似度m₂、m₃、…、m_n-1、m_n。

3)、将有序队列Q中重叠度r大于0.3的检测框移动到缓存队列B中。如图3中第i、j、k个检测框。

4)、搜索缓存队列B中重叠度r小于0.5并且相似度m超过设定的阈值T的检测框，如第i、k个检测框，将搜索的检测框按照置信得分降序排列并重新放回到有序队列Q的末尾，然后将有序队列Q的第一个检测框移动到输出列表L中；

5)、如果有序队列Q为空，则处理完成，输出列表L中的检测框即为人体检测目标，否则返回步骤2)。

本发明提出的改进非极大值抑制算法对于阈值T具有不敏感性，最后的融合结果如图2第三栏所示，本发明有效地解决了监控场景中行人部分遮挡的难题。

为了验证本发明的有效性，我们首先使用自己重新标定的数据集进行模型的训练和测试(检测)，然后基于采集到的复杂监控场景中人体目标图像进行检测效果的对比验证。在本实例中，采用在图像处理领域中常用的深度学习框架caffe进行训练和测试，同时使用基于ImageNet图像数据集训练得到的ResNet-50残差网络模型作为预训练模型。对于网络模型的其它参数，我们设置学习率为0.001，每迭代2万次，学习率缩小10倍，总的迭代次数为6万次。动量设置为0.9，权重衰减项设置为0.0005。本发明微调得到的网络模型在英伟达GTX1080 GPU上的测试速度到了86毫秒每张图片，接近了实时检测的速度。

在本实例例中，采用在人体目标检测方法中较为通用的准确率-召回率(P-R)曲线图作为算法优劣的判别标准，P-R曲线一般是指根据对检测到的预测窗口取不同的置信概率值时所生成不同精确度和召回率的数据对所绘制的曲线。对于不同算法之间算法检测效果对比时，通常固定召回率，查看每一个算法对应的精确度，精确度越高，则表明该算法的对目标的检测能力更好。同时，为了用数字量化的形式表征检测算法的检测性能，本实施例中，使用准确率作为算法数据量化形式的评价标准，而对于准确率的计算，通常采用上述P-R曲线与Recall轴的面积作为该算法的平均准确率。

本实施例中使用残差网络ResNet-50模型进行训练，同时选用在实际监控场景中采集的图像，本实施例中，分别与基于传统的Faster-RCNN，R-FCN方法微调的网络模型进行人体目标检测效果的对比。对比实验得到的P-R曲线图如图4所示。可以看出在两个不同的数据集上，本发明相对于Faster-RCNN，R-FCN方法对人体目标的检测都取得了不小的进步。图5是本发明与Faster-RCNN，R-FCN方法在实际检测中某一帧的检测效果对比图。其中，第一行为使用Faster-RCNN方法得到的检测结果图像，第二行为使用R-FCN方法得到的对应检测结果，第三行为使用本发明方法得到的对应检测结果。同样也可以看出本发明对于遮挡情况下的人体目标具有较好的检测效果，而且，对于复杂的监控场景，本发明也具有更少的漏检。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种具有遮挡处理的快速人体目标检测方法，其特征在于，包括以下步骤：

(1)、训练得到人体目标检测区域全卷积神经网络模型，用于监控场景下采集的图像的人体目标检测；

(2)、将实时采集的图像输入到人体目标检测区域全卷积神经网络模型中，得到检测框以及其置信得分；

(3)、检测框融合

3.1)、对于所有的检测框，先删除置信得分低于0.5的检测框，然后将剩下的检测框，按得分降序排列并存入有序队列Q；

3.2)、对于有序队列Q里的检测框，计算第一个检测框与后续检测框的重叠度和相似度；其中，相似度按照以下公式进行计算：

metric＝e^{-(λ*dxy+dw+dh)}

其中：

<mrow> <mi>d</mi> <mi>x</mi> <mi>y</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mo>*</mo> </msup> <mo>-</mo> <mi>x</mi> </mrow> <mi>w</mi> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>y</mi> <mo>*</mo> </msup> <mo>-</mo> <mi>y</mi> </mrow> <mi>h</mi> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <mi>d</mi> <mi>w</mi> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mfrac> <msup> <mi>w</mi> <mo>*</mo> </msup> <mi>w</mi> </mfrac> <mo>-</mo> <mn>1</mn> <mo>|</mo> <mo>|</mo> </mrow>

<mrow> <mi>d</mi> <mi>h</mi> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mfrac> <msup> <mi>h</mi> <mo>*</mo> </msup> <mi>h</mi> </mfrac> <mo>-</mo> <mn>1</mn> <mo>|</mo> <mo>|</mo> </mrow>

其中，x*和y*为第一个检测框的中心位置坐标，w*和h*为第一个检测框的宽和高；x和y表示后续检测框的中心位置坐标，w和h分别表示后续检测框的宽和高，||||表示L1范数；

3.3)、将有序队列Q中重叠度大于0.3的检测框移动到缓存队列B中；

3.4)、搜索缓存队列B中重叠度小于0.5并且相似度超过设定的阈值T的检测框，将搜索的检测框按照置信得分降序排列并重新放回到有序队列Q的末尾，然后将有序队列Q的第一个检测框移动到输出列表L中；

3.5)、如果有序队列Q为空，则处理完成，输出列表L中的检测框即为人体检测目标，否则返回步骤3.2)。