CN108256481A - 一种利用身体上下文的行人头部检测方法 - Google Patents

Abstract

本发明公开了一种利用身体上下文的行人头部检测方法，其步骤为：数据准备，对图像的每一个行人标注行人整体框、上半身框、头肩框以及头部框，共四个外界矩形框；模型设计，将深度卷积神经网络、行人全身候选框生成网络、难例挖掘模块以及由全身特征到局部的检测网络组成模型；模型训练，将训练集输入到上述模型中进行训练，利用校验集验证模型训练效果；训练完成获得模型M’；模型测试，以得到检测结果。本发明将难例挖掘、更精细的多尺寸融合特征与由全身到局部的检测框架配合使用，极大地提高了行人头部检测的精度；并且使用了更加轻量级的特征提取卷积神经网络，使得在保存较高检测精度下，在GPU上能够达到准实时的检测速度。

Description

一种利用身体上下文的行人头部检测方法

技术领域

本发明涉及一种检测方法，尤其涉及一种利用身体上下文的行人头部检测方法，属于计算机视觉技术领域。

背景技术

行人头部检测广泛应用在公共区域人流统计、人脸检测和行人监控等应用场景。目前头部检测方法大多基于手工设计的特征和支持向量机分类器框架。主要方法有：

1)基于模板的梯度特征和支持向量机(SVM)的头部检测。其主要技术手段为：提取第i个感兴趣区域(ROI)图像的基于模板的梯度特征(TGF)，并用SVM对这些特征进行分类。问题及缺点为：该法对于不同的角度、不同的光照很敏感，容易造成误检；其次，对于高度非线性的特征，SVM不能有效的分类。

2)基于特征值的椭圆模型头部检测。其主要技术手段为：采用投影矩阵对二值图像中的检测区域进行椭圆模型的特征值提取，判断检测区域的特征值是否符合椭圆模型。问题及缺点为：椭圆模型头部检测只对头部轮廓比较清晰、头部尺寸较大时的检测比较鲁棒，而对圆形或者椭圆形的非头部物体不能够有效的区分。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种利用身体上下文的行人头部检测方法。

为了解决以上技术问题，本发明采用的技术方案是：一种利用身体上下文的行人头部检测方法，其整体步骤为：

步骤S1、数据准备阶段：

对图像的每一个行人标注行人整体框、上半身框、头肩框以及头部框，共四个外界矩形框；

步骤S2、模型设计阶段：

a、模型由以下部分组成：深度卷积神经网络P、行人全身候选框生成网络RPN、难例挖掘模块以及由全身特征到局部的检测网络；

b、对于输入的图像I，利用深度卷积神经网络P提取精细的多尺度融合特征F；

c、将精细的多尺度融合特征F输入到行人全身候选框生成网络RPN，由RPN网络生成大量的行人全身候选框；难例挖掘模块在通过提前计算大量行人候选框的分类和回归损失之和来挑选出难例参与到网络的训练，使得检测网络能够更加侧重于难例的检测；

d、通过RPN网络和难例挖掘模块产生的行人全身候选框，在多尺度融合特征F上采样相应的行人全身特征，得到行人全身特征X；

e、将行人全身特征X输入到由全身特征到局部的检测网络中，得到行人头部检测框；

步骤S3、模型训练阶段：

a、将步骤S1获得的带有行人全身、上半身、头肩和头部外接矩形框标注的行人图像集合D分为训练集T和校验集V；

b、将训练集T输入到步骤S2设计的模型中，利用批次随机梯度下降方法进行模型训练，监督信号为行人全身、上半身、头肩和头部外接矩形框标注；利用校验集V验证模型训练效果，即当模型在校验集V上获得较好的头部检测精度并且该精度不能随着训练过程再提升时，停止训练；

c、最终训练完成获得模型M’。

步骤S4、模型测试阶段：

输入图像为包含行人的图像I，将图像I输入步骤S3获得的模型M’中，以得到该行人头部的检测结果。

本发明将难例挖掘、更精细的多尺寸融合特征与由全身到局部的检测框架配合使用，极大地提高了行人头部检测的精度；并且使用了更加轻量级的特征提取卷积神经网络，使得在保存较高检测精度下，在图形处理器(GPU)上能够达到准实时的检测速度。

附图说明

图1为RGB图像上的行人标注示例图。

图2为本发明的整体步骤流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

一种利用身体上下文的行人头部检测方法，其整体步骤如下：

步骤S1、数据准备阶段：

对RGB图像的每一个行人标注行人整体框、上半身框、头肩框和头部框，一共4个外界矩形框。RGB图像上的标注示例如图1所示。

步骤S2、模型设计阶段：

a、进行端到端的模型设计，使模型由以下部分组成：深度卷积神经网络P、行人全身候选框生成网络RPN、难例挖掘模块以及由全身特征到局部的检测网络；其中，由全身特征到局部的检测网络包含身体上下文检测模块和可对特征提取结果进行优化的优化模块，如图2所示；将整个模型记为M；

b、对于输入的图像I，利用深度卷积神经网络P提取精细的多尺度融合特征F；

c、将精细的多尺度融合特征F输入到行人全身候选框生成网络RPN，RPN网络生成大量的行人全身候选框，难例挖掘模块在通过提前计算大量行人候选框的分类和回归损失之和来挑选出难例参与到网络的训练，使得检测网络能够更加侧重于难例的检测；

d、通过RPN网络和难例挖掘模块产生的行人全身候选框，在多尺度融合特征F上采样相应的行人全身特征，得到行人全身特征X；

e、将行人全身特征X输入到由全身特征到局部的检测网络中，得到行人头部检测框。

步骤S3、模型训练阶段：

a、将步骤S1获得的带有行人全身、上半身、头肩和头部外接矩形框标注的行人图像集合D分为训练集T和校验集V；

b、将训练集T输入到步骤S2设计的模型M中，利用批次随机梯度下降方法进行模型训练，监督信号为行人全身、上半身、头肩和头部外接矩形框标注；利用校验集V验证模型训练效果，即当模型在校验集V上获得较好的头部检测精度并且该精度不能随着训练过程再提升时，停止训练；

c、最终训练完成获得模型M’。

步骤S4、模型测试阶段：

输入图像为包含行人的图像I，将图像I输入步骤S3获得的模型M’中，以得到该行人头部的检测结果。

本发明与现有技术相比，具有以下关键点及优势：

1)难例挖掘：通过提前计算大量行人候选框的分类和回归损失之和来挑选出难例参与到网络的训练，使得检测网络能够更加侧重于难例的检测；

2)更精细的多尺寸融合特征：通过反卷积上采样多尺寸的特征并融合，得到更精细的多尺度融合特征；通过该特征能够更加有效的检测到不同尺寸的行人头部；

3)由全身到局部的检测框架：该检测方法特点在于由全身到局部的学习行人全身、上半身、头肩和头部的信息，从而提高行人头部检测的准确率。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (1)

1.一种利用身体上下文的行人头部检测方法，其特征在于：所述方法的整体步骤为：

步骤S1、数据准备阶段：

对图像的每一个行人标注行人整体框、上半身框、头肩框以及头部框，共四个外界矩形框；

步骤S2、模型设计阶段：

a、模型由以下部分组成：深度卷积神经网络P、行人全身候选框生成网络RPN、难例挖掘模块以及由全身特征到局部的检测网络；

b、对于输入的图像I，利用深度卷积神经网络P提取精细的多尺度融合特征F；

c、将精细的多尺度融合特征F输入到行人全身候选框生成网络RPN，由RPN网络生成大量的行人全身候选框；难例挖掘模块在通过提前计算大量行人候选框的分类和回归损失之和来挑选出难例参与到网络的训练，使得检测网络能够更加侧重于难例的检测；

d、通过RPN网络和难例挖掘模块产生的行人全身候选框，在多尺度融合特征F上采样相应的行人全身特征，得到行人全身特征X；

e、将行人全身特征X输入到由全身特征到局部的检测网络中，得到行人头部检测框；

步骤S3、模型训练阶段：

a、将步骤S1获得的带有行人全身、上半身、头肩和头部外接矩形框标注的行人图像集合D分为训练集T和校验集V；

b、将训练集T输入到步骤S2设计的模型中，利用批次随机梯度下降方法进行模型训练，监督信号为行人全身、上半身、头肩和头部外接矩形框标注；利用校验集V验证模型训练效果，即当模型在校验集V上获得较好的头部检测精度并且该精度不能随着训练过程再提升时，停止训练；

c、最终训练完成获得模型M’；

步骤S4、模型测试阶段：

输入图像为包含行人的图像I，将图像I输入步骤S3获得的模型M’中，以得到该行人头部的检测结果。