CN106991408A - 一种候选框生成网络的生成方法及人脸检测方法 - Google Patents

Abstract

本发明公开了一种候选框生成网络的生成方法及人脸检测方法，其生成方法包括以下步骤，A、将图片输入网络，经卷积加池化操作，得到一个特征图；B、将特征图中的每一个点映射回原图的感受野中，并以该点为基准点，根据候选框面积和候选框面积缩放比例产生一定数量的候选框；C、对候选框进行正负样本的划分；D、随机采样步骤C中产生的多个候选框来优化损失函数。采用该候选框生成网络生成候选框，其计算量小。

Description

一种候选框生成网络的生成方法及人脸检测方法

技术领域

本发明涉及人脸检测方法领域，具体涉及一种候选框生成网络的生成方法及基于该候选框生成网络的人脸检测方法。

背景技术

人脸检测是计算机视觉领域中研究最多的课题之一，不仅是因为在物体检测中人脸检测具有挑战性，更由于有无数的应用程序，需要运用人脸检测作为第一步。人脸检测任务的目标是对任意给定的一幅图像或一组图像序列，使用机器自动判定该图像或该序列中是否存在，且在存在人脸的情况下，找出其位置和大小。人脸检测问题通常被抽象为一个二分类问题，即区分人脸与非人脸。

人脸图像在其表现与形状上呈现出巨大的差异，而在真实场景中，更由于光照、遮挡、角度、姿态等因素，增加了人脸检测的难度。经典的人脸检测方法主要通过基于人脸和非人脸的图像样本学习分类器，然后在输入的图像上生成候选框，再使用训练好的数据学习分类器对每个候选窗口进行分类。随着深度神经网络的不断发展与运用，各种结构的网络模型被用于人脸检测，然而，模型复杂度低的分类器缺乏足够的建模能力，模型复杂度高的分类器则具有高昂的计算开销。实际的应用程序中，由于视频及图像需要在有限计算资源下实时处理，目前很多方法难以同时在精度和速度上取得好的表现。

分析人脸检测的流程，可发现大量候选框的计算分类是造成高昂计算开销的一个原因。现已有两种人脸候选框的生成方法：一种是基于滑动窗口的候选框生成技术，一种是基于区域的候选框生成技术，但这两种常用的方法在实际应用中都存在一定的问题。前者在面对多尺度的人脸检测时会产生大约10⁶至10⁷个候选框，十分耗时；后者虽然只会产生几千甚至几百个候选框，但是基于这种方法产生的每一个候选框都需要放入卷积神经网络中进行计算，相当于一张图片需要进行成百上千次前向计算，同样十分耗时。

发明内容

本发明为了解决上述技术问题提供一种候选框生成网络的生成方法及人脸检测方法。

本发明通过下述技术方案实现：

一种候选框生成网络的生成方法，包括以下步骤，

A、将图片输入网络，经卷积加池化操作，得到一个特征图；

B、将特征图中的每一个点映射回原图的感受野中，并以该点为基准点，根据候选框面积和候选框面积缩放比例产生一定数量的候选框；

C、对候选框进行正负样本的划分；

D、随机采样步骤C中产生的多个候选框来优化损失函数。

作为优选，步骤B中映射关系为：p_i＝s_i*p_i+1，式中，p_i表示第i层layer的输入的某个点，s_i表示第i层layer的步长。

作为优选，步骤C具体的操作过程为：计算候选框与训练集中每个标定目标的重叠率，并根据重叠率进行正负样本的划分：对训练集中每个标定目标，与其重叠区域最大的候选框记为正样本；对于剩余的候选框，如果它与某个标定目标重叠率大于上限阈值，记为正样本候选框；若与任意一个标定目标的重叠率都小于下限阈值，则记为负样本候选框；针对上述剩余的候选框以及跨越原始图像边界的候选框，弃去不用；所述上限阈值大于下限阈值。

进一步的，重叠率的计算方法为候选框与标定目标的交集比上候选框与标定目标的并集。

作为优选，所述损失函数包括和

其中，L_i表示第i个样本的分类损失；f_j表示样本i在类别j上的得分；y_i表示样本i的真实类别；t_i是样本i的预测的框的坐标，是样本i的Ground Truth的坐标。

一种人脸检测方法，包括如下步骤：

获取待检测的图片；

将待检测图片输入训练后的人脸检测网络中，所述人脸检测网络包括上述的候选框生成网络和人脸分类网络；

候选框生成网络在待检测图片上产生可能为人脸的区域Proposals；

人脸分类网络对可能为人脸的区域Proposals进行分类；

输出分类为人脸的框及回归的坐标，并标记。

作为优选，所述人脸检测网络的训练方法为：

⑴、在人脸图像数据集的图片中标注出人脸位置，制作训练集，其中，图片的大小相等；

⑵、将训练集输入到人脸检测网络，进行模型训练，并调整参数达到收敛实现训练，其中训练时，每张图片产生的Proposals数量相同；若训练产生的Proposals的数量大于设定值，则舍弃多余的Proposals；若训练产生的Proposals的数量小于设定值，不足部分通过生成负样本作为Proposals来补充。

本发明与现有技术相比，具有如下的优点和有益效果：

1、采用本发明的方法的候选框生成网络和人脸分类网络对人脸进行检测，其将候选框的生成放到卷积神经网络中，这样一次前向计算就可以得到候选框，同时卷积神经网络可以通过自己学习得到图片特征，相对于手工特征更具有区分性，可以进一步减少候选框的生成数量，从而有效的减少计算量。

2、本发明的采用并行的方法，在保证检测精度的同时，可有效的提高速度。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

一种候选框生成网络的生成方法，包括以下步骤，

A、将任意大小的图片输入网络，经卷积加池化操作，得到一个特征图FeatureMap，该特征图后续用来作候选框的选取；

B、将步骤A中得到的特征图用做PGN_data层的输入，将特征图中的每一个点映射回原图的感受野中，并以该点为基准点，根据候选框面积area和候选框面积缩放比例ratio产生一定数量的候选框；

C、对候选框进行正负样本的划分；

D、随机抽取步骤C中产生的多个候选框来优化损失函数Loss Function。

步骤A、B的主要目的是产生Feature Map以及将Feature Map中的点还原到原始图片中。步骤D中并未使用全部的候选框，若将所有候选框用于对Loss Function的优化会导致负样本过多，致使最终的模型对正样本预测准确率极低。

所述步骤D中中随机抽取的候选框的个数为任意个，但是，为了便于GPU的计算，优选设置为偶数个，譬如64、128、256、300。在实验研究中发现，当且仅当将候选框的个数设置为256个时，其不仅可达到一个较高的检测精度且可达到较高的检测速度，是检测精度和检测速度的最佳平衡点。如果候选框的数量过小，检测精度会受到影响，而数量过大则会影响检测速度。

候选框生成网络即Proposal Generate Network，简称PGN。采用该方法训练的候选框生成网络是一个全卷积神经网络，依次包括卷积层、Relu层、局部响应归一化层、池化层等。

在PGN的训练过程中，特征图Feature Map为PGN_Cls_Score的输出，为了得到它与原图中坐标点的映射关系，将每一个卷积层和池化层的padding都设置为坐标映射公式可化简为：

当k_i为奇数时：

所以坐标映射公式化简为：

p_i＝s_i*p_i+1

当k_i为偶数时：

所以坐标公式化简为：

p_i＝s_i*p_i+1-0.5，

由于p_i为坐标值，不可能取小数，因此不管k_i为奇数还是偶数时公式都可化简为：

p_i＝s_i*p_i+1。

上各式中，p_i表示第i层layer的输入的某个点，s_i表示第i层layer的步长，k_i表示卷积核的大小kernel size，padding_i表示第i层layer的填充大小。

此时，感受野中心点的坐标只与每一层的步长相关，可有效地简化计算量。

步骤C中正负样本的划分根据候选框与训练集中每个标定目标的重叠率来确定。上限阈值大于下限阈值。计算候选框与训练集中每个标定目标Groud True Box的重叠率，对训练集中每个标定目标，与其重叠区域最大的候选框记为正样本，以保证每个GroudTrue Box至少可以对应一个正样本候选框；对于剩余的候选框，如果它与某个标定目标重叠率大于上限阈值，记为正样本候选框，这意味这每个Ground True Box可以对应多个正样本候选框，但每个正样本候选框只能对应一个Ground True Box；若与任意一个标定目标的重叠率都小于下限阈值，则记为负样本候选框；针对上述剩余的候选框以及跨越原始图像边界的候选框，弃去不用。

上限阈值与下限阈值的具体值可根据具体情况来设定。不同的人脸检测算法在对正负样本分类时可能采取不同的界限。优选的，在此方法中，我们采用经验值将上限阈值、下限阈值分别设置为0.7、0.3。采用上述阈值，对正负样本有较好的区分能力，训练的模型在分类人脸非人脸时有较好的表现。

其中，重叠率Intersection Over Union即IOU是目标检测评价体系中的一个参数，其的计算方法为候选框与标定目标的交集比上候选框与标定目标的并集，即：

重叠率IOU即目标检测结果Detection Result与Ground True Box真实框的交集比上他们的并集。此处的候选框可以看作初步的检测结果，所以此处的Detection Result等同于候选框。

步骤D中的损失函数采用Fast RCNN中的多任务损失函数。候选框生成网络包含两类任务，一是输出候选框的正负划分结果，二是回归候选框的位置信息，相应的损失函数包括两种函数，一种为用于输出候选框正负划分结果的分类损失，另一种为回归损失。

第一类任务使用常用的Softmax损失函数，第i个样本的损失如下：其中，f_j表示样本i在类别j上的得分，y_i表示样本i的真实类别。

第二类任务使用SmoothL1的损失函数，定义如下：其中，t_i是预测的框的坐标；是Ground Truth的坐标，即真实值的坐标。

实施例2

基于实施例1生成的候选框生成网络，本实施例公开一人脸检测方法。

一种人脸检测方法，包括如下步骤：

获取待检测的图片；

将待检测图片输入训练后的人脸检测网络中，所述人脸检测网络包括人脸分类网络和实施例1生成的候选框生成网络；

候选框生成网络在待检测图片上产生可能为人脸的区域Proposals；

人脸分类网络对可能为人脸的区域Proposals进行分类；

输出分类为人脸的框及回归的坐标，并标记。

本发明技术方案在人脸检测时既不像传统人脸检测算法一样采用滑动窗口的方式产生大量候选框，也不像一般采用基于区域的候选框生成技术的算法，将每个候选框均传入深度神经网络进行计算，消耗大量时间。本方案的方法将候选框的生成放到卷积神经网络中，这样一次前向计算就可以得到候选框，同时卷积神经网络可以通过自己学习得到图片特征，相对于手工特征如sift等更具有区分性，这样可以进一步减少候选框的生成数量，从而减少计算量。采用多任务的结构进行分类与回归，可以利用额外的信息来提高当前某个任务的学习性能，包括提高泛化准确率、学习速度和模型的可理解性。

考虑真实的应用场景，如摄像头采集的监控视频中每秒有很多帧图片，我们期望一次性将多张帧图片传给人脸检测网络得到结果，以充分地利用计算资源，提高检测速度，而非传统地将一张张图片依次处理。为了实现其并发性，提高人脸检测的速度，在上述步骤中进行优化。在训练时，为实现Batch，即输入一批适宜数量的图片给网络训练，需解决的一个问题是，如何知道生成的Proposals对应输入中的哪张图片。本方案采用如下方法：

人脸检测网络的训练方法为：

⑴、在人脸图像数据集的图片中标注出人脸位置，制作训练集，其中，图片的大小相等；

⑵、将训练集输入到人脸检测网络，进行模型训练，并调整参数达到收敛实现训练，其中训练时，每张图片产生的Proposals数量相同；若训练产生的Proposals的数量大于设定值，则舍弃多余的Proposals；若训练产生的Proposals的数量小于设定值，不足部分通过生成负样本作为Proposals来补充。训练时图片会不断产生proposals，这里舍弃多余的proposals是指当产生的proposals的数量达到设定值，超出的部分就直接舍弃。

其原理即1、训练集中图片大小统一；2、每张图片在训练中产生的Proposals固定为同样数量，即通过实验后设置一个恰当值，让所有图片产生相同数量的Proposals；3、若训练产生的Proposals的数量大于设定值，则舍弃多余的Proposals；若训练产生的Proposals的数量小于设定值，不足部分通过生成负样本作为Proposals来补充。

本发明给出的训练方式可以很方便地训练出一个共享卷积的多任务网络模型，而Batch的解决方法可以实现一张或多张待检测图片同时输入到人脸检测模型进行处理，从而充分利用计算资源，提高并发性。由于基于深度神经网络的计算可以全部通过GPU加速，此人脸检测网络又优化了计算开销，引入Batch，因此本发明技术方案能在保证检测精度的同时，有效地提高速度。

较浅的网络在面对复杂背景下的人脸检测能力是不足的，譬如在光照差、多人脸、小人脸等背景下，因此须引入一个层次结构稍深的网络用于最后的候选框分类。本实施例中的人脸分类网络Face Classify Net即FCN包括卷积层、池化层、全连接层等，可参照VGGNet思想。VGGNet模型针对多分类问题，所以有16层深度的网络结构，但对于人脸检测这种二分类问题来说，太深的网络检测所需时间消耗太大。Face Classify Net针对此问题，从网络深度、卷积核大小及个数、归一化层的使用上对VGGNet做优化。人脸分类网络FCN将VGGNet中的卷积层切割了7层，仅保留5层。网络层次的减少意味前向计算所需时间的减少，但同时也意味着检测精度上的下降。所以我们提升剩余5层卷积网络中卷积核的大小个数，具体的将第一层和第二层的卷积核大小从3*3分别提升到7*7和5*5，而卷积核的数量则每一层翻倍，从而减小网络层次的减少对网络精度的影响。同时为使网络更好地收敛可引入Batch Normalization来应对数据分布的改变。

如何把上述人脸分类网络和候选框生成网络放在一起，训练出一个共享卷积的多任务网络模型，这里我们提出了两种训练方式，一种是多步循环迭代的训练方式，一种是端到端的训练方式。

对于第一种方式，实际上就是一个不断迭代的训练过程，既然分别训练FaceClassify Network和Proposal Generate Network可能让网络朝不同的方向收敛，那么我们可以先独立训练Proposal Generate Network，然后用Proposal Generate Network的网络权重对Face Classify Network进行初始化并且用之前Proposal Generate Network输出的候选框作为此时Face Classify Network的输入训练Face Classify Network。用FaceClassify Network的网络参数去初始化Face Classify Network。之后不断迭代这个过程，即循环训练Face Classify Network和Proposal Generate Network。这里我们给出了4步循环迭代的训练方式，其具体流程如下：

第一步：使用训练数据集独立训练一个Proposal Generate Network；

第二步：使用第一步Proposal Generate Network产生的候选框作为新的训练集，训练一个Face Classify Network网络，至此，两个网络每一层的参数完全不共享；

第三步：使用第二步的Face Classify Network网络参数初始化一个新的Proposal Generate Network网络，但是把Proposal Generate Network、Face ClassifyNetwork共享的那些卷积层的学习率设置为0，也就是不更新，仅仅更新Proposal GenerateNetwork特有的那些网络层，重新训练，此时，两个网络已经共享了所有公共的卷积层；

第四步：仍然固定共享的那些网络层，把Proposal Generate Network特有的网络层也加入进来，形成一个unified network，继续训练，微调Face Classify Network特有的网络层，此时，该网络已经实现我们设想的目标，即网络内部预测候选框并实现检测的功能。

多步循环迭代训虽然可以使Proposal Generate Network和Face ClassifyNetwork共享卷积层的参数，但是将它们分开迭代训练也导致了它们训练时间上的额外开销。对此，我们给出了第二种训练方式：端到端的训练。

本发明提出的人脸检测模型中的两种网络，它们在前面几层使用了相同的层次结构，所以我们通过实现两者的融合从而达到端到端地训练。

融合后的网络共享了Proposal Generate Network和Face Classify Network从Conv1到PGN_Cls_Score之间的网络层，而在网络中新增了Proposal Layer与ProposalTarget Layer层，剩余的网络层则各自属于Proposal Generate Network和Face ClassifyNetwork。

本发明通过Proposal Layer将Proposal Generate Network产生的候选框从原图中截出，作为Face Classify Network的直接输入，从而很简单地实现了两个模型的融合。需注意，本发明提出的融合异常简单，但主要基于以下两点：第一，通过Proposal GenerateNetwork将候选框的生成集成到了网络中；第二，Proposal Generate Network与FaceClassify Network采用相似的网络层次设计。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种候选框生成网络的生成方法，其特征在于，包括以下步骤，

A、将图片输入网络，经卷积加池化操作，得到一个特征图；

B、将特征图中的每一个点映射回原图的感受野中，并以该点为基准点，根据候选框面积和候选框面积缩放比例产生一定数量的候选框；

C、对候选框进行正负样本的划分；

D、随机抽取步骤C中产生的多个候选框来优化损失函数。

2.根据权利要求1所述的一种候选框生成网络的生成方法，其特征在于，步骤B中映射关系为：p_i＝s_i*p_i+1，式中，p_i表示第i层layer的输入的某个点，s_i表示第i层layer的步长。

3.根据权利要求1所述的一种候选框生成网络的生成方法，其特征在于，所述步骤C具体为，计算候选框与训练集中每个标定目标的重叠率，并根据重叠率进行正负样本的划分：对训练集中每个标定目标，与其重叠区域最大的候选框记为正样本；对于剩余的候选框，如果它与某个标定目标重叠率大于上限阈值，记为正样本候选框；若与任意一个标定目标的重叠率都小于下限阈值，则记为负样本候选框；针对上述剩余的候选框以及跨越原始图像边界的候选框，弃去不用；所述上限阈值大于下限阈值。

4.根据权利要求3所述的一种候选框生成网络的生成方法，其特征在于，所述重叠率的计算方法为候选框与标定目标的交集比上候选框与标定目标的并集。

5.根据权利要求1所述的一种候选框生成网络的生成方法，其特征在于，所述损失函数包括和其中，L_i表示第i个样本的分类损失；f_j表示样本i在类别j上的得分；y_i表示样本i的真实类别；t_i是样本i的预测的框的坐标；是样本i的Ground Truth的坐标。

6.根据权利要求1所述的一种候选框生成网络的生成方法，其特征在于，所述步骤D中随机抽取的候选框的个数为偶数个。

7.根据权利要求6所述的一种候选框生成网络的生成方法，其特征在于，所述步骤D中随机抽取的候选框的个数为256个。

8.一种人脸检测方法，其特征在于：包括如下步骤：

获取待检测的图片；

将待检测图片输入训练后的人脸检测网络中，所述人脸检测网络包括权利要求1至7所述的候选框生成网络和人脸分类网络；

候选框生成网络在待检测图片上产生可能为人脸的区域Proposals；

人脸分类网络对可能为人脸的区域Proposals进行分类；

输出分类为人脸的框及回归的坐标，并标记。

9.根据权利要求8所述的一种人脸检测方法，其特征在于，所述人脸检测网络的训练方法为：

⑴、在人脸图像数据集的图片中标注出人脸位置，制作训练集，其中，图片的大小相等；

⑵、将训练集输入到人脸检测网络，进行模型训练，并调整参数达到收敛实现训练，其中训练时，每张图片产生的Proposals数量相同；若训练产生的Proposals的数量大于设定值，则舍弃多余的Proposals；若训练产生的Proposals的数量小于设定值，不足部分通过生成负样本作为Proposals来补充。