CN110795975A - 人脸误检优化方法及装置 - Google Patents

Abstract

本申请实施例提供一种人脸误检优化方法及装置。该方法包括：提取待识别图像集中每张图像的人脸初始区域；基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸；若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。由此，通过采用多任务人脸判别网络模型大大提高了计算实效性，不仅能够提升人脸关键特征点定位的准确率，还可以减少每个关键特征点单独判断带来的累积误差，从而有效降低人脸检测的误检率。

Description

人脸误检优化方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种人脸误检优化方法及装置。

背景技术

人脸视频监控与处理是智能监控***中的一个重要组成部分。人脸监控在小区门禁、地铁安检等越来越多的实际场景中应用，在维稳反恐、流动人员管控等方面起到积极的促进作用。然而，在人脸检测过程中，如何控制误检率一直是重大难题，因为应用场景的多样性，会造成大量的图案、车轮、背包、甚至空拍等错误检测，这类误检图片会影响后续的人脸比对和识别功能，导致虚警事件，增加人工甄别成本。例如，当前基于深度学习方法的人脸检测，误检率一般都在5％左右，在某些复杂场景中甚至达10％，对于人脸监控产品的应用是一个致命的问题。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种人脸误检优化方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种人脸误检优化方法，应用于监控设备，所述方法包括：

提取待识别图像集中每张图像的人脸初始区域；

基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸；

若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。

可选地，所述提取待识别图像集中每帧图像的人脸初始区域的步骤，包括：

将所述待识别图像集中的每帧图像转换为灰度图像；

提取所述灰度图像的类Haar特征；

利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到人脸的初始区域。

可选地，所述多任务人脸判别网络模型包括依次连接的基础特征提取网络和深度特征提取网络，所述基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸的步骤，包括：

将所述人脸初始区域输入到所述多任务人脸判别网络模型中，通过基础特征提取网络提取所述人脸初始区域中人脸的关键特征点；

通过深度特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸。

可选地，所述通过深度特征提取网络提取每个关键特征点对应区域的深度特征的步骤，包括：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

可选地，所述将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征的步骤，包括：

将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征；

根据所述合并后的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，输出误检判断结果。

可选地，所述基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点的步骤之前，所述方法还包括：

训练所述多任务人脸判别网络模型；

所述训练所述多任务人脸判别网络模型的方式，包括：

响应配置操作，配置所述多任务人脸判别网络模型的网络结构，其中，所述网络结构包括基础特征提取网络和深度特征提取网络，所述基础特征提取网络用于提取人脸初始区域中的关键特征点，所述深度特征提取网络用于提取每个关键特征点对应区域的深度特征，所述深度特征提取网络包括与所述基础特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的多任务人脸判别网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述多任务人脸判别网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括人脸图像数据集和非人脸图像数据集；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值；

根据所述反向梯度值，利用链式导数传导法计算所述多任务人脸判别网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述多任务人脸判别网络模型的网络权重参数，并基于更新所述网络权重参数后的多任务人脸判别网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的多任务人脸判别网络模型，其中，所述基础特征提取网络和深度特征提取网络共享所述网络权重参数。

可选地，所述训练终止条件包括如下条件中的一种或者多种组合：

所述损失函数值小于预设阈值；

所述损失函数值不再降低；

训练迭代次数达到预设次数阈值。

可选地，所述基于输入的训练样本对所述多任务人脸判别网络模型进行训练，计算得到对应的损失函数值对应的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

可选地，所述根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值对应的计算公式为：

其中，

表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

可选地，所述基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并提取每个关键特征点对应区域的深度特征，根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸的步骤，包括：

将所述人脸初始区域输入到所述多任务人脸判别网络模型中，通过所述基础特征提取网络提取所述人脸初始区域中人脸的关键特征点；

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过所述ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征，再将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征；

将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征；

根据所述合并后的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，输出误检判断结果。

可选地，所述将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集的步骤之后，所述方法还包括：

对所述误检优化后的待识别图像集中的每张图像进行人脸识别，得到人脸识别结果。

第二方面，本申请实施例还提供一种人脸误检优化装置，应用于监控设备，所述装置包括：

提取模块，用于提取待识别图像集中每张图像的人脸初始区域；

判断模块，用于基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸；

移除模块，用于若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。

第三方面，本申请实施例还提供一种监控设备，所述监控设备包括：

存储介质；

处理器；以及

上述的人脸误检优化装置，所述人脸误检优化装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块。

第四方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的人脸误检优化方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例通过采用多任务人脸判别网络模型，实现了同时提取人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，无需分别采用多个不同的单任务网络模型进行计算，从而大大提高了计算实效性，不仅能够提升人脸关键特征点定位的准确率，还可以减少每个关键特征点单独判断带来的累积误差，从而有效降低人脸检测的误检率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的用于实现人脸误检优化方法的监控设备的结构示意框图；

图2为本申请实施例提供的人脸误检优化装置的功能模块图；

图3为本申请实施例提供的人脸误检优化方法的流程示意图；

图4为本申请实施例提供的多任务人脸判别网络模型的网络结构示意图。

图标：100-监控设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-人脸误检优化装置；210-提取模块；220-判断模块；230-移除模块。

具体实施方式

人脸视频监控与处理是智能监控***中的一个重要组成部分。人脸监控在小区门禁、地铁安检等越来越多的实际场景中应用，在维稳反恐、流动人员管控等方面起到积极的促进作用。然而，在人脸检测过程中，如何控制误检率一直是重大难题，因为应用场景的多样性，会造成大量的图案、车轮、背包、甚至空拍等错误检测，这类误检图片会影响后续的人脸比对和识别功能，导致虚警事件，增加人工甄别成本。例如，当前基于深度学习方法的人脸检测，误检率一般都在5％左右，在某些复杂场景中甚至达10％，对于人脸监控产品的应用是一个致命的问题。

针对上述问题，本申请发明人在实现本申请实施例提供的技术方案过程中，发现现有的做法一般是基于人脸关键特征点定准确度判断误检方法，该方法首先进行人脸关键特征点定位，在N个关键特征点中使用M个二分类器判断M个关键特征点中不准确点数目，并根据一定的规则来判断人脸检测是否误检。

但是发明人发现上述方法依然存在诸多问题，例如，该方法无法应对关键特征点定位不准情况，如带口罩人脸，下半部分关键特征点定位不准确，且无法用二分类器进行判别。其次，由于误差具有累积效应，假设每个关键特征点的二分类准确率为p，则M个点的综合判别准确率为p^M，在一个实施例中，取p＝98％，M＝10综合准确率也只有81％，误差较大。此外，上述时效性不强，提取M个关键特征点的特征后再通过SVM分类器进行判别，整个过程都是串行的，很难保证时效要求。

以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本申请实施例提供的用于实现下述人脸误检优化方法的监控设备100的结构示意框图。本实施例中，所述监控设备100可以可以用于对小区门禁、地铁安检等实际场景进行监控，主要由前端设备和后端设备这两大部分组成，前端设备通常由摄像机、手动或电动镜头、云台、防护罩、***、报警探测器和多功能解码器等部件组成，它们各司其职，并通过有线、无线或光纤传输媒介与中心控制***的各种设备建立相应的联系(传输视/音频信号及控制、报警信号)。在实际的监控***中，这些前端设备不一定同时使用，但实现监控现场图像采集的摄像机和镜头是必不可少的。后端设备可进一步分为中心控制设备和分控制设备。

如图1所示，监控设备100可以由总线110作一般性的总线体系结构来实现。根据监控设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，监控设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现监控设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、***设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，监控设备100也可配置成通用处理***，例如通称为芯片，该通用处理***包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，监控设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，监控设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图1中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于监控设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行下述实施例，具体地，所述存储介质130中可以存储有人脸误检优化装置200，所述处理器120可以用于执行所述人脸误检优化装置200。

在一种实施方式中，请参阅图2，为本申请实施例提供的上述人脸误检优化装置200的功能模块图，所述人脸误检优化装置200可包括：

提取模块210，用于提取待识别图像集中每张图像的人脸初始区域。

判断模块220，用于基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸。

移除模块230，用于若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。

进一步地，请参阅图3，为本申请实施例提供的人脸误检优化方法的一种流程示意图，本实施例中，所述人脸误检优化方法由图1中所示的监控设备100执行，下面结合图3对图2中所示的人脸误检优化装置200进行详细阐述。所应说明的是，本申请实施例提供的人脸误检优化方法不以图3及以下所述的具体顺序为限制。所述方法的具体流程如下：

步骤S210，提取待识别图像集中每张图像的人脸初始区域。本实施例中，该步骤S210可以由上述的提取模块210执行。

本实施例中，所述待识别图像集可以是由所述监控设备100采集的视频流产生的，也可以是所述监控设备100从外部设备(例如服务器、用户终端)获取的，本实施例对所述待识别图像集的来源不作限制。

作为一种实施方式，首先，将所述待识别图像集中的每帧图像转换为灰度图像，灰度图像也即每个像素只有一个采样颜色的图像，通常显示为从最暗黑色到最亮的白色的灰度，灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。

接着，提取所述灰度图像的类Haar特征。其中，Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值可以反映图像的灰度变化情况。例如：人脸脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向(水平、垂直、对角)的结构。由此，所述类Haar特征为用于物体检测的数字图像特征，这类矩形特征模板由两个或多个全等的黑白矩形相邻组合而成，而矩形特征值是白色矩形的灰度值的和减去黑色矩形的灰度值的和，矩形特征对一些简单的图形结构，如线段、边缘比较敏感，如果把这样的矩形放在一个非人脸区域，那么计算出的特征值应该和人脸特征值不一样，所以这些矩形就是为了把人脸特征量化，以区分人脸和非人脸。

最后，利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到人脸的初始区域FaceLoc:(Xp,Yp,Width,Height)。其中，所述adaboost级联分类器预先通过标定样本训练得到。

值得说明的是，上述人脸初始区域的提取方法仅为示例，也可以采用目前其余的人脸检测方法提取出人脸初始区域。

步骤S220，基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并提取每个关键特征点对应区域的深度特征，根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸。本实施例中，该步骤S220可以由上述的判断模块220执行。

本实施例中，所述预先训练的多任务人脸判别网络模型可以用于检测人脸关键特征点和关键特征点所在区域的深度特征判别。详细地，在步骤S220之前，所述方法还包括如下步骤：

训练所述多任务人脸判别网络模型。可选地，训练所述多任务人脸判别网络模型的方式可以通过如下方式实现：

首先，响应配置操作，配置所述多任务人脸判别网络模型的网络结构。

本实施例中，所述网络结构包括基础特征提取网络和深度特征提取网络，所述基础特征提取网络用于提取人脸初始区域中的关键特征点，所述深度特征提取网络用于提取每个关键特征点对应区域的深度特征，所述深度特征提取网络包括与所述基础特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中。

更为具体地，如图4所示，所述网络结构可包括12个卷积层、3个池化层、7个全连接层和1个ROI池化层。本实施例采用网络权重参数共享的方式，将提取人脸关键特征点任务和关键特征点所在区域深度特征提取任务合并，实现一次前向计算就能同时得到人脸的关键特征点和关键特征点区域深度特征。其中，所述基础特征提取网络为图4中所示的CNN网络，在一种实施方式中，该CNN网络可以选择VGG、resnet、mobilenet等通用卷积神经网络。

可选地，所述关键特征点可包括五个关键特征点坐标，也即眼睛(左眼、右眼)、鼻子、嘴巴(嘴巴左侧、嘴巴右侧)，由此，本实施例对遮挡人脸判别具有很好的鲁棒性，如带口罩人脸，双眼的关键特征点是能够定位准确的，则提取的左右双眼属性的深度特征是准确的，因而可以保证人脸判别的准确性，不会误判为误检。

接着，对配置好的上述网络结构的多任务人脸判别网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述多任务人脸判别网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括人脸图像数据集和非人脸图像数据集。具体计算公式如下：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

接着，根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值。具体计算公式如下：

其中，

表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

需要注意的是，发明人在实践中发现，通过调整关键特征点的权重和关键特征点对应区域的深度特征的权重，可以使训练达到更快收敛的效果，例如在一种实施方式中，η和λ可以分别取0.65和0.35。

接着，根据所述反向梯度值，利用链式导数传导法计算所述多任务人脸判别网络模型的网络权重参数的偏导数，并基于所述偏导数更新所述多任务人脸判别网络模型的网络权重参数。再基于更新所述网络权重参数后的多任务人脸判别网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的多任务人脸判别网络模型。

由此，所述基础特征提取网络和深度特征提取网络可以共享所述网络权重参数，在后续计算过程中计算实效性大大提高，相比于单任务神经网络能够更好地检测人脸关键点和判断目标是否正常人脸，对复杂环境的适应性更佳。

可选地，所述训练终止条件包括如下条件中的一种或者多种组合：

所述损失函数值小于预设阈值、所述损失函数值不再降低或者训练迭代次数达到预设次数阈值。

在上述基础上，所述步骤S220可以通过如下子步骤实现：

首先，将所述人脸初始区域输入到所述多任务人脸判别网络模型中，通过基础特征提取网络提取所述人脸初始区域中人脸的关键特征点。

接着，通过深度特征提取网络提取每个关键特征点对应区域的深度特征。作为一种实施方式，本步骤中，首先可分别通过每个卷积层组合提取每个关键特征点对应区域的特征图。而后，通过所述ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征，再将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

接着，根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸。本步骤中，可将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征，再根据所述合并后的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，输出误检判断结果。

示例性地，请结合图4，CNN网络为所述基础特征提取网络，在一种实施方式中，该CNN网络可以选择VGG、resnet、mobilenet等通用卷积神经网络。通过CNN网络提取到人脸的关键特征点后，由第二全连接层的输出。接着，分别通过每个卷积层组合提取每个关键特征点对应区域的特征图。也即，第一、二卷积层和第三、四全连接层输出左眼深度特征(60维)；第三、四卷积层和第五、六全连接层输出右眼深度特征(60维)；第五、六卷积层和第七、八全连接层输出鼻子深度特征(60维)；第七、八卷积层和第九、十全连接层输出嘴巴深度特征(60维)。ROI池化层在各个卷积层输出的特征图上扣取出9*9的特征，按线性插值方法池化为5*5的各池化特征，最后合并为240维深度特征进行人脸误检判别。

基于上述设计，本实施例通过训练多任务人脸判别网络模型进行人脸误检判别，实现了同时提取人脸初始区域中人脸的关键特征点，并在每个关键特征点对应区域提取深度特征，再根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，无需分别采用多个不同的单任务网络模型进行计算，从而大大提高了计算实效性，不仅能够提升人脸关键特征点定位的准确率，还可以减少每个关键特征点单独判断带来的累积误差，从而有效降低人脸检测的误检率。

步骤S230，若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。本实施例中，该步骤S230可以由上述的移除模块230执行。

本实施例中，若判定某张图像为误检图像，则将该张图像从所述待识别图像集中移除，由此可以将所述待识别图像集中的所有误检图像移除，以得到误检优化后的待识别图像集，所述误检优化后的待识别图像集即可用于后续的人脸识别等流程。例如，可以对所述误检优化后的待识别图像集中的每张图像进行人脸识别，得到人脸识别结果。

进一步地，对应于图3所示的人脸误检优化方法，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的人脸误检优化方法。

发明人采用上述方案进行实际测试得到人脸误检判别准确率为99.6％，即误检率降低到0.5％左右，极大地减轻了后续人脸识别比对的压力。

综上所述，本申请实施例通过采用多任务人脸判别网络模型，实现了同时提取人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，无需分别采用多个不同的单任务网络模型进行计算，从而大大提高了计算实效性，不仅能够提升人脸关键特征点定位的准确率，还可以减少每个关键特征点单独判断带来的累积误差，从而有效降低人脸检测的误检率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种人脸误检优化方法，其特征在于，应用于监控设备，所述方法包括：

提取待识别图像集中每张图像的人脸初始区域；

基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸；

若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。

2.根据权利要求1所述的人脸误检优化方法，其特征在于，所述提取待识别图像集中每帧图像的人脸初始区域的步骤，包括：

将所述待识别图像集中的每帧图像转换为灰度图像；

提取所述灰度图像的类Haar特征；

利用adaboost级联分类器对提取出的类Haar特征进行推理，根据所述类Haar特征从所述灰度图像中提取得到人脸的初始区域。

3.根据权利要求1所述的人脸误检优化方法，其特征在于，所述多任务人脸判别网络模型包括依次连接的基础特征提取网络和深度特征提取网络，所述基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并根据每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸的步骤，包括：

将所述人脸初始区域输入到所述多任务人脸判别网络模型中，通过基础特征提取网络提取所述人脸初始区域中人脸的关键特征点；

通过深度特征提取网络提取每个关键特征点对应区域的深度特征；

根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸。

4.根据权利要求3所述的人脸误检优化方法，其特征在于，所述通过深度特征提取网络提取每个关键特征点对应区域的深度特征的步骤，包括：

分别通过每个卷积层组合提取每个关键特征点对应区域的特征图；

通过ROI池化层从每个关键特征点对应区域的特征图中提取出目标特征图，并按照线性插值方法对提取出的目标特征图进行池化操作得到池化后的每个关键特征点对应区域的池化深度特征；

将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征。

5.根据权利要求4所述的人脸误检优化方法，其特征在于，所述将每个关键特征点对应区域的池化深度特征输入到对应的全连接层组合中，得到每个关键特征点对应区域的深度特征的步骤，包括：

将每个关键特征点对应区域的深度特征进行特征合并，得到合并后的深度特征；

根据所述合并后的深度特征判断所述人脸初始区域中的人脸是否为误检人脸，输出误检判断结果。

6.根据权利要求1-5中任意一项所述的人脸误检优化方法，其特征在于，所述基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点的步骤之前，所述方法还包括：

训练所述多任务人脸判别网络模型；

所述训练所述多任务人脸判别网络模型的方式，包括：

响应配置操作，配置所述多任务人脸判别网络模型的网络结构，其中，所述网络结构包括基础特征提取网络和深度特征提取网络，所述基础特征提取网络用于提取人脸初始区域中的关键特征点，所述深度特征提取网络用于提取每个关键特征点对应区域的深度特征，所述深度特征提取网络包括与所述基础特征提取网络相连的ROI池化层、与所述ROI池化层相连的多个卷积层组合以及与所述ROI池化层相连的多个全连接层组合，每个卷积层组合与相应的全连接层组合存在对应关系，每个卷积层组合提取对应的关键特征点对应区域的深度特征后由所述ROI池化层进行池化操作后输入到对应的全连接层组合中；

对配置好的上述网络结构的多任务人脸判别网络模型的网络权重参数进行随机初始化，并基于输入的训练样本集对所述多任务人脸判别网络模型进行训练，计算得到对应的损失函数值，其中，所述训练样本集包括人脸图像数据集和非人脸图像数据集；

根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值；

根据所述反向梯度值，利用链式导数传导法计算所述多任务人脸判别网络模型的网络权重参数的偏导数；

基于所述偏导数更新所述多任务人脸判别网络模型的网络权重参数，并基于更新所述网络权重参数后的多任务人脸判别网络模型重复上述训练步骤，直到训练后的网络权重参数满足训练终止条件时，输出满足训练终止条件的多任务人脸判别网络模型，其中，所述基础特征提取网络和深度特征提取网络共享所述网络权重参数。

7.根据权利要求6所述的人脸误检优化方法，其特征在于，所述基于输入的训练样本对所述多任务人脸判别网络模型进行训练，计算得到对应的损失函数值对应的计算公式为：

L(θ)＝ηL₁(θ)+λL₂(θ)＝η∑l₁(θ)+λ∑l₂(θ),

其中，

其中，L(θ)表示每个类别的损失函数；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

Y^landmark表示每个关键特征点；

x表示输入的训练样本集，y表示输出的分类结果；

N表示输入的数据个数，S表示类别个数；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

8.根据权利要求6所述的人脸误检优化方法，其特征在于，所述根据所述损失函数值利用预先配置的反向传播阈值策略计算对应的反向梯度值对应的计算公式为：

其中，

表示反向梯度值；

L₁表示关键特征点的损失函数值；

L₂表示利用关键特征点对应区域的深度特征进行误检判别的损失函数值；

η表示关键特征点的权重，λ表示关键特征点对应区域的深度特征的权重。

9.根据权利要求1所述的人脸误检优化方法，其特征在于，所述将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集的步骤之后，所述方法还包括：

对所述误检优化后的待识别图像集中的每张图像进行人脸识别，得到人脸识别结果。

10.一种人脸误检优化装置，其特征在于，应用于监控设备，所述装置包括：

提取模块，用于提取待识别图像集中每张图像的人脸初始区域；

判断模块，用于基于预先训练的多任务人脸判别网络模型提取所述人脸初始区域中人脸的关键特征点，并提取每个关键特征点对应区域的深度特征，根据提取出的每个关键特征点对应区域的深度特征判断所述人脸初始区域中的人脸是否为误检人脸；

移除模块，用于若是，则将该张图像从所述待识别图像集中移除，以得到误检优化后的待识别图像集。

Images