CN111079643B - 基于神经网络的人脸检测方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提出一种基于神经网络的人脸检测方法、装置和电子设备，涉及人脸识别领域，该方法包括：确定待检测的人脸图像，并基于人脸图像确定至少一个第一输入特征图，每个第一输入特征图预设有m个子区域；对于每个输入特征图的每个子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；对于每个输入特征图，将输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；基于至少一个输入特征图的第二输出特征图进行人脸识别。该方法能够在不增加精度损失的情况下能有更好的GPU加速体验，提高了检测效率，缓解了现有技术中由于数据量增加导致计算量增大，检测效率下降的问题。

Description

基于神经网络的人脸检测方法、装置和电子设备

技术领域

本发明涉及人脸检测领域，具体而言，涉及一种基于神经网络的人脸检测方法、装置和电子设备。

背景技术

人脸检测算法是实现人脸识别比对验证***的关键部分。随着深度学习技术的发展，现阶段人脸检测算法大规模使用卷积神经网络实现。

随着场景的多样性与复杂性增加，训练数据集的数量增加，卷积神经网络的规模变得越来越大，需要更多的计算量与访存量；这就不可避免的导致了检测速度的下降，即使有图形处理器(GPU)加速也很难达到实时检测的要求。

发明内容

有鉴于此，本发明的目的在于提供一种基于神经网络的人脸检测方法、装置和电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种基于神经网络的人脸检测方法，包括：

确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；

对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；

对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；

基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

在可选的实施方式中，所述预设的小卷积核为3*3小卷积核，所述m为9；将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：

将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

在可选的实施方式中，所述小卷积核为9个，每个所述小卷积核对应9个子区域中一个的起始坐标和终止坐标。

在可选的实施方式中，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：

在Eltwise层，将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

在可选的实施方式中，基于至少一个所述输入特征图的第二输出特征图进行人脸识别的步骤，包括：

在GPU加速引擎上对至少一个所述输入特征图的第二输出特征图进行固定尺寸最近邻扩展上采样，得到至少一个第三输入特征图；

基于至少一个所述第三输入特征图进行人脸识别。

第二方面，本发明实施例提供一种基于神经网络的人脸检测装置，包括：

确定模块，用于确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；

提取模块，用于对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；

累加模块，用于对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；

检测模块，用于基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

在可选的实施方式中，所述预设的小卷积核为3*3小卷积核，所述m为9；所述累加模块，用于将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

在可选的实施方式中，所述小卷积核为9个，每个所述小卷积核对应9个子区域中一个的起始坐标和终止坐标。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。

本发明实施例提供的基于神经网络的人脸检测方法、装置、电子设备和计算机可读存储介质，其中，该方法包括：确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；基于至少一个所述输入特征图的第二输出特征图进行人脸识别。因此，本发明实施例提供的技术方案，通过对原有的检测网络进行改进，利用预设小卷积核对输入特征图的子区域进行特征提取，然后累加，最后根据累加的输出结果进行人脸识别，使其在不增加精度损失的情况下能有更好的GPU加速体验，提高了检测效率，缓解了现有技术中由于数据量增加导致计算量增大，检测效率下降的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种基于神经网络的人脸检测方法的流程图；

图2示出了图1中步骤S106的执行场景图；

图3示出了图1中步骤S108的具体流程图；

图4示出了本发明实施例提供的一种基于神经网络的人脸检测装置的示意图；

图5示出了本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例1

请参阅图1，本发明实施例提供了一种基于神经网络的人脸检测方法，该方法包括：

步骤S102，确定待检测的人脸图像，并基于人脸图像确定至少一个第一输入特征图，每个第一输入特征图预设有m个子区域；

步骤S104，对于每个输入特征图的每个子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；

步骤S106，对于每个输入特征图，将输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；

步骤S108，基于至少一个输入特征图的第二输出特征图进行人脸识别。

本发明实施例提供的基于神经网络的人脸检测方法，通过确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；然后对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；接着对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；最后基于至少一个所述输入特征图的第二输出特征图进行人脸识别。该方法能够在不增加精度损失的情况下能有更好的GPU加速体验，提高了检测效率，缓解了现有技术中由于数据量增加导致计算量增大，检测效率下降的问题。

在一种可能的实施方式中，预设的小卷积核为3*3小卷积核，所述m为9；

对于步骤S106，将所输入特征图对应的第一输出特征图进行累加，得到第二输出特征图，包括：

1、将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

在一种可能的实施方式中，小卷积核为9个，每个所述小卷积核对应9个子区域中一个的起始坐标和终止坐标。

在一种可能的实施方式中，步骤S106，将所输入特征图对应的第一输出特征图进行累加，得到第二输出特征图，可以通过以下步骤执行：

(1)在Eltwise层，将输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

为了便于理解，下面结合图2对步骤S106的执行场景进行简要说明：

在图2中，NewConv(新卷积核)为3x3小卷积核，是一种区域定义卷积新算子：小卷积核作用在输入feature map(特征图)的子区域上，相当于增加Conv(Convolution缩写，卷积)的起始坐标与终止坐标，如首先将7x7的卷积核(Kernel Convolution)扩展(拆分)为9个3x3的小卷积核，每个小卷积核的作用子区域均不同，然后再通过Eltwise层将9个小卷积核的输出feature map(第一输出特征图)逐pixel(像素)累加起来，达到与7x7的卷积核同样的输出结果，即第二输出特征图相同。

在可能的实施方式中，参照图3，对于步骤S108，基于至少一个所述输入特征图的第二输出特征图进行人脸识别，包括以下步骤：

步骤S302，在GPU加速引擎上对至少一个所述输入特征图的第二输出特征图进行固定尺寸最近邻扩展上采样，得到至少一个第三输入特征图；

步骤S304，基于至少一个所述第三输入特征图进行人脸识别。

传统的特征图不同尺寸双线性插值上采样在GPU加速引擎中需要重新实现，并且计算量较高。

为了解决上述问题，本发明实施例中，该方法将采用固定尺寸2倍最近邻扩展上采样的方法：由于需要做尺寸扩展的深层特征图近似于目标浅层特征图的一半大小，所以仅需要将深层特征图尺度扩展一倍，对于新的特征图中的每一个pixel(像素)都可以通过如下公式映射回原特征图的最近邻pixel(像素)取值：

NewPixel(x,y)＝SrcPixel(int(x/2),int(y/2))；

其中，x,y表示坐标。由于该方法采用的最邻近扩展上采样仅涉及到GPU内存的读写操作与非常简单的坐标计算，与传统的双线性插值上采样产生新特征图的pixel相比，该最邻近扩展上采样不需要对原像素值的乘加运算操作，在GPU加速引擎上取得了较好的加速效果，并且检测精度较高。

本发明实施例提供的基于神经网络的人脸检测，结合GPU加速引擎的运行特点，发掘了神经网络结构中运算较慢加速不明显的操作，通过提出区域选择卷积算子，将大卷积核通过拆分成多个小卷积核并Elitwise叠加，能够在更好的GPU加速效果下达到与大卷积核的运行精度；同时，该方法根据人脸检测特征图的尺度关系，通过使用更简单的固定尺寸最近邻扩展上采样，对于GPU加速有更好的适配。此外，该方法在得到更好的加速效果的同时，实际场景中的人脸检测效果较好，但是该方法中的GPU利用率更高，可以支持更多路数的视频数据部署。

实施例2

基于同一发明构思，本申请实施例中还提供了与基于神经网络的人脸检测方法对应的基于神经网络的人脸检测装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述基于神经网络的人脸检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图4为本申请实施例提供的基于神经网络的人脸检测装置的示意图。

参照图4，该装置包括：确定模块401、提取模块402、累加模块403以及检测模块404；

其中，确定模块401，用于确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；

提取模块402，用于对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；

累加模块403，用于对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；

检测模块404，用于基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

一种可选实施方式中，所述预设的小卷积核为3*3小卷积核，所述m为9；所述累加模块403，用于将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

一种可选实施方式中，所述小卷积核为9个，每个所述小卷积核对应9个子区域中一个的起始坐标和终止坐标。

一种可选实施方式中，累加模块403，用于在Eltwise层，将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

一种可选实施方式中，检测模块404，用于在GPU加速引擎上对至少一个所述输入特征图的第二输出特征图进行固定尺寸最近邻扩展上采样，得到至少一个第三输入特征图；基于至少一个所述第三输入特征图进行人脸识别。

本申请实施例提供的基于神经网络的人脸检测装置，与上述实施例提供的基于神经网络的人脸检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

参见图5，本发明实施例还提供一种电子设备100，包括：

处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备100运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41在用户态执行以下指令：

确定待检测的人脸图像，并基于所述人脸图像确定至少一个第一输入特征图，每个所述第一输入特征图预设有m个子区域；对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；对于每个所述输入特征图，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图；基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

可选地，所述预设的小卷积核为3*3小卷积核，所述m为9；将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

可选地，处理器41执行的指令中，所述小卷积核为9个，每个所述小卷积核对应9个子区域中一个的起始坐标和终止坐标。

可选地，处理器41执行的指令中，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：在Eltwise层，将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

可选地，处理器41执行的指令中，基于至少一个所述输入特征图的第二输出特征图进行人脸识别的步骤，包括：在GPU加速引擎上对至少一个所述输入特征图的第二输出特征图进行固定尺寸最近邻扩展上采样，得到至少一个第三输入特征图；基于至少一个所述第三输入特征图进行人脸识别。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例提供的方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于神经网络的人脸检测方法，其特征在于，包括：

确定待检测的人脸图像，并基于所述人脸图像确定至少一个输入特征图，每个所述输入特征图预设有m个子区域；

对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；其中，每个所述小卷积核作用在所述输入特征图的不同的所述子区域上，每个所述小卷积核对应相应的所述子区域的起始坐标和终止坐标；

对于每个所述输入特征图，将所述输入特征图的m个所述子区域对应的第一输出特征图进行逐像素累加，得到第二输出特征图；

基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述预设的小卷积核为3*3小卷积核，所述m为9；将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：

将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

3.根据权利要求2所述的方法，其特征在于，将所述输入特征图对应的第一输出特征图进行累加，得到第二输出特征图的步骤，包括：

在Eltwise层，将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

4.根据权利要求1所述的方法，其特征在于，基于至少一个所述输入特征图的第二输出特征图进行人脸识别的步骤，包括：

在GPU加速引擎上对至少一个所述输入特征图的第二输出特征图进行固定尺寸最近邻扩展上采样，得到至少一个第三输入特征图；

基于至少一个所述第三输入特征图进行人脸识别。

5.一种基于神经网络的人脸检测装置，其特征在于，包括：

确定模块，用于确定待检测的人脸图像，并基于所述人脸图像确定至少一个输入特征图，每个所述输入特征图预设有m个子区域；

提取模块，用于对于每个所述输入特征图的每个所述子区域，根据预设的小卷积核进行特征提取，得到第一输出特征图；其中，每个所述小卷积核作用在所述输入特征图的不同的所述子区域上，每个所述小卷积核对应相应的所述子区域的起始坐标和终止坐标；

累加模块，用于对于每个所述输入特征图，将所述输入特征图的m个所述子区域对应的第一输出特征图进行逐像素累加，得到第二输出特征图；

检测模块，用于基于至少一个所述输入特征图的第二输出特征图进行人脸识别。

6.根据权利要求5所述的装置，其特征在于，所述预设的小卷积核为3*3小卷积核，所述m为9；所述累加模块，用于将所述输入特征图对应的9个第一输出特征图逐像素进行累加，得到与7*7的卷积核的输出结果相同的第二输出特征图。

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

Images