CN111753598A - 人脸检测方法及设备 - Google Patents

人脸检测方法及设备 Download PDF

Info

Publication number
CN111753598A
CN111753598A CN201910251460.4A CN201910251460A CN111753598A CN 111753598 A CN111753598 A CN 111753598A CN 201910251460 A CN201910251460 A CN 201910251460A CN 111753598 A CN111753598 A CN 111753598A
Authority
CN
China
Prior art keywords
face
neural network
network model
screening candidate
candidate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910251460.4A
Other languages
English (en)
Inventor
刘金财
王涛
樊星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201910251460.4A priority Critical patent/CN111753598A/zh
Publication of CN111753598A publication Critical patent/CN111753598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人脸检测方法及设备，该方法包括：将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像；通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框；分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框；依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。本发明实施例能够提高人脸检测效率。

Description

人脸检测方法及设备
技术领域
本发明实施例涉及人脸识别技术领域，尤其涉及一种人脸检测方法及设备。
背景技术
用户在办理业务时，通常需要采集用户人脸图像作为审核的凭据。在采集用户图像时，由于受到周围环境的影响，采集的用户图像常常包括其他人脸的图像，因此，需要对采集的用户图像进行人脸检测，以提取用户的人脸图像。
目前，常用的人脸检测方法是通过多任务级联卷积网络算法(全称Multi-taskCascaded Convolutional Networks，简称MTCNN)进行人脸检测。MTCNN算法通过首先筛选出人脸候选框，再对人脸候选框作进一步筛选，得到人脸图像。
然而，发明人发现，现有的MTCNN网络算法中，筛选出的人脸候选框数量太多，导致后续进一步筛选人脸候选框时运算量太大，降低人脸检测的效率。
发明内容
本发明提供一种人脸检测方法及设备，以解决现有技术中人脸检测效率低的问题。
第一方面，本发明实施例提供一种人脸检测方法，包括：
将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像；
通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框；
分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框；
依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
作为本发明的一个实施例，所述依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像，包括：
通过第二级神经网络模型对所述第二筛选候选框进行处理，得到第二候选框，并去除重叠的第二候选框，得到多个尺度的第三筛选候选框；
分别获取各第三筛选候选框的第二人脸位置和/或第二人脸面积，并去除第二人脸位置超过对应尺度的位置阈值的第三筛选候选框，和/或第二人脸面积超过对应尺度的面积阈值的第三筛选候选框，得到第四筛选候选框；
通过第三级神经网络模型对所述第四筛选候选框进行处理，得到人脸图像。
作为本发明的一个实施例，所述通过第三级神经网络模型对所述第四筛选候选框进行处理，得到人脸图像，包括：
通过第三级神经网络模型对所述第四筛选候选框进行处理，得到第三候选框，并去除重叠的第三候选框，得到多个尺度的第五筛选候选框；
获取各第五筛选候选框的第三人脸位置和/或第三人脸面积，并去除第三人脸位置超过对应尺度的位置阈值的第五筛选候选框，和/或第三人脸面积超过对应尺度的面积阈值的第五筛选候选框，得到人脸图像。
作为本发明的一个实施例，所述去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框之前，还包括：
获取第一预设数量的人脸图像样本，并确定各人脸图像样本中人脸的位置；
根据各人脸图像样本中人脸的位置确定预设位置阈值；
将所述预设位置阈值进行缩放处理，得到多个尺度的位置阈值，其中，所述预设位置阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
作为本发明的一个实施例，去除第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框之前，还包括：
获取第二预设数量的人脸图像样本，并确定各人脸图像样本中人脸的面积；
根据各人脸图像样本中人脸的面积确定预设面积阈值；
将所述预设面积阈值进行缩放处理，得到多个尺度的面积阈值，其中，所述预设面积阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
作为本发明的一个实施例，所述第一级神经网络模型为P-net神经网络模型，所述第二级神经网络模型为R-net神经网络模型，所述第三级神经网络模型为O-net神经网络模型。
作为本发明的一个实施例，所述将待检测人脸图像进行缩放处理之前，还包括：
构建初始人脸检测神经网络模型，并对所述初始人脸检测神经网络模型进行训练，得到人脸检测神经网络模型，其中，所述人脸检测神经网络模型包括P-net神经网络模型、R-net神经网络模型和O-net神经网络模型。
第二方面，本发明实施例提供一种人脸检测装置，包括：
缩放模块，用于将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像；
第一处理模块，用于通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框；
筛选模块，用于分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框；
第二处理模块，用于依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
第三方面，本发明实施例提供一种人脸检测设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如本发明实施例第一方面任一项所述的人脸检测方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本发明实施例第一方面任一项所述的人脸检测方法。
本发明实施例提供的人脸检测方法及设备，该方法通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，去除重叠的第一候选框，得到第一筛选候选框后，再通过第一人脸位置和/或第一人脸面积对第一筛选候选框进一步筛选，去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框，从而减少候选框的数量，降低第二级神经网络模型和第三级神经网络模型的运算量，提高人脸检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测方法的流程图一；
图2为本发明实施例提供的人脸检测方法的流程图二；
图3为本发明实施例提供的人脸检测方法的流程图三；
图4为为本发明实施例提供的人脸检测方法的流程图四；
图5为本发明实施例提供的人脸检测装置的结构示意图一；
图6为本发明实施例提供的人脸检测装置的结构示意图二；
图7为本发明实施例提供的人脸检测设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
MTCNN神经网络模型通常包括三级神经网络模型，即P-net神经网络模型、R-net神经网络模型和O-net神经网络模型。其中，P-net神经网络模型用来生成候选框，R-net神经网络模型和O-net神经网络模型用来对候选框进行筛选，得到人脸图像。现有的MTCNN网络算法中，筛选出的人脸候选框数量太多，导致后续进一步筛选人脸候选框时运算量太大，降低人脸检测的效率。本发明实施例对MTCNN算法进行改进，以提高人脸检测效率。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1，图1为本发明实施例提供的人脸检测方法的流程图一，如图1所示，本实施例的方法，可以包括：
步骤S101，将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像。
在本发明实施例中，待检测人脸图像为图像采集装置采集的用户的人脸图像。对待检测人脸图像进行金字塔层级的缩放处理，得到多个尺度的待检测人脸图像。具体的缩放处理步骤包括：确定基础缩放尺度a，将待检测人脸图像按照基础缩放尺度进行缩放，按照缩放后的图像的面积是前一层图像面积的a倍的迭代策略进行迭代，得到多个尺度的待检测人脸图像，构成图像尺度金字塔。例如，基础缩放尺度为a，待检测人脸图像的面积为s，缩放处理后得到的多个尺度的待检测人脸图像的面积由高到低为a，s×a，s×a2，…，s×an。基础缩放尺度可以根据需要进行设定，例如，基础缩放尺度为0.72。
步骤S102，通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框。
在本发明实施例中，第一级神经网络模型包括3个3×3卷积模板的卷积层。第一神经网络模型的输入的图像区域大小为12×12，第一级神经网络模型对多个尺度的待检测人脸图像中的每一个12×12的区域做人脸检测，判断每一个12×12的区域的图像中是否存在人脸，并给出人脸回归框和人脸关键点定位，得到第一候选框。其中，人脸回归框指示人脸框的精确位置，例如，人脸坐标，人脸关键点定位包括5个关键点，分别为左眼的位置、右眼的位置、鼻子的位置、嘴巴左侧的位置和嘴巴右侧的位置。
得到第一候选框后，通过非极大值抑制算法(NMS)去除重叠的第一候选框，得到第一筛选候选框，其中，各第一筛选候选框的尺度各不相同。
步骤S103，分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框。
在本发明实施例中，通过第一级神经网络模型能够得到各第一候选框的精确位置，即人脸位置，例如人脸坐标，根据人脸位置可以得到人脸面积，通过人脸位置和/或人脸面积对第一筛选候选框作进一步筛选，减少第一候选框的数量。
一种可能的实现方式中，通过人脸位置对第一筛选候选框作进一步筛选，具体的实现方式为：获取多个不同尺度的第一筛选候选框的第一人脸位置，去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，得到第二筛选候选框。
另一种可能的实现方式中，通过人脸面积对第一筛选候选框作进一步筛选，具体的实现方式为：获取多个不同尺度的第一筛选候选框的第一人脸面积，去除第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框。
另一种可能的实现方式中，通过人脸位置和人脸面积对第一筛选候选框作进一步筛选，具体的实现方式为：获取多个不同尺度的第一筛选候选框的第一人脸位置和第一人脸面积，去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，并去除第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框。
步骤S104，依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
在本发明实施例中，第二级神经网络模型包括2个3×3卷积模板的卷积层、1个2×2卷积模板的卷积层和1个全连接层。第三级神经网络模型包括2个3×3卷积模板的卷积层、1个2×2卷积模板的卷积层和1个全连接层。将第二筛选候选框输入到第二级神经网络模型中，由第二级神经网络模型去除非人脸框，并对第一筛选候选框做精细的调整，缩小人脸候选框的范围。再将第二级神经网络模型的输出作为第三级神经网络模型的输入，由第三级神经网络模型作进一步筛选，得到人脸图像。其中人脸图像中只包括用户人脸，不包括环境中其他人脸。
本发明实施例通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，去除重叠的第一候选框，得到第一筛选候选框后，再通过第一人脸位置和/或第一人脸面积对第一筛选候选框进一步筛选，去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框，从而减少候选框的数量，降低第二级神经网络模型和第三级神经网络模型的运算量，提高人脸检测效率。
请参考图2，图2为本发明实施例提供的人脸检测方法的流程图二，如图2所示，在上述图1所示实施例的基础上，本实施例的方法详细描述步骤S104的具体实现方式，本实施例的方法可以包括：
步骤S201，通过第二级神经网络模型对所述第二筛选候选框进行处理，得到第二候选框，并去除重叠的第二候选框，得到多个尺度的第三筛选候选框。
步骤S202，分别获取各第三筛选候选框的第二人脸位置和/或第二人脸面积，并去除第二人脸位置超过对应尺度的位置阈值的第三筛选候选框，和/或第二人脸面积超过对应尺度的面积阈值的第三筛选候选框，得到第四筛选候选框。
步骤S203，通过第三级神经网络模型对所述第四筛选候选框进行处理，得到第三候选框，并去除重叠的第三候选框，得到多个尺度的第五筛选候选框。
步骤S204，获取各第五筛选候选框的第三人脸位置和/或第三人脸面积，并去除第三人脸位置超过对应尺度的位置阈值的第五筛选候选框，和/或第三人脸面积超过对应尺度的面积阈值的第五筛选候选框，得到人脸图像。
在本发明实施例中，通过非极大值抑制算法、人脸位置和/或人脸面积分别对第二级神经网络模型输出的第二候选框和第三级神经网络模型输出的第三候选框做进一步筛选。
将第一筛选候选框作为第二神经网络模型的输入，由第二级神经网络模型去除非人脸框，并对第一筛选候选框做精细的调整，缩小人脸候选框的范围，第二神经网络模型输出第二候选框，并通过非极大值抑制算法(NMS)去除重叠的第二候选框，得到第三筛选候选框，其中，各第三筛选候选框的尺度各不相同。再通过人脸面积和/或人脸位置对第三筛选候选框作进一步筛选，得到第四筛选候选框，具体的实现方式与上述图1所示的步骤S103的实现方式相似，本发明实施例不再赘述。
将第四筛选候选框作为第三神经网络模型的输入，输出第三候选框，并通过非极大值抑制算法(NMS)去除重叠的第三候选框，得到第五筛选候选框，其中，各第五筛选候选框的尺度各不相同。再通过人脸面积和/或人脸位置对第五筛选候选框作进一步筛选，得到人脸图像，具体的实现方式与上述图1所示的步骤S103的实现方式相似，本发明实施例不再赘述。
本发明实施例通过第二人脸位置和/或第二人脸面积对第三筛选候选框进一步筛选，通过第三人脸位置和/或第三人脸面积对第五筛选候选框进一步筛选，进一步提高人脸检测效率。
请参考图3，图3为本发明实施例提供的人脸检测方法的流程图三，如图3所示，在上述图1所示实施例的基础上，本实施例的方法在步骤S103去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框之前，本实施例的方法还可以包括：
步骤S301，获取第一预设数量的人脸图像样本，并确定各人脸图像样本中人脸的位置。
步骤S302，根据各人脸图像样本中人脸的位置确定预设位置阈值。
步骤S303，将所述预设位置阈值进行缩放处理，得到多个尺度的位置阈值，其中，所述预设位置阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
在本发明实施例中，人脸图像样本由图像采集装置采集，人脸图像样本的采集场景与待检测人脸图像的采集场景相同。人脸图像样本为图像采集装置采集的样本采集者站在指定位置范围内的人脸图像，待检测人脸图像同样为图像采集装置采集的用户站在该指定位置范围内的图像。例如，在办理银行存款业务时，人脸图像样本为银行业务办理窗口采集的人脸图像，待检测人脸图像同样为银行业务办理窗口采集的人脸图像。
通过人脸识别技术可以确定各个人脸图像样本中人脸的位置，根据各人脸图像样本中人脸的位置确定预设位置阈值。例如，去除人脸图像样本中人脸的位置超过预设范围的人脸的位置，剩余的人脸的位置的最大值即为预设位置阈值的上限，最小值即为预设位置阈值的下限。对预设位置阈值同样进行金字塔层级的缩放处理，得到多个尺度的预设位置阈值，预设位置阈值的缩放尺度与待检测人脸图像的缩放尺度相同。具体的缩放处理步骤包括：确定基础缩放尺度a，将预设位置阈值按照基础缩放尺度进行缩放，按照缩放后的值是前一个值的a倍的迭代策略进行迭代，得到多个尺度的位置阈值。
请参考图4，图4为本发明实施例提供的人脸检测方法的流程图四，如图4所示，在上述图1所示实施例的基础上，本实施例的方法在步骤S103去除第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框之前，本实施例的方法还可以包括：
步骤S401，获取第二预设数量的人脸图像样本，并确定各人脸图像样本中人脸的面积。
步骤S402，根据各人脸图像样本中人脸的面积确定预设面积阈值。
步骤S403，将所述预设面积阈值进行缩放处理，得到多个尺度的面积阈值，其中，所述预设面积阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
在本发明实施例中，第一预设数量与第二预设数量可以相同也可以不同，本发明实施例不做具体限定。
通过人脸识别技术可以确定各个人脸图像样本中人脸的位置，根据各人脸图像样本中人脸的位置确定人脸的面积，进而根据各人脸图像样本中人脸的面积确定预设面积阈值。例如，去除人脸图像样本中人脸的面积超过预设范围内的人脸的面积，剩余的人脸的面积的最大值即为预设面积阈值的上限，最小值即为预设面积阈值的下限。对预设面积阈值同样进行金字塔层级的缩放处理，得到多个尺度的面积阈值，预设面积阈值的缩放尺度与待检测人脸图像的缩放尺度相同。具体的缩放处理步骤包括：确定基础缩放尺度a，将预设面积阈值按照基础缩放尺度进行缩放，按照缩放后的值是前一个值的a倍的迭代策略进行迭代，得到多个尺度的面积阈值。
作为本发明的一个实施例，所述第一级神经网络模型为P-net神经网络模型，所述第二级神经网络模型为R-net神经网络模型，所述第三级神经网络模型为O-net神经网络模型。
本实施例的方法还可以包括：构建初始人脸检测神经网络模型，并对所述初始人脸检测神经网络模型进行训练，得到人脸检测神经网络模型，其中，所述人脸检测神经网络模型包括P-net神经网络模型、R-net神经网络模型和O-net神经网络模型。
在本发明实施例中，人脸检测神经网络模型包括：P-net(全称Proposal Network)神经网络模型、R-net(全称Refine Network)神经网络模型和O-net(全称Output Network)神经网络模型。通过训练样本对初始的人脸检测神经网络模型进行训练，得到人脸检测神经网络模型，用于人脸检测。
图5为本发明实施例提供的人脸检测装置的结构示意图一，如图5所示，人脸检测装置500包括缩放模块501、第一处理模块502、筛选模块503和第二处理模块504，各模块的具体功能如下：
缩放模块501，用于将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像。
第一处理模块502，用于通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框。
筛选模块503，用于分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框。
第二处理模块504，用于依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
作为本发明的一个实施例，第二处理模块504，具体用于通过第二级神经网络模型对所述第二筛选候选框进行处理，得到第二候选框，并去除重叠的第二候选框，得到多个尺度的第三筛选候选框；
分别获取各第三筛选候选框的第二人脸位置和/或第二人脸面积，并去除第二人脸位置超过对应尺度的位置阈值的第三筛选候选框，和/或第二人脸面积超过对应尺度的面积阈值的第三筛选候选框，得到第四筛选候选框；
通过第三级神经网络模型对所述第四筛选候选框进行处理，得到人脸图像。
作为本发明的一个实施例，第二处理模块504，具体用于通过第三级神经网络模型对所述第四筛选候选框进行处理，得到第三候选框，并去除重叠的第三候选框，得到多个尺度的第五筛选候选框；
获取各第五筛选候选框的第三人脸位置和/或第三人脸面积，并去除第三人脸位置超过对应尺度的位置阈值的第五筛选候选框，和/或第三人脸面积超过对应尺度的面积阈值的第五筛选候选框，得到人脸图像。
请参考图6，图6为本发明实施例提供的人脸检测装置的结构示意图二，如图6所示，在图5所示实施例的基础上，本实施例的装置，还可以包括：第一确定模块505，第一确定模块505用于获取第一预设数量的人脸图像样本，并确定各人脸图像样本中人脸的位置；
根据各人脸图像样本中人脸的位置确定预设位置阈值；
将所述预设位置阈值进行缩放处理，得到多个尺度的位置阈值，其中，所述预设位置阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
作为本发明的一个实施例，本实施例的装置还可以包括：第二确定模块506，第二确定模块506用于获取第二预设数量的人脸图像样本，并确定各人脸图像样本中人脸的面积；
根据各人脸图像样本中人脸的面积确定预设面积阈值；
将所述预设面积阈值进行缩放处理，得到多个尺度的面积阈值，其中，所述预设面积阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
作为本发明的一个实施例，所述第一级神经网络模型为P-net神经网络模型，所述第二级神经网络模型为R-net神经网络模型，所述第三级神经网络模型为O-net神经网络模型。
作为本发明的一个实施例，本实施例的装置还可以包括：模型训练模块507，模型训练模块507用于构建初始人脸检测神经网络模型，并对所述初始人脸检测神经网络模型进行训练，得到人脸检测神经网络模型，其中，所述人脸检测神经网络模型包括P-net神经网络模型、R-net神经网络模型和O-net神经网络模型。
本实施例的装置，可用于执行如图1至图4所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的人脸检测设备的硬件结构示意图。如图7所示，本实施例提供的人脸检测设备700包括：至少一个处理器701和存储器702。该人脸检测设备700还包括通信部件703。其中，处理器701、存储器702以及通信部件703通过总线704连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述任一方法实施例中的人脸检测方法。通信部件703用于与终端设备和/或服务器进行通讯。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方法实施例中的人脸检测方法。
上述的计算机可读存储介质，可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸检测方法，其特征在于，包括：
将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像；
通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框；
分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框；
依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像，包括：
通过第二级神经网络模型对所述第二筛选候选框进行处理，得到第二候选框，并去除重叠的第二候选框，得到多个尺度的第三筛选候选框；
分别获取各第三筛选候选框的第二人脸位置和/或第二人脸面积，并去除第二人脸位置超过对应尺度的位置阈值的第三筛选候选框，和/或第二人脸面积超过对应尺度的面积阈值的第三筛选候选框，得到第四筛选候选框；
通过第三级神经网络模型对所述第四筛选候选框进行处理，得到人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述通过第三级神经网络模型对所述第四筛选候选框进行处理，得到人脸图像，包括：
通过第三级神经网络模型对所述第四筛选候选框进行处理，得到第三候选框，并去除重叠的第三候选框，得到多个尺度的第五筛选候选框；
获取各第五筛选候选框的第三人脸位置和/或第三人脸面积，并去除第三人脸位置超过对应尺度的位置阈值的第五筛选候选框，和/或第三人脸面积超过对应尺度的面积阈值的第五筛选候选框，得到人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框之前，还包括：
获取第一预设数量的人脸图像样本，并确定各人脸图像样本中人脸的位置；
根据各人脸图像样本中人脸的位置确定预设位置阈值；
将所述预设位置阈值进行缩放处理，得到多个尺度的位置阈值，其中，所述预设位置阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
5.根据权利要求1所述的方法，其特征在于，去除第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框之前，还包括：
获取第二预设数量的人脸图像样本，并确定各人脸图像样本中人脸的面积；
根据各人脸图像样本中人脸的面积确定预设面积阈值；
将所述预设面积阈值进行缩放处理，得到多个尺度的面积阈值，其中，所述预设面积阈值的缩放尺度与所述待检测人脸图像的缩放尺度相同。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一级神经网络模型为P-net神经网络模型，所述第二级神经网络模型为R-net神经网络模型，所述第三级神经网络模型为O-net神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述将待检测人脸图像进行缩放处理之前，还包括：
构建初始人脸检测神经网络模型，并对所述初始人脸检测神经网络模型进行训练，得到人脸检测神经网络模型，其中，所述人脸检测神经网络模型包括P-net神经网络模型、R-net神经网络模型和O-net神经网络模型。
8.一种人脸检测装置，其特征在于，包括：
缩放模块，用于将待检测人脸图像进行缩放处理，得到多个尺度的待检测人脸图像；
第一处理模块，用于通过第一级神经网络模型对多个尺度的待检测人脸图像进行处理，得到第一候选框，并去除重叠的第一候选框，得到多个尺度的第一筛选候选框；
筛选模块，用于分别获取各第一筛选候选框的第一人脸位置和/或第一人脸面积，并去除第一人脸位置超过对应尺度的位置阈值的第一筛选候选框，和/或第一人脸面积超过对应尺度的面积阈值的第一筛选候选框，得到第二筛选候选框；
第二处理模块，用于依次通过第二级神经网络模型和第三级神经网络模型对所述第二筛选候选框进行处理，得到人脸图像。
9.一种人脸检测设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的人脸检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的人脸检测方法。
CN201910251460.4A 2019-03-29 2019-03-29 人脸检测方法及设备 Pending CN111753598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910251460.4A CN111753598A (zh) 2019-03-29 2019-03-29 人脸检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910251460.4A CN111753598A (zh) 2019-03-29 2019-03-29 人脸检测方法及设备

Publications (1)

Publication Number Publication Date
CN111753598A true CN111753598A (zh) 2020-10-09

Family

ID=72672503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910251460.4A Pending CN111753598A (zh) 2019-03-29 2019-03-29 人脸检测方法及设备

Country Status (1)

Country Link
CN (1) CN111753598A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821747A (zh) * 2022-05-26 2022-07-29 深圳市科荣软件股份有限公司 一种工地人员异常状态识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及***
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107545249A (zh) * 2017-08-30 2018-01-05 国信优易数据有限公司 一种人群年龄识别方法及装置
CN107688786A (zh) * 2017-08-30 2018-02-13 南京理工大学 一种基于级联卷积神经网络的人脸检测方法
CN108171196A (zh) * 2018-01-09 2018-06-15 北京智芯原动科技有限公司 一种人脸检测方法及装置
WO2018188453A1 (zh) * 2017-04-11 2018-10-18 腾讯科技（深圳）有限公司 人脸区域的确定方法、存储介质、计算机设备
CN109359603A (zh) * 2018-10-22 2019-02-19 东南大学 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及***
WO2018188453A1 (zh) * 2017-04-11 2018-10-18 腾讯科技（深圳）有限公司 人脸区域的确定方法、存储介质、计算机设备
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107545249A (zh) * 2017-08-30 2018-01-05 国信优易数据有限公司 一种人群年龄识别方法及装置
CN107688786A (zh) * 2017-08-30 2018-02-13 南京理工大学 一种基于级联卷积神经网络的人脸检测方法
CN108171196A (zh) * 2018-01-09 2018-06-15 北京智芯原动科技有限公司 一种人脸检测方法及装置
CN109359603A (zh) * 2018-10-22 2019-02-19 东南大学 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘宏哲;杨少鹏;袁家政;王雪峤;薛建明;: "基于单一神经网络的多尺度人脸检测", 《电子与信息学报》 *
李帅杰;陈虎;兰时勇;: "基于级联神经网络的人脸检测", 《现代计算机(专业版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821747A (zh) * 2022-05-26 2022-07-29 深圳市科荣软件股份有限公司 一种工地人员异常状态识别方法及装置

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及***
CN109949290B (zh) 路面裂缝检测方法、装置、设备及存储介质
CN109829506B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN108234347B (zh) 一种提取特征串的方法、装置、网络设备及存储介质
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN110443350B (zh) 基于数据分析的模型质量检测方法、装置、终端及介质
CN109685805B (zh) 一种图像分割方法及装置
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
CN110390344B (zh) 备选框更新方法及装置
CN114943307A (zh) 一种模型训练的方法、装置、存储介质以及电子设备
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
CN113221601A (zh) 字符识别方法、装置及计算机可读存储介质
CN110020939B (zh) 建立违约损失率预测模型的装置、方法及存储介质
CN114143734A (zh) 一种用于5g物联网卡流量采集的数据处理方法及装置
CN111753598A (zh) 人脸检测方法及设备
CN111476741A (zh) 图像的去噪方法、装置、电子设备和计算机可读介质
CN116527398A (zh) 物联网卡风险识别方法、装置、设备及存储介质
CN111563829A (zh) 电力价格预测方法、电力价格预测模型训练方法及装置
CN111597966B (zh) 一种表情图像识别方法、装置及***
CN110135464B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114549884A (zh) 一种异常图像检测方法、装置、设备及介质
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品
CN113298182A (zh) 基于凭证影像的预警方法、装置及设备
CN112949526A (zh) 人脸检测方法和装置
CN113033542A (zh) 一种文本识别模型的生成方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination