CN110490170B - 一种人脸候选框提取方法 - Google Patents

一种人脸候选框提取方法 Download PDF

Info

Publication number
CN110490170B
CN110490170B CN201910793249.5A CN201910793249A CN110490170B CN 110490170 B CN110490170 B CN 110490170B CN 201910793249 A CN201910793249 A CN 201910793249A CN 110490170 B CN110490170 B CN 110490170B
Authority
CN
China
Prior art keywords
frame
anchor
image
face
anchor frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910793249.5A
Other languages
English (en)
Other versions
CN110490170A (zh
Inventor
刘中秋
陈高曙
祝江威
张伟
唐松鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaxis Biometrics Co Ltd
Original Assignee
Miaxis Biometrics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaxis Biometrics Co Ltd filed Critical Miaxis Biometrics Co Ltd
Priority to CN201910793249.5A priority Critical patent/CN110490170B/zh
Publication of CN110490170A publication Critical patent/CN110490170A/zh
Application granted granted Critical
Publication of CN110490170B publication Critical patent/CN110490170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种人脸候选框提取方法，主要包括两个步骤：步骤1为候选网络训练过程；步骤2为候选框提取过程；步骤1包括准备3类训练数据和使用得到的数据作为训练样本对候选网络进行训练，其中训练数据分别为切片图像、切片图像对应的锚框的标签、真实边框回归向量；步骤2是基于步骤1中训练好的候选网络对待检测图像进行人脸候选框提取，且所述候选网络为全卷积神经网络。本发明将多锚框与图像金字塔结合使用，减少了图像金字塔层数，在保证准确度的同时大大提升了运行速度，兼顾了准确性和实时性，使得本发明具有良好的实用性。

Description

一种人脸候选框提取方法
【技术领域】
本发明涉及人脸检测技术领域，尤其是涉及一种人脸候选框提取方法。
【背景技术】
人脸检测(face detection)是计算机视觉领域相关应用的基础步骤，对后续相关应用的性能起着决定性作用。所谓人脸检测是一种在任意输入信息(如图像、视频等)中找到人脸的位置、大小以及姿态等相关信息的计算机技术，其中，人脸的位置和大小是人脸检测必须获得的最基础的人脸信息，通常使用人脸候选框标示得出。
目前常见的人脸检测方法步骤如下：首先对原图像进行图像金字塔操作，获得多层金字塔图像，其次使用一个候选网络提取每一层金字塔图像中可能是人脸的候选框，最后使用一级或者多级提炼网络对候选框进行筛选及坐标修正，最终获得人脸候选框。此方法中人脸候选框的提取需对每一层金字塔图像进行处理，计算量大，导致耗时较长，提取速度差，缺乏实用性。
【发明内容】
本发明旨在提供一种人脸候选框提取方法，有效降低计算量，提高人脸候选框的提取速度。
本发明的目的是通过以下技术方案实现的：
一种人脸候选框提取方法，主要包括两个步骤：步骤1：候选网络训练过程；步骤2：候选框提取过程；所述步骤2是基于步骤1中训练好的候选网络对待检测图像进行人脸候选框提取。
步骤1：准备3类训练数据，分别为切片图像、切片图像对应的锚框的标签、真实边框回归向量，对应数据获取方式如下：
(1)切片图像：
从训练数据集的原图像中随机选取边长不小于A的正方形切片，将其边长统一缩放到A，最终获得尺寸为A*A的切片图像。
(2)切片图像对应的锚框的标签：
1)切片图像对应的锚框：
在切片图像对应的原图像上，以该切片图像中心点为中心，选取边长分别为A*scalei的k个正方形锚框；其中scale为缩放因子，取值范围0～1；i取值为0,1，…，k-1，其中k为正整数，且取值满足
Figure BDA0002180105280000021
优选值为最大k值。
2)锚框的标签：
计算每个锚框与对应的原图像中真实人脸框的IOU值，
Figure BDA0002180105280000022
其中S∩为锚框与真实人脸框交集部分的面积，S∪为锚框与真实人脸框并集部分的面积。以每个锚框对应的最大IOU值为锚框赋予标签，标签类别分为正样本标签、部分样本标签和负样本标签。
(3)真实边框回归向量：
针对上述(2)中被赋予正样本标签和部分样本标签的锚框，计算其最大IOU值对应的真实人脸框相对于对应锚框的真实边框回归向量，计算公式如下：
Figure BDA0002180105280000023
Figure BDA0002180105280000024
其中xg、yg为真实人脸框的中心点坐标，xa、ya为对应锚框的中心点坐标，wg、hg为真实人脸框的宽和高，wa、ha为对应锚框的宽和高。
将上述获得的3类训练数据作为训练样本对候选网络进行训练，训练的终止条件为满足迭代次数或损失收敛。
步骤2：候选框提取过程，具体过程如下所示：
(a)对待检测的原图像进行图像金字塔处理，获得多层金字塔图像；
(b)从第k层金字塔图像开始，每j层金字塔图像输入训练好的候选网络进行计算，获得人脸置信度特征图和预测边框回归向量特征图，其中j为小于等于k的正整数；
(c)选择上述(b)中人脸置信度特征图中人脸置信度大于等于阈值T的像素点；
(d)根据(c)中所选像素点，获得其在原图像上所对应的锚框即初选锚框；
(e)针对(d)中获得的初选锚框，首先使用非极大值抑制方法排除多余的锚框，随后对剩余的锚框使用相应的预测边框回归向量进行坐标修正，最终获得人脸候选框。
本发明将多锚框与图像金字塔结合使用，所需处理的金字塔图像为初始金字塔图像的
Figure BDA0002180105280000025
有效减少了图像金字塔层数，在保证准确度的同时大大提升了运行速度，兼顾了准确性和实时性，使得本发明具有良好的实用性。
【附图说明】
图1为本发明实施例的候选网络训练过程的流程示意图。
图2为本发明实施例的候选框提取过程的流程示意图。
图3为本发明实施例的候选网络的结构示意图。
【具体实施方式】
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并列举实例对本发明作进一步的描述。
本发明提供的一种人脸候选框提取方法，主要包括两个步骤：步骤1为候选网络训练过程，如图1所示；步骤2为候选框提取过程，如图2所示；所述步骤2是基于步骤1中训练好的候选网络对待检测图像进行人脸候选框提取。
所述候选网络为卷积神经网络，具体网络结构如图3所示。
本实施例的候选网络训练过程具体如下所示：
(1)从训练数据集的原图像中随机选取的边长不小于像素24的正方形切片，将其边长统一缩放到24，最终获得尺寸为24*24像素的切片图像，作为候选网络训练输入数据之一；
(2)以上述(1)中得到的切片图像中心点为中心，通过缩放获得k个正方形锚框，其中缩放因子scale的经验取值为0.7937，因此正方形锚框的边长分别为24*scale1，i依次取值0，1，…，k-1，k取值为4；
(3)计算上述(2)中每个锚框与对应的原图像中真实人脸框的IOU值，计算公式为：
Figure BDA0002180105280000031
其中S∩为锚框与真实人脸框交集部分的面积，S∪为锚框与真实人脸框并集部分的面积。以每个锚框对应的最大IOU值为锚框赋予标签；
标签的赋值标准描述如下：最大IOU值大于等于0.5的赋予对应锚框正样本标签，最大IOU值小于0.5且大于等于0.3的赋予对应锚框部分样本标签，最大IOU值小于0.2的赋予对应锚框负样本标签，其余的锚框不赋予标签；可将正样本标签锚框标记为1，负样本标签锚框标记为0；
(4)对于(3)中被赋予正样本标签和部分样本标签的锚框，计算其最大IOU值对应的真实人脸框相对于对应锚框的真实边框回归向量，计算公式如下：
Figure BDA0002180105280000032
Figure BDA0002180105280000033
其中xg、yg为真实人脸框的中心点坐标，xa、ya为锚框的中心点坐标，wg、hg为真实人脸框的宽和高，wa、ha为锚框的宽和高。
(5)训练好的候选网络输出为人脸置信度和预测边框回归向量两类数据，因此，对于人脸置信度，使用所有正样本标签和负样本标签的锚框标签及锚框所对应的切片图像进行训练；对于预测边框回归向量，使用所有正样本标签锚框和部分样本标签锚框的真实边框回归向量及锚框所对应的切片图像进行训练；训练的终止条件为满足迭代次数或损失收敛，最终获得训练好的候选网络。
本实施例的候选框提取过程具体流程可描述如下：
从智慧前台获得分辨率为1920*1080的待检测原图像，首先对待检测的原图像进行图像金字塔处理，获得18层金字塔图像，接着从第4层金字塔图像开始，将每3层金字塔图像输入训练好的候选网络并获得人脸置信度特征图和预测边框回归向量特征图两种输出，然后在人脸置信度特征图中选择人脸置信度大于等于0.6的像素点，找出其在原图像上所对应的锚框定为初选锚框，接着使用非极大值抑制方法排除初选锚框中多余的锚框，然后对剩余的锚框使用对应的预测边框回归向量进行坐标修正计算，最终获得人脸候选框。
本实施例将多锚框与图像金字塔结合使用，将所需处理的金字塔图像从最初的18层减少到6层，有效减少了图像金字塔层数。
经过测试，目前在普通的个人计算机上运行，对一张大小为1920*1080的图片进行人脸候选框提取时，MTCNN人脸检测方法中人脸候选框提取时间约为255ms，本申请实施例中人脸候选框提取时间约为33ms，大大优化了人脸候选框的提取速度，具有良好的实用性。
以上实施例仅为本发明较佳实施例，并不用以限制本发明；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.一种人脸候选框提取方法，其特征在于，主要包括两个步骤：步骤1：候选网络训练过程；步骤2：候选框提取过程；所述步骤2是基于步骤1中训练好的候选网络对待检测图像进行人脸候选框提取；
所述步骤1包括：a.准备3类训练数据，b.使用得到的数据作为训练样本对候选网络进行训练；其中训练数据分别为切片图像、切片图像对应的锚框的标签、真实边框回归向量，数据获取方式具体描述如下：
(1)切片图像：
从训练数据集的原图像中随机选取边长不小于A的正方形切片，将其边长统一缩放到A，最终获得尺寸为A*A的切片图像；
(2)切片图像对应的锚框的标签：
1)切片图像对应的锚框：
在切片图像对应的原图像上，以该切片图像中心点为中心，选取边长分别为A*scalei的k个正方形锚框；其中scale为缩放因子，取值范围0～1；i取值为0,1，…，k-1，其中k为正整数，且取值满足条件
Figure FDA0002180105270000011
2)锚框的标签：
计算每个锚框与对应的原图像中真实人脸框的IOU值，
Figure FDA0002180105270000012
其中S∩为锚框与真实人脸框交集部分的面积，S∪为锚框与真实人脸框并集部分的面积；以每个锚框对应的最大IOU值为锚框赋予标签，标签类别分为正样本标签、部分样本标签和负样本标签；
(3)真实边框回归向量：
针对上述(2)中被赋予正样本标签和部分样本标签的锚框，计算其最大IOU值对应的真实人脸框相对于对应锚框的真实边框回归向量，计算公式如下:
Figure FDA0002180105270000013
Figure FDA0002180105270000014
其中xg、yg为真实人脸框的中心点坐标，xa、ya为对应锚框的中心点坐标，wg、hg为真实人脸框的宽和高，wa、ha为对应锚框的宽和高；
所述步骤2具体过程如下所示：
(a)对待检测的原图像进行图像金字塔处理，获得多层金字塔图像；
(b)从第k层金字塔图像开始，每j层金字塔图像输入训练好的候选网络进行计算，获得人脸置信度特征图和预测边框回归向量特征图，其中j为小于等于k的正整数；
(c)选择上述(b)中人脸置信度特征图中人脸置信度大于等于阈值T的像素点；
(d)根据(c)中所选像素点，获得其在原图像上所对应的锚框即初选锚框；
(e)针对(d)中获得的初选锚框，首先使用非极大值抑制方法排除多余的锚框，随后对剩余的锚框使用相应的预测边框回归向量进行坐标修正，最终获得人脸候选框。
2.如权利要求1所述的一种人脸候选框提取方法，其特征在于，所述候选网络为全卷积神经网络。
3.如权利要求1所述的一种人脸候选框提取方法，其特征在于，所述k为满足
Figure FDA0002180105270000021
的最大值。
4.如权利要求1所述的一种人脸候选框提取方法，其特征在于，所述阈值T为0.6。
5.如权利要求1所述的一种人脸候选框提取方法，其特征在于，最大IOU值大于等于0.5的赋予对应锚框正样本标签，最大IOU值小于0.5且大于等于0.3的赋予对应锚框部分样本标签，最大IOU值小于0.2的赋予对应锚框负样本标签，其余的锚框不赋予标签。
CN201910793249.5A 2019-08-27 2019-08-27 一种人脸候选框提取方法 Active CN110490170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910793249.5A CN110490170B (zh) 2019-08-27 2019-08-27 一种人脸候选框提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910793249.5A CN110490170B (zh) 2019-08-27 2019-08-27 一种人脸候选框提取方法

Publications (2)

Publication Number Publication Date
CN110490170A CN110490170A (zh) 2019-11-22
CN110490170B true CN110490170B (zh) 2023-01-06

Family

ID=68554292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910793249.5A Active CN110490170B (zh) 2019-08-27 2019-08-27 一种人脸候选框提取方法

Country Status (1)

Country Link
CN (1) CN110490170B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046792A (zh) * 2019-12-11 2020-04-21 三一重工股份有限公司 人脸检测方法、装置、电子设备和计算机可读存储介质
CN114299283B (zh) * 2022-03-07 2022-05-20 科大天工智能装备技术（天津）有限公司 一种基于图像的位移测量方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法

Also Published As

Publication number Publication date
CN110490170A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN108038409B (zh) 一种行人检测方法
CN106845487B (zh) 一种端到端的车牌识别方法
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
CN110781350B (zh) 一种面向全画面监控场景的行人检索方法及***
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、***及设备
CN111931686B (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN111160407A (zh) 一种深度学习目标检测方法及***
CN110490170B (zh) 一种人脸候选框提取方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN112396035A (zh) 基于注意力检测模型的物体检测方法和装置
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取***
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN116129426A (zh) 一种宫颈细胞涂片18类别的细粒度分类方法
CN111445388A (zh) 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
CN113657225B (zh) 一种目标检测方法
CN111222514A (zh) 一种基于视觉定位的局部地图优化方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及***
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN115937540A (zh) 基于Transformer编码器的图像匹配方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant