CN109409303A - 一种基于深度的级联多任务人脸检测与配准方法 - Google Patents

一种基于深度的级联多任务人脸检测与配准方法 Download PDF

Info

Publication number
CN109409303A
CN109409303A CN201811287109.2A CN201811287109A CN109409303A CN 109409303 A CN109409303 A CN 109409303A CN 201811287109 A CN201811287109 A CN 201811287109A CN 109409303 A CN109409303 A CN 109409303A
Authority
CN
China
Prior art keywords
face
net network
obtains
picture size
registering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811287109.2A
Other languages
English (en)
Inventor
刘青山
蔡珍妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201811287109.2A priority Critical patent/CN109409303A/zh
Publication of CN109409303A publication Critical patent/CN109409303A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度的级联多任务人脸检测与配准方法，包括如下步骤：步骤1：调整图像尺寸形成图像金字塔；步骤2：将步骤1得到的不同尺寸的图像分别送入P‑Net网络，预测得到原图像人脸候选框；步骤3：将步骤2得到的所有人脸框内的图像尺寸设定为n×n后输入R‑Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归；步骤4：将步骤3得到的所有人脸框内的图像尺寸设定为m×m后输入O‑Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，同时输出左右眼睛中心以及鼻尖、左右嘴角位置的坐标；步骤5：将步骤4得到的所有人脸框内的图像尺寸设定为k×k后输入L‑Net网络，最后得到原图像头部姿态的三维角度大小和若干个特征点的位置。

Description

一种基于深度的级联多任务人脸检测与配准方法
技术领域
本发明属于人脸检测技术领域，具体地涉及一种基于深度的级联多任务人脸检测与配准方法。
背景技术
人脸检测与配准对于许多的人脸应用有着至关重要的作用，例如人脸编辑、人脸识别与人脸表情分析等。但是在现实世界中，由于光照、尺寸、姿态变化等因素的影响，使人脸检测与配准变得困难。
在人脸检测方面,目前比较经典的是Paul Viola和Michael Jones提出的VJ人脸检测方法，这种方法提出积分图像,快速计算Haar-like特征并利用Adaboost学习算法进行特征选择和分类器训练，把弱分类器组合成强分类器。
在人脸配准方面，大多是利用回归的思想，比较有代表性的是监督下降法。这种方法属于解决非线性最小化问题的一种方法，在初始化特征点的基础上，利用点的SIFT特征对点进行回归得到新的特征点位置，然后对新得到的点进行回归，一直到得到最为接近真实的特征点的位置。
发明内容
本发明的目的在于针对现有技术的缺陷或问题，提供一种基于深度的级联多任务人脸检测与配准方法，其具有模型小，速度快，对光线与姿态等外界因素变化的鲁棒性好的优势。
本发明的技术方案如下：一种基于深度的级联多任务人脸检测与配准方法包括以下步骤：步骤1：调整图像尺寸形成图像金字塔；步骤2：将步骤1得到的不同尺寸的图像分别送入P-Net网络，预测得到原图像人脸候选框；步骤3：将步骤2得到的所有人脸框内的图像尺寸设定为n×n后输入R-Net网络，进行人脸或非人脸的判断，并对人脸框进行boundingbox回归，其中，n为正整数；步骤4：将步骤3得到的所有人脸框内的图像尺寸设定为m×m后输入O-Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，同时输出左右眼睛中心以及鼻尖、左右嘴角位置的坐标，其中，m为正整数；步骤5：将步骤4得到的所有人脸框内的图像尺寸设定为k×k后输入L-Net网络，最后得到原图像头部姿态的三维角度大小和若干个特征点的位置，其中，k为正整数。
优选地，步骤2所述P-Net网络为全卷积神经网络。
优选地，步骤5所述头部姿态的三维角度分别是yaw、pitch、roll三种角度，分别代表左右翻转、上下翻转、平面内旋转的角度。
本发明提供的技术方案具有如下有益效果：
1、本发明基于深度的级联多任务人脸检测与配准方法，利用人脸检测与人脸配准的内在联系，通过网络同时输出人脸位置和特征点位置，提高了预测性能；
2、本发明基于深度的级联多任务人脸检测与配准方法，利用头部姿态三维角度和人脸特征点的内在联系，通过网络同时输出头部姿态三维角度大小和人脸特征点位置，提高了预测性能；
3、本发明基于深度的级联多任务人脸检测与配准方法，利用四个浅层神经网络，由粗略到精细来级联预测人脸框、特征点位置以及头部姿态三维角度的大小，最后训练得到的四个模型体积非常小，预测速度比较快。
附图说明
图1为本发明实施例提供的基于深度的级联多任务人脸检测与配准方法的流程图；
图2是图1所示基于深度的级联多任务人脸检测与配准方法中P-Net网络的结构图；
图3是图1所示基于深度的级联多任务人脸检测与配准方法中R-Net网络的结构图；
图4是图1所示基于深度的级联多任务人脸检测与配准方法中O-Net网络的结构图；
图5是图1所示基于深度的级联多任务人脸检测与配准方法中L-Net网络的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1所示，本发明实施例提供的基于深度的级联多任务人脸检测与配准方法包括如下步骤：
步骤1、原图像预处理
例如，将原图像尺寸设定，选取缩小因子0.709，使其逐步缩小到约12×12，形成图像金字塔。
步骤2、预测原图像人脸候选框
将步骤1得到的不同尺寸的图片分别送入P-Net网络，输出原图像的候选框位置。其中，所述P-Net网络为全卷积神经网络，而且，如图2所示，所述P-Net网络中，Conv表示卷积，步长为1；MP表示max pooling，步长为2。
在训练时，人脸分类采用交叉熵损失函数，bouding box回归采用欧氏距离计算损失，并以2:1的比例组成计算整个P-Net网络的损失。
步骤3、判断人脸或非人脸以及微调人脸框位置
将步骤2得到的所有人脸框内的图像尺寸设定为n×n后输入R-Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，其中，n为正整数。
例如，将步骤2得到的所有人脸框内的图像resize为24×24后输入R-Net网络，进行人脸/非人脸判断，并对人脸框进行bounding box回归。其中，所述R-Net网络为全卷积神经网络，而且，如图3所示，所述R-Net网络网络中，Conv表示卷积，步长为1；MP表示maxpooling，步长为2。
在训练时，人脸分类采用交叉熵损失函数，bouding box回归采用欧氏距离计算损失，并以2:1的比例组成计算整个R-Net网络的损失。
步骤4、进一步判断人脸或非人脸、微调框并预测若干个特征点的位置
将步骤3得到的所有人脸框内的图像尺寸设定为m×m后输入O-Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，同时输出左右眼睛中心以及鼻尖、左右嘴角位置的坐标，其中，m为正整数。
例如，将步骤3得到的所有人脸框内的图像resize为48×48后输入O-Net网络，进行人脸/非人脸判断，并对人脸框进行bounding box回归，同时输出左右眼睛中心以及鼻尖、左右嘴角位置的5个点的坐标。其中，所述R-Net网络为全卷积神经网络，而且，如图4所示，所述R-Net网络网络中，Conv表示卷积，步长为1；MP表示max pooling，步长为2。
在训练时，人脸分类采用交叉熵损失函数，bouding box回归和特征点定位均采用欧氏距离计算损失，并以2:1:2的比例组成计算整个O-Net网络的损失。
步骤5、输出头部姿态三维角度与若干个特征点的位置
将步骤4得到的所有人脸框内的图像尺寸设定为k×k后输入L-Net网络，最后得到原图像头部姿态的三维角度大小和若干个特征点的位置，其中，k为正整数。
例如，将步骤4得到的所有人脸框内的图像resize为48x48后输入L-Net网络，输出原图像头部姿态的三维角度大小和68个特征点的位置。其中，所述R-Net网络为全卷积神经网络，而且，如图5所示，所述R-Net网络网络中，Conv表示卷积，步长为1；MP表示maxpooling，步长为2。
在训练时，人脸特征点定位和头部姿势估计均采用欧氏距离计算损失，为了得到更精确的特征点定位效果，以100:1的比例组成计算整个L-Net网络的损失。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于深度的级联多任务人脸检测与配准方法，其特征在于：包括以下步骤：
步骤1：调整图像尺寸形成图像金字塔；
步骤2：将步骤1得到的不同尺寸的图像分别送入P-Net网络，预测得到原图像人脸候选框；
步骤3：将步骤2得到的所有人脸框内的图像尺寸设定为n×n后输入R-Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，其中，n为正整数；
步骤4：将步骤3得到的所有人脸框内的图像尺寸设定为m×m后输入O-Net网络，进行人脸或非人脸的判断，并对人脸框进行bounding box回归，同时输出左右眼睛中心以及鼻尖、左右嘴角位置的坐标，其中，m为正整数；
步骤5：将步骤4得到的所有人脸框内的图像尺寸设定为k×k后输入L-Net网络，最后得到原图像头部姿态的三维角度大小和若干个特征点的位置，其中，k为正整数。
2.根据权利要求1所述的一种基于深度的级联多任务人脸检测与配准方法，其特征在于，步骤2所述P-Net网络为全卷积神经网络。
3.根据权利要求1所述的一种基于深度的级联多任务人脸检测与配准方法，其特征在于，步骤5所述头部姿态的三维角度分别是yaw、pitch、roll三种角度，分别代表左右翻转、上下翻转、平面内旋转的角度。
CN201811287109.2A 2018-10-31 2018-10-31 一种基于深度的级联多任务人脸检测与配准方法 Pending CN109409303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811287109.2A CN109409303A (zh) 2018-10-31 2018-10-31 一种基于深度的级联多任务人脸检测与配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811287109.2A CN109409303A (zh) 2018-10-31 2018-10-31 一种基于深度的级联多任务人脸检测与配准方法

Publications (1)

Publication Number Publication Date
CN109409303A true CN109409303A (zh) 2019-03-01

Family

ID=65470723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811287109.2A Pending CN109409303A (zh) 2018-10-31 2018-10-31 一种基于深度的级联多任务人脸检测与配准方法

Country Status (1)

Country Link
CN (1) CN109409303A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
CN110458005A (zh) * 2019-07-02 2019-11-15 重庆邮电大学 一种基于多任务渐进配准网络的旋转不变人脸检测方法
CN111652020A (zh) * 2019-04-16 2020-09-11 上海铼锶信息技术有限公司 一种人脸绕z轴旋转角度的识别方法
CN111738934A (zh) * 2020-05-15 2020-10-02 西安工程大学 基于mtcnn的红眼自动修复方法
WO2024050827A1 (en) * 2022-09-09 2024-03-14 Intel Corporation Enhanced image and video object detection using multi-stage paradigm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330251A (zh) * 2017-06-10 2017-11-07 华南理工大学 一种基于云遗传算法的风功率预测方法
CN107895150A (zh) * 2016-11-30 2018-04-10 奥瞳***科技有限公司 基于嵌入式***小规模卷积神经网络模块的人脸检测和头部姿态角评估
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895150A (zh) * 2016-11-30 2018-04-10 奥瞳***科技有限公司 基于嵌入式***小规模卷积神经网络模块的人脸检测和头部姿态角评估
CN107330251A (zh) * 2017-06-10 2017-11-07 华南理工大学 一种基于云遗传算法的风功率预测方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO WU等: "Simultaneous Face Detection and Pose Estimation Using Convolutional Neural Network Cascade", 《DIGITAL OBJECT IDENTIFIER 10.1109/ACCESS.2018.2869465》 *
KAIPENG ZHANG等: "Joint Face Detection andAlignment using Multi-task Cascaded Convolutional Networks", 《IEEE XPLORE》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
CN111652020A (zh) * 2019-04-16 2020-09-11 上海铼锶信息技术有限公司 一种人脸绕z轴旋转角度的识别方法
CN111652020B (zh) * 2019-04-16 2023-07-11 上海铼锶信息技术有限公司 一种人脸绕z轴旋转角度的识别方法
CN110458005A (zh) * 2019-07-02 2019-11-15 重庆邮电大学 一种基于多任务渐进配准网络的旋转不变人脸检测方法
CN110458005B (zh) * 2019-07-02 2022-12-27 重庆邮电大学 一种基于多任务渐进配准网络的旋转不变人脸检测方法
CN111738934A (zh) * 2020-05-15 2020-10-02 西安工程大学 基于mtcnn的红眼自动修复方法
CN111738934B (zh) * 2020-05-15 2024-04-02 西安工程大学 基于mtcnn的红眼自动修复方法
WO2024050827A1 (en) * 2022-09-09 2024-03-14 Intel Corporation Enhanced image and video object detection using multi-stage paradigm

Similar Documents

Publication Publication Date Title
CN109409303A (zh) 一种基于深度的级联多任务人脸检测与配准方法
CN105868716B (zh) 一种基于面部几何特征的人脸识别方法
WO2018107979A1 (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Liu et al. Recognizing human actions using multiple features
CN102968643B (zh) 一种基于李群论的多模态情感识别方法
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN106570480B (zh) 一种基于姿势识别的人体动作分类方法
CN103971112B (zh) 图像特征提取方法及装置
CN102654903A (zh) 一种人脸比对方法
Ashwin et al. An e-learning system with multifacial emotion recognition using supervised machine learning
CN107871107A (zh) 人脸认证方法和装置
Güney et al. Cross-pose facial expression recognition
CN107704848A (zh) 一种基于多约束条件卷积神经网络的密集人脸对齐方法
Tang et al. Facial expression recognition using AAM and local facial features
Banerjee et al. Learning unseen emotions from gestures via semantically-conditioned zero-shot perception with adversarial autoencoders
Patil et al. Emotion recognition from 3D videos using optical flow method
Yao et al. Dynamicbev: Leveraging dynamic queries and temporal context for 3d object detection
Larochelle Few-shot learning
Song et al. A design for integrated face and facial expression recognition
Luo et al. Dynamic face recognition system in recognizing facial expressions for service robotics
CN105574494B (zh) 一种多分类器姿势识别方法及装置
Cortés et al. A new bag of visual words encoding method for human action recognition
Zientara et al. Drones as collaborative sensors for image recognition
Hidago-Pena et al. Learning from the Web: Recognition method based on object appearance from Internet images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210044 No. 219 Ningliu Road, Jiangbei New District, Nanjing City, Jiangsu Province

Applicant after: Nanjing University of Information Science and Technology

Address before: 211500 Yuting Square, 59 Wangqiao Road, Liuhe District, Nanjing City, Jiangsu Province

Applicant before: Nanjing University of Information Science and Technology

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301