CN107491767A - 端到端的无约束人脸关键点检测方法 - Google Patents
端到端的无约束人脸关键点检测方法 Download PDFInfo
- Publication number
- CN107491767A CN107491767A CN201710773878.2A CN201710773878A CN107491767A CN 107491767 A CN107491767 A CN 107491767A CN 201710773878 A CN201710773878 A CN 201710773878A CN 107491767 A CN107491767 A CN 107491767A
- Authority
- CN
- China
- Prior art keywords
- key point
- visibility
- coordinate information
- point
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种端到端的无约束人脸关键点检测方法,属于人脸识别技术领域,本发明预先确定脸部的若干个关键点、确定关键点可见度信息、进行多任务训练来预测关键点的坐标和可见度等步骤,实现了端到端的训练方案,不需要提供例如3D人脸等额外的信息,也不需要像多角度关键点检测方案一样需要先多人脸姿势进行预测,本发明提高了时间效率;本发明能够处理任意角度变化的人脸也能够处理任意遮挡程度情况下的人脸。
Description
技术领域
本发明属于人脸识别技术领域,特别是涉及一种端到端的无约束人脸关键点检测方法。
背景技术
人脸对齐旨在定位人脸中的一些关键位置,例如眼角、嘴角、鼻尖等的坐标信息。自该问题产生以来,不断有各种方法相继提出。但这些方法一直都存在一个共同的问题:无法同时处理大角度和遮挡严重的人脸,为解决这个问题,通常通过引入3D模型或者是多角度模型进行关键点检测,此种方法需要通过模型进行多角度的计算检测,信息量庞大,效率较低。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种端到端的无约束人脸关键点检测方法。
为实现上述目的,本发明提供了一种端到端的无约束人脸关键点检测方法,包括以下步骤:
步骤一、预先确定脸部的若干个关键点,并采集各个关键点的坐标信息y=(a0,b0,...,ai,bi,...,an,bn),其中y为关键点的坐标信息,(ai,bi)为第i个关键点的坐标信息;
步骤二、确定关键点可见度信息z=(z0,...,zi,...,zn),并定义关键点可见时zi的数值以及关键点不可见时zi的数值,zi为第i个关键点可见度信息;
步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度;
其中N为训练样本数量,yi为第i个样本的关键点坐标信息,f1为关键点的回归函数,L1为关键点回归损失函数;zi为第i个样本的关键点可见度信息,f2为关键点可见度的分类函数,L2为关键点可见度分类损失函数,λ1为回归函数调整系数,λ2为可见度分类目标函数调整系数。
较佳的,步骤二中定义关键点可见时zi=1;关键点不可见时zi=0。
较佳的,步骤一中的坐标信息y为解析后的坐标信息,其中ai=ai'×zi+(zi-n),bi=bi'×zi+(zi-n),其中n为自定义常数,ai'和bi'为第i个关键点的实际坐标信息。
较佳的,步骤三中的关键点回归损失函数如下:
其中f1=(f0x,f0y,...,fix,fiy,...,fnx,fny)为预测的关键点坐标。
较佳的,步骤三中的关键点回归损失函数如下:
其中f2=(f0,...,fi,...,fn)为预测的关键点可见度。
本发明的有益效果是:本发明是端到端的训练方案,不需要提供例如3D人脸等额外的信息,也不需要像多角度关键点检测方案一样需要先多人脸姿势进行预测,本发明提高了时间效率;本发明能够处理任意角度变化的人脸也能够处理任意遮挡程度情况下的人脸。
具体实施方式
下面结合实施例对本发明作进一步说明:
一种端到端的无约束人脸关键点检测方法,包括以下步骤:
步骤一、在面部图片上预先对整个面部确定若干个关键点,并采集各个关键点的坐标信息y=(a0,b0,...,ai,bi,...,an,bn),其中y为关键点的坐标信息,(ai,bi)为第i个关键点的坐标信息;
步骤二、对于不同角度的面部图片或者佩戴饰品的面部图片,预先设定的关键点有可能被遮蔽,故需要确定关键点可见度信息z=(z0,...,zi,...,zn),并定义关键点可见时zi的数值以及关键点不可见时zi的数值,zi为第i个关键点可见度信息,本实施例中关键点可见时zi=1;关键点不可见时zi=0;
步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度;
其中N为训练样本数量,yi为第i个样本的关键点坐标信息,f1为关键点的回归函数,L1为关键点回归损失函数;zi为第i个样本的关键点可见度信息,f2为关键点可见度的分类函数,L2为关键点可见度分类损失函数,λ1为回归函数调整系数,λ2为可见度分类目标函数调整系数。
其中关键点回归损失函数如下:
其中f1=(f0x,f0y,...,fix,fiy,...,fnx,fny)为预测的关键点坐标。
其中关键点回归损失函数如下:
其中f2=(f0,...,fi,...,fn)为预测的关键点可见度。
需要补充的是,为方便处理,步骤一中的坐标信息y为解析后的坐标信息,其中ai=ai'×zi+(zi-n),bi=bi'×zi+(zi-n),其中n为自定义常数,本实施例中为配套z的取值,定义n=1,ai'和bi'为第i个关键点的实际坐标信息,则y=(a0'×zi0+(zi-1),bi0'×(z0-n1),...,ai'×zi+(zi-1),bi'×(zi-1),...,an'×zn+(zi-1),bn'×(zin-1)),当关键点可见时zi=1,则ai=ai',bi=bi',当关键点不可见时zi=0,则ai=-1,bi=-1。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (5)
1.一种端到端的无约束人脸关键点检测方法,其特征在于包括以下步骤:
步骤一、预先确定脸部的若干个关键点,并采集各个关键点的坐标信息y=(a0,b0,...,ai,bi,...,an,bn),其中y为关键点的坐标信息,(ai,bi)为第i个关键点的坐标信息;
步骤二、确定关键点可见度信息z=(z0,...,zi,...,zn),并定义关键点可见时zi的数值以及关键点不可见时zi的数值,zi为第i个关键点可见度信息;
步骤三、通过以下公式进行多任务训练来预测关键点的坐标和可见度;
其中N为训练样本数量,yi为第i个样本的关键点坐标信息,f1为关键点的回归函数,L1为关键点回归损失函数;zi为第i个样本的关键点可见度信息,f2为关键点可见度的分类函数,L2为关键点可见度分类损失函数,λ1为回归函数调整系数,λ2为可见度分类目标函数调整系数。
2.如权利要求1所述的端到端的无约束人脸关键点检测方法,其特征是:步骤二中定义关键点可见时zi=1;关键点不可见时zi=0。
3.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法,其特征是:步骤一中的坐标信息y为解析后的坐标信息,其中ai=ai'×zi+(zi-n),bi=bi'×zi+(zi-n),其中n为自定义常数,ai'和bi'为第i个关键点的实际坐标信息。
4.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法,其特征是:步骤三中的关键点回归损失函数如下:
其中f1=(f0x,f0y,...,fix,fiy,...,fnx,fny)为预测的关键点坐标。
5.如权利要求1-2任意一项所述的端到端的无约束人脸关键点检测方法,其特征是:步骤三中的关键点回归损失函数如下:
其中f2=(f0,...,fi,...,fn)为预测的关键点可见度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710773878.2A CN107491767B (zh) | 2017-08-31 | 2017-08-31 | 端到端的无约束人脸关键点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710773878.2A CN107491767B (zh) | 2017-08-31 | 2017-08-31 | 端到端的无约束人脸关键点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107491767A true CN107491767A (zh) | 2017-12-19 |
CN107491767B CN107491767B (zh) | 2020-06-12 |
Family
ID=60645931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710773878.2A Active CN107491767B (zh) | 2017-08-31 | 2017-08-31 | 端到端的无约束人脸关键点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107491767B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓(北京)科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
CN109117736A (zh) * | 2018-07-19 | 2019-01-01 | 厦门美图之家科技有限公司 | 一种判定人脸点可见性的方法及计算设备 |
CN111695628A (zh) * | 2020-06-11 | 2020-09-22 | 北京百度网讯科技有限公司 | 关键点标注方法、装置、电子设备及存储介质 |
CN112001280A (zh) * | 2020-08-13 | 2020-11-27 | 浩鲸云计算科技股份有限公司 | 一种实时、可在线优化的人脸识别***和方法 |
CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426870A (zh) * | 2015-12-15 | 2016-03-23 | 北京文安科技发展有限公司 | 一种人脸关键点定位方法及装置 |
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106803084A (zh) * | 2017-03-02 | 2017-06-06 | 中科视拓(北京)科技有限公司 | 一种基于端到端循环网络的面部特征点定位方法 |
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
-
2017
- 2017-08-31 CN CN201710773878.2A patent/CN107491767B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426870A (zh) * | 2015-12-15 | 2016-03-23 | 北京文安科技发展有限公司 | 一种人脸关键点定位方法及装置 |
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106803084A (zh) * | 2017-03-02 | 2017-06-06 | 中科视拓(北京)科技有限公司 | 一种基于端到端循环网络的面部特征点定位方法 |
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
Non-Patent Citations (1)
Title |
---|
KAIPENG ZHANG,ET AL: "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓(北京)科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
CN109117736A (zh) * | 2018-07-19 | 2019-01-01 | 厦门美图之家科技有限公司 | 一种判定人脸点可见性的方法及计算设备 |
CN111695628A (zh) * | 2020-06-11 | 2020-09-22 | 北京百度网讯科技有限公司 | 关键点标注方法、装置、电子设备及存储介质 |
CN111695628B (zh) * | 2020-06-11 | 2023-05-05 | 北京百度网讯科技有限公司 | 关键点标注方法、装置、电子设备及存储介质 |
CN112001280A (zh) * | 2020-08-13 | 2020-11-27 | 浩鲸云计算科技股份有限公司 | 一种实时、可在线优化的人脸识别***和方法 |
CN112001280B (zh) * | 2020-08-13 | 2024-07-09 | 浩鲸云计算科技股份有限公司 | 一种实时、可在线优化的人脸识别***和方法 |
CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107491767B (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107491767A (zh) | 端到端的无约束人脸关键点检测方法 | |
Zhang et al. | Chinese sign language recognition with adaptive HMM | |
CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及*** | |
CN105718878B (zh) | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 | |
CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
CN108227912A (zh) | 设备控制方法和装置、电子设备、计算机存储介质 | |
CN105913051B (zh) | 一种识别人脸图像的模版库的更新装置及方法 | |
CN108399649A (zh) | 一种基于级联回归网络的单张图片三维人脸重建方法 | |
CN102567716B (zh) | 一种人脸合成***及实现方法 | |
CN107886089A (zh) | 一种基于骨架图回归的三维人体姿态估计的方法 | |
CN110321873A (zh) | 基于深度学习卷积神经网络的敏感图片识别方法及*** | |
CN107169455A (zh) | 基于深度局部特征的人脸属性识别方法 | |
CN107103613A (zh) | 一种三维手势姿态估计方法 | |
CN105760834A (zh) | 一种人脸特征点定位方法 | |
CN105761289B (zh) | 一种提取和分类可展网格曲面的方法 | |
CN109063625A (zh) | 一种基于级联深度网络的人脸关键点检测方法 | |
CN104809105B (zh) | 基于最大熵的事件论元及论元角色的识别方法及*** | |
CN107766851A (zh) | 一种人脸关键点定位方法及定位装置 | |
CN105095867A (zh) | 基于深度学习的快速动态人脸提取、识别方法 | |
CN109558855B (zh) | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 | |
CN110321870A (zh) | 一种基于lstm的掌静脉识别方法 | |
CN105107200A (zh) | 基于实时深度体感交互与增强现实技术的变脸***及方法 | |
CN109117717A (zh) | 一种城市行人检测方法 | |
CN108305321A (zh) | 一种基于双目彩色成像***的立体人手3d骨架模型实时重建方法和装置 | |
CN106803084A (zh) | 一种基于端到端循环网络的面部特征点定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 511457 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306 (only for office use) Applicant after: Yuncong Technology Group Co., Ltd Address before: 511458 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306 Applicant before: GUANGZHOU YUNCONG INFORMATION TECHNOLOGY CO., LTD. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |