CN109598261B - 一种基于区域分割的三维人脸识别方法 - Google Patents
一种基于区域分割的三维人脸识别方法 Download PDFInfo
- Publication number
- CN109598261B CN109598261B CN201910046888.5A CN201910046888A CN109598261B CN 109598261 B CN109598261 B CN 109598261B CN 201910046888 A CN201910046888 A CN 201910046888A CN 109598261 B CN109598261 B CN 109598261B
- Authority
- CN
- China
- Prior art keywords
- face
- point
- region
- rigid
- dimensional face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于区域分割的三维人脸识别方法,其步骤如下,一、对所有测试人脸和注册库中三维人脸模型进行预处理,主要包括鼻尖点自动检测、三维人脸切割以及姿态矫正和点云下采样;二、按照受表情变化影响程度,将三维人脸形状划分为刚性区域和非刚性区域;三、分别针对刚性区域和非刚性区域设计不同的特征描述方式,并计算测试模型与注册库中各三维人脸模型特征之间的相似程度;四、将刚性区域和非刚性区域的相似度进行加权融合,最终实现三维人脸的识别。本发明所提供的人脸识别方法,区域分割方法只用到鼻尖点一个特征点,避免了以往方法中需要检测多个面部特征点的过程,同时减少了对其他特征点定位准确度的依赖,检测成功率较高。
Description
技术领域
本发明属于图像处理及模式识别技术领域,更具体的是涉及一种基于区域分割的三维人脸识别方法。
背景技术
近年来,随着三维人脸采集技术及处理技术的发展,三维人脸识别已经成为当前模式识别、人工智能、机器视觉等领域的研究热点。其中,表情变化是影响三维人脸识别算法性能的主要因素之一,表情鲁棒的三维人脸识别也因此受到众多研究者的关注。
目前基于表情鲁棒的三维人脸识别大致可以分为三大类:统计模型方法、同等形变模型方法和基于区域的方法。统计模型方法通过构建统计模型将由表情变化引起的面部软组织形变关系通过大量标记数据集训练学习得到,因此要求具备足够的、且具有充足表达能力的三维人脸数据是此类方法的主要特点,受限于当前可用三维人脸数据库表情覆盖情况,此类方法很难达到实际满意的表情鲁棒效果;同等形变模型方法即将表情变化引起的三维人脸形变转化为等化形变问题进行建模,将表情变化近似为等距形变,用等距形变特征近似表情变化特征,使用等同形变的方法优点是可以弱化由表情变化引起的三维形变,但是等同形变法一定程度上也弱化了人脸原有三维结构,而且表情影响具有局部性,全局范围内的等同形变也不利于非形变区域的特征表达;最后,基于区域的方法是当前比较流行的用于解决表情不变性的识别方法,此类方法假设人脸由表情不变和表情易变区域组成,首先依照区域定义,将人脸区域划分为表情易变和表情不变区域,然后对划分后的区域进行相似度匹配并融合得到最终的识别结果,这类方法的关键在于区域的划分策略以及不同区域使用的相似度计算方法,而面部区域的准确划分又取决于面部关键点的准确定位。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提出了一种基于区域分割的三维人脸识别方法,解决了面部关键点的准确定位问题,以及不同区域的相似度计算策略。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:一种基于区域分割的三维人脸识别方法,其步骤如下:
一、对测试人脸和注册库中三维人脸模型进行预处理,主要包括鼻尖点自动检测、三维人脸切割以、姿态矫正、数据填补和点云下采样;
二、按照受表情变化影响程度,将三维人脸形状划分为刚性区域和非刚性区域,过程是首先选取待识别数据库每个对象n个表示不同表情变化的三维人脸模型,以鼻尖点为圆心,以测地线距离为半径,分别剪切出不同切割半径下的人脸区域,然后以每个对象为单位,统计切割人脸区域内,中性表情人脸模型与含有表情人脸模型对应点之间的平均误差(欧氏距离),最终取平均误差最小时的半径,作为三维人脸数据库上的刚性区域、非刚性区域的划分半径;
三、分别针对刚性区域和非刚性区域设计不同的特征描述方式,并计算测试模型与注册库中各三维人脸模型特征之间的刚性区域相似度和非刚性区域相似度,设任意两个人脸模型p和g,其中,刚性区域相似度,定义为待识别人脸模型与注册库中各人脸模型对应点对之间的欧式距离,计算公式是
式中,p(xj,yj,zj)为待测试人脸区域中某点,g(xj,yj,zj)为注册库中人脸区域中其语义对应点,R,,T分别为非刚性对齐方法求得旋转和平移矩阵;
非刚性区域相似度,计算方法是将非刚性区域按照到鼻尖点的测地线距离划分成不同的条带,提取各条带内的3DWWs算子,按照公式
式中α为常量,且α=0.1,Np表示条带的个数,此处Np=6,w(·)提取条带之间的3DWWs算子,S(·)计算各3DWWs算子之间的相似度,来计算测试人脸与注册库中三维人脸模型非刚性区域之间的相似度;
四、将刚性区域和非刚性区域的相似度进行加权融合,计算公式为
S=w1×S1+w2×S2,
式中,w1与w2为常数,分别表示刚性区域、非刚性区域的权值系数,得到人脸模型的最终相似度S,相似度最大值所对应的对象做为测试样本的最终识别结果。
所述步骤一中的鼻尖点自动检测,借助人脸模型的内部坐标系,确定鼻梁斜坡线与人脸对称平面交点作为鼻尖点。
所述步骤一中的三维人脸切割是以鼻尖点为中心,计算任意点(x,y,z)与鼻尖点(x0,y0,z0)的测底线距离d,测地线距离定义为空间两点沿曲面的最短路径,若d≤100mm则保留该点到人脸区域,如果距离d>100mm则丢弃该点,依次剪切出整个人脸区域。
所述步骤一中的姿态矫正过程是:首先将待矫正人脸模型与参考模型按照鼻尖点位置粗对齐,然后利用最近点迭代法(Iterative Closest Point,ICP)将待矫正人脸模型与参考模型进行精细对齐,得到姿态矫正之后的所有三维人脸模型。
所述步骤一中的数据填补和点云下采样是采用对称填补的方法对缺失人脸数据进行填补,即缺失的部分数据使用相应的对称进行填补,并对采集高密度三维人脸区域进行均匀下采样操作。
(三)有益效果
与现有技术相比,本发明提供了一种基于区域分割的三维人脸识别方法,具备以下有益效果:
1.本发明的一种基于区域分割的三维人脸识别方法,人脸区域分割方法只用到一个鼻尖特征点,避免了以往方法中需要检测多个面部特征点的过程,同时减少了对其他特征点定位准确度的依赖,检测成功率较高;
2.本发明的一种基于区域分割的三维人脸识别方法,采用基于三维点云的最小欧式距离作为刚性区域的相似度,相比其他几何特征,直接使用三维点云的好处是保留了三维人脸模型的最准确、最丰富的信息。
3.本发明的一种基于区域分割的三维人脸识别方法,采用基于测底线距离将非刚性区域划分为不同的条带,并提取条带之间的3DWWs算子用以计算整个非刚性区域的相似度。相比其他特征,基于测地线距离对表情变化具有较强的容忍度,而3DWWs算子很好的刻画了三维点对之间的位置关系,因此,使用基于3DWWs算子的条带相似度不仅对表情具有很强的容忍性,对三维结构本身也具有很强的判别性。
附图说明
图1为本发明的一种基于区域分割的三维人脸识别方法的总体框架图。
图2为三维人脸模型预处理流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明实施例作进一步说明:
本发明提供一种基于区域分割的三维人脸识别方法,用于人脸的精准识别。
如图1所示的本发明的一种基于区域分割的三维人脸识别方法的总体框架图:
首先按照受表情变化影响程度,将三维人脸形状划分为刚性区域和非刚性区域,过程是首先选取待识别数据库每个对象n个表示不同表情变化的三维人脸模型,以鼻尖点为圆心,以测地线距离为半径,分别剪切出不同切割半径下的人脸区域,然后以每个对象为单位,统计切割人脸区域内,中性表情人脸模型与含有表情人脸模型对应点之间的平均误差(欧氏距离),最终取平均误差最小时的半径,作为三维人脸数据库上的刚性区域、非刚性区域的划分半径。
然后分别针对刚性区域和非刚性区域设计不同的特征描述方式,并计算测试模型与注册库中各三维人脸模型特征之间的刚性区域相似度和非刚性区域相似度,设任意两个人脸模型p和g,其中刚性区域相似度,定义为待识别人脸模型与注册库中各人脸模型对应点对之间的欧式距离,计算公式是
式中,p(xj,yj,zj)为待测试人脸区域中某点,g(xj,yj,zj)为注册库中人脸区域中其语义对应点,R,,T分别为非刚性对齐方法求得旋转和平移矩阵;非刚性区域相似度计算方法是,将非刚性区域按照到鼻尖点的测地线距离划分成不同的条带,提取各条带内的3DWWs算子,按照公式
式中α为常量,且α=0.1,Np表示条带的个数,此处Np=6,w(·)提取条带之间的3DWWs算子,S(·)计算各3DWWs算子之间的相似度,来计算两三维人脸模型非刚性区域之间的相似度。
最后将刚性区域和非刚性区域的相似度进行加权融合,计算公式为
S=w1×S1+w2×S2,
式中w1与w2为常数,分别表示刚性区域、非刚性区域的权值系数,得到人脸模型的最终相似度S,相似度最大值所对应的对象做为测试样本的最终识别结果。
如图2所示三维人脸模型预处理流程图,第一步是鼻尖点自动检测,借助人脸模型的内部坐标系,确定鼻梁斜坡线与人脸对称平面交点作为鼻尖点;第二步是三维人脸切割,以鼻尖点为中心,计算任意点(x,y,z)与鼻尖点(x0,y0,z0)的测底线距离d,测地线距离定义为空间两点沿曲面的最短路径,若d≤100mm则保留该点到人脸区域,如果距离d>100mm则丢弃该点,依次剪切出整个人脸区域;第三步是姿态矫正过程,首先将待矫正人脸模型与参考模型按照鼻尖点位置粗对齐,然后利用最近点迭代法(Iterative Closest Point,ICP)将待矫正人脸模型与参考模型进行精细对齐;第四步是数据填补,采用对称填补的方法对缺失人脸数据进行填补,即缺失的部分数据使用相应的对称进行填补;第五步是点云下采样,是对采集高密度三维人脸区域进行均匀下采样操作。
本发明阐述了基于区域分割的三维人脸识别方法,首先按照受表情变化影响程度,将三维人脸形状划分为刚性区域和非刚性区域,然后分别针对刚性区域和非刚性区域设计不同的特征描述方式,并计算测试模型与注册库中各三维人脸模型特征之间的相似程度,最后将刚性区域和非刚性区域的相似度进行加权融合,最终实现三维人脸的识别。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于区域分割的三维人脸识别方法,其特征在于,其步骤如下:
一、对所有测试人脸和注册库中三维人脸模型进行预处理,主要包括鼻尖点自动检测、三维人脸切割、姿态矫正、数据填补和点云下采样;
二、按照受表情变化影响程度,将三维人脸形状划分为刚性区域和非刚性区域,过程是首先选取待识别数据库每个对象n个表示不同表情变化的三维人脸模型,以鼻尖点为圆心,以测地线距离为半径,分别剪切出不同切割半径下的人脸区域,然后以每个对象为单位,统计切割人脸区域内,中性表情人脸模型与含有表情人脸模型对应点之间的平均误差,欧氏距离,最终取平均误差最小时的半径,作为三维人脸数据库上的刚性区域、非刚性区域的划分半径;
三、分别针对刚性区域和非刚性区域设计不同的特征描述方式,并计算测试模型与注册库中各三维人脸模型特征之间的刚性区域相似度和非刚性区域相似度,设任意两个人脸模型p和g,其中,刚性区域相似度,定义为待测试人脸模型与注册库中各人脸模型对应点对之间的欧式距离,计算公式是
式中,p(xj,yj,zj)为待测试人脸区域中某点,g(xj,yj,zj)为注册库中人脸区域中其语义对应点,R,T分别为非刚性对齐方法求得旋转和平移矩阵;
非刚性区域相似度,计算方法是将非刚性区域按照到鼻尖点的测地线距离划分成不同的条带,提取各条带内的3DWWs算子,按照公式
式中α为常量,且α=0.1,Np表示条带的个数,此处Np=6,w(·)提取条带之间的3DWWs算子,S(·)计算各3DWWs算子之间的相似度,来计算测试人脸与注册库中三维人脸模型非刚性区域之间的相似度;
四、将刚性区域和非刚性区域的相似度进行加权融合,计算公式为
S=w1×S1+w2×S2,
其中w1与w2为常数,分别表示刚性区域、非刚性区域的权值系数,得到人脸模型的最终相似度S,相似度最大值所对应的对象做为测试样本的最终识别结果;
所述步骤一中的三维人脸切割是以鼻尖点为中心,计算任意点(x,y,z)与鼻尖点(x0,y0,z0)的测底线距离d,测地线距离定义为空间两点沿曲面的最短路径,若d≤100mm则保留该点到人脸区域,如果距离d>100mm则丢弃该点,依次剪切出整个人脸区域。
2.根据权利要求1所述的一种基于区域分割的三维人脸识别方法,其特征在于:所述步骤一中的鼻尖点自动检测,借助人脸模型的内部坐标系,确定鼻梁斜坡线与人脸对称平面交点作为鼻尖点。
3.根据权利要求1所述的一种基于区域分割的三维人脸识别方法,其特征在于,所述步骤一中的姿态矫正过程是:首先将待矫正人脸模型与参考模型按照鼻尖点位置粗对齐,然后利用最近点迭代法IterativeClosestPoint,ICP将待矫正人脸模型与参考模型进行精细对齐,得到姿态矫正之后的所有三维人脸模型。
4.根据权利要求1所述的一种基于区域分割的三维人脸识别方法,其特征在于:所述步骤一中的缺失数据填补,采用对称填补的方法对缺失人脸数据进行填补,即缺失的部分数据使用相应的对称进行填补。
5.根据权利要求1所述的一种基于区域分割的三维人脸识别方法,其特征在于:所述步骤一中的点云下采样,是对采集高密度三维人脸区域进行均匀下采样操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910046888.5A CN109598261B (zh) | 2019-01-18 | 2019-01-18 | 一种基于区域分割的三维人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910046888.5A CN109598261B (zh) | 2019-01-18 | 2019-01-18 | 一种基于区域分割的三维人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598261A CN109598261A (zh) | 2019-04-09 |
CN109598261B true CN109598261B (zh) | 2023-04-25 |
Family
ID=65965431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910046888.5A Active CN109598261B (zh) | 2019-01-18 | 2019-01-18 | 一种基于区域分割的三维人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598261B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175529B (zh) * | 2019-04-30 | 2023-05-16 | 东南大学 | 一种基于降噪自编码网络的三维人脸特征点定位方法 |
CN110334679B (zh) * | 2019-07-11 | 2021-11-26 | 厦门美图之家科技有限公司 | 人脸点处理方法及装置 |
CN110659564A (zh) * | 2019-08-12 | 2020-01-07 | 万翼科技有限公司 | 区域内用户追踪方法、装置、计算机设备以及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408768B (zh) * | 2014-11-20 | 2017-06-09 | 浙江大学 | 一种基于联合字典的三维人脸表情去除的方法 |
CN104598879A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 基于半刚性区域面部轮廓线的三维人脸识别方法 |
US20180053040A1 (en) * | 2016-08-19 | 2018-02-22 | Umm Al-Qura University | System and method for 3d local surface matching |
CN108509904A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN108764140B (zh) * | 2018-05-29 | 2021-11-30 | 中北大学 | 一种基于Ricci曲率流的三维人脸识别方法 |
-
2019
- 2019-01-18 CN CN201910046888.5A patent/CN109598261B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109598261A (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109631855B (zh) | 基于orb-slam的高精度车辆定位方法 | |
CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
CN103822616B (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
CN109598261B (zh) | 一种基于区域分割的三维人脸识别方法 | |
Toft et al. | Long-term 3d localization and pose from semantic labellings | |
CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
AU2019368520A1 (en) | Three-dimensional finger vein feature extraction method and matching method therefor | |
CN106529591A (zh) | 一种基于改进的mser图像匹配算法 | |
CN106469465A (zh) | 一种基于灰度和深度信息的三维人脸重建方法 | |
CN112651969B (zh) | 结合多信息融合网络和区域增长的气管树分级提取方法 | |
CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及*** | |
CN112163622B (zh) | 全局与局部融合约束的航空宽基线立体像对线段匹配方法 | |
CN105046694A (zh) | 一种基于曲面拟合系数特征的点云快速配准方法 | |
CN113706710A (zh) | 基于fpfh特征差异的虚拟点多源点云融合方法及*** | |
CN112070800B (zh) | 一种基于三维点云极化地图表征的智能车定位方法及*** | |
CN110348310A (zh) | 一种霍夫投票3d彩色点云识别方法 | |
CN106682575A (zh) | Elm算法的人眼点云特征定位 | |
CN109920050A (zh) | 一种基于深度学习和薄板样条的单视图三维火焰重建方法 | |
CN114648445B (zh) | 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 | |
CN114596592B (zh) | 一种行人重识别方法、***、设备及计算机可读存储介质 | |
CN103700135A (zh) | 一种三维模型局部球面调和特征提取方法 | |
CN117274339A (zh) | 一种基于改进的iss-3dsc特征结合icp的点云配准方法 | |
CN114861761A (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
CN117213470B (zh) | 一种多机碎片地图聚合更新方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |