CN107644203A - 一种形状自适应分类的特征点检测方法 - Google Patents
一种形状自适应分类的特征点检测方法 Download PDFInfo
- Publication number
- CN107644203A CN107644203A CN201710815514.6A CN201710815514A CN107644203A CN 107644203 A CN107644203 A CN 107644203A CN 201710815514 A CN201710815514 A CN 201710815514A CN 107644203 A CN107644203 A CN 107644203A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- human face
- shape
- std
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000036544 posture Effects 0.000 claims abstract description 49
- 230000001815 facial effect Effects 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 5
- 238000013100 final test Methods 0.000 claims description 4
- 230000001373 regressive effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 9
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- QDGIAPPCJRFVEK-UHFFFAOYSA-N (1-methylpiperidin-4-yl) 2,2-bis(4-chlorophenoxy)acetate Chemical compound C1CN(C)CCC1OC(=O)C(OC=1C=CC(Cl)=CC=1)OC1=CC=C(Cl)C=C1 QDGIAPPCJRFVEK-UHFFFAOYSA-N 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种形状自适应分类的特征点检测方法。首先该发明使用了多视角模型，对不同的人脸姿态进行相应的处理，在基于级联回归的多视角模型训练和测试过程中，使用姿态分类算法对不同的人脸样本进行分类。其次，在测试过程中，根据级联回归算法的特性，采用了动态人脸姿态分类的方法，逐步提高分类的准确性，从而提高人脸特征点定位算法的精度。同时，为了进一步减少特征点定位的误差，本发明使用了多个多视角模型集成策略，在测试过程中，多个多视角模型同时用于预测特征点位置。试验证明，与传统方法比较，本发明对非限制环境下人脸表观变化有更好的鲁棒性。
Description
技术领域
本发明涉及形状自适应分类的人脸特征点检测方法，属于人脸识别领域。
背景技术
人脸特征点定位技术是人类视觉***的一个基础功能，它在人脸算法中扮演了重要的角色。不仅仅是因为他可以帮助我们加深对人类视觉***的认知，同时它还具有巨大的商业潜力。在过去的十几年里，对于数字图像和视频中的人脸特征点定位方法有了极大的发展，尤其是在受控制的环境中。许多公开的和商业的人脸特征点定位算法已经获得很好的研究成果，并且广泛的使用在实际的应用方案中。例如视频监控，来访监控，信息取证，基于网络的社会关系网，人机交互，动画和3D建模。
最近几年中，随着便携式摄像和视频设备的发展，人脸特征点定位算法的发展趋势开始转向非受控的环境中。为了能够使人脸特征点定位算法适应现有的图像拍摄环境，急需一种能够对非限制环境下人脸图片鲁棒的特征点定位算法。然而人脸特征点算法的发展面临极大的挑战。由于人脸表情的丰富变化，尤其是在非受控制的环境下，会出现大量不同的人脸姿势，表情，明暗度，和局部遮挡。以上这些情况对人脸特征点算法的精度都有着极大的影响。所以需要一种能够适用于多种环境，多表情，多姿态的人脸特征点算法，来提高现有算法的鲁棒性和效率。
假设一个人脸形状包括Nfp个人脸特征点。当给出一个新的人脸图片后，算法非主要目标是预测出形状S，使得预测形状尽可能的接近真实形状等价于最小化以下公式：
该算法误差公式通常被用于指导训练过程和评估最终的实验结果。但是在测试阶段，我们不能直接最小化该公式。因为在测试的时候真实形状是未知的。根据预测形状S所使用的方法，大多数的算法可以分为以下两种方法：基于最优化方法和基于回归的方法。
基于优化的方法的好坏主要依赖于误差方程的好坏。该方法主要包含以下两种算法：AAM和ASM。这两种方法主要使用最小化纹理残余的途径来预测人脸特征点形状。由于该方法训练出来的模型受到表现力的限制，所以当图像中的人脸姿态发生较大的变化时，该算法的定位结果将不是很准确。
基于回归的人脸特征点检测方法在最近得到了快速的发展。该算法模型主要包含两部分：特征抽取和回归器。首先在每个级联步骤中，从已经预测的形状周围抽取特征值。根据已学习到的回归矩阵，逐步更新现有形状的，使其一步步接近真实形状。经过几步运算之后，预测误差会收敛到一个绝对小的值。基于回归的方法之所以能够得到发展，是因为该方法具有很高的效率和精度。同时其中将弱回归器级联组成强回归器也是其成功的原因之一。和AAM和ASM方法相比，基于回归的方法具有更快的速度和精度。
尽管在大多数情况下，基于回归的方法都相对较快，并且精确度也比较高。例如Cao提出的ESR方法，3000fps方法。可是特征点检测仍然面对许多挑战。例如人脸大姿态偏转，局部遮挡，明暗度的变化。由于当前多数照片的拍摄环境大多是不可控制的，当图片中的人脸产生左右偏转，或者是表情的变化，单一的模型不能很好的处理这些变化。所以需要使用不同的模型，来对应不同的人脸形态变化。这样，在不同的情况下使用不同的模型，不仅能够提升算法的效果，也不会影响算法的运算速度。
综合上述理论基础，一种形状自适应分类的人脸特征点检测方法包含以下几个关键要素:PCA姿态分类，级联回归结构，级联回归分类，多模型结构搭建。但是由于在训练多模型的过程中需要大量的训练样本，所以在训练过程中会对原有的样本进行扩充处理，增加样本形状的多样性，使得多模型结构能对不同形状有更好的鲁棒性。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种形状自适应分类的人脸特征点检测方法，利用级联回归模型逐步更新特征点位置的特点，形状的分类会逐步更新，提高分类的效果，使得人脸形状分类结果更加准确。
技术方案：为解决上述技术问题，本发明的一种形状自适应分类的人脸特征点检测方法，包括如下步骤：
(a)从训练集中随机选取一定比例的图片，接着对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；
(b)使用PCA人脸姿态分类方法，将获得的训练集分为三类，其中使用训练人脸形状的标准差分为三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类。接着使用级联回归模型的训练方法，得到多视角模型结构；
(c)重复(a)和(b)两个步骤三次，获得多视角集成模型结构；
(d)通过摄像头获取检测人员的人脸图像样本，并组成测试集；
(e)对人脸图像样本中人脸位置进行定位，并标注出人脸位置；
(f)使用初始预测模型，定位出人脸特征点的初步位置，其中初始预测模型在训练过程中预先训练获得；
(g)对初始的人脸特征点形状使用PCA人脸姿态分类方法进行分类，其中分类方法如下：将初始人脸形状进行标准化处理，再使用标准化后的标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类；
(h)将分类后的人脸形状放入与之相对应多视角回归模型进行精准的人脸特征点预测；
(i)分类后的人脸形状在第一个强回归器中获得新的人脸形状更新，对该新人脸形状进行再一次分类，即使用动态人脸姿态分类方法对人脸姿态形状进行新的形状分类。在每个强回归器完成预测后，使用PCA人脸姿态分类方法对新的人脸特征点形状进行分类。其中强回归器由多个弱回归器组成，其中弱回归器通过随机蕨获得，强回归器的个数通过不同人脸库的实验数据获得，优选强回归器个数为十个；
(j)将上一步获得的人脸形状分类用于该步骤，将分类后的人脸姿态形状再放入与之对应的下一个强回归器进行进一步的预测计算，从而再次获得新的人脸形状更新；
(k)重复第(i)和(j)步，直到所有的强回归器完成预测，所有的强回归器完成预测之后得到的是人脸特征点的精确坐标；
(m)由于该发明在模型训练过程中使用的是多视角集成模型训练方法，所以在测试过程中需要使用多视角集成模型测试方法，即对多个测试结果求平均值，得到最终的预测结果。步骤k是其中一种人脸形状的预测过程。在预测之前我们就已经对初始人脸形状进行了分类，将分类好的人脸形状选择相对应的多视角模型，其中多视角模型由多个回归模型组成，每个不同的回归模型对应处理不同的人脸形状；m步骤相当于重复得到三次步骤k的结果，然后求平均值，得到更精确的预测值。
作为优选，所述步骤(g)中，包括如下步骤：
(g1)假设通过步骤f获得的初始人脸形状S包含N个特征点，(xi,yi)代表特征点在图像中的坐标，对初始人脸形状进行归一化处理，其中归一化方法如下：
(g2)将归一化后的人脸特征点形状表示为将归一化后的结果进行零均值化，使其形状分布更加接近于正态分布；
(g3)经过上述步骤处理之后，组成新的矩阵A＝[ΔS1,ΔS2,...,ΔSN-1,ΔSN]T，其中A为所有图像归一化的特征点组成；
(g4)求出该矩阵A的标准差std，标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类，经过试验发现，分为三类的效果最好，因为分为三类的情况下，人脸姿态分类准确。因为我们使用的PCA分类方法保留了最要的人脸形状信息，该信息控制了人脸左右角度偏转，所以我们在以后的计算中都是用三个的分类。
作为优选，所述步骤(i)中，包括如下步骤：
(i1)首先，在步骤b中获得初步的人脸特征点位置，使用PCA人脸姿态分类进行初步分类；
(i2)在接下来的步骤中使用的是两层级联回归结构，该结构由多个强回归器组成，强回归器的预测过程如公式：
其中在为t-1阶段的预测结果，为标准化形状矩阵，Rt为t阶段的强回归器，Ii为第i张人脸图像。该处的回归器指的是训练出来的回归器，因为回归器的结构是级联的，是有顺序的，应该按照顺序使用的，不可是任意的回归器。在每次强回归器完成计算后，对进行再次分类，分类方法仍然使用g中所提到的PCA人脸姿态分类方法。
作为优选，所述步骤(m)中，包括如下步骤：
(m1)由于训练过程中获得三套多模型的级联结构，所以在测试过程中将使用多模型的预测方法。首先将不同的模型加载到设备中，对人脸图像循环使用多种不同的模型进行预测，获得多个特征点结果hi；
(m2)将多个特征点定位的结果求均值，得到最终的检测结果为：
H＝(h1+h2+h3)/3 (0.4)
作为优选，多模型结构的训练需要大量不同姿态的人脸图像样本，可是现有的数据集训练样本较少，包含的人脸姿态不够丰富。我们从训练样本中随机选取一定比例的原始样本，对这些样本进行镜像和随机角度的旋转，将样本的数量扩展到4倍。同时经过旋转增加样本偏转的多样性，增加了模型的鲁棒性。
作为优选，所述步骤(b)中，使用了简单的形状索引特征，该特征只需计算不同像素点之间的像素差即可。该方法计算简单，从获取的多个像素差中选取有用的特征作为最终计算的特征。同时在计算过程中使用局部坐标，保持人脸形状的不变性，增加所选取特征的鲁棒性。
在本发明中，多模型结构的训练需要大量不同姿态的人脸图像样本，可是现有的数据集训练样本较少，包含的人脸姿态不够丰富。我们从训练样本中随机选取一定比例的原始样本，原始样本可以为现有的样本，当获得训练集后，我们首先从取训练集中随机选取一定比例的图片。接着对这些图片进行镜像处理，这样能让所有的人脸特征点所组成的矩阵基本满足正态分布，为后续的步骤提供便利。对以上的人脸图片再进行随机的左右旋转，这样在一定程度上增加了样本的多样性。当使用人脸姿态相对较少的训练集时，随机旋转增加了人脸姿态的变化，增强多模型对不同人脸形状的处理能力。
在本发明中，使用了简单的形状索引特征。首先在特征点周围随机选取若干个点，将这些随机点一一配对，计算每对点之间的像素差，将这些差作为候选特征。该方法计算简单，从获取的多个像素差中选取有用的特征作为最终计算的特征。同时在计算过程中使用局部坐标，以特征点为标准建立坐标系。以此坐标系为标准，在特征点周围选取像素点。因为大多数有用的像素特征在特征点附近，所以使用局部坐标将有效提高选取选取特征的鲁棒性。
一种形状自适应分类的人脸特征点检测方法，包括：
摄像头，用于获取检测人员的人脸图像样本，并将获取到的人脸图像样本发送到样本存储库，组成测试集。摄像头的分辨率与普通视频聊天摄像头相近，通常320×240分辨率可以满足图像采集要求；
人脸图像检测模块，通过摄像头采集获得相对清晰的人脸图像，对人脸图像进行人脸的识别和定位，并将定位出来的人脸位置进行存储已备接下来的步骤使用；根据获得的人脸位置信息，使用预先训练好的特征点初始化模型，对已检测出来的人脸进行特征点初始化定位；将初始化的人脸特征点进行归一化处理，将人脸形状归一化为ΔS＝[Δx1,Δy1,...,ΔxN,ΔyN]T，即将坐标点统一到同一坐标系；
将归一化后的人脸形状ΔS使用PCA人脸姿态分类方法，将其分来到相应的类别中，使用相对应的回归器进行下一步的计算；在使用对应的级联回归器进行计算时，在每个强回归器完成一次运算后，依次使用PCA姿态分类的方法对新获得的人脸特征点进行新的分类；因为初始的人脸形状不是特别准确，分类会出现误差，当级联回归器进行运算后会逐步更新特征点位置，增加分类的准确性；因为使用的是多模型的级联结构，需要多次重复上述步骤，会获得多个回归结果，所以还需要对三个结果hi求其平局值，计算方法如下：H＝(h1+h2+h3)/3，获得最终的结果。
有益效果：本发明的形状自适应分类的人脸特征点检测方法，具有以下优点：
首先在训练过程中，由于现有的人脸特征点训练集中包含的人脸姿态相对较少，人脸偏转的角度不够大。当遇到较大角度的人脸姿态偏转时，该训练集训练出来的级联回归模型鲁棒性不够，预测出的人脸特征点位置不够准确。所以本发明在训练级联回归模型的时候对现有的训练样本进行的相应的扩展。首先从现有的训练集中随机选取一定比例的图像样本，对这些样本进行镜像和一定角度范围内的随机偏转。这样，将选取的样本总量扩大了四倍，同时由于加入了随机偏转，增加了人脸姿态的变化，从而提高训练出的级联回归模型的鲁棒性。
在预测人脸姿态的过程中，原有的人脸特征点定位方法，仅仅使用单一的级联回归模型，对所有的人脸形状进行预测。这样做不利于将不同的人脸姿态、明暗度变化和局部遮挡进行很好的区分。用单一的级联回归模型处理多样的人脸形状，很大程度的降低了人脸特征点定位的精度。本发明根据不同的人脸特征点位置所包含的形状信息，使用PCA人脸姿态分类，将不同的人脸形状进行分类。首先本发明将PCA人脸姿态分类使用在训练过程中。在训练过程中，对于已有的训练集中包含的人脸形状进行分类。将分类后的图像，坐标点信息用于级联回归模型的训练。在特征点检测过程中，本发明使用初始的预测模型，粗略的定位出人脸特征点位置。然后使用PCA人脸姿态分类，将人脸形状进行分类。通过该分类结果，选择相应的级联回归模型来进行下一步的预测。使用PCA人脸姿态分类，与传统方法相比，对于不同的人脸形状可以有更好的针对性。
级联回归模型由多个强回归器组成，每个强回归器在预测过程中都会更新人脸形状。根据这一特性，本发明在每个强回归器后使用PCA人脸姿态方法。因为初始的预测模型计算的特征点位置与真实位置有较大的误差，该情况下进行的人脸姿态分类很有可能出现误差。所以在预测过程中，需要对新获得的特征点形状种类进行更新。级联回归模型是逐步更新特征点位置，因此形状的分类也会逐步更新。这样能够提高分类的效果，使得人脸形状分类结果更加准确。
本发明在整体结构中使用了多模型的结构，最终的检测结果会有多个。为减少不同模型产生的误差，本发明对多个结果求均值，即H＝(h1+h2+,...+hn)/n，求得最终的特征点定位结果。与现有的同类方法相比，该方法的准确度更高，对不同的人脸姿态有更高的鲁棒性。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明级联分类结构框图；
图3为本发明多模型结构训练结构图；
图4为本发明与其他现有方法结果的比较图，我们将实验结果分别和Fan，Matinez，Deng等人的方法分别在300-w的indoor，outdoor和indoor+outdoor测试集上的比较；
图5为本发明在300-W测试集上的试验结果示意图。
具体实施方式
如图1所示，一种形状自适应分类的人脸特征点检测方法，包括如下步骤：
a、通过摄像头获取被检测人员的人脸图像样本，并以png方式存储；
b、对人脸图像进行定位检测，标记出人脸所在位置，并保存人脸位置信息
b＝[x,y,w,h]T(检测人脸框的顶点坐标和其长宽)；
c、根据获取的人脸位置，使用初始模型，对人脸特征点进行初步定位，其中初始预测模型为我们使用若干训练样本预先训练获得；
d、对获取的初步人脸特征点形状使用PCA姿态进行初步分类；
所述步骤的包括如下步骤：
d1、假设通过步骤f获得的初始人脸形状(xi,yi)代表特征点在图像中的坐标，对初始人脸形状进行归一化处理，其中归一化方法如下：
d2、将归一化后的人脸特征点形状表示为将归一化后的结果进行零均值化，使其形状分布更加接近于正态分布；
d3、经过上述步骤处理之后，组成新的矩阵A＝[ΔS1,ΔS2,...,ΔSN-1,ΔSN]T，其中A为所有图像归一化的特征点组成；
d4、求出该矩阵A的标准差std，标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类。经过试验发现，分为三类的效果最好，所以我们在以后的计算中都是用三个的分类；
e、将分类后的人脸放入相对应的级联模型中进行进一步的预测；
f、在进一步的预测过程中使用级联回归分类方法对人脸姿态形状进行进一步的形状分类，使其分类更加准确；
所述步骤i包括如下步骤：
f1、首先，在步骤f中获得初步的人脸特征点位置，使用PCA人脸姿态分类进行初步分类；
f2、在接下来的步骤中使用的是两层级联回归结构，该结构由多个强回归器组成，强回归器的预测过程如公式：
其中在为t-1阶段的预测结果，为标准化形状矩阵，Rt为t阶段的强回归器，Ii为第i张人脸图像。
在每次强回归器完成计算后，对进行再次分类，分类方法仍然使用d中所提到的PCA人脸姿态分类方法。
g、对分类后的人脸姿态形状再放入下一个强回归器进行下一步的预测计算，从而获得新的预测形状；
h、重复第(f)和(g)步，直到获得人脸特征点位置预测结果；
i、由于该发明在模型训练过程中使用的是多模型级联训练方法，所以在测试过程中需要使用多模型级联预测方法，对多个预测结果求平均值，才能得到最终的预测结果；
所述步骤i包括如下步骤：
i1、由于训练过程中获得三套多模型的级联结构，所以在测试过程中将使用多模型的预测方法。首先将不同的模型加载到设备中，对人脸图像循环使用多种不同的模型进行预测，获得多个特征点结果hi；
i2、将多个特征点定位的结果求均值，得到最终的检测结果为：
H＝(h1+h2+h3)/3 (0.8)
如图3所示，一种形状自适应分类的人脸特征点训练方法，包括如下步骤：
a、从训练集中随机选取一定比例的图片。接着对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；
b、使用PCA人脸姿态分类方法，将获得的训练集分为三类，用于训练多模型结构；
c、重复(a)和(b)两个步骤三次，获得多视角集成模型。
本发明在300-W的indoor和outdoor测试集中分别选取多个测试样本用于结果对比，其中与ESR的方法进行的相应的对比，对比结果如图5所示。
在ibug网站上公布了大量不同人脸特征点方法的试验数据。我们将本发明的试验结果与ibug网站上现有公布的方法的数据进行的了比较，本发明中将多个试验数据绘制出曲线图，用于比较，对比结果如图4所示。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种形状自适应分类的人脸特征点检测方法，其特征在于，包括如下步骤：
(a)从训练集中随机选取一定比例的图片，对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；
(b)使用PCA人脸姿态分类方法，将获得的训练集分为三类，其中使用训练人脸形状的标准差分为三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类，接着使用级联回归模型的训练方法，得到多视角模型结构；
(c)重复(a)和(b)两个步骤三次，获得多视角集成模型结构；
(d)通过摄像头获取检测人员的人脸图像样本，并组成测试集；
(e)对人脸图像样本中人脸位置进行定位，并标注出人脸位置；
(f)使用初始预测模型，定位出人脸特征点的初步位置，其中初始预测模型在训练过程中预先训练获得；
(g)对初始的人脸特征点形状使用PCA人脸姿态分类方法进行分类，其中分类方法如下：将初始人脸形状进行标准化处理，再使用标准化后的标准差std组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类；
(i)将步骤(g)分类后的人脸形状在第一个强回归器中获得新的人脸形状更新，对该新人脸形状进行再一次分类，即使用动态人脸姿态分类方法对人脸姿态形状进行新的形状分类，在每个强回归器完成预测后，使用PCA人脸姿态分类方法对新的人脸特征点形状进行分类，其中强回归器由多个弱回归器组成，弱回归器通过随机蕨获得；
(j)将上一步获得的人脸形状分类用于该步骤，将分类后的人脸姿态形状再放入与之对应的下一个强回归器进行进一步的预测计算，从而再次获得新的人脸形状更新；
(k)重复第(i)和(j)步，直到所有的强回归器完成预测，所有的强回归器完成预测之后得到的是人脸特征点的精确坐标；
(m)对多个测试结果求平均值，得到最终的预测结果。
2.如权利要求1所述的形状自适应分类的人脸特征点检测方法，其特征在于，所述步骤(g)中，包括如下步骤：
(g1)假设通过步骤f获得的初始人脸形状(xi,yi)代表特征点在图像中的坐标，对初始人脸形状进行归一化处理，其中归一化方法如下：
<mrow>
<msub>
<mi>&Delta;x</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<munderover>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<munderover>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>-</mo>
<munderover>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&Delta;y</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<munderover>
<mi>min</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<munderover>
<mi>min</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>-</mo>
<munderover>
<mi>min</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>{</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(g2)将归一化后的人脸特征点形状表示为将归一化后的结果进行零均值化，使其形状分布更加接近于正态分布；
(g3)经过上述步骤处理之后，组成新的矩阵A＝[ΔS1,ΔS2,...,ΔSN-1,ΔSN]T，其中A为所有图像归一化的特征点组成；
(g4)求出该矩阵A的标准差std，标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类。
3.如权利要求2所述的形状自适应分类的人脸特征点检测方法，其特征在于，所述步骤(i)中，包括如下步骤：
(i1)首先，在步骤f中获得初步的人脸特征点位置，使用PCA人脸姿态分类进行初步分类；
(i2)在接下来的步骤中使用的是级联回归结构，该结构由多个强回归器组成，强回归器的预测过程如公式：
<mrow>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msup>
<mi>R</mi>
<mi>t</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中在为t-1阶段的预测结果，Rt为t阶段的强回归器，Ii为第i张人脸图像。
4.如权利要求3所述的形状自适应分类的人脸特征点检测方法，其特征在于，所述步骤(m)中，包括如下步骤：
(m1)由于训练过程中获得三套多模型的级联结构，所以在测试过程中将使用多模型的预测方法，首先将不同的模型加载到设备中，对人脸图像循环使用多种不同的模型进行预测，获得多个特征点结果hi；
(m2)将多个特征点定位的结果求均值，得到最终的检测结果为：
H＝(h1+h2+h3)/3。
5.如权利要求1所述的形状自适应分类的人脸特征点检测方法，其特征在于，所述步骤(f)中初始预测模型通过以下方法得到：在步骤(a)中随机抽取一部分图片，通过级联回归的训练方法，得到初始预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710815514.6A CN107644203B (zh) | 2017-09-12 | 2017-09-12 | 一种形状自适应分类的特征点检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710815514.6A CN107644203B (zh) | 2017-09-12 | 2017-09-12 | 一种形状自适应分类的特征点检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107644203A true CN107644203A (zh) | 2018-01-30 |
| CN107644203B CN107644203B (zh) | 2020-08-28 |
Family
ID=61111083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710815514.6A Expired - Fee Related CN107644203B (zh) | 2017-09-12 | 2017-09-12 | 一种形状自适应分类的特征点检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107644203B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838179A (zh) * | 2019-09-27 | 2020-02-25 | 深圳市三维人工智能科技有限公司 | 基于体测数据的人体建模方法、装置及电子设备 |
| CN112270308A (zh) * | 2020-11-20 | 2021-01-26 | 江南大学 | 一种基于双层级联回归模型的人脸特征点定位方法 |
| CN112487993A (zh) * | 2020-12-02 | 2021-03-12 | 重庆邮电大学 | 改进型级联回归人脸特征点定位算法 |
| CN112836904A (zh) * | 2021-04-07 | 2021-05-25 | 复旦大学附属中山医院 | 基于人脸特征点的身体质量指数预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824050A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸关键点定位方法 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
| CN105787448A (zh) * | 2016-02-28 | 2016-07-20 | 南京信息工程大学 | 基于时空级联形状回归的人脸形状跟踪方法 |
| CN106529397A (zh) * | 2016-09-21 | 2017-03-22 | 中国地质大学（武汉） | 一种非约束环境中的人脸特征点定位方法及*** |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
-
2017
- 2017-09-12 CN CN201710815514.6A patent/CN107644203B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824050A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸关键点定位方法 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
| CN105787448A (zh) * | 2016-02-28 | 2016-07-20 | 南京信息工程大学 | 基于时空级联形状回归的人脸形状跟踪方法 |
| CN106529397A (zh) * | 2016-09-21 | 2017-03-22 | 中国地质大学（武汉） | 一种非约束环境中的人脸特征点定位方法及*** |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| MD. KAMRUL HASAN ET AL.: "Localizing Facial Keypoints with Global Descriptor Search, Neighbour Alignment and Locally Linear Models", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 * |
| 伍凯等: "级联回归的多姿态人脸配准", 《中国图象图形学报》 * |
| 程科文: "基于自适应三维人脸模型的实时头部姿态估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄宇驹: "基于级联回归的多姿态人脸特征点检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838179A (zh) * | 2019-09-27 | 2020-02-25 | 深圳市三维人工智能科技有限公司 | 基于体测数据的人体建模方法、装置及电子设备 |
| CN110838179B (zh) * | 2019-09-27 | 2024-01-19 | 深圳市三维人工智能科技有限公司 | 基于体测数据的人体建模方法、装置及电子设备 |
| CN112270308A (zh) * | 2020-11-20 | 2021-01-26 | 江南大学 | 一种基于双层级联回归模型的人脸特征点定位方法 |
| CN112270308B (zh) * | 2020-11-20 | 2021-07-16 | 江南大学 | 一种基于双层级联回归模型的人脸特征点定位方法 |
| CN112487993A (zh) * | 2020-12-02 | 2021-03-12 | 重庆邮电大学 | 改进型级联回归人脸特征点定位算法 |
| CN112836904A (zh) * | 2021-04-07 | 2021-05-25 | 复旦大学附属中山医院 | 基于人脸特征点的身体质量指数预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107644203B (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195051B2 (en) | Method for person re-identification based on deep model with multi-loss fusion training strategy | |
| CN110059554B (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN107330396B (zh) | 一种基于多属性和多策略融合学习的行人再识别方法 | |
| CN111553201B (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
| CN109344821A (zh) | 基于特征融合和深度学习的小目标检测方法 | |
| CN109508675B (zh) | 一种针对复杂场景的行人检测方法 | |
| CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| CN110852347A (zh) | 采用改进YOLO v3的火灾检测方法 | |
| CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
| CN107644203A (zh) | 一种形状自适应分类的特征点检测方法 | |
| Ren et al. | A novel squeeze YOLO-based real-time people counting approach | |
| CN110378239A (zh) | 一种基于深度学习的实时交通标志检测方法 | |
| CN103150546B (zh) | 视频人脸识别方法和装置 | |
| CN106897677B (zh) | 一种车辆特征分类检索***和方法 | |
| CN111178206A (zh) | 一种基于改进yolo的建筑预埋件检测方法及*** | |
| CN110032952B (zh) | 一种基于深度学习的道路边界点检测方法 | |
| CN110197152A (zh) | 一种用于自动驾驶***的道路目标识别方法 | |
| CN113947766A (zh) | 一种基于卷积神经网络的实时车牌检测方法 | |
| CN111539422A (zh) | 基于Faster RCNN的飞行目标协同识别方法 | |
| CN111368637A (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN108961385A (zh) | 一种slam构图方法及装置 | |
| CN113032613A (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN110634149B (zh) | 一种用于光学动作捕捉***的非刚体目标特征点匹配方法 | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200828 |