CN102262724B - 目标图像特征点定位方法和目标图像特征点定位*** - Google Patents

Abstract

本发明提供了一种目标图像特征点定位方法和目标图像特征点定位***，属于模式识别领域。目标图像特征点定位方法包括步骤：(1)输入目标图像，定义目标图像特征点中的关键点，并确定关键点在目标图像中的具***置；(2)以所取训练样本的特征点的坐标平均为平均特征点，根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为目标图像的初始化特征点；(3)以初始化特征点作为基础，精确定位目标图像特征点。目标图像特征点定位***包括关键点定位装置、初始化特征点获取装置、以及目标图像特征点定位装置。本发明的方法和***实现目标图像特征点的精确定位和快速定位，可以在图像处理等领域中广泛应用。

Description

目标图像特征点定位方法和目标图像特征点定位***

技术领域

本发明属于模式识别领域，具体涉及一种目标图像特征点定位方法和目标图像特征点定位***。

背景技术

图像特征点定位技术作为图像处理的基础技术，在很多方面具有重要地位。例如，作为图像特征点定位技术的一种，人脸特征点定位技术在人脸识别、人脸建模、人脸动画等方面都有着很重要的地位。现有的人脸特征点定位方法大多为基于图像特征点定位的方法，主要的方法是主动形状模型(ASM；Active Shape Model)，由T.F.Cootes在“Computer Vision and Image Understanding.1995，61(1)：38-59提出。其思路为首先训练得到每个特征点的纹理特征信息和整体特征点的形状特征，其后给定特征点在人脸上的初始位置，在每个特征点邻域内搜索与纹理特征最相似的候选点，再用整体特征点形状特征来约束和调节所有候选点以获得当次搜索的结果，然后重新搜索迭代直至满足预先定义的阈值。在该类方法中，一旦给定的特征点初始化错误，就容易导致搜索陷入局部最小；并且形状约束往往对非正面的人脸形状起不到调节的作用。因此，对任意姿态的人脸特征点，难以进行精确定位。

现有的解决人脸特征点定位陷入局部最小的方法有以下几种：一是采用更可靠的纹理特征进行搜索或者在搜索的区域上进行约束，即基于搜索的方法；一是利用眼睛或者虹膜的定位位置来初始化特征点，即基于初始化的方法。而解决人脸姿态的方法为训练不同姿态的人脸形状集，对不同的姿态采用不同的形状约束，即基于多姿态训练集的方法。

1、基于搜索的方法

基于搜索的方法采用更可靠的纹理特征进行搜索或者在搜索的区域上进行约束。比较典型的有S.Li等人在“In Proceedings InternationalConference on Computer Vision and Pattern Recognition”，2003，Vol.1，pp321中公开的方法，采用小波特征替换纹理特征来进行搜索。而YuanZhong Li等人在“International Conference on ComputerVision”，2005，Vol.1，pp251-258中，对搜索的区域进行约束。这类方法在搜索上提供了额外的约束，而这类约束的有效范围往往有限，很难获得可靠通用的搜索特征和形状约束，而且对姿态变化的人脸也难以实现精确定位。

2、基于初始化的方法

基于初始化的方法通过定位眼睛或者虹膜来初始化人脸特征点，以保证搜索中约束在正确的区域内。Baochang Zhang在“In Proceedingof International conference on Audio-and Video-based Biometric PersonAuthentication”，2003，pp 52-61中先定位虹膜的位置，然后根据虹膜与整体特征点之间的对应位置关系，初始化训练所得的平均特征点到相应的位置。这类方法减小了陷入局部最小的可能，但由于直接以平均特征点形状作为初始化特征点形状，因而难以应对姿态变化的人脸。

3、基于多姿态训练集的方法

基于多姿态训练集的方法首先获得不同姿态对应的人脸特征点训练集，获得多姿态的平均特征点形状，然后对待定位的人脸进行姿态判断，选择对应姿态下的平均特征点作为初始化特征点。SamiRomdhani在“In Proceedings of British Machine Vision Conference”，1999中最早提出了该方法，并引入了多姿态主动形状模型(Multi-ViewActive Shape Model)的概念。这类方法对人脸姿态的估计可能不准确，并且需要建立不同姿态的训练集，势必降低定位速度。

发明内容

为了解决上述技术问题，实现目标图像特征点的精确定位和快速定位，提出了本发明的目标图像特征点定位方法和目标图像特征点定位***。

本发明的目标图像特征点定位方法包括步骤：(1)输入目标图像，定义目标图像特征点中的关键点，并确定关键点在目标图像中的具***置；(2)以所取训练样本的特征点的坐标的平均为平均特征点，根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为目标图像的初始化特征点；(3)以初始化特征点作为基础，精确定位目标图像特征点。

在步骤(2)中进行的二维变形中，采用径向基函数对平均特征点进行多变量离散数据插值。

在步骤(2)中进行的三维变形中，利用目标图像特征点的深度值，将该深度值赋予经二维变形得到的二维的平均特征点，得到三维的平均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后的三维的平均特征点在二维平面上的投影与二维未变形前的的平均特征点在规定平面上的偏差最小。

在步骤(3)中进行的精确定位中，采用主动形状模型，在每个初始化特征点的邻域内搜索最佳候选点，再以初始化特征点形状在三维方向上来约束和调整候选点作为搜索的结果，然后重新在每个初始化特征点邻域进行搜索，不断迭代直至满足规定的阈值。

在上述目标图像特征点定位方法中，二维变形为位移变形、形状变形，三维变形为姿态变形。

在上述目标图像特征点定位方法中，目标图像为人脸图像。

在上述以人脸图像为目标图像的目标图像特征点定位方法中，关键点包括眼角、鼻孔和嘴角。

本发明还提供了一种目标图像特征点定位***包括：关键点定位装置，其输入目标图像，定义目标图像特征点中的关键点，并确定关键点在目标图像中的具***置；初始化特征点获取装置，其以规定样本的特征点的平均为平均特征点，根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为目标图像的初始化特征点；以及目标图像特征点定位装置，其以初始化特征点作为基础，精确定位目标图像特征点。

初始化特征点获取装置包括：二维变形装置，其采用径向基函数对平均特征点进行多变量离散数据插值。

初始化特征点获取装置包括：三维变形装置，其利用目标图像特征点的深度值，将该深度值赋予经二维变形得到的二维的平均特征点，得到三维的平均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后的三维的平均特征点与二维的平均特征点在规定平面上的偏差最小。

目标图像特征点定位装置采用主动形状模型，在每个初始化特征点的邻域内搜索最佳候选点，再以初始化特征点形状在三维方向上来约束和调整候选点作为搜索的结果，然后重新在每个初始化特征点邻域进行搜索，不断迭代直至满足规定的阈值。

在上述目标图像特征点定位***中，二维变形为位移变形、形状变形，三维变形为姿态变形。

在上述目标图像特征点定位***中，目标图像为人脸图像。

在上述以人脸图像为目标图像的目标图像特征点定位***中，关键点包括眼角、鼻孔和嘴角。

与现有的目标图像特征点定位技术相比，本发明的目标图像特征点定位方法和目标图像特征点定位***不需要大规模的不同姿态下目标图像特征点训练集；对于不同姿态的目标图像可以实现精确的定位；定位的精度不容易陷入局部最小，具有更通用可靠的效果；定位的速度更快。

附图说明

图1为本发明的一个实施方式的目标图像特征点定位方法的流程图。

图2为在本发明的一个实施方式中针对具体图像进行特征点定位的流程图。

图3为在本发明的一个实施方式中关键点的定义和初定位的示意图。

图4(a)为本发明的一个实施方式与不同特征点初始化方法的比较的示意图，其中第一列为平均特征点，第二列为基于虹膜的初始化特征点，第三列为径向基函数初始化特征点，第四列为径向基函数初始化后三维姿态校正的特征点初始化。

图4(b)为本发明的一个实施方式的三维特征点，和基于LM(Levenberg-Marquardt)算法的人脸特征点三维姿态估计的示意图。

图5为本发明的一个实施方式与不同特征点定位方法的比较的示意图，其中第一行为根据虹膜初始化的人脸特征点定位，第二行为本发明方法的特征点定位。

具体实施方式

下面，结合附图，以人脸图像为例对本发明的具体实施方式进行说明，本发明当然也可以用于其他图像的特征点定位，例如，风景图像、动物图像等。

图1中，以人脸图像为例，示出了本发明的目标图像特征点定位方法的流程图。

步骤101、输入单张任意姿态人脸图像，定义人脸特征点中容易精确定位的关键点，并确定关键点在所输入的人脸图像中的具***置，即对人脸进行关键点定位。

人脸的关键点定义为眼角，鼻孔，和嘴角共8个点。这些关键点即部分特征点，每个关键点对应一个特征点，故本发明被称之为两层特征点定位。在人脸图像上，由于器官周围的边界点具有很强的边缘特征，更容易进行区分，因此被选作关键点。关键点的定位采用支持向量机(SVM)分类的方法进行定位，即获得训练样本中每个关键点的特征，训练SVM分类器，在整幅图像上搜索获得最相似的点作为关键点的定位。

步骤102、根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为人脸的初始化特征点。

特征点的初始化分为两个部分，第一部分二维变形，具体为位移、形状变形，采用径向基函数对平均特征点进行多变量离散数据插值；第二部分为三维变形，具体为姿态变形，利用目标图像特征点的深度值，将该深度值赋予经二维变形得到的二维的平均特征点，得到三维的平均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后的三维的平均特征点在二维平面上的投影与二维的未变形前的平均特征点之间的偏差最小。其中平均特征点为所取训练样本的特征点的坐标的平均。

径向基函数的实质是一种多变量离散数据插值方法。对于已知的点集，可以以获得最小能量为目的拟合出非线性的函数关系。已知点集x＝{x₁，x₂，....x_n}和其对应函数值f＝{f₁，f₂，...，f_n}，由这两组值可以建立函数关系y＝s(x)，使得对于每个点xi都有f_i＝s(x_i)。该函数关系为

其中p(x)＝ax_o+by_o+cz_o+d表示该点的线性多项式，(x_o，y_o，z_o)为该点的坐标值，(a，b，c，d)为系数；

为插值基函数，|x-x_i|为未知点x与已知点x_i之间的距离，λ_i为对应每组基函数的权重，其中i＝1，2，...，n。

本发明采用这种插值方法来变形平均特征点形状和位移作为特征点的位置初始化。定义人脸特征点为t＝(t₁，t₂，...，t_n)，平均人脸特征点记为

其中每个点为二维坐标t＝(x，y)。进行基函数变形的目的即为变形

获得t，使得

中

以

为输入，可以很容易拟合出相应的径向基函数插值函数。

由于已知t_1～8，所以根据上式可以计算出原函数中系数λ_1～8，a，b，c，则对于任意平均特征点中的点，可以由上式计算出其变形后的点t，从而得到根据关键点变形的初始化特征点。该初始化的特征点其关键点位置和之前定位的关键点保持不变，从而可以确保特征点初始化在人脸的区域内。在图4(a)中给出了径向基函数初始化的人脸结果。

同时，本发明还引入了Levenberg-Marquardt(LM)迭代算法来获得初始化人脸的姿态。首先，本发明引入了一个通用三维模型，由于人脸的深度信息大致相同，本发明借助于该三维模型获得人脸特征点的深度值。该三维模型的稀疏点包含所有特征点。在归一化三维模型和特征点后，直接将三维模型的深度值赋予经上述二维变形的平均特征点，即获得三维的平均特征点，该三维特征点可以记为S_3D＝(d₁，d₂，...，d_n)，其中每个点表示一个三维点d＝(x，y，z)＝(t，z)。旋转该三维特征点可以得到

S_3D′＝F(S_3D)＝sR(α，β，γ)S_3D+t

其中s，(α，β，γ)，t分别为尺度，旋转，平移因子。

LM算法是一种迭代最优的算法。其迭代的目的即使S_3D′与径向基函数初始化后特征点t之间的偏差最小。由于t为二维特征点，因此记该偏差为

$E=d(t,{S_{3D}}^{\text{'}})=\underset{i}{\mathrm{\Σ}}{(x_i-{x_{3\mathrm{Di}}}^{\text{'}})}^2+{(y_i-{y_{3\mathrm{Di}}}^{\text{'}})}^2=d(t,F\left(S_{3D}\right))$

迭代使得E最小，即获得了相应的旋转参数s，(α，β，γ)，t。对径向基函数初始化的特征点进行旋转变换，即得到了形状，姿态，位移变换后的人脸特征点定位。在图4(b)中给出了相应的三维特征点和利用LM算法获得的人脸姿态。在图4(a)中给出了对径向基函数初始化人脸特征点进行三维姿态校正的结果。

步骤103、以初始化特征点作为基础，进行人脸特征点的精确定位。

主动形状模型是图像特征点定位的基本方法。其主要思路为首先训练获得每个特征点的纹理特征信息和整体特征点的形状特征，然后初始化特征点，在每个特征点的邻域内搜索最佳候选点，具体为纹理特征最相似的候选点，再以整体特征点形状特征在三维方向上来约束和调节所有候选点作为本次搜索的结果，然后重新在每个特征点邻域进行搜索，不断迭代直至满足预先定义的阈值。

在本发明中，采用主动形状模型，在每个特征点的邻域内搜索纹理特征最相似的候选点，并且以三维的初始化特征点对应姿态的整体特征点形状，来对每次搜索的结果进行约束。然后重新在每个特征点邻域进行搜索，不断迭代直至满足规定的阈值。具体地，与步骤102一样，对于每次纹理搜索的候选点，可以利用LM算法获得其三维姿态，以该三维姿态旋转训练得到的整体形状特征，即获得对应当前姿态的整体特征点形状，以此对搜索的结果进行形状调节，可以获得更为准确的特征点形状。在图5中给出了不同方法下人脸特征点定位的比较。

下面，详细说明本发明的目标图像特征点定位***。

本发明的目标特征点定位***包括：关键点定位装置，其定义目标图像特征点中的关键点，并确定关键点在目标图像中的具***置；初始化特征点获取装置，其以所取样本的特征点平均为平均特征点，根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为目标图像的初始化特征点；以及目标图像特征点定位装置，以初始化特征点作为基础，精确定位目标图像特征点。

为便于说明，在以下的说明中，目标图像以人脸图像为例，然而，本发明的目标图像特征点定位***当然也可以用于其他图像的特征点定位，例如，风景图像、动物图像等。

关键点定位装置输入目标图像，输入单张任意姿态人脸图像，定义人脸特征点中容易精确定位的关键点，并确定关键点在所输入的人脸图像中的具***置，即对人脸进行关键点定位。

人脸的关键点定义为眼角，鼻孔，和嘴角共8个点。这些关键点即部分特征点，每个关键点对应一个特征点，故本发明被称之为两层特征点定位。在人脸图像上，由于器官周围的边界点具有很强的边缘特征，更容易进行区分，因此被选作关键点。关键点的定位采用支持向量机(SVM)分类的方法进行定位，即获得训练样本中每个关键点的特征，训练SVM分类器，在整幅图像上搜索获得最相似的点作为关键点的定位。

初始化特征点获取装置根据关键点位置对平均特征点进行二维变形和三维变形，以变形的结果作为人脸的初始化特征点。

初始化特征点获取装置分为两个部分，第一部分二维变形装置，具体为位移、形状变形装置，其采用径向基函数对平均特征点进行多变量离散数据插值；第二部分为三维变形装置，具体为姿态变形装置，其利用目标图像特征点的深度值，将该深度值赋予经二维变形得到的二维的平均特征点，得到三维的平均特征点，对该三维的平均特征点进行旋转迭代，使旋转迭代后的三维的平均特征点与二维的平均特征点的偏差最小。其中平均特征点形状为所有训练样本的特征点平均。

径向基函数的实质是一种多变量离散数据插值方法。对于已知的点集，可以以获得最小能量为目的拟合出非线性的函数关系。已知点集x＝{x₁，x₂，....x_n}和其对应函数值f＝{f₁，f₂，...，f_n}，由这两组值可以建立函数关系y＝s(x)，使得对于每个点x_i都有f_i＝s(x_i)。该函数关系为

其中p(x)＝ax_o+by_o+cz_o+d表示该点的线性多项式，(x_o，y_o，z_o)为该点的坐标值，(a，b，c，d)为系数；

为插值基函数，|x-x_i|为未知点x与已知点x_i之间的距离，λ_i为对应每组基函数的权重，其中i＝1，2，...，n。

本发明采用这种插值方法来变形平均特征点形状和位移作为特征点的位置初始化。定义人脸特征点为t＝(t₁，t₂，...，t_n)，平均人脸特征点记为

其中每个点为二维坐标t＝(x，y)。进行基函数变形的目的即为变形

获得t，使得

中

以为输入，可以很容易拟合出相应的径向基函数插值函数。

由于已知t_1～8，所以根据上式可以计算出原函数中系数λ_1～8，a，b，c，则对于任意平均特征点中的点，可以由上式计算出其变形后的点t，从而得到根据关键点变形的初始化特征点。该初始化的特征点其关键点位置和之前定位的关键点保持不变，从而可以确保特征点初始化在人脸的区域内。在图4(a)中给出了径向基函数初始化的人脸结果。

同时，本发明还引入了Levenberg-Marquardt(LM)迭代算法来获得初始化人脸的姿态。首先，本发明引入了一个通用三维模型，由于人脸的深度信息大致相同，本发明借助于该三维模型获得人脸特征点的深度值。该三维模型的稀疏点包含所有特征点。在归一化三维模型和特征点后，直接将三维模型的深度值赋予经上述二维变形的平均特征点，即获得三维的平均特征点，该三维特征点可以记为S_3D＝(d₁，d₂，...，d_n)，其中每个点表示一个三维点d＝(x，y，z)＝(t，z)。旋转该三维特征点可以得到

S_3D′＝F(S_3D)＝sR(α，β，γ)S_3D+t

其中s，(α，β，γ)，t分别为尺度，旋转，平移因子。

LM算法是一种迭代最优的算法。其迭代的目的即使S_3D′与径向基函数初始化后特征点t之间的偏差最小。由于t为二维特征点，因此记该距离为

$E=d(t,{S_{3D}}^{\text{'}})=\underset{i}{\mathrm{\Σ}}{(x_i-{x_{3\mathrm{Di}}}^{\text{'}})}^2+{(y_i-{y_{3\mathrm{Di}}}^{\text{'}})}^2=d(t,F\left(S_{3D}\right))$

迭代使得E最小，即获得了相应的旋转参数s，(α，β，γ)，t。对径向基函数初始化的特征点进行旋转变换，即得到了形状，姿态，位移变换后的人脸特征点定位。在图4(b)中给出了相应的三维特征点和利用LM算法获得的人脸姿态。在图4(a)中给出了对径向基函数初始化人脸特征点进行三维姿态校正的结果。

目标图像特征点定位装置以初始化特征点作为基础，进行人脸特征点的精确定位。

主动形状模型是图像特征点定位的基本方法。其主要思路为首先训练获得每个特征点的纹理特征信息和整体特征点的形状特征，然后初始化特征点，在每个特征点的邻域内搜索最佳候选点，具体为纹理特征最相似的候选点，再以整体特征点形状特征在三维方向上来约束和调节所有候选点作为本次搜索的结果，然后重新在每个特征点邻域进行搜索，不断迭代直至满足预先定义的阈值。

在本发明中，采用主动形状模型，在每个特征点的邻域内搜索纹理特征最相似的候选点，并且以三维的初始化特征点对应姿态的整体特征点形状，来对每次搜索的结果进行约束。然后重新在每个特征点邻域进行搜索，不断迭代直至满足规定的阈值。具体地，与步骤102一样，对于每次纹理搜索的候选点，可以利用LM算法获得其三维姿态，以该三维姿态旋转训练得到的整体形状特征，即获得对应当前姿态的整体特征点形状，以此对搜索的结果进行形状调节，可以获得更为准确的特征点形状。在图5中给出了不同方法下人脸特征点定位的比较。

Claims (10)

1.一种目标图像特征点定位方法，其特征在于包括步骤：

（1）输入目标图像，定义目标图像特征点中的关键点，并确定所述关键点在所述目标图像中的具***置；

（2）以所取训练样本的特征点的坐标的平均为平均特征点，根据所述关键点位置对所述平均特征点进行二维变形和三维变形，以变形的结果作为所述目标图像的初始化特征点；其中，所述进行的二维变形中，采用径向基函数对所述平均特征点进行多变量离散数据插值；所述进行的三维变形中，利用所述目标图像特征点的深度值，将该深度值赋予经所述二维变形得到的二维的所述平均特征点，得到三维的所述平均特征点，对该三维的所述平均特征点进行旋转迭代，使旋转迭代后的所述三维的所述平均特征点在二维平面上的投影与所述二维的未变形前的所述平均特征点之间的偏差最小；以及

（3）以所述初始化特征点作为基础，精确定位所述目标图像特征点。

2.根据权利要求1所述的目标图像特征点定位方法，其特征在于：

在所述步骤（3）中进行的精确定位中，采用主动形状模型，在每个所述初始化特征点的邻域内搜索最佳候选点，再以所述初始化特征点形状在三维方向上来约束和调整所述候选点作为搜索的结果，然后重新在每个所述初始化特征点邻域进行搜索，不断迭代直至满足规定的阈值。

3.根据权利要求1所述的目标图像特征点定位方法，其特征在于：所述二维变形为位移变形、形状变形，所述三维变形为姿态变形。

4.根据权利要求1所述的目标图像特征点定位方法，其特征在于：所述目标图像为人脸图像。

5.根据权利要求4所述的目标图像特征点定位方法，其特征在于：所述关键点包括眼角、鼻孔和嘴角。

6.一种目标图像特征点定位***，其特征在于包括：

关键点定位装置，其输入目标图像，定义目标图像特征点中的关键点，并确定所述关键点在所述目标图像中的具***置；

初始化特征点获取装置，其以所取训练样本的特征点的坐标的平均为平均特征点，根据所述关键点位置对所述平均特征点进行二维变形和三维变形，以变形的结果作为所述目标图像的初始化特征点；所述初始化特征点获取装置包括：

二维变形装置，其采用径向基函数对所述平均特征点进行多变量离散数据插值；

三维变形装置，其利用所述目标图像特征点的深度值，将该深度值赋予经所述二维变形得到的二维的所述平均特征点，得到三维的所述平均特征点，对该三维的所述平均特征点进行旋转迭代，使旋转迭代后的所述三维的所述平均特征点在二维平面上的投影与所述二维的未变形前的所述平均特征点之间的偏差最小；以及

目标图像特征点定位装置，其以所述初始化特征点作为基础，精确定位所述目标图像特征点。

7.根据权利要求6所述的目标图像特征点定位***，其特征在于：

所述目标图像特征点定位装置采用主动形状模型，在每个所述初始化特征点的邻域内搜索最佳候选点，再以所述初始化特征点形状在三维方向上来约束和调整所述候选点作为搜索的结果，然后重新在每个所述初始化特征点邻域进行搜索，不断迭代直至满足规定的阈值。

8.根据权利要求6所述的目标图像特征点定位***，其特征在于：所述二维变形为位移变形、形状变形，所述三维变形为姿态变形。

9.根据权利要求6所述的目标图像特征点定位***，其特征在于：所述目标图像为人脸图像。

10.根据权利要求9所述的目标图像特征点定位***，其特征在于：所述关键点包括眼角、鼻孔和嘴角。

Images