CN104331412A - 一种在规格化三维人脸库中进行人脸检索的方法 - Google Patents

Abstract

本发明公开了一种在规格化三维人脸库中进行人脸检索的方法，其能够有效模拟人类观察事物与信息处理方式、构建更为高效简单的人脸检索方法与***。该方法包括步骤：(1)模型归一化：将三维人脸数据经过平滑、去噪、剪切、坐标矫正、对齐的预处理后，得到三维人脸样本作为规格化的三维人脸，依托其所对应的圆柱体包络面定义如下的模型坐标系:该圆柱体的中心轴作为Z轴，穿过鼻尖点并与Z轴垂直的方向作为Y轴，X轴由Y轴与Z轴叉乘得到；(2)以视觉显著性为度量原则进行样本显著区域定义及特征提取；(3)以单特征辨识度为依据进行特征加权叠加，实现多特征融合的人脸间特征的相似性度量，实现人脸检索。

Description

一种在规格化三维人脸库中进行人脸检索的方法

技术领域

本发明属于计算机模式识别的技术领域，具体地涉及一种在规格化三维人脸库中进行人脸检索的方法。

背景技术

数据检索旨在从给定数据集中获得与查询条件的符合度达到指定要求的样本数据。具体到三维人脸检索的问题，核心的研究问题是三维人脸模型的特征表示以及与该特征相关联的人脸相似度度量方法。

现有三维人脸检索方法主要是基于人脸模型的几何特征(包括统计特征以及变换域特征)提取进行识别的。常用的几何特征包括：人脸全局信息，如三维网格；人脸局部特征点、特征曲线；融合人脸二维与三维信息的多模态融合特征等。但是人类与计算机在观察与计算能力上的差异，决定了人类在观察、比较、识别人脸时，更多的是利用人脸的轮廓、五官、肤色、发型等直观性强的视觉特征进行对象的区分，而非通过难以直观观察的几何计算特征。换言之，上述现有的检索技术所采用的几何计算特征，不符合人类通过观察识别其同类面部特征时的心理、生理过程，导致检索结果的不稳定、不可靠。

事实上，人脸检索方法的发展在很大程度上依赖于人脸数据采集的方式、代价，以及数据表现方式。计算机软硬件技术的发展不仅使得人脸信息采集的成本降低，速度、精度以及存储数量大大提高，并且可利用多种视觉传感器(包括近年来出现的深度传感器)采集三维人脸信息，建立多模式的三维人脸模型库。这为开展更高效、更稳定可靠的人脸检索方法研究提供了数据基础。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种在规格化三维人脸库中进行人脸检索的方法，其能够有效模拟人类观察事物与信息处理方式，构建更为高效简单的人脸检索方法。

本发明的技术解决方案是：这种在规格化三维人脸库中进行人脸检索的方法，该方法包括以下步骤：

(1)模型归一化：将三维人脸数据经过平滑、去噪、剪切、坐标矫正、对齐的预处理后，得到三维人脸样本作为规格化的三维人脸，依托其所对应的圆柱体包络面定义如下的模型坐标系:该圆柱体的中心轴作为Z轴，穿过鼻尖点并与Z轴垂直的方向作为Y轴，X轴由Y轴与Z轴叉乘得到；

(2)以视觉显著性为度量原则进行样本显著区域定义及特征提取：通过公式(1)得到三维人脸样本中每一个像素点的显著性值：

S(p_i)＝D(p_i，p₁)+D(p_i，p₂)+…+D(p_i，p_n)    (1)

其中S(p_i)为点p_i的显著性值，n为图像中像素点的个数，D(...，...)表示两个像素点之间的属性差；

(3)以单特征辨识度为依据进行特征加权叠加，实现多特征融合的人脸间特征的相似性度量，实现人脸检索。

本发明将显著性分析方法应用于三维人脸检索领域，从人类自身的视觉注意机制入手，研究了三维人脸中对于检索具有最重要影响的显著性区域的定义及特征描述，因此有效模拟人类观察事物与信息处理方式、构建更为高效简单的人脸检索方法。而与欧式距离相比，基于余弦距离的相似性可同时考虑特征向量的长度、方向两方面的差异，且不敏感于计算的绝对数值，故适用于进行显著性差异的度量。

附图说明

图1是本方法的流程图。

具体实施方式

如图1所示，这种在规格化三维人脸库中进行人脸检索的方法，该方法包括以下步骤：

(1)模型归一化：将三维人脸数据经过平滑、去噪、剪切、坐标矫正、对齐的预处理后，得到三维人脸样本作为规格化的三维人脸，依托其所对应的圆柱体包络面定义如下的模型坐标系:该圆柱体的中心轴作为Z轴，穿过鼻尖点并与Z轴垂直的方向作为Y轴，X轴由Y轴与Z轴叉乘得到；

(2)以视觉显著性为度量原则进行样本显著区域定义及特征提取：通过公式(1)得到三维人脸样本中每一个像素点的显著性值：

S(p_i)＝D(p_i，p₁)+D(p_i，p₂)+…+D(p_i，p_n)    (1)

其中S(p_i)为点p_i的显著性值，n为图像中像素点的个数，D(...，...)表示两个像素点之间的属性差；

(3)以单特征辨识度为依据进行特征加权叠加，实现多特征融合的人脸间特征的相似性度量，实现人脸检索。

显著性分析方法引入了一种以人类注意力受刺激的强弱程度为依据，定义并度量被观察对象的待识别特征的方法。该方法通过衡量不同场景内容(对象)在吸引人类视觉注意力、产生视觉差异方面的不同表现，定性乃至定量地将场景对象赋以不同的显著性值，从而划分出不同的区域(特征)；并对高显著性区域进行优先处理，而将其它显著性较低的区域作为非重要区域予以忽略或者忽视。这种对象选择性处理方式，使该方法具有更高的处理效率。

本发明将显著性分析方法应用于三维人脸检索领域，从人类自身的视觉注意机制入手，研究了三维人脸中对于检索具有最重要影响的显著性区域的定义及描述，因此有效模拟人类观察事物与信息处理方式、构建更为高效简单的人脸检索方法。而与欧式距离相比，基于余弦距离的相似性可同时考虑特征向量的长度、方向两方面的差异，且不敏感于计算的绝对数值，故适用于进行显著性差异的度量。

优选地，所述步骤(2)中分别用三维人脸的颜色、深度和法向三个典型属性对像素点的显著性值进行分析：

人脸的颜色主要以肤色、嘴唇的暗红色以及眉部、眼部的黑色组成。为突出三维人脸颜色的显著性检测，三维人脸的颜色属性对应的显著性值通过公式(2)得到：

S(p_i)＝|RGB_ave-RGB_p_i|/RGB_max    (2)

其中，RGB_p_i为像素点p_i的红色值分量，RGB_max是所有像素点红色的最大值，RGB_ave是所有像素点红色分量的平均值；随着阈值的增加，显著性值大于指定阈值的“显著性区域”逐渐收缩、范围集中，而人脸样本的眉部、眼部和嘴部始终被标记为显著性区域，表示这三个区域基于颜色方法得到的显著性值最高，区分能力最强；

类似地，三维人脸的深度属性对应的显著性值通过公式(3)得到：

S(p_i)＝Deep_p_i/Deep_max    (3)

其中，Deep_p_i为任意像素点p_i的深度值，Deep_max是深度的最大值，即鼻尖点到Y轴原点的距离；为强化深度差异，上式可增加缩放系数，通过实验表明，随着深度显著性值的增加，显著性区域逐渐向鼻尖点收缩；

光滑表面具有连续变化的法向，对视觉注意力的刺激小于法向呈非连续变化的局部“尖点或突起”表面。而面部点的法向变化较大的区域与面部的视觉显著性区域有直接关联，因此，本文将这种搜索光滑曲面上的尖点或突起的方法用以确定三维人脸法向变化较大的区域，即包含鼻、耳、口等部分的显著性区域。为此，首先引入“平均法向”的概念，即把人脸曲面粗略的看成是光滑的表面，则曲面上的各点法向取平均值，可以得到整个曲面的平均法向。平均法向Normal_ave可以看成是近似垂直于三维人脸曲面“平坦”部分的法方向。这一结论可由任取非显著区域上的两个像素点形成的位置坐标向量与平均法向的点乘接近于0的事实得以验证。该结论及推导过程可表述如下。设：

$\mathrm{\λ}=\mathrm{Normal}\_\mathrm{ave}\·(\stackrel{\→}{v_i}-\stackrel{\→}{v_j})---\left(4\right)$

其中，和是三维人脸图像上任意一点p_i和p_j在XYZ坐标系中的点坐标。

当两点p_i和p_j属于同一平滑区域，并且它们的距离相对于局部特征尺寸的距离是足够小的，那么它们的法向值近似相等，此时它们组成的向量与曲面的平均法向Normal_ave乘积接近于0，即λ≈0。反之则λ＞ε。

因此，三维人脸的法向属性对应的显著性值通过公式(5)得到：

$S\left(p_i\right)={\mathrm{\Σ}}_{p_i,p_j\∈E}\mathrm{Normal}\_\mathrm{ave}\·(\stackrel{\→}{v_i}-\stackrel{\→}{c_j})---\left(5\right)$

其中，p_i、p_j表示三维人脸样本上的像素点，E表示三维人脸曲面区域，v_i、v_jx_ix_j分别是p_i、p_j的点坐标，Normal_ave为该曲面区域的平均法向。通过实验，可以看出，法向“波动”较大的区域显著性值较高，如耳部、鼻部和口部。而眼部和眉部这样“波动”较小、与人脸曲面可以看成近似光滑的区域则显著性值较小。

本发明分别用三维人脸的颜色、深度和法向三个典型属性对像素点的显著性值进行具体化定义。并在此基础上，结合各不同特征及其度量结果的优势，提出了基于多特征融合的三维人脸显著性分析方法。单一的特征由于其包含信息的局限性，不能充分满足我们对于高精度识别的需要。本文对各信息进行归一化处理，平衡分配权重后，采用基于加权叠加方法的多特征融合策略进行人脸检测。所使用的权值是根据颜色、深度、法向三种特征在分别进行单独识别时的识别准确率来确定的，即使用各特征的独立识别率作为融合识别时的贡献率。在所述步骤(2)中通过公式(6)得到两个三维人脸样本的最终距离：

$E(m,n)={\mathrm{\Σ}}_{i=1}^k{\mathrm{\ω}}_{i}E{(m,n)}_i---\left(6\right)$

其中，E(m，n)表示三维人脸样本m和样本n的最终距离，E(m，n)_i为样本m，n在显著特征i下的距离，使用单特征的余弦距离进行度量，k表示所用到的显著特征总数，权值ω_i表示显著特征i在最终识别过程中的比重大小，其取值与该特征的单特征识别率成正比。

现在给出一个本发明的详细实施例。

本文使用的BJUT-3D人脸数据库中，共126个样本，42人(男34，女8)，每个人都包含3组真实的中性三维人脸数据。

首先，我们将BJUT-3D数据库的126张三维中性人脸样本分成三组，每组42个样本，将从同一个被扫描者处获得的三个三维模型依次分配到每个组中。我们将这三组依次编号为A组、B组、C组。用A、B、C组依次分别做测试集，其余两组做训练集，计算样本距离与识别率。将最终得到的3组实验识别率取平均值，即为最终的正确率。由于BJUT-3D人脸库已经将所有的样本归一化并对齐，我们对人脸区域进行眉、眼、鼻、耳、口的分区，然后利用求得的显著性值依次计算每个区域的距离。

实验结果如下表所示：

眉部

眼部

鼻部

耳部

口部

全部

颜色

53.97％

56.03％

66.98％

68.25％

58.73％

88.10％

深度

25.40％

46.83％

57.94％

38.89％

48.41％

69.05％

法向

36.51％

47.86％

57.94％

59.52％

49.21％

83.33％

表1颜色、深度与法向的单特征识别结果正确率

在按照公式(6)的方法进行特征融合后，本文的实验结果达到了91.27％的识别准确率。

其次，将整个包含126个三维人脸样本数据库设为训练集。所有样本依次分别单独作为测试集，与训练集进行比对，用来计算正确率和召回率。当正确率在90％左右时，融合方法的召回率已经接近于1。也就是说，在保证正确率的情况下，可以做到几乎检出***中所有的相关样本，反映了本文提出的方法良好的查全能力。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (2)

1.一种在规格化三维人脸库中进行人脸检索的方法，其特征在于，该方法包括以下步骤：

(1)模型归一化：将三维人脸数据经过平滑、去噪、剪切、坐标矫正、对齐的预处理后，得到三维人脸样本作为规格化的三维人脸，依托其所对应的圆柱体包络面定义如下的模型坐标系:该圆柱体的中心轴作为Z轴，穿过鼻尖点并与Z轴垂直的方向作为Y轴，X轴由Y轴与Z轴叉乘得到；

(2)以视觉显著性为度量原则进行样本显著区域定义及特征提取：通过公式(1)得到三维人脸样本中每一个像素点的显著性值：

S(p_i)＝D(p_i，p₁)+D(p_i，p₂)+…+D(p_i，p_n)    (1)

其中S(p_i)为点p_i的显著性值，n为图像中像素点的个数，D(...，...)表示两个像素点之间的属性差；

(3)以单特征辨识度为依据进行特征加权叠加，实现多特征融合的人脸间特征的相似性度量，实现人脸检索。

2.根据权利要求1所述的在规格化三维人脸库中进行人脸检索的方法，其特征在于，所述步骤(2)中分别用三维人脸的颜色、深度和法向三个典型属性对像素点的显著性值进行分析：三维人脸的颜色属性对应的显著性值通过公式(2)得到：

S(p_i)＝|RGB_ave-RGB_p_i|/RGB_max    (2)

其中，RGB_p_i为像素点p_i的红色值分量，RGB_max是所有像素点红色的最大值，RGB_ave是所有像素点红色分量的平均值；

三维人脸的深度属性对应的显著性值通过公式(3)得到：

S(p_i)＝Deep_p_i/Deep_max    (3)

其中，Deep_p_i为任意像素点p_i的深度值，Deep_max是深度的最大值；

三维人脸的法向属性对应的显著性值通过公式(5)得到：

$S\left(p_i\right)={\mathrm{\Σ}}_{p_i,p_j\∈E}\mathrm{Normal}\_\mathrm{ave}\·(\stackrel{\→}{v_i}-\stackrel{\→}{c_j})---\left(5\right)$ 其中，p_i、p_j表示三维人脸样本上的像素点，E表示三维人脸曲面区域，v_i、v_j分别是p_i、p_j的点坐标，Normal_ave为该曲面区域的平均法向。根据权利要求1所述的在规格化三维人脸库中进行人脸检索的方法，其特征在于，在所述步骤(3)中基于多特征融合策略，以单特征识别率为特征权重，通过公式(6)得到两个三维人脸样本的最终距离：

$E(m,n)={\mathrm{\Σ}}_{i=1}^k{\mathrm{\ω}}_{i}E{(m,n)}_i---\left(6\right)$ 其中，E(m，n)表示三维人脸样本m和样本n的最终距离，E(m，n)_i为样本m，n在显著特征i下的距离，使用单特征的余弦距离进行度量，k表示所用到的显著特征总数，权值ω_i表示显著特征i在最终相似性度量过程中的比重大小，其取值与该特征的单特征识别率成正比。