CN108710823B - 一种人脸相似性比较方法 - Google Patents

Abstract

本发明涉及一种人脸相似性比较方法，通过对人脸图像的特征点进行提取，并划分特征块，将特征点包含在特征块中，对特征块进行分层提取，对其中的特征点进一步地提取，同时进行相似块、匹配特征点的比重的计算，以比较两个人脸图像中的相似度。本方法存在很大程度的实用性，并且对人脸图像的特征比较更为细致，比较计算的过程也更为严格。

Description

一种人脸相似性比较方法

技术领域

本发明属于人工智能领域，具体来说涉及一种新型的人脸相似性比较方法。

背景技术

随着计算机网络和多媒体技术的快速发展,基于图像的人脸检测、识别、检索技术已经日益成为特别活跃的研究范畴。其中一个重要的研究课题就是人脸相似度度量,它是人脸检测、识别、检索技术的关键基础和重要内容,因此,人脸相似度的研究有着重要的实用价值及研究意义。

发明内容

有鉴于此，本发明提供一种解决或部分解决人脸相似度评估问题的新型人脸相似性比较方法。

具体来说，本发明采用了以下技术方案：

一种人脸相似性比较方法，其特征在于，所述方法包括：1）特征点设置：对两张人脸图像进行采集拍照，在人脸图像上设置特征点，其中所述特征点为人脸图像上具有标志性特征的点；2）划分特征块：将两个人脸图像各自划分为多个特征块，每个特征块包含至少两个特征点，每张人脸上的每个特征块的形状不定，但是两张人脸上的特征块一一对应，对应的特征块具有相同的特征点；3）特征块比较：对两张人脸上的一对对应的特征块进行相似性比较，其中使用相同的扩展速率对一对对应的特征块进行放大，放大的倍数相同，放大后对其中对应的特征点进行匹配，在对应的特征点间进行连线，相连的线为水平线的两个特征点为匹配特征点，将匹配特征点的数量记为m，如果一对特征块中所有对应的特征点为匹配特征点，则这一对特征块为相似块，将相似块的数量记为n并计算相似块占所有特征块数量的比重，如果比重大于50%，则对除相似块以外的其他特征块中的匹配特征点进行进一步统计，并计算特征块中匹配特征点占所有特征点数量的比例作为其他特征块的权重，按权重大小进行降序排列，对排序在前50%的特征块，如果其中包含多于一个特征点则对其进行进一步的划分，得到划分后的特征块，并且划分后的特征块中所含特征点的数量只占划分前的特征块中特征点数量的50%，进行进一步特征点匹配，如果一对划分后的特征块中的所有特征点均为匹配特征点，则该划分后的特征块为二级相似块并记下二级相似块占划分后的特征块的数量的比重，然后统计其他划分后的特征块中匹配特征点的数量，通过以下公式进行人脸相似度度量：

其中，m为特征块中匹配特征点的数量，n为相似块的数量，j为划分后的特征块中的特征点中匹配特征点的数量，c为二级相似块的数量，N为划分后的特征块的数量，

、

分别为特征块、划分后的特征块的调整系数，为任意实数，w为人脸相似度度量的数值。

优选地，人脸上作为特征点的具有标志性特征的点包括与五官相关的点。进一步，所述特征点包括眉毛的边缘两个所在点、眉毛的中间点、眼睛中的眼球所在点、鼻子上的鼻尖所在点、两个嘴巴的边缘所在点、嘴巴的中间所在点。

另外，在对特征点进行匹配时，如果所匹配的特征点不够清晰，则对其进行局部放大，然后在局部放大的特征点中取二级特征点，进行进一步匹配，获得匹配的二级特征点为匹配特征点。

本发明的有益效果为：本发明提供的新型人脸相似性比较方法，通过对人脸图像的相似特征点进行比较，将特征点包含在特征块中， 对特征块进行分层提取，以比较两个人脸图像中的相似度，本方法存在很大程度的实用性，并且对人脸图像的特征比较更为细致，比较计算的过程也更为严格。

具体实施方式

人脸识别是目前计算机视觉和机器学习的研究热点，具有广阔的应用前景。如何获取有效的人脸特征表达和设计强大的分类器成为研究关键，而实际环境中的不可控因素增大获取的难度。随着压缩感知理论的提出与发展，基于稀疏编码模型的人脸识别方法研究，引起研究人员的广泛关注和极大兴趣。首先，提出一种基于稀疏表示分类( Sparse Ｒepresentation Based Classificaion，SＲC)的人脸识别方法，在鲁棒性人脸识别方面表现出较好性能，对存在亮度变化、噪声和遮挡的人脸识别均具有良好效果。其中基本思想为，如果将已知类别属性，但属于不同类的训练样本在空域或其特征域矢量化并构成表示字典，则属于其中某类的待测试图像在同样矢量化后，可由该字典稀疏编码表示，并且得到的非零系数主要集中在该测试图像关于所属同类样本的表示系数里，因此，使得该测试图像由对应类训练样本线性表示的误差最小，并由此判别出被测试图像所属的正确类别。

国内外许多专家学者对基于SＲC框架的人脸识别方法展开大量研究工作。针对用遮挡字典致使维数过高的问题，Yang等提出一种基于Gabor变换的遮挡字典以降低***的计算复杂度。鉴于SＲC采用规则化编码系数的l1范数求解，其运算具有较高的计算复杂度，Zhang等提出采用规则化l2范数代替规则化l1范数的编码方法，提出协作表示分类(Collaborative Ｒepresentation Based Classification，CＲC)的概念。SＲC可视为最近邻分类和最近邻特征子空间分类的推广，虽然基于SＲC的人脸识别在特征维数足够高的条件下，选取不同的特征表示对最终的识别性能不会产生重要影响。但在选取特征维数较低的条件下，其稀疏表示的自由度将会增大，因此，造成基于稀疏表示的分类识别性能有较大幅度的降低。Wang等提出基于位置约束的线性编码(Locality Constrained LinearCoding，LLC)，通过利用样本间存在的位置约束使得规则化的编码系数具有与稀疏编码系数类似的稀疏性，LLC也可有效用于图像分类。

Chao等提出一种基于位置约束和组稀疏约束的SＲC人脸识别方法。同样地，Lu等和Guo等分别提出基于位置(相似性)加权的SＲC(Weighted SＲC，WSＲC )方法。Timofte等和Waqas等分别提出加权的CＲC等用于人脸识别。由此可见，在线性/稀疏编码表示分类过程中嵌入测试样本与训练样本间的位置(或相似性)信息，有助于有效提升编码系数的判别能力，从而增强其分类性能。然而在实际的人脸识别应用中，由于在非受控场景下获取的待识别人脸图像可能存在表情变化和有意的部分遮挡、伪装，基于图像全局的相似性度量很难真实反映彼此的位置关系，因此使得基于图像全局相似性的加权编码表示人脸分类性能降低。寻找在非受控条件下，特别是获取的图像存在表情变化、部分遮挡和伪装时图像间的有效位置表示，成为基于位置约束框架的加权编码表示人脸识别方法研究中值得探索的问题。为此针对非受控人脸图像存在表情变化、部分遮挡和伪装的问题，探讨基于图像分块的最大相似性嵌入稀疏表示的人脸识别。通过对训练图像和测试图像进行非重叠分块，计算各对应分块之间的相似性，并以其最大值度量图像间的相似性，进而将提取的最大块相似性信息，嵌入稀疏编码表示分类中，从而有效提高低维特征选取下稀疏编码的稳定性及***的识别性能。

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。具体方法如下：

对两个人脸图像通过摄像采集设备进行采集拍照，在人脸图像上设置特征点，特征点为在人脸图像上的具有标志性特征的点，包含眉毛的边缘两个所在点、眉毛的中间点、眼睛中的眼球所在点、鼻子上的鼻尖所在点、嘴巴的边缘两个所在点、嘴巴的中间所在点，对两个人脸图像进行块划分，划分为多个特征块，每个特征块的形状不定，其中至少包含两个特征点，并且，在两个人脸图像上一一对应划分特征块，即特征块是成对出现的，一对特征块各在一个人脸图像上，具有相同的特征点。相同的特征点为都为眉毛的边缘两个所在点、眉毛的中间点、眼睛中的眼球所在点、鼻子上的鼻尖所在点、嘴巴的边缘两个所在点、嘴巴的中间所在点中任意几个点的组合。

对一对特征块进行匹配从而进行相似性的比较，具体过程为：

使用相同的扩展速率对一对特征块进行扩展，扩展速率为特征块的扩大速度，扩大速度等同于放大的速度。扩大后再对扩大后的特征块中包含的特征点进行匹配，将对应的特征点相连。对应的特征点为，同样为眉毛的边缘两个所在点，或同样为眉毛的中间点等。相连的线为水平线的两个特征点为匹配特征点。设匹配特征点的数量为m，m为大于0的正整数。如果匹配特征点不够清晰，必须对其进行局部放大，局部放大后在局部放大的匹配特征点中取二级特征点，二级特征点为在局部放大的匹配特征点上选取的用于进一步相匹配的点。将对应的进一步相匹配的点相连，所有的相连的线为水平线，则设置匹配特征点所在特征块为相似块。对相似块的数量进行统计，设数量为n，n为正整数，n的值除以特征块的数量得到比重。如果比重大于50%，对除了相似块的其他特征块中匹配特征点进行进一步统计，统计其中匹配特征点的数量占特征点的数量的比例，以此作为特征块的权重。按权重的大小降序排序，对排序前50%的特征块，如果其里面包含多于一个特征点，作进一步的特征块划分。划分后的特征块中特征点只占划分前特征块中原有的特征点数量的50%，并进行进一步地特征点匹配，检测是否为匹配特征点。具有完全数量的匹配特征点的划分后的特征块为二级相似块，完全数量的匹配特征点为划分后的特征块中所有特征点都为匹配特征点。将二级相似块占划分后的特征块的比重也记录下来。划分后的特征块中除了二级相似块，统计其中的匹配特征点的数量占所有特征点的数量，将整个过程的所有数据都统计在一个表格中。最后，根据统计数据进行人脸相似度度量，采用的公式如下：

其中，m为一对特征块中匹配特征点的数量，j为划分后的特征块中的特征点中匹配特征点的数量，c为二级相似块的数量，N为划分后的特征块的数量，

、

分别为特征块、划分后的特征块的调整系数，为任意实数，k为实数，将整个过程的所有数据都统计在一个表格中；w为人脸相似度度量的数值，数值越高，表示两张人脸图像的相似度越高。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。 所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。 这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

上面结合具体实施方式对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种人脸相似性比较方法，其特征在于，所述方法包括：1）特征点设置：对两张人脸图像进行采集拍照，在人脸图像上设置特征点，其中所述特征点为人脸图像上具有标志性特征的点；2）划分特征块：将两个人脸图像各自划分为多个特征块，每个特征块包含至少两个特征点，每张人脸上的每个特征块的形状不定，但是两张人脸上的特征块一一对应，对应的特征块具有相同的特征点；3）特征块比较：对两张人脸上的一对对应的特征块进行相似性比较，其中使用相同的扩展速率对一对对应的特征块进行放大，放大的倍数相同，放大后对其中对应的特征点进行匹配，在对应的特征点间进行连线，相连的线为水平线的两个特征点为匹配特征点，将匹配特征点的数量记为m，如果一对特征块中所有对应的特征点为匹配特征点，则这一对特征块为相似块，将相似块的数量记为n并计算相似块占所有特征块数量的比重，如果比重大于50%，则对除相似块以外的其他特征块中的匹配特征点进行进一步统计，并计算特征块中匹配特征点占所有特征点数量的比例作为其他特征块的权重，按权重大小进行降序排列，对排序在前50%的特征块，如果其中包含多于一个特征点则对其进行进一步的划分，得到划分后的特征块，并且划分后的特征块中所含特征点的数量只占划分前的特征块中特征点数量的50%，进行进一步特征点匹配，如果一对划分后的特征块中的所有特征点均为匹配特征点，则该划分后的特征块为二级相似块并记下二级相似块占划分后的特征块的数量的比重，然后统计其他划分后的特征块中匹配特征点的数量，通过以下公式进行人脸相似度度量：

其中，m为特征块中匹配特征点的数量，n为相似块的数量，j为划分后的特征块中的特征点中匹配特征点的数量，c为二级相似块的数量，N为划分后的特征块的数量，

、

分别为特征块、划分后的特征块的调整系数，为任意实数，w为人脸相似度度量的数值。

2.如权利要求1所述的人脸相似性比较方法，其特征在于，人脸上作为特征点的具有标志性特征的点包括与五官相关的点。

3.如权利要求2所述的人脸相似性比较方法，其特征在于，所述特征点包括眉毛的边缘两个所在点、眉毛的中间点、眼睛中的眼球所在点、鼻子上的鼻尖所在点、两个嘴巴的边缘所在点、嘴巴的中间所在点。

4.如权利要求1所述的人脸相似性比较方法，其特征在于，在对特征点进行匹配时，如果所匹配的特征点不够清晰，则对其进行局部放大，然后在局部放大的特征点中取二级特征点，进行进一步匹配，获得匹配的二级特征点为匹配特征点。