CN107909104A - 一种图片的人脸聚类方法、装置及存储介质 - Google Patents

Abstract

本发明实施例公开了图片的人脸聚类方法、装置及存储介质，应用于信息处理技术领域。在本实施例的方法中，图片的人脸聚类装置在对多个待处理图片进行基于人脸的聚类时，可以不用先指定这些待处理图片的类，而是直接根据计算的待处理图片之间的人脸特征的相似度及预置的第一策略对多个待处理图片进行聚类，然后再根据第三策略进行聚类的合并。这样，可以通过多个策略中的多个阈值，即第一阈值和第三阈值对多个待处理图片进行聚类后，可以较为准确地将包含同一身份的人脸图像的待处理图片聚到同一类中。

Description

一种图片的人脸聚类方法、装置及存储介质

技术领域

本发明涉及信息处理技术领域，特别涉及一种图片的人脸聚类方法、装置及存储介质。

背景技术

现在很多客户端(比如云客户端或用户空间等客户端)都可以提供上传图片的接口，这样用户可以通过该接口将图片上传到对应的服务器，而在服务器端可以对这些图片进行聚类，并将图片按照聚类结果发送给客户端进行显示。

其中，在通常情况下，服务器对图片进行聚类时，主要是对图片中人脸进行聚类，具体地，对图片中的人脸进行特征提取，并针对人脸的特征采用K均值(K-Means)聚类方法进行聚类。但是使用K-Means方法进行聚类时，需要提前指定类的数目，另外K-means方法进行聚类时会有较多的聚类错误。

发明内容

本发明实施例提供一种图片的人脸聚类方法、装置及存储介质，实现了在根据预置的第一策略对多个待处理图片进行聚类后，根据预置的第三策略进行聚类的合并。

本发明实施例第一方面提供一种图片的人脸聚类方法，包括：

分别提取多个待处理图片中人脸图像的特征信息；

根据所述多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；

根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类得到m个聚类的图片，所述预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则所述两个待处理图片属于同一聚类；

根据所述计算的人脸特征的相似度及预置的第三策略对将所述m个聚类的图片合并为n个聚类的图片，所述n小于m，所述预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所述所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片。

本发明实施例第二方面提供一种图片的人脸聚类装置，包括：

特征提取单元，用于分别提取多个待处理图片中人脸图像的特征信息；

相似度计算单元，用于根据所述多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；

聚类单元，用于根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类得到m个聚类的图片，所述预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则所述两个待处理图片属于同一聚类；

第一合并单元，用于根据所述计算的人脸特征的相似度及预置的第三策略对将所述m个聚类的图片合并为n个聚类的图片，所述n小于m，所述预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所述所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片。

本发明实施例第三方面提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如本发明实施例第一方面所述的图片的人脸聚类方法。

本发明实施例第四方面提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如本发明实施例第一方面所述的图片的人脸聚类方法。

可见，在本实施例的方法中，图片的人脸聚类装置在对多个待处理图片进行基于人脸的聚类时，可以不用先指定这些待处理图片的类，而是直接根据计算的待处理图片之间的人脸特征的相似度及预置的第一策略对多个待处理图片进行聚类，然后再根据第三策略进行聚类的合并。这样，可以通过多个策略中的多个阈值，即第一阈值和第三阈值对多个待处理图片进行聚类后，可以较为准确地将包含同一身份的人脸图像的待处理图片聚到同一类中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图片的人脸聚类方法所应用于的场景的结构示意图；

图2a是本发明一个实施例中两个待处理图片的示意图；

图2b是本发明一个实施例中一种确定两个聚类的图片是否合并的示意图；

图2c是本发明一个实施例中另一种确定两个聚类的图片是否合并的示意图；

图3是本发明一个实施例中提取待处理图片中人脸图像的特征信息的方法流程图；

图4是本发明应用实施例提供的一种图片的人脸聚类方法的流程图；

图5是本发明应用实施例中图片的人脸聚类的示意图；

图6是本发明实施例提供的一种图片的人脸聚类装置的结构示意图；

图7是本发明实施例提供的另一种图片的人脸聚类装置的结构示意图；

图8是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种图片的人脸聚类方法，可以应用于如下的场景中，具体地，用户可以通过客户端上传图片给服务器，而服务器会针对包含人脸图像的图片，自动按照本发明实施例的方法进行聚类，根据聚类结果储存这些包含人脸图像的图片，比如将同一聚类的图片储存到一个文件夹中，其中，一个聚类的每个图片中都包含同一身份的人脸图像。且服务器还可以将聚类结果返回给客户端进行显示。

本发明实施例的方法还可以应用于其它场景中，服务器在对图片进行人脸聚类时：

分别获取多个待处理图片中人脸图像的特征信息；根据多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；根据计算的人脸特征的相似度及预置的第一策略对多个待处理图片进行聚类得到m个聚类的图片，预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则这两个待处理图片属于同一聚类；根据计算的人脸特征的相似度及预置的第三策略对将m个聚类的图片合并为n个聚类的图片，n小于m，预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所有相似度的个数的比值超出第一预置范围，则合并一个聚类的图片与另一聚类的图片。

这样，在对多个待处理图片进行基于人脸的聚类时，可以不用先指定这些待处理图片的类，且本发明实施例中通过多个策略中的多个阈值，即第一阈值和第三阈值对多个待处理图片进行聚类后，可以较为准确地将包含同一身份的人脸图像的待处理图片聚到同一类中。

本发明的一个实施例提供一种图片的人脸聚类方法，主要是由图片的人脸聚类装置比如上述的服务器所执行的方法，主要是针对包含人脸图像的图片进行的聚类，流程图如图1所示，包括：

步骤101，分别提取多个待处理图片中人脸图像的特征信息。

可以理解，某一个待处理图片中可能包含一个或多个人脸图像，则图片的人脸聚类装置在提取某个待处理图片中人脸图像的特征信息时，需要分别提取这至少一个人脸图像的特征信息。

在提取其中某一个人脸图像的特征信息时，图片的人脸聚类装置可以先将这个人脸图像进行归一化处理，比如将该人脸图像缩小或放大到一定范围，然后再对缩放后的人脸图像进行特征信息的提取。这样，可以使得提取人脸图像的特征信息的计算过程得到简化，在具体的实施例中，提取到的某一人脸图像的特征信息可以为一定长度的浮点数向量。

需要说明的是，在有些实施例中，图片的人脸聚类装置在执行本步骤101之前，可以先对多个待处理图片进行预处理，然后在对预处理后的待处理图片，执行本实施例的步骤。比如预处理可以包括：将待处理图片进行人脸图像的增强，使得各个待处理图片中的人脸图像较为清晰，不会模糊，这样在执行本步骤101时，提取的人脸图像的特征信息更为准确。还可以有其它预处理，只要是能使得图片的人脸聚类装置在执行本实施例的步骤时得到优化的预处理方法都属于本发明实施例的范围，在此不一一聚类说明。

步骤102，根据多个待处理图片中人脸图像的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度。

由于一个待处理图片中可以包含一个或多个人脸图像，则图片的人脸聚类装置计算的任意两个待处理图片的人脸特征的相似度包括：一个待处理图片中每个人脸图像的特征信息分别与另一个待处理图片中每个人脸图像的特征信息之间的相似度。例如待处理图片1中包含一个人脸图像a，待处理图片2中包含3个人脸图像b1，b2和b3，则待处理图片1与2之间的人脸特征的相似度包括：人脸图像a与b1的特征信息之间的相似度，人脸图像a与b2的特征信息之间的相似度，及人脸图像a与b3的特征信息之间的相似度。

任意两个人脸图像的特征信息之间的相似度可以通过多种方法来计算，比如，余弦相似距离，欧式距离，或汉明距离等。

步骤103，根据上述步骤102计算的人脸特征的相似度及预置的第一策略对上述多个待处理图片进行聚类得到m个聚类的图片，预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则这两个待处理图片属于同一聚类。

这里，如果上述待处理图片中包含多个人脸图像，第一策略具体为：如果一个待处理图片中某一个人脸图像的特征信息与另一个待处理图片中某一人脸图像的特征信息之间的相似度大于第一阈值，则这一个待处理图片和另一个待处理图片属于同一聚类，说明一个待处理图片中某一个人脸图像与另一待处理图片中每一人脸图像属于同一身份人脸图像。

例如图2a所示，待处理图片1中包括2个人脸图像，即人脸图像a和人脸图像b，待处理图片2中包含1个人脸图像，如果待处理图片1中的人脸图像a的特征信息与待处理图片2中的人脸图像的特征信息之间的相似度大于第一阈值，则待处理图片1与待处理图片2属于同一聚类，说明人脸图像a与待处理图片2中的人脸图像属于同一身份人脸图像，图2a中用同一形状的头型(比如方形)表示同一身份人脸图像，用另一形状的头型(比如圆形)表示另一身份人脸图像。

需要说明的是，在本步骤的聚类时，人脸图像的特征信息具有传递性，即当第i个人脸图像的特征信息和第j个人脸图像的特征信息之间的相似度sij大于第一阈值Th1,且第j个人脸图像的特征信息和第k个人脸图像的特征信息之间的相似度sjk大于第一阈值Th1时，无论第i个人脸图像的特征信息和第k个人脸图像的特征信息之间的相似度如何，都认为第i，j，k这三个人脸图像所在的待处理图片属于同一聚类。

步骤104，根据上述步骤102计算的人脸特征的相似度及预置的第三策略对将m个聚类的图片合并为n个聚类的图片，这里n小于m，预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，大于第三阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并一个聚类的图片与另一聚类的图片。其中，第一预置范围可以是零到一个百分比的范围，第一阈值大于第三阈值。

在一种情况下，每个待处理图片中只包括一个人脸图像，则第三策略具体包括：一个聚类的每个图片中人脸图像的特征信息，分别与另一聚类的每个图片中人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并一个聚类的图片与另一聚类的图片。

例如图2b所示，聚类1中包括3个图片即图片11,图片12和图片13，且这3个图片中都分别包含一个人脸图像，聚类2中包括4个图片即图片21，图片22，图片23和图片24，且这4个图片中都分别包含一个人脸图像，则聚类1的图片与聚类2的图片之间的人脸特征的所有相似度(如图2b中用两个图片之间的一条连线表示一个相似度)包括：图片11与图片21之间，图片11与图片22之间，…….，图片13与图片23之间，图片13与图片24之间的人脸特征的相似度，所有相似度个数x为3*4＝12。其中，如果大于第一阈值的人脸特征的相似度的个数y与x的比值超出第一预置范围，则合并聚类1和聚类2的图片。而对于图2b中所显示的聚类1和聚类2不会合并为同一聚类。

另一种情况下，如果上述待处理图片中包含多个人脸图像，则第三策略具体为：一个聚类的每个图片中第二身份人脸图像的特征信息，分别与另一聚类的每个图片中第三身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并一个聚类的图片与另一聚类的图片，其中，第二身份人脸图像是一个聚类的多个图片中都包含的人脸图像，第三身份人脸图像是另一个聚类的多个图片中都包含的人脸图像。

例如图2c所示，聚类1中包括2个图片即图片11和图片12，且这2个图片中都包含第二身份人脸图像，在图2c中用同一形状的头型表示同一身份人脸图像，则图片11和图片12中都包含具有方形头型的人脸图像a；聚类2中包括2个图片即图片21和图片22，且这2个图片中都包含第三身份人脸图像，即包含具有圆形头型的人脸图像b。则上述聚类1中2个图片的每个图片中第二身份人脸图像的特征信息，分别与上述聚类2中2个图片的每个图片中第三身份人脸图像的特征信息之间的所有相似度包括：图片11中人脸图像a与图片21中人脸图像b之间，图片11中人脸图像a与图片22中人脸图像b之间，图片12中人脸图像a与图片21中人脸图像b之间，图片12中人脸图像a与图片22中人脸图像b之间的特征信息的相似度，所有相似度个数x为2*2＝4。其中，如果大于第三阈值的相似度的个数y与x的比值超出第二预置范围，则合并聚类1和聚类2的图片，说明第三身份人脸图像和第二身份人脸图像属于同一人脸图像。而对于图2c中所显示的聚类1和聚类2不会合并为同一聚类。

需要说明的是，通过上述步骤101到104得到的一个聚类的每个图片中都包含同一身份的人脸图像，且两个聚类的图片中可能包括相同的待处理图片。例如，当某一待处理图片中包含多个身份(以两个为例来说明)的人脸图像时，则该待处理图片会包括在聚类1和聚类2的图片中，其中聚类1的每个图片中都包含身份1的人脸图像，而聚类2的每个图片中都包含身份2的人脸图像。

可见，在本实施例的方法中，图片的人脸聚类装置在对多个待处理图片进行基于人脸的聚类时，可以不用先指定这些待处理图片的类，而是直接根据计算的待处理图片之间的人脸特征的相似度及预置的第一策略对多个待处理图片进行聚类，然后再根据第三策略进行聚类的合并。这样，可以通过多个策略中的多个阈值，即第一阈值和第三阈值对多个待处理图片进行聚类后，可以较为准确地将包含同一身份的人脸图像的待处理图片聚到同一类中。

在一个具体的实施例中，图片的人脸聚类装置可以通过如下步骤执行上述步骤101中提取某一待处理图片中某一人脸图像的特征信息，流程图如图3所示，包括：

步骤201，获取某一人脸图像所包括的各个部分的关键点位置信息。

这里人脸图像所包括的各个部分具体为眼睛，鼻子和嘴巴等五官，而获取的某一部分的关键点位置信息具体可以为该部分的多个轮廓点在该待处理图片中的坐标信息等。

步骤202，根据上述步骤201获取的至少一个部分的关键点位置信息对某一人脸图像进行归一化处理。

这里的归一化处理可以包括多种处理，主要是将该人脸图像缩小或放大到一定范围，使得之后提取特征信息的过程得到简化。在具体的实施例中，归一化处理包括如下步骤2021到2023：

步骤2021，根据上述某一人脸图像中两个眼睛的关键点位置信息计算两个眼睛的中心连线与水平线的夹角。

步骤2022，按照上述步骤计算的夹角旋转某一人脸图像使得某一人脸图像水平。

步骤2023，对旋转后的某一人脸图像进行缩小或放大，使得上述旋转后的人脸图像中两个眼睛的中心连线距离为某一固定值。

步骤203，提取归一化后的人脸图像的特征信息，具体地，提取通过上述步骤2024缩小或放大的人脸图像的特征信息。

在另一个具体的实施例中，图片的人脸聚类装置在执行上述步骤103的聚类之后，不仅得到m个聚类的图片，还得到至少一个离散的待处理图片，即这至少一个离散的待处理图片未归入到任一聚类中。则图片的人脸聚类装置在执行上述步骤104之前，还可以根据上述步骤102计算的人脸特征的相似度及预置的第三策略将这至少一个离散的待处理图片分别合并到m个聚类的任一聚类中，然后再执行步骤104。

其中，预置的第三策略包括：如果某一离散的待处理图片与某一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第二预置范围，将某一聚类的待处理图片归入某一聚类的图片中。这里，第二预置范围可以是零到另一百分比的范围，第一阈值大于第三阈值，第三阈值大于第二阈值。

这里，如果待处理图片中包含多个人脸图像，则第三策略具体为：如果在某一离散的待处理图片中某一人脸图像的特征信息分别与某一聚类的多个图片中第一身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第二预置范围，将某一聚类的待处理图片归入某一聚类的图片中，说明某一人脸图像属于第一身份人脸图像。其中第一身份人脸图像是上述某一聚类的多个图片中都包含的人脸图像。

例如：离散的待处理图片1中包括2个人脸图像，聚类1中包括5个图片，且这5个图片中都包含第一身份人脸图像，则在待处理图片1中的人脸图像a的特征信息分别与聚类1的5个图片中的第一身份人脸图像的特征信息之间的相似度个数x为5，其中，如果大于第三阈值的相似度的个数y与x的比值超出第二预置范围，则将离散的待处理图片1归入该聚类1中，说明人脸图像a属于第一身份人脸图像。

以下以一个具体的实施例来说明本发明实施例的方法，本实施例的方法可以应用于上述服务器与客户端的场景中，且图片的人脸聚类装置具体为上述的服务器，如图4所示，本实施例中图片的人脸聚类方法具体包括：

步骤301，用户通过客户端将多个图片上传给服务器，服务器对这多个图片，先检测各个图片中所有人脸图像的人脸坐标框。

步骤302，服务器对于各个人脸图像及对应的人脸坐标框，分别获取各个人脸图像中五官的关键点位置信息，并根据这些关键点位置信息对人脸图像进行归一化处理。

步骤303，服务器提取各个归一化后的人脸图像的特征信息，具体可以为长度为N的浮点数向量。

步骤304，服务器计算多个图片中，每个图片分别与其它图片之间的人脸特征的相似度，其中，两个图片之间任意两个人脸图像的特征信息进行相似度的计算，具体相似度的计算可以采用如下的公式1来实现：

对任意两个人脸特征进行相似度计算，相似度的具体计算公式1如下：

其中fi代表第i个人脸图像的特征信息，fj代表第j个人脸图像的特征信息，sij为第i个人脸图像的特征信息和第j个人脸图像的特征信息的相似度。其中，某一个人脸图像的特征信息是通过上述步骤303得到的长度N的浮点数向量。

步骤305，服务器根据上述步骤304计算的相似度及第一策略对上述多个图片进行聚类，得到M个聚类{C1，C2，..，CM}的图片，以及一些未被归入到任一聚类中的离散图片。

具体地，当两个人脸图像的特征信息的相似度大于第一阈值Th1时，则判定两个人脸图像属于同一个身份的人脸图像，则将这两个人脸图像所在的图片归到同一聚类中。在本实施例中，图片聚合具有传递性，即当第i个人脸图像的特征信息和第j个人脸图像的特征信息的相似度sij>第一阈值Th1,且第j个人脸图像的特征信息和第k个人脸图像的特征信息的相似度sjk>第一阈值Th1时，无论第i个人脸图像的特征信息和第k个人脸图像的特征信息的相似度如何，都认为第i，j，k这三个人脸图像属于同一个身份。

例如图5所示，通过本步骤，服务器将客户端上传的多个图片聚类为M个聚类{C1，C2，..，CM}的图片，及离散的图片1，2，..，p。图5中，用多层叠在一起的图片表示多个图片，但是层数并不表示图片的个数，只是示意为多个。

步骤306，服务器对于离散的图片，根据上述步骤304计算的相似度及预置的第二策略，将离散的图片分别归入任一聚类中。

具体地，当某个离散的图片中某一人脸图像的特征和某一聚类的各个图片中第一身份人脸图像的特征信息之间的所有相似度中，大于第二阈值Th2的相似度的个数与所有相似度个数的比值超过P1％，则将该离散的图片归入该聚类的图片。其中，第二阈值Th2<第一阈值Th1。这里上述M个聚类的图片中都包含第一身份人脸图像。

步骤307，服务器根据上述步骤304计算的相似度及预置的第三策略将M个聚类的图片合并为N个聚类的图片。

具体地，如果Ci聚类中的每个图片中第二身份人脸图像的特征信息，分别和Cj聚类中第三身份人脸图像的特征信息之间的所有相似度中，大于第三阈值Th3的相似度的个数与所有相似度个数的比值超过P2％，则合并Ci聚类的图片和Cj聚类的图片。其中，第二身份人脸图像是Ci聚类的多个图片中都包含的人脸图像，第三身份人脸图像是Cj聚类的多个图片中都包含的人脸图像。

例如图5所示，经过本步骤，服务器将M个聚类{C1，C2，..，CM}的图片合并为N个聚类{C1，C2，..，CN}的图片。

步骤308，服务器储存N个聚类的图片，且将聚类结果返回给客户端进行显示。

本发明实施例还提供一种图片的人脸聚类装置，比如上述的服务器，其结构示意图如图6所示，具体可以包括：

特征提取单元10，用于分别提取多个待处理图片中人脸图像的特征信息；

相似度计算单元11，用于根据所述特征提取单元10提取的多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；

聚类单元12，用于根据所述相似度计算单元11计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类得到m个聚类的图片，所述预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则所述两个待处理图片属于同一聚类；

第一合并单元13，用于根据所述相似度计算单元11计算的人脸特征的相似度及预置的第三策略对将所述聚类单元12得到的m个聚类的图片合并为n个聚类的图片，所述n小于m，所述预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片。

可见，在本实施例的装置在对多个待处理图片进行基于人脸的聚类时，可以不用先指定这些待处理图片的类，而是有聚类单元12直接根据相似度计算单元11计算的待处理图片之间的人脸特征的相似度及预置的第一策略对多个待处理图片进行聚类，然后第一合并单元13再根据第三策略进行聚类的合并。这样，可以通过多个策略中的多个阈值，即第一阈值和第三阈值对多个待处理图片进行聚类后，可以较为准确地将包含同一身份的人脸图像的待处理图片聚到同一类中。

参考图7所示，在一个具体的实施例中，图片的人脸聚类装置除了可以包括如图5所示的结构外，还可以包括第二合并单元14，且其中的特征提取单元10具体可以通过归一化单元110和提取单元111来实现，其中：

归一化单元110，用于获取所述某一人脸图像所包括的各个部分的关键点位置信息；根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理；

提取单元111，用于提取所述归一化单元110得到的归一化后的人脸图像的特征信息，这样相似度计算单元11根据提取单元111得到的特征信息进行计算。

具体地，所述归一化单元110，具体用于在根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理时，根据所述某一人脸图像中两个眼睛的关键点位置信息计算所述两个眼睛的中心连线与水平线的夹角；按照所述计算的夹角旋转所述某一人脸图像使得所述某一人脸图像水平；然后对所述旋转后的某一人脸图像进行缩小或放大，使得旋转后的人脸图像中两个眼睛的中心连线距离为某一固定值；而所述提取单元111，具体用于提取缩小或放大后的人脸图像的特征信息。

第二合并单元14，用于如果所述聚类单元12根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类后，还得到至少一个离散的待处理图片，根据所述计算的人脸特征的相似度及预置的第二策略将所述至少一个离散的待处理图片分别合并到所述m个聚类的任一聚类中；然后第一合并单元13再对m个聚类的图片进行合并。

其中，所述预置的第二策略包括：如果某一离散的待处理图片与某一聚类的图片之间的人脸特征的所有相似度中，如果大于第二阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第二预置范围，将所述某一离散的待处理图片归入所述某一聚类的图片中；所述第一阈值大于第二阈值，所述第二阈值大于第三阈值。

在具体的实施例中，如果所述待处理图片中包括多个人脸图像，则：

所述第一策略具体包括：如果一个待处理图片中某一人脸图像的特征信息与另一个待处理图片中某一人脸图像的特征信息之间的相似度大于第一阈值，所述一个待处理图片与另一个待处理图片属于同一聚类；

所述第二策略包括：如果在某一离散的待处理图片中某一人脸图像的特征信息，分别与某一聚类的每个图片中第一身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第二预置范围，将某一聚类的待处理图片归入某一聚类的图片中；所述第一身份人脸图像是所述某一聚类的多个图片中都包含的人脸图像；

所述第三策略具体包括：一个聚类的每个图片中第二身份人脸图像的特征信息，分别与另一聚类的每个图片中第三身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片，其中，所述第二身份人脸图像是所述一个聚类的多个图片中都包含的人脸图像，所述第三身份人脸图像是所述另一个聚类的多个图片中都包含的人脸图像。

本发明实施例还提供一种服务器，其结构示意图如图8所示，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在服务器上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括图片的人脸聚类的应用程序，且该程序可以包括上述图片的人脸聚类装置中的特征提取单元10所包括的归一化单元110和提取单元111，相似度计算单元11，聚类单元12，第一合并单元13和第二合并单元14，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在服务器上执行存储介质22中储存的图片的人脸聚类的应用程序对应的一系列操作。

服务器还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作***223，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例中所述的由图片的人脸聚类装置所执行的步骤可以基于该图8所示的服务器的结构。

本发明实施例还提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如上述图片的人脸聚类装置所执行的图片的人脸聚类方法。

本发明实施例还提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如上述图片的人脸聚类装置所执行的图片的人脸聚类方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。

以上对本发明实施例所提供的图片的人脸聚类方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图片的人脸聚类方法，其特征在于，包括：

分别提取多个待处理图片中人脸图像的特征信息；

根据所述多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；

根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类得到m个聚类的图片，所述预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则所述两个待处理图片属于同一聚类；

根据所述计算的人脸特征的相似度及预置的第三策略对将所述m个聚类的图片合并为n个聚类的图片，所述n小于m，所述预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所述所有相似度的个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片。

2.如权利要求1所述的方法，其特征在于，提取某一待处理图片中某一人脸图像的特征信息具体包括：

获取所述某一人脸图像所包括的各个部分的关键点位置信息；

根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理；

提取所述归一化后的人脸图像的特征信息。

3.如权利要求2所述的方法，其特征在于，所述根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理，具体包括：

根据所述某一人脸图像中两个眼睛的关键点位置信息计算所述两个眼睛的中心连线与水平线的夹角；

按照所述计算的夹角旋转所述某一人脸图像使得所述某一人脸图像水平；

对旋转后的人脸图像进行缩小或放大，使得所述旋转后的人脸图像中两个眼睛的中心连线距离为某一固定值；

所述提取所述归一化后的人脸图像的特征信息，具体包括：提取缩小或放大后的人脸图像的特征信息。

4.如权利要求1所述的方法，其特征在于，所述待处理图片中包括多个人脸图像；

则所述第一策略具体包括：如果一个待处理图片中某一人脸图像的特征信息与另一个待处理图片中某一人脸图像的特征信息之间的相似度大于第一阈值，所述一个待处理图片与另一个待处理图片属于同一聚类。

5.如权利要求1所述的方法，其特征在于，所述待处理图片中包括多个人脸图像；

则所述第三策略具体包括：一个聚类的每个图片中第二身份人脸图像的特征信息，分别与另一聚类的每个图片中第三身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片，其中，所述第二身份人脸图像是所述一个聚类的多个图片中包含的人脸图像，所述第三身份人脸图像是所述另一个聚类的多个图片中都包含的人脸图像。

6.如权利要求1至5任一项所述的方法，其特征在于，如果根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类后，还得到至少一个离散的待处理图片，则所述根据所述计算的人脸特征的相似度及预置的第三策略对将所述m个聚类的图片合并为n个聚类的图片之前，所述方法还包括：

根据所述计算的人脸特征的相似度及预置的第二策略将所述至少一个离散的待处理图片分别合并到所述m个聚类的任一聚类中；

所述预置的第二策略包括：如果某一离散的待处理图片与某一聚类的图片之间的人脸特征的所有相似度中，如果大于第二阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第二预置范围，将所述某一离散的待处理图片归入所述某一聚类的图片中；所述第一阈值大于第二阈值，所述第二阈值大于第三阈值。

7.如权利要求4所述的方法，其特征在于，如果所述待处理图片中包括多个人脸图像，则：

所述第二策略包括：如果在某一离散的待处理图片中某一人脸图像的特征信息分别与某一聚类的每个图片中第一身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第二预置范围，将某一聚类的待处理图片归入某一聚类的图片中；所述第一身份人脸图像是所述某一聚类的多个图片中都包含的人脸图像。

8.一种图片的人脸聚类装置，其特征在于，包括：

特征提取单元，用于分别提取多个待处理图片中人脸图像的特征信息；

相似度计算单元，用于根据所述多个待处理图片中人脸的特征信息，计算每个待处理图片分别与其它待处理图片之间的人脸特征的相似度；

聚类单元，用于根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类得到m个聚类的图片，所述预置的第一策略包括：如果两个待处理图片之间的人脸特征的相似度大于第一阈值，则所述两个待处理图片属于同一聚类；

第一合并单元，用于根据所述计算的人脸特征的相似度及预置的第三策略对将所述m个聚类的图片合并为n个聚类的图片，所述n小于m，所述预置的第三策略包括：一个聚类的图片与另一聚类的图片之间的人脸特征的所有相似度中，如果大于第三阈值的人脸特征的相似度的个数与所述所有相似度的个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片。

9.如权利要求8所述的装置，其特征在于，所述特征提取单元包括：

归一化单元，用于获取所述某一人脸图像所包括的各个部分的关键点位置信息；根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理；

提取单元，用于提取所述归一化后的人脸图像的特征信息。

10.如权利要求9所述的装置，其特征在于，

所述归一化单元，具体用于在根据至少一个部分的关键点位置信息对所述某一人脸图像进行归一化处理时，根据所述某一人脸图像中两个眼睛的关键点位置信息计算所述两个眼睛的中心连线与水平线的夹角；按照所述计算的夹角旋转所述某一人脸图像使得所述某一人脸图像水平；对所述旋转后的人脸图像进行缩小或放大，使得所述旋转后的人脸图像中两个眼睛的中心连线距离为某一固定值；

所述提取单元，具体用于提取缩小或放大后的人脸图像的特征信息。

11.如权利要求8至10任一项所述的装置，其特征在于，还包括：

第二合并单元，用于如果所述聚类单元根据所述计算的人脸特征的相似度及预置的第一策略对所述多个待处理图片进行聚类后，还得到至少一个离散的待处理图片，根据所述计算的人脸特征的相似度及预置的第二策略将所述至少一个离散的待处理图片分别合并到所述m个聚类的任一聚类中；

所述预置的第二策略包括：如果某一离散的待处理图片与某一聚类的图片之间的人脸特征的所有相似度中，如果大于第二阈值的人脸特征的相似度的个数与所有相似度个数的比值超出第二预置范围，将所述某一离散的待处理图片归入所述某一聚类的图片中；所述第一阈值大于第二阈值，所述第二阈值大于第三阈值。

12.如权利要求11所述的装置，其特征在于，如果所述待处理图片中包括多个人脸图像，则：

所述第一策略具体包括：如果一个待处理图片中某一人脸图像的特征信息与另一个待处理图片中某一人脸图像的特征信息之间的相似度大于第一阈值，所述一个待处理图片与另一个待处理图片属于同一聚类；

所述第二策略包括：如果在某一离散的待处理图片中某一人脸图像的特征信息分别与某一聚类的每个图片中第一身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第二预置范围，将某一聚类的待处理图片归入某一聚类的图片中；所述第一身份人脸图像是所述某一聚类的多个图片中都包含的人脸图像；

所述第三策略具体包括：一个聚类的每个图片中第二身份人脸图像的特征信息，分别与另一聚类的每个图片中第三身份人脸图像的特征信息之间的所有相似度中，大于第三阈值的相似度的个数与所有相似度个数的比值超出第一预置范围，则合并所述一个聚类的图片与另一聚类的图片，其中，所述第二身份人脸图像是所述一个聚类的多个图片中都包含的人脸图像，所述第三身份人脸图像是所述另一个聚类的多个图片中都包含的人脸图像。

13.一种存储介质，其特征在于，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如权利要求1至8任一项所述的图片的人脸聚类方法。

14.一种终端设备，其特征在于，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如权利要求1至8任一项所述的图片的人脸聚类方法。