CN111783743A - 一种图像聚类方法及装置 - Google Patents

一种图像聚类方法及装置 Download PDF

Info

Publication number
CN111783743A
CN111783743A CN202010758475.2A CN202010758475A CN111783743A CN 111783743 A CN111783743 A CN 111783743A CN 202010758475 A CN202010758475 A CN 202010758475A CN 111783743 A CN111783743 A CN 111783743A
Authority
CN
China
Prior art keywords
image
class
classes
image class
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010758475.2A
Other languages
English (en)
Inventor
梁晓涛
俞梦洁
张志齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yitu Network Science and Technology Co Ltd
Original Assignee
Shanghai Yitu Network Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yitu Network Science and Technology Co Ltd filed Critical Shanghai Yitu Network Science and Technology Co Ltd
Priority to CN202010758475.2A priority Critical patent/CN111783743A/zh
Publication of CN111783743A publication Critical patent/CN111783743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理领域，尤其涉及一种图像聚类方法及装置，分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果；分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并，这样，通过合并人脸聚类结果和人体聚类结果，可以提高图像聚类和归档的精确度和召回率。

Description

一种图像聚类方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种图像聚类方法及装置。
背景技术
实际中，在对图像处理时，经常会有对大量图像进行聚类归档的需求，例如在人工智能、安防等领域，通过图像聚类，将属于同一个人的图像归为同一个档案，属于不同人的图像归属为不同的档案，可以用于分析不同用户的行为、图像检索等，如何更加准确地对图像进行聚类并提高图像召回率是非常必要的。
发明内容
本申请实施例提供一种图像聚类方法及装置，以提高图像聚类和归档的精确度和召回率。
本申请实施例提供的具体技术方案如下：
一种图像聚类方法，包括：
分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，所述第一图像聚类结果中包括多个第一图像类，所述第二图像聚类结果中包括多个第二图像类；
分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；
根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
可选的，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像，具体包括：
针对任意一个第二图像类，分别将所述任意一个第二图像类中各包含人脸的图像的人脸特征，与所述各第一图像类对应的人脸特征进行匹配，确定所述各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类；
分别确定匹配出的各第一图像类的出现次数；
将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类；
过滤掉所述任意一个第二图像类中包含人脸但不属于所述出现次数最大的第一图像类的图像。
可选的，将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类，具体包括：
若确定出现次数最大的第一图像类有至少两个，则分别获取所述任意一个第二图像类中与各出现次数最大的第一图像类对应的图像的质量分值；
分别计算所述各出现次数最大的第一图像类对应的平均质量分值；
将平均质量分值最大，并出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类。
可选的，进一步包括：确定出现次数最大的取值大于设定值。
可选的，根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并，具体包括：
分别将过滤后的各第二图像类中剩余的图像，合并到所属的第一图像类中。
可选的，分别将过滤后的各第二图像类与所属的第一图像类进行合并后，进一步包括：删除合并后的各第二图像类。
一种图像聚类装置，包括：
聚类模块，用于分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，所述第一图像聚类结果中包括多个第一图像类，所述第二图像聚类结果中包括多个第二图像类；
处理模块，用于分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；
合并模块，用于根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
可选的，所述处理模块具体用于：
针对任意一个第二图像类，分别将所述任意一个第二图像类中各包含人脸的图像的人脸特征，与所述各第一图像类对应的人脸特征进行匹配，确定所述各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类；
分别确定匹配出的各第一图像类的出现次数；
将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类；
过滤掉所述任意一个第二图像类中包含人脸但不属于所述出现次数最大的第一图像类的图像。
可选的，将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类时，所述处理模块具体用于：
若确定出现次数最大的第一图像类有至少两个，则分别获取所述任意一个第二图像类中与各出现次数最大的第一图像类对应的图像的质量分值；
分别计算所述各出现次数最大的第一图像类对应的平均质量分值；
将平均质量分值最大，并出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类。
可选的，所述处理模块进一步用于：确定出现次数最大的取值大于设定值。
可选的，根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并时，合并模块具体用于：分别将过滤后的各第二图像类中剩余的图像，合并到所属的第一图像类中。
可选的，分别将过滤后的各第二图像类与所属的第一图像类进行合并后，进一步包括：删除模块，用于删除合并后的各第二图像类。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种图像聚类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像聚类方法的步骤。
本申请实施例中，分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，并且分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像，进而根据过滤后的各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并，这样，可以利用人脸特征聚类结果，对人体特征聚类结果进行过滤，提高人体聚类归档结果的准确性，并且还可以合并人脸特征聚类结果和人体特征聚类结果，使得属于同一人的图像尽可能合并为一个图像类，提高了图像聚类和归档的准确性，并且提高了图像召回率。
附图说明
图1为本申请实施例中图像聚类方法流程图；
图2为本申请实施例中另一种图像聚类方法流程图；
图3为本申请实施例中图像聚类方法的实现效果示意图；
图4为本申请实施例中图像聚类装置结构示意图；
图5为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实际中，在对图像处理时，经常会有对大量图像进行聚类归档的需求，通过图像聚类，将属于同一个人的图像归为同一个档案，属于不同人的图像归属为不同的档案，例如在人工智能领域，图像聚类归档后，获得不同用户对应的图像档案，可以作为训练数据进行模型训练，以用于图像识别，又例如，在安防领域，图像聚类归档后，可以针对不同用户进行图像检索、匹配等，来查找跟踪用户等，因此如何更加准确地对图像进行聚类是非常必要的。
相关技术中，可以采用人体特征进行图像聚类归档，但是对于相似衣服、制服等情况，由于只依赖人体特征很难区分不同的人，聚类归档的精确度很低，另外相关技术中还可以采用人脸特征进行图像聚类归档，但是并不是所有图像中都具有人脸特征，也会导致聚类归档的效果较差，因此，相关技术中，仅采用单一的因素进行图像聚类，准确性较低，不同的聚类结果也无法统一管理。
因此，针对上述问题，本申请实施例中提供了一种图像聚类方法，分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，并分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及各第二图像类中包含人脸的图像的人脸特征，确定出各第二图像类所属的第一图像类，并过滤掉各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像，进而分别将各第一图像类和过滤后的各第二图像类进行合并，这样，分别采用人脸特征和人体特征对图像进行聚类归档，可以利用人脸聚类归档结果，对人体聚类归档结果进行过滤筛选，提高人体聚类归档的准确性，并且通过合并人脸聚类归档结果和人体聚类归档结果，可以使得属于同一人的图像尽可能合并为一个图像类，而不是分散为多个人脸档案或人体档案，从而可以提高图像聚类准确性，并提高图像召回率。
另外需要说明的是，本申请实施例中的图像聚类方法，可以由服务器执行，服务器获得到大量图像后，针对这些图像采用本申请实施例中的图像聚类方法进行聚类，当然，该图像聚类方法也可以应用于终端，本申请实施例中并不进行限制。
基于上述实施例，参阅图1所示，为本申请实施例中图像聚类方法流程图，该方法包括：
步骤100：分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，第一图像聚类结果中包括多个第一图像类，第二图像聚类结果中包括多个第二图像类。
实际中，例如通过安防摄像头或从其它渠道获取到的图像，一张图像中可能包含人体特征，也可能包含人脸特征，也可能同时包含人体特征和人脸特征，本申请实施例中，分别采用人脸特征和人体特征进行聚类。
执行步骤100时，具体包括：
S1、根据人脸特征对各图像进行聚类，获得第一图像聚类结果。
具体地，分别对各图像中包含人脸的图像进行人脸特征提取，获得包含人脸的图像对应的人脸特征，并根据人脸特征进行聚类，将人脸特征相似度大于人脸特征阈值的图像聚为一类，从而获得第一图像聚类结果。
其中，第一图像聚类结果中包括多个第一图像类，本申请实施例中可以认为聚为一类的图像属于同一用户，针对包含人脸的图像进行人脸特征聚类，并不限制图像中包含完整人脸，只需要包含人脸特征即可，也可以设置条件，例如包括的人脸面积大于面积阈值等，本申请实施例中并不进行限制。
S2、根据人体特征对各图像进行聚类，获得第二图像聚类结果。
具体地，分别对各图像中包含人体特征的图像进行人体特征提取，获得包含人体特征的图像对应的人体特征，并根据人体特征进行聚类，将人体特征相似度大于人体特征阈值的图像聚为一类，从而获得第二图像聚类结果。
其中，人体特征例如为穿着、头发等特征，本申请实施例中并不进行限制，第二聚类结果中包括多个第二图像类，也可以认为根据人体特征聚为一类的图像属于同一用户。
本申请实施例中，对于基于人脸特征和人体特征进行聚类的方法并不进行限制，也可以采用相应的模型进行特征提取和聚类，并且由于一张图像中可能同时包含人脸特征和人体特征，因此，分别采用人脸特征和人体特征进行聚类时，可能一张图像既聚类到第一图像类中又聚类到第二图像类中，而聚为一类的图像可以认为是属于同一用户，会导致属于同一人的图像会分散到不同的图像类中，因此，本申请实施例中针对不同的聚类结果进行处理和合并等，以提高聚类准确性。
步骤110：分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及各第二图像类中包含人脸的图像的人脸特征，确定出各第二图像类所属的第一图像类，并过滤掉各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像。
本申请实施例中，分别针对各个包含人脸的图像的第二图像类，进行处理，对第二图像类进行筛选过滤等，以针对其中任意一个包含人脸的第二图像类为例进行说明，具体执行步骤110时，包括：
S1、针对任意一个第二图像类，分别将任意一个第二图像类中各包含人脸的图像的人脸特征，与各第一图像类对应的人脸特征进行匹配，确定各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类。
由于人体特征较难以区分、人脸和人体模型性能等因素，因此人脸聚类归档的精确度和召回率都相比人体归档结果要好，第一图像类是根据人脸特征进行聚类的，因此，本申请实施例中，可以先将第一图像类作为标准，认为第一图像类中的图像都属于同一人的可能性更高，进而对第二图像类进行过滤和合并。
例如，第一图像聚类结果中有10个第一图像类，可以根据每个第一图像类中的图像的人脸特征，计算每个第一图像类的平均人脸特征，或者计算每个第一图像类的中心人脸特征，有一个第二图像类A中有5张图像，分别为a1、a2、a3、a4和a5，其中a1、a2、a3为包含人脸的图像，则分别将a1、a2、a3的人脸特征，与这10个第一图像类对应的人脸特征进行匹配，判断人脸特征的相似度，确定人脸特征相似度最高的第一图像类，例如a1、a2均与第一图像类1的人脸特征相似度最高，a3与第一图像类2的人脸特征相似度最高。
又例如，由于在聚类时是针对各图像分别采用人脸特征和人体特征进行聚类，可能一张图像既聚类到第一图像类中又聚类到第二图像类中，在针对第二图像类中的包含人脸的图像，与第一图像类进行匹配时，其实可知第二图像类中包含人脸的图像也同样存在于第一图像类中，因此在匹配时，还可以直接根据图像标识，直接查询第二图像类中包含人脸的图像在哪个第一图像类中，即匹配到人脸特征相似度最高的第一图像类，例如，第二图像类A中有5张图像，分别为a1、a2、a3、a4和a5，其中a1、a2、a3为包含人脸的图像，可以查询a1、a2、a3分别在哪个第一图像类中，即匹配到第一图像类，这种直接查询方式更加简单，计算效率更高。
S2、分别确定匹配出的各第一图像类的出现次数。
S3、将出现次数最大的第一图像类，作为任意一个第二图像类所属的第一图像类。
例如，上述例子中的第二图像类A对应匹配出的第一图像类分别为第一图像类1和第一图像类2，出现次数分别为2次和1次，则将第一图像类1作为该第二图像类A所属的第一图像类，认为第一图像类1和该第二图像类A中的图像应该属于同一人。
S4、过滤掉任意一个第二图像类中包含人脸但不属于出现次数最大的第一图像类的图像。
即本申请实施例中，确定第二图像类所属的第一图像类后，对于第二图像类中包含人脸但不属于该出现次数最大的第一图像类，即不属于确定出的所属的第一图像类的图像，进行过滤删除，这是因为，对于包含人脸的图像已经进行了匹配，其不属于确定出的所属的第一图像类，则可以认为不属于该第一图像类对应的用户，与第二图像类中的其它图像分属于不同的用户，在人体特征聚类时结果出现了误差，因此将这部分包含人脸但不属于确定出的所属的第一图像类的图像过滤，而对于不包含人脸的图像，由于其未进行人脸匹配，可以认为基于人体特征聚类是正确的，仍属于同一用户，不进行过滤。
例如，确定该第二图像类A所属的第一图像类为第一图像类1，第二图像类A中有5张图像，分别为a1、a2、a3、a4和a5，其中a1、a2、a3为包含人脸的图像，a1、a2均与第一图像类1的人脸特征相似度最高，则过滤掉该第二图像类A中的图像a3。
进一步地，在匹配时可能会有出现次数相同的情况，则具体地执行该S3时本申请实施例中还提供了一种可能的实施方式：若确定出现次数最大的第一图像类有至少两个，则分别获取任意一个第二图像类中与各出现次数最大的第一图像类对应的图像的质量分值；分别计算各出现次数最大的第一图像类对应的平均质量分值；将平均质量分值最大，并出现次数最大的第一图像类，作为任意一个第二图像类所属的第一图像类。
例如，第二图像类C中有c1、c2、c3、c4和c5，c1、c2、c3、c4为包含人脸的图像，与第一图像类进行匹配后，c1、c2与第一图像类1相似度最高，c3、c4与第一图像类2相似度最高，则第一图像类1和第二图像类2的出现次数相同，均为2次，则计算c1和c2的平均质量分值，例如为图像清晰度分值，计算c3和c4的平均质量分值，若c1和c2的平均质量分值大于c3和c4的平均质量分值，则将第一图像类1作为该第二图像类C所属的第一图像类，进而删除c3和c4，第二图像类C中剩余图像为c1、c2和c5。
进一步地，为进一步提高准确性和可靠性，在将出现次数最大的第一图像类，作为任意一个第二图像类所属的第一图像类之前，还包括：确定出现次数最大的取值大于设定值。
其中，设定值可以根据实际情况和经验进行设置，本申请实施例中并不进行限制，例如设置为1次。
例如，若某个第二图像类中包含人脸的图像与第一图像类进行匹配后，匹配到两个第一图像类，并且出现次数均为1次，即最大出现次数为1次，虽然匹配到了第一图像类，但是由于出现次数较小，可能会出现误差的情况，因此，通过出现次数的限制，可以减少错误，提高准确性，若出现次数的取值大于设定值，则可以作为第二图像类所属的第一图像类，并对第二图像类进行过滤，若出现次数的取值不大于设定值，则可以不进行过滤和合并操作，等待后续若第二图像类中的图像有增加，再重新进行匹配和判断。
这样，本申请实施例中，根据第一图像类的结果，来对第二图像类进行过滤和筛选，可以提高人体聚类归档的准确性，减少穿着相似衣服或制服的非同人的图像归为同一个档案的错误。
步骤120：根据过滤后的各第二图像类，以及确定出的各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
执行步骤120时，具体包括：
分别将过滤后的各第二图像类中剩余的图像，合并到所属的第一图像类中。
例如，确定该第二图像类A所属的第一图像类为第一图像类1，第二图像类A中有5张图像，分别为a1、a2、a3、a4和a5，其中a1、a2、a3为包含人脸的图像，a1、a2均与第一图像类1的人脸特征相似度最高，过滤掉该第二图像类A中的图像a3，则过滤后第二图像类A中图像为a1、a2、a4和a5，进而将a1、a2、a4和a5合并到第一图像类1中，认为与第一图像类1中的图像均属于同一人。
进一步地，分别将各第一图像类和各第二图像类进行合并后，还包括：删除合并后的各第二图像类。
例如，将第二图像类A与第一图像类1合并后，可以删除第二图像类A。
进一步地，本申请实施例中针对包含人脸的图像的第二图像类进行过滤和合并等操作，而对于没有包含人脸的图像的第二图像类，可以先不进行处理，直接作为合并后的图像类，后续继续聚类归档时，第二图像类中通过人体特征进行聚类，可能会增加更多的图像和包含人脸的图像，这时再对这些第二图像类进行匹配、过滤和合并等操作，目的是尽量将属于同一人的图像均归为同一个档案中。
本申请实施例中，分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，并且分别针对包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及各第二图像类中包含人脸的图像的人脸特征，确定出各第二图像类所属的第一图像类，并过滤掉各第二图像类中不属于确定出的所属的第一图像类的图像，进而分别将各第一图像类和过滤后的各第二图像类进行合并，这样，根据人脸特征聚类的第一图像聚类结果，对根据人体特征聚类的第二图像聚类结果进行过滤，提高第二图像聚类结果的准确性，进而以人脸归档聚类结果为标准，合并第一图像聚类结果和第二图像聚类结果，使得属于同一人的图像类或档案合并在一起，便于不同用户的图像档案管理，提高图像聚类准确性，并且可以提高图像召回率。
基于上述实施例，参阅图2所示，为本申请实施例中另一种图像聚类方法流程图，该方法包括：
步骤200：根据人脸特征对各图像进行聚类，获得第一图像聚类结果。
步骤201：根据人体特征对各图像进行聚类，获得第二图像聚类结果。
步骤202：判断第二图像类中是否存在包含人脸的图像，若是，则执行步骤207，否则，则执行步骤203。
也就是说，本申请实施例中分别针对第二图像聚类结果中的各个第二图像类，先进行判断，若判断存在包含人脸的图像，则继续执行后续步骤，若判断不存在包含人脸的图像，则可以结束，不存在包含人脸的图像的第二图像类，不与第一图像类进行合并，可以直接作为单独一个类或档案，后续若该第二图像类中出现了包含人脸的图像了，则再进行过滤并与所属的第一图像类进行合并。
步骤203：确定出第二图像类所属的第一图像类。
具体地，将第二图像类中各包含人脸的图像的人脸特征，与各第一图像类对应的人脸特征进行匹配，确定各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类，进而根据匹配出的各第一图像类的出现次数，确定第二图像类所属的第一图像类。
步骤204：过滤掉第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像。
步骤205：将各第一图像类和过滤后的各第二图像类进行合并。
步骤206：删除合并后的各第二图像类。
步骤207：结束。
这样，本申请实施例中，根据人脸特征聚类归档结果，对根据人体特征聚类归档结果进行过滤，确定第一图像类和第二图像类之间的关联关系，确定是否属于同一人，进而将属于同一人的第一图像类和第二图像类进行合并，提高图像聚类和归档的准确性。
下面采用具体应用场景，对上述实施例中图像聚类方法的实现原理和效果进行简单说明。参阅图3所示，为本申请实施例中图像聚类方法的实现效果示意图。
1)本申请实施例中，分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，例如，如图3所示，第一图像聚类结果中包括2个第一图像类，分别为DF1和DF2，第二图像聚类结果中包括2个第二图像类，分别为DP1和DP2，其中，为便于查看和说明，图3中的圆圈代表人脸特征，矩形代表人体特征，DF1中包括图像R1、R4和R6，DF2中包括图像R2、R5和R7，DP1中包括图像R1和R2，DP2中包括图像R3、R4、R5和R6，R1、R2、R4、R5、R6中既包含人脸特征又包含人体特征，R7中仅包含人脸特征，R3仅包含人体特征。
2)DP1和DP2均有包含人脸的图像，则将DP1中的R1和R2的人脸特征分别与DF1、DF2的人脸特征进行匹配，例如，R1与DF1的人脸特征相似度最高，R2与DF2的人脸特征相似度最高。
将DP2中的R4、R5和R6的人脸特征分别与DF1、DF2的人脸特征进行匹配，例如，R4和R6与DF1的人脸特征相似度最高，R5与DF2的人脸特征相似度最高，图3中箭头仅示出匹配的第二图像类中包含人脸的图像与第一图像类的人脸特征相似度最高的关联关系。
3)DP1对应匹配出的第一图像类有两个，并且出现次数均为一次，则可以进一步判断R1和R2的图像质量分值，取图像质量分值最大的图像对应匹配的第一图像类，作为DP1所属的第一图像类，例如为DF1。
DP2对应匹配出的第一图像类有两个，出现次数分别为1次和2次，则取出现次数最大的第一图像类，作为DP2所属的第一图像类，即为DF1。
4)分别对DP1和DP2进行过滤，并与DF1和DF2进行合并。
例如，DP1所属的第一图像类为DF1，则将DP1中的R2删除，并将R1合并到DF1中，这时，由于DF1中已经存在R1了，则DF1中只需保留一个R1即可，并且虽然将DP1中的R2删除了，但是从图3可知，在基于人脸特征聚类时，R2也同时存在于DF2中，因此删除DP1中的R2也不会造成图像的丢失。
DP2对应所属的第一图像类为DF2，则将DP2中的R5删除，并将R3、R4和R6合并到DF1中，可知，这时，虽然R3仅包含人体特征，但是通过匹配分析，也可以认为R3属于DF1对应的用户，可以合并到一个档案中。
这样，通过合并后，最终DF1中包括图像R1、R3、R4和R6，DF2中包括图像R2、R5和R7，可以认为R1、R3、R4和R6为属于同一个人的图像，R2、R5和R7为属于同一个人的图像，并且DF1和DF2分别对应不同的人，并且合并后，可以删除DP1和DP2，以节省存储资源。
进一步地，本申请实施例中还可以过滤掉图像质量较低的图像，对此并不进行限制。
本申请实施例中，根据人脸特征的聚类结果，对根据人体特征的聚类结果进行过滤和匹配，提高人体聚类归档的准确性，并且合并人体聚类结果和人体聚类结果，将属于同一人的图像尽量合并为一个档案，而不是分散为多个人脸或人体聚类档案中，提高了图像聚类和归档的准确性，也提高了图像召回率，对于用户图像检索、查询等应用，还可以提高效率和可靠性。
基于同一发明构思，本申请实施例中还提供了一种图像聚类装置，该图像聚类装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图4所示，本申请实施例中图像聚类装置，具体包括：
聚类模块40，用于分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，所述第一图像聚类结果中包括多个第一图像类，所述第二图像聚类结果中包括多个第二图像类；
处理模块41，用于分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；
合并模块42，用于根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
可选的，所述处理模块41具体用于：
针对任意一个第二图像类，分别将所述任意一个第二图像类中各包含人脸的图像的人脸特征，与所述各第一图像类对应的人脸特征进行匹配，确定所述各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类；
分别确定匹配出的各第一图像类的出现次数；
将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类；
过滤掉所述任意一个第二图像类中包含人脸但不属于所述出现次数最大的第一图像类的图像。
可选的，将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类时，所述处理模块41具体用于：
若确定出现次数最大的第一图像类有至少两个，则分别获取所述任意一个第二图像类中与各出现次数最大的第一图像类对应的图像的质量分值；
分别计算所述各出现次数最大的第一图像类对应的平均质量分值；
将平均质量分值最大，并出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类。
可选的，所述处理模块41进一步用于：确定出现次数最大的取值大于设定值。
可选的，根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并时，合并模块42具体用于：分别将过滤后的各第二图像类中剩余的图像，合并到所属的第一图像类中。
可选的，分别将过滤后的各第二图像类与所属的第一图像类进行合并后，进一步包括：删除模块43，用于删除合并后的各第二图像类。
基于上述实施例，参阅图5所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备，该电子设备可以包括处理器510(CenterProcessing Unit，CPU)、存储器520、输入设备530和输出设备540等，输入设备530可以包括键盘、鼠标、触摸屏等，输出设备540可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器520可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器510提供存储器520中存储的程序指令和数据。在本申请实施例中，存储器520可以用于存储本申请实施例中任一种图像聚类方法的程序。
处理器510通过调用存储器520存储的程序指令，处理器510用于按照获得的程序指令执行本申请实施例中任一种图像聚类方法。
基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的图像聚类方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像聚类方法，其特征在于，包括：
分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，所述第一图像聚类结果中包括多个第一图像类，所述第二图像聚类结果中包括多个第二图像类；
分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；
根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
2.如权利要求1所述的方法，其特征在于，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像，具体包括：
针对任意一个第二图像类，分别将所述任意一个第二图像类中各包含人脸的图像的人脸特征，与所述各第一图像类对应的人脸特征进行匹配，确定所述各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类；
分别确定匹配出的各第一图像类的出现次数；
将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类；
过滤掉所述任意一个第二图像类中包含人脸但不属于所述出现次数最大的第一图像类的图像。
3.如权利要求2所述的方法，其特征在于，将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类，具体包括：
若确定出现次数最大的第一图像类有至少两个，则分别获取所述任意一个第二图像类中与各出现次数最大的第一图像类对应的图像的质量分值；
分别计算所述各出现次数最大的第一图像类对应的平均质量分值；
将平均质量分值最大，并出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类。
4.如权利要求2或3所述的方法，其特征在于，进一步包括：
确定出现次数最大的取值大于设定值。
5.如权利要求1所述的方法，其特征在于，根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并，具体包括：
分别将过滤后的各第二图像类中剩余的图像，合并到所属的第一图像类中。
6.如权利要求1或5所述的方法，其特征在于，分别将过滤后的各第二图像类与所属的第一图像类进行合并后，进一步包括：
删除合并后的各第二图像类。
7.一种图像聚类装置，其特征在于，包括：
聚类模块，用于分别根据人脸特征和人体特征对各图像进行聚类，获得第一图像聚类结果和第二图像聚类结果，其中，所述第一图像聚类结果中包括多个第一图像类，所述第二图像聚类结果中包括多个第二图像类；
处理模块，用于分别针对存在包含人脸的图像的各第二图像类，根据各第一图像类对应的人脸特征以及所述各第二图像类中包含人脸的图像的人脸特征，确定出所述各第二图像类所属的第一图像类，并过滤掉所述各第二图像类中包含人脸但不属于确定出的所属的第一图像类的图像；
合并模块，用于根据过滤后的所述各第二图像类，以及确定出的所述各第二图像类所属的第一图像类，分别将过滤后的各第二图像类与所属的第一图像类进行合并。
8.如权利要求7所述的装置，其特征在于，所述处理模块具体用于：
针对任意一个第二图像类，分别将所述任意一个第二图像类中各包含人脸的图像的人脸特征，与所述各第一图像类对应的人脸特征进行匹配，确定所述各包含人脸的图像匹配出的人脸特征相似度最高的第一图像类；
分别确定匹配出的各第一图像类的出现次数；
将出现次数最大的第一图像类，作为所述任意一个第二图像类所属的第一图像类；
过滤掉所述任意一个第二图像类中包含人脸但不属于所述出现次数最大的第一图像类的图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
CN202010758475.2A 2020-07-31 2020-07-31 一种图像聚类方法及装置 Pending CN111783743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010758475.2A CN111783743A (zh) 2020-07-31 2020-07-31 一种图像聚类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010758475.2A CN111783743A (zh) 2020-07-31 2020-07-31 一种图像聚类方法及装置

Publications (1)

Publication Number Publication Date
CN111783743A true CN111783743A (zh) 2020-10-16

Family

ID=72766250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010758475.2A Pending CN111783743A (zh) 2020-07-31 2020-07-31 一种图像聚类方法及装置

Country Status (1)

Country Link
CN (1) CN111783743A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686141A (zh) * 2020-12-29 2021-04-20 杭州海康威视数字技术股份有限公司 人员归档方法、装置及电子设备
CN112948612A (zh) * 2021-03-16 2021-06-11 杭州海康威视数字技术股份有限公司 人体封面生成方法、装置、电子设备及存储介质
CN113360688A (zh) * 2021-06-28 2021-09-07 北京百度网讯科技有限公司 信息库的构建方法、装置及***
CN114333039A (zh) * 2022-03-03 2022-04-12 济南博观智能科技有限公司 一种人像聚类的方法、装置及介质
CN115953650A (zh) * 2023-03-01 2023-04-11 杭州海康威视数字技术股份有限公司 特征融合模型的训练方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548148A (zh) * 2016-10-26 2017-03-29 北京意泰物联软件科技有限公司 视频中未知人脸的识别方法和***
CN109710780A (zh) * 2018-12-28 2019-05-03 上海依图网络科技有限公司 一种归档方法及装置
CN110569777A (zh) * 2019-08-30 2019-12-13 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548148A (zh) * 2016-10-26 2017-03-29 北京意泰物联软件科技有限公司 视频中未知人脸的识别方法和***
CN109710780A (zh) * 2018-12-28 2019-05-03 上海依图网络科技有限公司 一种归档方法及装置
CN110569777A (zh) * 2019-08-30 2019-12-13 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686141A (zh) * 2020-12-29 2021-04-20 杭州海康威视数字技术股份有限公司 人员归档方法、装置及电子设备
CN112948612A (zh) * 2021-03-16 2021-06-11 杭州海康威视数字技术股份有限公司 人体封面生成方法、装置、电子设备及存储介质
CN112948612B (zh) * 2021-03-16 2024-02-06 杭州海康威视数字技术股份有限公司 人体封面生成方法、装置、电子设备及存储介质
CN113360688A (zh) * 2021-06-28 2021-09-07 北京百度网讯科技有限公司 信息库的构建方法、装置及***
CN113360688B (zh) * 2021-06-28 2024-02-20 北京百度网讯科技有限公司 信息库的构建方法、装置及***
CN114333039A (zh) * 2022-03-03 2022-04-12 济南博观智能科技有限公司 一种人像聚类的方法、装置及介质
CN115953650A (zh) * 2023-03-01 2023-04-11 杭州海康威视数字技术股份有限公司 特征融合模型的训练方法和装置

Similar Documents

Publication Publication Date Title
CN111783743A (zh) 一种图像聚类方法及装置
CN109117803B (zh) 人脸图像的聚类方法、装置、服务器及存储介质
CN110175549B (zh) 人脸图像处理方法、装置、设备及存储介质
CN109376596B (zh) 人脸匹配方法、装置、设备及存储介质
CN109710780B (zh) 一种归档方法及装置
CN110363091B (zh) 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN109033200B (zh) 事件抽取的方法、装置、设备及计算机可读介质
CN108875797B (zh) 一种确定图像相似度的方法、相册管理方法及相关设备
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN111125390A (zh) 数据库更新方法和装置、电子设备、计算机存储介质
CN113052245B (zh) 图像聚类方法和装置、电子设备及存储介质
CN111046969A (zh) 数据筛选方法、装置、存储介质及电子设备
CN113706502B (zh) 一种人脸图像质量评估方法及装置
CN111985360A (zh) 一种人脸识别的方法、装置、设备和介质
CN112132279A (zh) 卷积神经网络模型压缩方法、装置、设备及存储介质
CN111967885A (zh) 智能外呼处理方法及装置
CN111209862A (zh) 一种人脸图像的聚类方法、装置及介质
TWI714321B (zh) 資料庫更新方法和裝置、電子設備、電腦儲存介質
CN112115910A (zh) 人脸库更新方法及装置
CN111507424B (zh) 一种数据处理方法及装置
CN112992152B (zh) 一种单兵声纹识别***、方法、存储介质及电子设备
CN109614854B (zh) 视频数据处理方法及装置、计算机装置及可读存储介质
CN112132218B (zh) 图像处理方法、装置、电子设备及存储介质
CN114220045A (zh) 对象识别方法、装置及计算机可读存储介质
CN109857859B (zh) 新闻信息的处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination