CN116563588A - 图像聚类方法、装置、电子设备及存储介质 - Google Patents

图像聚类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116563588A
CN116563588A CN202310507757.9A CN202310507757A CN116563588A CN 116563588 A CN116563588 A CN 116563588A CN 202310507757 A CN202310507757 A CN 202310507757A CN 116563588 A CN116563588 A CN 116563588A
Authority
CN
China
Prior art keywords
face
human
person
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310507757.9A
Other languages
English (en)
Inventor
程林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310507757.9A priority Critical patent/CN116563588A/zh
Publication of CN116563588A publication Critical patent/CN116563588A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像聚类方法、装置、电子设备及存储介质,属于图像处理领域。该方法包括:对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。

Description

图像聚类方法、装置、电子设备及存储介质
技术领域
本申请属于图像处理领域,具体涉及一种图像聚类方法、装置、电子设备及存储介质。
背景技术
用户使用手机拍摄的图像中有很多是人物图像。用户为了查找人物图像方便,可能希望查阅同一人物对象的所有图像。
现有技术一般是根据人物图像中人物对象的人脸特征,确定不同人物图像中是否包含同一人物对象,将包含同一人物对象的人物图像聚合在一起。图1为相关技术提供的图像聚类方法流程示意图,如图1所示,相关技术中人物图像聚类的步骤包括:对人物图像进行人脸检测,如图1中的黑色方框,对检测到的人脸进行对齐;从检测的人脸中提取人脸特征;根据人脸特征进行聚类,确定不同人物图像中的人脸是否属于同一人,将人脸属于同一人的人物图像聚合。因此,人脸特征的提取对聚类有着重要影响。
由于人物图像中人脸特征提取的内容和精度有限,从而导致基于人脸特征的人物图像聚类不准确。
发明内容
本申请实施例的目的是提供一种图像聚类方法、装置、电子设备及存储介质,以解决上述问题。
第一方面,本申请实施例提供了一种图像聚类方法,该方法包括:
对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
第二方面,本申请实施例提供了一种图像聚类装置,包括:
分析模块,用于对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
确定模块,用于基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
聚类模块,用于基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,基于人脸特征信息、人脸质量信息和人体特征信息,或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类,由于人脸特征信息提取的内容和精度有限,此时人像相似度准确性较低,因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度,更准确的人像相似度能够有效提高聚类的准确性。
附图说明
图1是相关技术提供的图像聚类方法流程示意图;
图2是本申请实施例提供的图像聚类方法流程示意图之一;
图3是本申请实施例提供的图像聚类方法流程示意图之二;
图4是本申请实施例提供的图像聚类方法中人脸质量定义示意图;
图5是本申请实施例提供的图像聚类方法中FSRNet网络结构示意图;
图6是本申请实施例提供的图像聚类装置结构示意图;
图7是本申请实施例提供的电子设备结构示意图;
图8是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像聚类方法进行详细地说明。
图2为本申请实施例提供的图像聚类方法流程示意图之一,如图2所示,本申请实施例提供一种图像聚类方法,该方法包括:
步骤201,对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
本申请实施例所提供的图像聚类方法可以由服务器执行,也可以由终端执行。终端包括但不限于智能手机、平板电脑和计算机等。
人物图像为通过照相机、摄像机、智能手机、平板电脑和计算机等设备拍摄获取的图像或从这些设备拍摄的视频中抽取的图像帧数据。
至少两张人物图像可以存储在本地终端,也可以存储在云端服务器。当人物图像存储在本地终端时,图像聚类方法在本地处理;当人物图像存储在云端服务器时,图像聚类方法在云端处理。
图3是本申请实施例提供的图像聚类方法流程示意图之二,如图3所示,人脸特征分析包括人脸检测、人脸特征提取和人脸质量评估,人体特征分析包括人体检测和人体特征提取。
人脸特征分析的过程包括:使用人脸检测模型检测出每张人物图像中的人脸区域;使用人脸对齐模型将人物图像的人脸区域中的人脸关键点进行对齐;使用人脸特征提取模型对对齐后的每个人脸区域进行特征提取得到人脸特征信息,并使用人脸质量评估模型对对齐后的每个人脸区域进行人脸质量评估得到人脸质量信息。
人脸检测模型可以为支持向量机模型和贝叶斯分类器等,人脸对齐模型可以为主观形状模型、主动外观模型和有约束的局部模型等,人脸特征提取模型和人脸质量评估模型均可以为人工神经网络、卷积神经网络模型以及支持向量机模型等其他非神经网络模型。
通过上述人脸特征分析过程对每张人物图像进行人脸特征分析,得到每张人物图像的人脸特征。人脸特征为人物面部的特征,包括人脸特征信息和人脸质量信息。
其中,人脸特征信息为反映人物对象面部的颜色特征、纹理特征、形状特征和面部各部位空间关系特征的信息。
人脸特征信息可以是根据预设的面部关键点所检测到的面部轮廓关键点、眼睛部位的关键点、鼻子部位的关键点以及嘴巴部位的关键点构成的图像。
人脸质量信息为反映人脸质量的信息,包括人脸角度、人脸清晰度和人脸遮挡程度。
其中,人脸角度影响人脸的形状和大小,使得人物图像中同一人物对象的人脸特征信息不同,影响聚类效果。
人脸清晰度影响人脸特征的准确提取,使得人物图像中同一人物对象的人脸特征信息不同,影响聚类效果。
人脸遮挡程度影响人脸的形状和大小,使得人物图像中同一人物对象的人脸特征信息不同,影响聚类效果。
人体特征分析的过程包括:检测出每张人物图像中的人体区域;对每个人体区域进行特征提取得到人体特征信息。
可使用人体特征检测模型检测人体区域,人体特征检测模型可以为支持向量机模型和贝叶斯分类器等。
可使用人体特征提取模型提取人体特征信息。人体特征提取模型可以为人工神经网络和卷积神经网络模型等。
人体特征信息为反映人体(包括衣着)的颜色特征、纹理特征、形状特征和各部位空间关系特征的信息。
在一个可选的实施例中,人体特征信息可以是根据预设的关键点而检测得到的人物对象的头部关键点、颈部关键点、四肢关键点和身体关键点等多个关键点构成的图像。对于每一个关键点,可以通过检测得到该关键点的坐标信息和该关键点所对应的颜色等信息。可以由多个关键点构成人体(包括衣着)的整体形状特征。上述人体的形状特征可以包括人体头部轮廓和身体轮廓等部位的轮廓特征(比如头部轮廓)。
步骤202,基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
在两张人物图像中的人脸特征信息相似时,根据人脸特征信息得到的人像相似度较高,很可能确定两张人物图像包含同一个人物图像,造成误聚类。
本申请实施例考虑到人脸质量的好坏对两张人物图像的人像相似度的置信度影响。如果两张人物图像中一张或两张人物图像的人脸质量较低,如人脸的侧脸程度较大、人脸清晰度较低或人脸遮挡面积较大,则即使两张人物图像中的人脸特征信息相似,结合人脸质量信息和人脸特征信息得到的人像相似度较低,从而使得人像相似度的置信度降低。在人像相似度较低的情况下确定两张人物图像包含同一个人物对象的可能性较小,较难聚合到同一个人物图像集合。
比如两张人物图像中人物对象均为侧脸,由于侧脸不包含人物对象的完整人脸信息,人的五官特征显示不全,即使两张人物图像中人物对象的侧脸特征相同,但正脸特征,如五官特征可能不同,两张人物图像中具有相似人脸特征信息的人物对象可能不是同一个人物对象。结合人脸质量信息和人脸特征信息得到的人像相似度由人脸质量信息和人脸特征信息共同决定,在人脸质量较差的情况下,影响人像相似度降低,因此结合人脸质量信息得到的人像相似度相较于人脸特征相似度得到的人像相似度降低,从而使得人脸质量较差的人物图像较难聚合到同一个人物图像集合,降低误聚类。
人体特征信息影响两张人物图像的人像相似度。例如两张人物图像中人脸的侧脸程度不同,人脸的完整程度不同。人脸角度为0度时,人物图像包含完整的五官特征;人脸角度为90度时,人物图像包含部分五官特征,从两张人物图像中提取的人脸特征差别较大,导致即使两张人物图像中包含同一个人物对象,人脸特征的相似度较低。如果人脸特征的相似度较低的同时,两张人物图像中的人体特征信息相似度较高,则由于结合人体特征信息和人脸特征信息得到的人像相似度由人脸质量信息和人脸特征信息共同决定,结合人体特征信息和人脸特征信息得到的人像相似度相较于根据人脸特征相似度得到的两张人物图像的人像相似度提升,从而使得同一人物对象尽可能聚合到同一个人物图像集合中,提升人物图像聚类的准确性。
在基于人脸特征信息和人脸特征质量确定两张人物图像之间的相似度时,可以将人脸质量信息作为人脸特征信息的权重。具体步骤包括:将人脸质量信息归一化到区间[0,1],将每张人物图像的人脸质量信息作为权重乘以人脸特征信息得到每张人物图像调整后的人脸质量信息;将两张人物图像调整后的人脸质量信息之间的相似度作为两张人物图像的人像相似度。
在基于人脸特征信息、人脸质量信息和人体特征信息确定两张人物图像之间的相似度时,可以将每张人物图像由人脸质量信息调整后的人脸特征信息与人体特征信息进行加权求和,将两张人物图像的加权求和结果之间的相似度作为两张人物图像的人像相似度。或者将每张人物图像的人脸质量信息、人脸特征信息和人体特征信息进行加权求和,将两张人物图像的加权求和结果得到作为两张人物图像的人像相似度。
两张人物图像的人像相似度可以使用欧式距离、杰卡德相似度、余弦相似度和皮尔逊相似度等方式进行计算。
步骤203,基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
在确定人物图像中每两张人物图像的人像相似度后,使用聚类算法对多张人物图像进行聚类。
聚类算法的步骤可以包括:从多张人物图像中的当前未聚类人物图像中选择某张人物图像作为初始聚类中心;确定该人物图像与每个当前未聚类人物图像的相似度,将大于第一预设阈值相似度对应的当前未聚类人物图像加入到人物图像集合;确定上次加入的各人物图像与每个当前未聚类人物图像的相似度,将大于第一预设阈值的相似度对应的当前未聚类人物图像加入到人物图像集合,直到大于第一预设阈值的相似度对应的当前未聚类人物图像不存在。
聚类算法的步骤还可以包括:对于多张人物图像中的每个人物图像,确定该人物图像与多张人物图像中的每个其他人物图像之间的相似度;将大于第一预设阈值相似度对应的其他人物图像与该人物图像聚类到同一个人物图像集合。
将多张人物图像的聚类结果返回客户端进行显示。可按照每个人物图像集合中的人物图像数量从大到小排列,优选展示人物图像数量较多的人物图像集合。
此外,在检测出每张人物图像中的人脸区域和人体区域后,还可将人脸区域和人体区域进行关联匹配,在人物图像中存在多个人物对象的情况下,确定一个人脸区域和一个人体区域是否为同一人物图像中的同一人物对象。
首先,基于该人脸区域和该人体区域所属人物图像的标识是否相同,确定该人脸区域和该人体区域是否属于同一人物图像;然后,基于该人脸区域的关键点是否在该人体区域的头部区域内,确定该人脸区域和该人体区域是否属于同一人物图像中的同一人物对象。
将关联匹配的人脸区域对应的人脸特征信息、人脸质量信息和人体区域对应的人体特征信息进行绑定,从而使得绑定的人脸特征信息、人脸质量信息和人体特征信息属于同一人物图像中的同一人物对象。
基于绑定的人脸质量信息、人体特征信息中和人脸特征信息,或者绑定的人脸特征信息和人脸质量信息,确定每两张人物图像之间的人像相似度。
摄像头拍摄的内容可以包括图像和视频,为了实现人物图像和人物视频的混合聚类,或者人物视频的聚类,人像图像中至少包括从一个人物视频中抽取的图像帧数据,如从每个人物视频中等间隔抽取N个图像帧数据,从而节省功耗。
对于每个人物视频抽取的图像帧数据,统计属于同一个人物图像集合的图像帧数据的数量。
当属于同一个人物图像集合的图像帧数据的数量在该人物视频所抽取的图像帧数据总数量的占比大于第四预设阈值时,如30%,确定该人物视频属于该人物图像集合,从而提高人物视频聚类的准确性。
本申请实施例通过基于人脸特征信息、人脸质量信息和人体特征信息,或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类,由于人脸特征信息提取的内容和精度有限,此时人像相似度准确性较低,因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度,更准确的人像相似度能够有效提高聚类的准确性。
可选地,所述基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度,包括:
在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度;
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度;
其中,所述预设条件包括:所述两张人物图像的人体特征信息均不为空,且所述两张人物图像的拍摄时间在同一预设时间段内。
每张人物图像的人体特征信息通过人体特征分析得到,如果在人体特征分析的人体检测阶段没有检测到人物图像中的人体区域,即人体坐标,则人物图像人体特征信息为空。
如果两张人物图像都存在人体特征信息,且拍摄时间在同一预设时间段内,可以进一步结合人体特征信息判断两张人物图像是否包含同一人物对象,认定短时间内人体特征信息相似的人物对象更可能是同一人物对象。
例如,两张人物图像的拍摄时间在同一天内,人物对象换衣服的可能性很少,如果两张人物图像的衣着颜色和形状相似,则这两张人物图像更加有可能包含同一人物对象。
两张人物图像的拍摄时间较短时,可拍摄的人物对象有限,人体的纹理特征、形状特征和各部位空间关系特征相似的两张人物图像更加有可能包含同一人物对象。
在两张人物图像满足预设条件,即两张人物图像的人体特征信息均不为空,且两张人物图像的拍摄时间在同一预设时间段内,说明人体特征信息可有效用于人像相似度获取。
此种情况下,可结合人脸特征信息、人体特征信息和人脸质量信息确定两张人物图像之间的人像相似度,提高人物图像聚类的准确性。
在两张人物图像不满足预设条件,即两张人物图像中至少一张人物图像的人体特征信息为空,或者拍摄时间在同一预设时间段内,说明人体特征信息不能有效用于人像相似度获取。
此种情况下,可结合人脸特征信息和人脸质量信息确定两张人物图像之间的人像相似度,降低人物图像的误聚类,提高人物图像聚类的准确性。
本申请实施例在两张人物图像满足预设条件的情况下,具有相似的人体特征信息的两张人物图像更加有可能包含同一人物对象,结合人体特征信息进行聚类,提高人物图像聚类的准确性;在两张人物图像不满足预设条件的情况下,不考虑人体特征信息进行聚类,降低人物图像的误聚类,提高人物图像聚类的准确性。
可选地,所述在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度,包括:
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
人脸特征信息的相似度可以使用欧式距离、杰卡德相似度、余弦相似度和皮尔逊相似度等。
例如,两张人物图像的人脸特征信息为128维时,人脸特征信息的余弦相似度df为:
其中,ai为两张人物图像中一张人物图像的第i维人脸特征信息,bi为两张人物图像中另一张人物图像的第i维人脸特征信息。
可使用两张人物图像中一张或两张人物图像的人脸质量信息控制人脸特征信息相似度的置信度。
若两张人物图像中一张人物图像已聚类且另一张人物图像未聚类,如上述第一种聚类算法,则可使用未聚类人物图像的人脸质量信息S1调整人脸特征信息的相似度。
若两张人物图像中两张人物图像均未聚类,如上述第二种聚类算法,则可使用两张人物图像的人脸质量信息的平均值S2或其中的较小值S3,调整人脸特征信息的相似度。
使用人脸质量信息S1、S2或S3调整人脸特征信息相似度df,例如将人脸质量信息S1、S2或S3与人脸特征信息相似度df相乘得到调整后的人脸特征信息相似度d1,本申请实施例对调整方式不作限定。
在调整后的人脸特征信息相似度d1大于第一预设阈值的情况下,认为两张人物图像中的人脸属于同一个人物对象,将两张人物图像聚类到同一个人物图像集合中,否则两张人物图像中的人脸属于不同人物对象,遍历其他两个人物图像进行人物图像聚类。
本申请实施例通过使用两张人物图像的人脸质量信息调整两张人物图像的人脸特征信息的相似度,对低质量人脸聚合的要求更高,显著降低低质量人脸的误聚类,提高人物图像聚类的准确性。
可选地,所述在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度,包括:
在所述两张人物图像满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
在两张人物图像的人体特征信息均不为空,且两张人物图像的拍摄时间在同一预设时间段内,说明人体特征信息可有效用于人像相似度获取。
此种情况下,先综合人脸特征信息和人体特征信息得到综合相似度,可更加准确判断两个人物图像是否包含同一个人物对象;然后使用人脸质量信息调整综合相似度的置信度,对于人脸质量较差的人物图像,降低综合相似度,降低聚合的可能性,提高聚类准确性。
人脸特征信息和人体特征信息的综合相似度的获取步骤可以为:将两张人物图像中每张人物图像的人脸特征信息和人体特征信息进行加权求和;将两张人物图像对应加权求和结果的相似度作为综合相似度dfb
人脸特征信息和人体特征信息的综合相似度的获取步骤还可以为:分别计算两张人物图像的人脸特征信息的相似度和人脸特征信息的相似度;将人脸特征信息的相似度和人脸特征信息的相似度加权求和得到综合相似度dfb
使用人脸质量信息S1、S2或S3调整综合相似度dfb,例如将人脸质量信息S1、S2或S3与综合相似度dfb相乘得到调整后的综合相似度d2,本申请实施例对调整方式不作限定。
在调整后的综合相似度d2大于第一预设阈值的情况下,才认为两张人物图像中的人脸属于同一个人物对象,将两张人物图像聚类到同一个人物图像集合中,否则两张人物图像中的人脸属于不同人物对象,遍历其他两个人物图像进行人物图像聚类。
本申请实施例通过使用两张人物图像的人脸质量信息调整两张人物图像的人脸特征信息和人体特征信息的综合相似度,对低质量人脸聚合的要求更高,显著降低低质量人脸的误聚类,提高人物图像聚类的准确性。
可选地,所述基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度,包括:
基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度;
基于所述两张人物图像的人体特征信息,确定所述人体特征信息的相似度;
将所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值;
将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值确定为所述综合相似度。
人脸特征信息的相似度可以使用欧式距离、杰卡德相似度、余弦相似度和皮尔逊相似度等。
人脸特征信息的相似度df和人体特征信息的相似度db的平均值为(df+db)/2。
综合相似度dfb=max[df,(df+db)/2]。
本申请实施例在人脸特征信息和人体特征信息的综合相似度dfb高于人脸特征信息相似度df时,人脸特征信息和人体特征信息的综合相似度dfb,否则信任人脸特征信息相似度df,提高人物图像的召回率,使得更多的人物图像聚类成功。
可选地,所述人脸质量信息包括人脸角度、人脸清晰度和人脸遮挡程度,所述基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度,包括:
基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度,确定每张所述人物图像的人脸特征综合质量信息;
将所述两张人物图像的人脸特征综合质量信息归一化处理,将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间,得到映射后的所述人脸特征综合质量信息;
基于映射后的所述人脸特征综合质量信息调整所述待调整相似度,得到所述人像相似度;
图4为本申请实施例提供的图像聚类方法中人脸质量定义示意图,如图4所示,人脸角度Sp1为人脸相对于摄像头的拍摄平面所偏离的角度,图4中的第一行显示了不同的人脸角度。
用户在进行人脸识别时,一般正脸对着摄像头,但用户在拍摄人物图像时,人物图像中的人物对象存在各种各样的角度,影响人脸特征提取的准确性和完整性,导致不同人物对象的侧脸人脸特征信息可能相似,同一人物对象正脸和侧脸人脸特征信息可能不相似,因此人脸角度会影响聚类的准确性。
人脸清晰度Sp2为人物图像中人脸区域的清晰程度,图4中的第二行显示了不同的人脸清晰度。人脸清晰度影响人脸特征信息的准确提取,从而影响聚类效果。
人脸遮挡程度Sp3为人脸被遮挡的程度,图4中的第三行显示了不同的人脸遮挡程度。人脸遮挡程度影响人脸特征信息提取的准确性和完整性,从而影响聚类效果。
可将每张人物图像的人脸角度Sp1、人脸清晰度Sp2和人脸遮挡程度Sp3进行加权求和得到人脸特征综合质量信息S。
还可以将每张人物图像的人脸角度Sp1、人脸清晰度Sp2和人脸遮挡程度Sp3进行相乘,得到人脸特征综合质量信息S=Sp1*Sp2*Sp3。
人脸角度Sp1、人脸清晰度Sp2和人脸遮挡程度Sp3可归一化到[0,1]区间。人脸特征综合质量信息S越接近1,表示人脸质量越高;人脸特征综合质量信息S越接近0,表示人脸质量越低。
定义预设最低衰减基数ε,将人脸特征综合质量信息归一化映射到[ε,1]区间,即Sε=S×(1-ε)+ε。
在两张人物图像满足预设条件的情况下,使用两张人物图像中一张或两张人物图像归一化映射后的人脸特征综合质量信息控制人脸特征信息相似度的置信度。
若两张人物图像中一张人物图像已聚类且另一张人物图像未聚类,如上述第一种聚类算法,则可使用未聚类人物图像归一化映射后的人脸特征综合质量信息Sε1调整人脸特征信息的相似度。调整后的人脸特征信息相似度dε=df×Sε1
若两张人物图像中两张人物图像均未聚类,如上述第二种聚类算法,则可使用两张人物图像归一化映射后的人脸特征综合质量信息的平均值Sε2或其中的较小值Sε3,调整人脸特征信息的相似度。调整后的人脸特征信息相似度dε=df×Sε2或dε=df×Sε3
在调整后的人脸特征信息相似度dε大于第一预设阈值的情况下,认为两张人物图像中的人脸属于同一个人物对象,将两张人物图像聚类到同一个人物图像集合中,否则两张人物图像中的人脸属于不同人物对象,遍历其他两个人物图像进行人物图像聚类。
在两张人物图像不满足预设条件的情况下,使用两张人物图像中一张或两张人物图像归一化映射后的人脸特征综合质量信息控制人脸特征信息和人体特征信息综合相似度的置信度。
若两张人物图像中一张人物图像已聚类且另一张人物图像未聚类,如上述第一种聚类算法,则可使用未聚类人物图像归一化映射后的人脸特征综合质量信息Sε1调整综合相似度。调整后的综合相似度dε=dfb×Sε1
若两张人物图像中两张人物图像均未聚类,如上述第二种聚类算法,则可使用两张人物图像归一化映射后的人脸特征综合质量信息的平均值Sε2或其中的较小值Sε3,调整综合相似度。调整后的综合相似度dε=dfb×Sε2或dε=dfb×Sε3
在调整后的综合相似度大于第一预设阈值的情况下,认为两张人物图像中的人脸属于同一个人物对象,将两张人物图像聚类到同一个人物图像集合中,否则两张人物图像中的人脸属于不同人物对象,遍历其他两个人物图像进行人物图像聚类。
本申请实施例通过将多维人脸质量信息进行综合得到人脸特征综合质量信息,使用人脸特征综合质量信息控制相似度的置信度,降低低质量人脸的误聚类,提高聚类准确性;通过预设最低衰减基数控制人脸特征综合质量信息相似度的对相似度的调整力度,提高调整灵活性。
可选地,所述每两张人物图像包括第一人物图像和第二人物图像,所述基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合,包括:
在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下,从所述人物图像中获取所述第一人物图像的M个近似人物图像,M为正整数,所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像;
在第二人物图像与第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,控制所述两张人物图像聚类到同一个所述人物图像集合,遍历所述人物图像中的每两张人物图像,得到至少一个人物图像集合。
如果在两张人物图像的人脸特征相似度大于第一阈值的情况下,则认定两张人物图像包含同一个人物对象,聚类半径为1。
由于两张人物图像之间的人脸特征相似度可能存在偏差,本申请实施例在两张人物图像的人脸特征相似度大于第一预设阈值的情况下,继续判断一张图像与另一张图像的近似人物图像的人像相似度平均值是否大于第三预设阈值,从而增加聚类半径。
两张人物图像中的第一人物图像可以为已聚类人物图像,第二人物图像可以为未聚类人物图像。
在第二人物图像与第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,认为两张人物图像中的人脸属于同一个人物对象,将两张人物图像聚类到同一个人物图像集合中,否则两张人物图像中的人脸属于不同人物对象,遍历其他两个人物图像进行人物图像聚类。
本申请实施例通过增加聚类半径,不仅需要满足两张人物图像之间近似,还需要满足其中一张图像与另一张图像的近似人物图像近似,在两张人物图像的人像相似度可能存在偏差的情况下,提高人物图像聚类的准确性。
可选地,所述人物图像的人脸特征信息和人脸质量信息是通过将所述人物图像输入人脸超分辨率网络模型中,由所述人脸超分辨率网络模型输出得到的,所述人脸超分辨率网络模型在所述对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息之前获取,获取方式包括:
将每个人物图像样本输入预设人脸超分辨率网络(Face Super Resolution,FSRNet)模型中,输出每个所述人物图像样本的人脸特征信息和人脸质量信息;
人脸质量信息可包括人脸角度、人脸清晰度和人脸遮挡程度。在对预设人脸超分辨率网络进行训练前,定义人脸质量标准,根据人脸角度、人脸清晰度和人脸遮挡程度对每个人物图像样本中检测对齐后的人脸区域进行打分,每个人脸质量信息维度对应四个不同程度的分数,如图4所示。
构建训练样本,每个训练样本包括一个人物图像样本、该人物图像样本对应的人脸质量信息标签和人物身份标签。
根据人脸质量的定义,对每个人物图像样本进行人脸打分,将每个人物图像样本得到三个维度的得分作为人脸质量信息标签分数越低表示该维度的人脸质量越差。将每个人脸区域变换到网络输入大小,本申请实施例以112×112为例。
在构建基于人脸质量的人脸超分辨率网络模型的过程中,将每个人脸区域变换成112×112×3,归一化后输入预设人脸超分辨率网络模型。图5为本申请实施例提供的图像聚类方法中FSRNet网络结构示意图。经过如图5所示的不同卷积模块得到28×28×64的特征图,将该特征图同时输入预设人脸超分辨率网络模型的两个分支,一个为人脸特征识别分支,另一个为人脸特征质量评价分支。
在人脸特征识别分支,特征图经过卷积、池化、全局池化和全连接层等操作得到一个128维的人脸特征向量。再根据人物身份标签,通过softmax输出不同的人物身份。例如,1000个不同的人物身份标签用0至999表示。
在人脸特征质量评价分支,特征图经过卷积、池化、全局池化和全连接层等操作得到一个3维的质量得分,表示人脸超分辨率网络模型预测的该人脸区域的三个维度的质量得分,分别用Sp1、Sp2和Sp3表示。因人脸超分辨率网络模型输出的数值为0至1之间,因此人脸质量信息的得分范围也在0至1之间。
确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值;
人脸质量信息的损失值Ls可以均方误差计算,公式如下:
其中,α、β和γ表示人脸质量信息三个维度的权重,Sp1、Sp2和Sp3表示人脸超分辨率网络模型预测的人脸区域的三个维度的质量得分,Sg1、Sg2和Sg3表示人工标注的三个维度的质量得分,除10是将标注的质量得分归一化到区间[0,1]内。
人脸特征信息的损失值可使用softmax交叉熵损失。假设有N个人物图像样本,人脸特征信息的损失值Lr的公式如下:
其中,N表示人物图像样本的数量,表示第i个人物图像样本在人物身份标签y上的概率,B表示人物身份的数量,/>表示第i个人物图像样本在第j个人物身份标签上的概率。上述损失函数对于N个人物图像样本的处理是等量的,每个人物图像样本都是1/N的概率。
基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整,得到所述人脸特征信息调整后的损失值;
本申请实施例结合人脸质量信息对人脸特征信息的损失值进行优化,如将每个人物图像样本的人脸质量信息乘以该人物图像样本的人脸特征信息损失值,即:
其中,Si为第i个人物图像样本的人脸质量信息。
基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值,联合优化训练所述预设人脸超分辨率网络模型,得到所述人脸超分辨率网络模型。
基于上述人脸质量信息的损失值Ls和人脸特征信息调整后的损失值Lrn联合优化训练FSRNet网络结构,得到整个人脸超分辨率网络模型的权重参数W。
将每张人物图像输入训练好的人脸超分辨率网络模型,使用softmax前一层输出的人脸特征信息、人脸特征质量评价分支输出的人脸质量信息和与该人脸特征信息绑定的人体特征信息进行聚类。
本申请实施例通过结合人脸质量信息对人脸特征信息的损失值进行优化,使得低质量的人脸对人脸特征识别的贡献度越低,高质量的人脸对人脸特征识别的贡献度越高,且结合人脸质量信息的损失值和人脸特征信息优化后的损失值对人脸超分辨率网络模型联合优化,提高对人脸超分辨率网络模型权重信息预测的准确性。
本申请实施例提供的图像聚类方法,执行主体可以为图像聚类装置。本申请实施例中以图像聚类装置执行人物图像聚类的方法为例,说明本申请实施例提供的人物图像聚类的装置。
图6是本申请实施例提供的图像聚类装置结构示意图。如图6所示,图像聚类装置包括分析模块601、确定模块602和聚类模块603,其中:
分析模块601用于对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
确定模块602用于基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
聚类模块603用于基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
本申请实施例通过基于人脸特征信息、人脸质量信息和人体特征信息,或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类,由于人脸特征信息提取的内容和精度有限,此时人像相似度准确性较低,因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度,更准确的人像相似度能够有效提高聚类的准确性。
可选地,所述确定模块,具体用于:
在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度;
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度;
其中,所述预设条件包括:所述两张人物图像的人体特征信息均不为空,且所述两张人物图像的拍摄时间在同一预设时间段内。
本申请实施例在两张人物图像满足预设条件的情况下,具有相似的人体特征信息的两张人物图像更加有可能包含同一人物对象,结合人体特征信息进行聚类,提高人物图像聚类的准确性;在两张人物图像不满足预设条件的情况下,不考虑人体特征信息进行聚类,降低人物图像的误聚类,提高人物图像聚类的准确性。
可选地,所述确定模块,具体用于:
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
本申请实施例通过使用两张人物图像的人脸质量信息调整两张人物图像的人脸特征信息的相似度,对低质量人脸聚合的要求更高,显著降低低质量人脸的误聚类,提高人物图像聚类的准确性。
可选地,所述确定模块,具体用于:
在所述两张人物图像满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
本申请实施例通过使用两张人物图像的人脸质量信息调整两张人物图像的人脸特征信息和人体特征信息的综合相似度,对低质量人脸聚合的要求更高,显著降低低质量人脸的误聚类,提高人物图像聚类的准确性。
可选地,所述确定模块,具体用于:
基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度;
基于所述两张人物图像的人体特征信息,确定所述人体特征信息的相似度;
将确定所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值;
将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值作为所述综合相似度。
本申请实施例在人脸特征信息和人体特征信息的综合相似度高于人脸特征信息相似度时,人脸特征信息和人体特征信息的综合相似度,否则信任人脸特征信息相似度,提高人物图像的召回率,使得更多的人物图像聚类成功。
可选地,所述人脸质量信息包括人脸角度、人脸清晰度和人脸遮挡程度,所述确定模块,具体用于:
基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度,确定每张所述人物图像的人脸特征综合质量信息;
将所述两张人物图像的人脸特征综合质量信息归一化处理,将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间,得到映射后的所述人脸特征综合质量信息;
基于映射后的所述人脸特征综合质量信息调整所述待调整相似度,得到所述人像相似度。
本申请实施例通过将多维人脸质量信息进行综合得到人脸特征综合质量信息,使用人脸特征综合质量信息控制相似度的置信度,降低低质量人脸的误聚类,提高聚类准确性;通过预设最低衰减基数控制人脸特征综合质量信息相似度的对相似度的调整力度,提高调整灵活性。
可选地,所述每两张人物图像包括第一人物图像和第二人物图像,所述聚类模块,具体用于:
在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下,从所述人物图像中获取所述第一人物图像的M个近似人物图像,M为正整数,所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像;
在所述第二人物图像与所述第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,控制所述两张人物图像聚类到同一个所述人物图像集合,遍历所述人物图像中的每两张人物图像,得到至少一个人物图像集合。
本申请实施例通过增加聚类半径,不仅需要满足两张人物图像之间近似,还需要满足其中一张图像与另一张图像的近似人物图像近似,在两张人物图像的人像相似度可能存在偏差的情况下,提高人物图像聚类的准确性。
可选地,所述人物图像的人脸特征信息和人脸质量信息是通过将所述人物图像输入人脸超分辨率网络模型中,由所述人脸超分辨率网络模型输出得到的,所述人脸超分辨率网络模型在所述对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息之前获取,获取方式包括:
将每个人物图像样本输入预设人脸超分辨率网络模型中,输出每个所述人物图像样本的人脸特征信息和人脸质量信息;
确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值;
基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整,得到所述人脸特征信息调整后的损失值;
基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值,联合优化训练所述预设人脸超分辨率网络模型,得到所述人脸超分辨率网络模型。
本申请实施例通过基于人脸特征信息、人脸质量信息和人体特征信息,或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类,由于人脸特征信息提取的内容和精度有限,此时人像相似度准确性较低,因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度,更准确的人像相似度能够有效提高聚类的准确性。
本申请实施例中的图像聚类装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像聚类装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为ios操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
本申请实施例提供的图像聚类装置能够实现图2至图5的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,图7是本申请实施例提供的电子设备结构示意图,如图7所示,本申请实施例还提供一种电子设备700,包括处理器701和存储器702,存储器702上存储有可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述图像聚类方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为本申请实施例提供的电子设备的硬件结构示意图。
该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理***与处理器810逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器810,用于对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
处理器810,还用于在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征和所述两张人物图像的人体特征信息确定所述人像相似度;
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征确定所述人像相似度;
其中,所述预设条件包括:所述两张人物图像的人体特征信息均不为空,且所述两张人物图像的拍摄时间在同一预设时间段内。
处理器810,还用于在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
处理器810,还用于在所述两张人物图像满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
处理器810,还用于基于所述两张人物图像的人体特征信息,确定所述人体特征信息的相似度;
将确定所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值;
将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值作为所述综合相似度。
处理器810,还用于基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度,确定每张所述人物图像的人脸特征综合质量信息;
将所述两张人物图像的人脸特征综合质量信息归一化处理,将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间,得到映射后的所述人脸特征综合质量信息;
基于映射后的所述人脸特征综合质量信息调整所述待调整相似度,得到所述人像相似度。
处理器810,还用于在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下,从所述人物图像中获取所述第一人物图像的M个近似人物图像,M为正整数,所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像;
在所述第二人物图像与所述第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,控制所述两张人物图像聚类到同一个所述人物图像集合,遍历所述人物图像中的每两张人物图像,得到至少一个人物图像集合。
处理器810,还用于将每个人物图像样本输入预设人脸超分辨率网络模型中,输出每个所述人物图像样本的人脸特征信息和人脸质量信息;
确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值;
基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整,得到所述人脸特征信息调整后的损失值;
基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值,联合优化训练所述预设人脸超分辨率网络模型,得到所述人脸超分辨率网络模型。
本申请实施例通过基于人脸特征信息、人脸质量信息和人体特征信息,或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类,由于人脸特征信息提取的内容和精度有限,此时人像相似度准确性较低,因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度,更准确的人像相似度能够有效提高聚类的准确性。
应理解的是,本申请实施例中,输入单元804可以包括图形处理器(GraphicsProcessing Unit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器809可以包括易失性存储器或非易失性存储器,或者,存储器809可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
处理器810可包括一个或多个处理单元;可选的,处理器810集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作***、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像聚类方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像聚类方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像聚类方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (18)

1.一种图像聚类方法,其特征在于,包括:
对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
2.根据权利要求1所述的图像聚类方法,其特征在于,所述基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度,包括:
在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度;
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度;
其中,所述预设条件包括:所述两张人物图像的人体特征信息均不为空,且所述两张人物图像的拍摄时间在同一预设时间段内。
3.根据权利要求2所述的图像聚类方法,其特征在于,所述在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度,包括:
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
4.根据权利要求2所述的图像聚类方法,其特征在于,所述在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度,包括:
在所述两张人物图像满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
5.根据权利要求4所述的图像聚类方法,其特征在于,所述基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度,包括:
基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度;
基于所述两张人物图像的人体特征信息,确定所述人体特征信息的相似度;
将所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值;
将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值确定为所述综合相似度。
6.根据权利要求3或4所述的图像聚类方法,所述人脸质量信息包括人脸角度、人脸清晰度和人脸遮挡程度,所述基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度,包括:
基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度,确定每张所述人物图像的人脸特征综合质量信息;
将所述两张人物图像的人脸特征综合质量信息归一化处理,将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间,得到映射后的所述人脸特征综合质量信息;
基于映射后的所述人脸特征综合质量信息调整所述待调整相似度,得到所述人像相似度。
7.根据权利要求1-5任一项所述的图像聚类方法,其特征在于,所述每两张人物图像包括第一人物图像和第二人物图像,所述基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合,包括:
在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下,从所述人物图像中获取所述第一人物图像的M个近似人物图像,M为正整数,所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像;
在所述第二人物图像与所述第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,控制所述两张人物图像聚类到同一个所述人物图像集合,遍历所述人物图像中的每两张人物图像,得到至少一个人物图像集合。
8.根据权利要求1-5任一项所述的图像聚类方法,其特征在于,所述人物图像的人脸特征信息和人脸质量信息是通过将所述人物图像输入人脸超分辨率网络模型中,由所述人脸超分辨率网络模型输出得到的,所述人脸超分辨率网络模型在所述对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息之前获取,获取方式包括:
将每个人物图像样本输入预设人脸超分辨率网络模型中,输出每个所述人物图像样本的人脸特征信息和人脸质量信息;
确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值;
基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整,得到所述人脸特征信息调整后的损失值;
基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值,联合优化训练所述预设人脸超分辨率网络模型,得到所述人脸超分辨率网络模型。
9.一种图像聚类装置,其特征在于,包括:
分析模块,用于对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息;
确定模块,用于基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息,或者所述人脸特征信息和所述人脸质量信息,确定所述人物图像中每两张人物图像之间的人像相似度;
聚类模块,用于基于所述人像相似度对所述人物图像进行图像聚类,得到至少一个人物图像集合。
10.根据权利要求9所述的图像聚类装置,其特征在于,所述确定模块,具体用于:
在所述两张人物图像满足预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度;
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息确定所述人像相似度;
其中,所述预设条件包括:所述两张人物图像的人体特征信息均不为空,且所述两张人物图像的拍摄时间在同一预设时间段内。
11.根据权利要求10所述的图像聚类装置,其特征在于,所述确定模块,具体用于:
在所述两张人物图像不满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
12.根据权利要求10所述的图像聚类装置,其特征在于,所述确定模块,具体用于:
在所述两张人物图像满足所述预设条件的情况下,基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息,确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度;
基于所述两张人物图像的人脸质量信息调整所述待调整相似度,得到所述人像相似度。
13.根据权利要求12所述的图像聚类装置,其特征在于,所述确定模块,具体用于:
基于所述两张人物图像的人脸特征信息,确定所述人脸特征信息的相似度;
基于所述两张人物图像的人体特征信息,确定所述人体特征信息的相似度;
将确定所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值;
将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值确定为所述综合相似度。
14.根据权利要求11或12所述的图像聚类装置,其特征在于,所述人脸质量信息包括人脸角度、人脸清晰度和人脸遮挡程度,所述确定模块,具体用于:
基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度,确定每张所述人物图像的人脸特征综合质量信息;
将所述两张人物图像的人脸特征综合质量信息归一化处理,将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间,得到映射后的所述人脸特征综合质量信息;
基于映射后的所述人脸特征综合质量信息调整所述待调整相似度,得到所述人像相似度。
15.根据权利要求9-13任一项所述的图像聚类装置,其特征在于,所述每两张人物图像包括第一人物图像和第二人物图像,所述聚类模块,具体用于:
在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下,从所述人物图像中获取所述第一人物图像的M个近似人物图像,M为正整数,所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像;
在所述第二人物图像与所述第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下,控制所述两张人物图像聚类到同一个所述人物图像集合,遍历所述人物图像中的每两张人物图像,得到至少一个人物图像集合。
16.根据权利要求9-13任一项所述的图像聚类装置,其特征在于,所述人物图像的人脸特征信息和人脸质量信息是通过将所述人物图像输入人脸超分辨率网络模型中,由所述人脸超分辨率网络模型输出得到的,所述人脸超分辨率网络模型在所述对至少两张人物图像分别进行人脸特征分析和人体特征分析,确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息之前获取,获取方式包括:
将每个人物图像样本输入预设人脸超分辨率网络模型中,输出每个所述人物图像样本的人脸特征信息和人脸质量信息;
确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值;
基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整,得到所述人脸特征信息调整后的损失值;
基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值,联合优化训练所述预设人脸超分辨率网络模型,得到所述人脸超分辨率网络模型。
17.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的图像聚类方法的步骤。
18.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的图像聚类方法的步骤。
CN202310507757.9A 2023-05-06 2023-05-06 图像聚类方法、装置、电子设备及存储介质 Pending CN116563588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507757.9A CN116563588A (zh) 2023-05-06 2023-05-06 图像聚类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310507757.9A CN116563588A (zh) 2023-05-06 2023-05-06 图像聚类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116563588A true CN116563588A (zh) 2023-08-08

Family

ID=87499498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310507757.9A Pending CN116563588A (zh) 2023-05-06 2023-05-06 图像聚类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116563588A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118246717A (zh) * 2024-05-29 2024-06-25 浙江大华技术股份有限公司 采集点增设方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118246717A (zh) * 2024-05-29 2024-06-25 浙江大华技术股份有限公司 采集点增设方法及装置

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108304829B (zh) 人脸识别方法、装置及***
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2020228181A1 (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN112560753B (zh) 基于特征融合的人脸识别方法、装置、设备及存储介质
WO2020181523A1 (zh) 唤醒屏幕的方法和装置
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN111091075A (zh) 人脸识别方法、装置、电子设备及存储介质
CN111695458A (zh) 一种视频图像帧处理方法及装置
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
WO2023124040A1 (zh) 一种人脸识别方法及装置
CN111898561A (zh) 一种人脸认证方法、装置、设备及介质
CN114067428A (zh) 多视角多目标的跟踪方法、装置、计算机设备和存储介质
CN116563588A (zh) 图像聚类方法、装置、电子设备及存储介质
Wang et al. Multistage model for robust face alignment using deep neural networks
CN112418153B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN111722717A (zh) 手势识别方法、装置及计算机可读存储介质
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN115660969A (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN111275183B (zh) 视觉任务的处理方法、装置和电子***
CN113378608B (zh) 人群计数方法、装置、设备及存储介质
CN114299569A (zh) 一种基于眼球运动的安全人脸认证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination