CN113111689A - 一种样本挖掘方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种样本挖掘方法、装置、设备及存储介质，其中该样本挖掘方法包括：获取目标图像集合和种子图像集合，该目标图像集合包括显示有待识别的目标对象的图像，该种子图像集合包括显示有目标对象的图像以及显示有非目标对象的图像；组合目标图像集合和种子图像集合，得到第一图像集合；提取第一图像集合中图像的人体特征和人脸特征；分别对第一图像集合中图像的人体特征和人脸特征进行聚类处理，得到第一聚类结果和第二聚类结果；根据第一聚类结果和第二聚类结果，确定非同人高相似样本对和同人低相似样本对。该方法能够自动挖掘对于提升ReID模型性能有帮助的难样本。

Description

一种样本挖掘方法、装置、设备及存储介质

技术领域

本申请涉及人工智能(Artificial Intelligence，AI)技术领域，具体涉及一种样本挖掘方法、装置、设备及存储介质。

背景技术

在行人跟踪识别的应用场景中，安装在公共场所的摄像头受到架设角度、分辨率等因素的影响，经常难以拍摄到人脸成像质量较好的图像，因此导致人脸识别技术在该场景中的应用受到限制。作为人脸识别技术的重要补充，行人重识别(Person Re-identification，ReID)技术应运而生，其可以依靠ReID模型对无法捕捉到清晰人脸的行人实现跨摄像头的跟踪识别。

当前阶段，ReID模型识别的准确率和召回率还不是很高，在实际业务中表现为不同人着装相似时ReID模型易将其误识别为同一人，以及同一人在不同摄像头拍摄的图像中因所呈现人形差别较大而被ReID模型误识别为不同人，等等，ReID模型的上述缺陷严重制约着ReID技术的发展。

目前增加训练样本数据仍是最有效的提升模型性能的手段之一，对于已上线的ReID模型，其能够正确识别的样本数据对于提升模型性能来说帮助价值不高，反倒是其容易识别错误的样本数据对于提升模型性能来说具有较高的帮助价值，此类样本数据又被称为难样本。

综上，如何挖掘对于提升ReID模型性能有帮助的难样本，已成为目前亟待解决的技术问题。

发明内容

本申请实施例提供了一种样本挖掘方法、装置、设备及存储介质，能够自动挖掘对于提升ReID模型性能有帮助的难样本。

有鉴于此，本申请第一方面提供了一种样本挖掘方法，所述方法包括：

获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

提取所述第一图像集合中图像的人体特征和人脸特征；

对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

本申请第二方面提供了一种样本挖掘装置，所述装置包括：

获取模块，用于获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

第一图像集合获取模块，用于组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

特征提取模块，用于提取所述第一图像集合中图像的人体特征和人脸特征；

聚类模块，用于对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

难样本确定模块，用于根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

本申请第三方面提供了一种电子设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序，执行如上述第一方面所述的样本挖掘方法的步骤。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的样本挖掘方法的步骤。

本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的样本挖掘方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种样本挖掘方法，该方法基于人脸特征聚类结果与人体特征聚类结果之间的差异性，确定ReID模型难以准确识别的图像样本，即挖掘出对于提升ReID模型性能有帮助的难样本。具体的，在本申请实施例提供的技术方案中，先获取目标图像集合和种子图像集合，其中，目标图像集合中包括显示有待识别的目标对象的图像，种子图像集合中既包括显示有上述目标对象的图像又包括显示有非目标对象的图像；然后，组合目标图像集合和种子图像集合得到第一图像集合；进而，提取第一图像集合中图像的人体特征和人脸特征；对第一图像集合中图像的人体特征进行聚类处理得到第一聚类结果，对第一图像集合中图像的人脸特征进行聚类处理得到第二聚类结果；最终根据该第一聚类结果和第二聚类结果确定第一难样本和第二难样本，此处的第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。如此，基于聚类得到的各人体特征聚类类别与各人脸特征聚类类别之间的匹配关系，自动从图像集合中筛选出非同人高相似样本对(即第一难样本)和同人低相似样本对(第二难样本)，实现了对于提升ReID模型有帮助的难样本的自动挖掘。

附图说明

图1为本申请实施例提供的样本挖掘方法的应用场景示意图；

图2为本申请实施例提供的一种样本挖掘方法的流程示意图；

图3为本申请实施例提供的query图像和gallery图像的示意图；

图4为本申请实施例提供的人工标注难样本的过程示意图；

图5为本申请实施例提供的另一种样本挖掘方法的流程示意图；

图6为本申请实施例提供的第一种样本挖掘装置的结构示意图；

图7为本申请实施例提供的第二种样本挖掘装置的结构示意图；

图8为本申请实施例提供的第三种样本挖掘装置的结构示意图；

图9为本申请实施例提供的第四种样本挖掘装置的结构示意图；

图10为本申请实施例提供的终端设备的结构示意图；

图11为本申请实施例提供的服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄像机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的技术方案涉及人工智能领域的计算机视觉技术。

相关技术面对挖掘用于提升ReID模型性能的难样本这一问题，目前主要通过以下两种方案实现：第一种方案，人工搜集线上业务中错误识别的样本，此方案效率低下，并且通常仅能搜集到非同人高相似样本对，难以实现对于同人低相似样本对的搜集。第二种方案，在训练ReID模型的过程中，对置信度低的样本对进行挖掘，增加此类样本参与训练的次数，然而置信度低的样本对实质上可能是存在噪声的样本，而并非难样本，增加此类样本参与训练的次数，很有可能导致训练得到的ReID模型对噪声产生过拟合。

为了克服上述相关技术存在的问题，保证可以高效准确地挖掘对于提升ReID模型性能有帮助的难样本，本申请实施例提供了一种样本挖掘方法。

在本申请实施例提供的样本挖掘方法中，先获取目标图像集合和种子图像集合，其中，目标图像集合中包括显示有待识别的目标对象的图像，种子图像集合中既包括显示有上述目标对象的图像，又包括显示有非上述目标对象的图像；然后组合目标图像集合和种子图像集合得到第一图像集合；进而，提取该第一图像集合中图像的人体特征和人脸特征，并对第一图像集合中图像的人体特征进行聚类处理得到第一聚类结果，对第一图像集合中图像的人脸特征进行聚类处理得到第二聚类结果；最终，根据第一聚类结果和第二聚类结果确定第一难样本和第二难样本，此处的第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，此处的第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

上述样本挖掘方法在挖掘难样本的过程中，将人脸特征信息引入其中，基于人体特征聚类结果和人脸特征聚类结果之间的差异，自动确定非同人高相似样本(即第一难样本)以及同人低相似样本(即第二难样本)，即实现对提升ReID模型性能有帮助的难样本的自动挖掘。相比相关技术中挖掘难样本的实现方式，本申请实施例提供的技术方案既能够挖掘出非同人高相似样本，又能够挖掘出同人低相似样本，并且无需人工参与，可以有效地提高难样本的挖掘效率。

应理解，本申请实施例提供的样本挖掘方法具体可以应用于各种具备数据处理能力的设备，如终端设备、服务器等。其中，终端设备具体可以为计算机、个人数字助理(Personal Digital Assitant，PDA)、平板电脑、智能手机等；服务器具体可以为应用服务器或Web服务器，实际部署时，该服务器可以为独立服务器，也可以为集群服务器。

为了便于理解本申请实施例提供的技术方案，下面以本申请实施例提供的样本挖掘方法应用于服务器为例，对本申请实施例提供的样本挖掘方法适用的应用场景进行示例性介绍。

参见图1，图1为本申请实施例提供的样本挖掘方法的应用场景示意图。如图1所示，该应用场景中包括服务器100，服务器100用于执行本申请实施例提供的样本挖掘方法，其能够获取ReID模型实际应用过程中处理的目标图像集合(下文称其为query集合)和种子图像集合(下文称其为gallery集合)，进而从所获取的query集合和gallery集合中筛选出难样本。

在ReID技术应用过程中，线上图片被分为query集合和gallery集合。其中，query集合包括显示有待跟踪识别的目标对象的图像，query集合中不同的图像可以显示同一目标对象，也可以显示不同的目标对象；gallery集合包括大量种子图像，这些种子图像中的部分图像显示有待跟踪识别的目标对象，部分图像中显示的对象并非需要跟踪识别的目标对象。ReID技术的实质，就是基于query集合中的图像在gallery集合中检索包含有目标对象的图像。

基于本申请实施例提供的样本挖掘方法，挖掘有助于提升ReID模型性能的难样本时，服务器100需要获取ReID模型在线处理的query集合和gallery集合，并利用query集合中包括的图像和gallery集合中包括的图像，组成第一图像集合101。然后，提取该第一图像集合中图像的人体特征102和人脸特征103，对该第一图像集合中图像的人体特征102进行聚类处理得到第一聚类结果104，对该第一图像集合中图像的人脸特征103进行聚类处理得到第二聚类结果105。最终，根据该第一聚类结果104和第二聚类结果105确定第一难样本和第二难样本106，其中，第一难样本又可以被称为非同人高相似样本，其包括人体特征属于同一类但人脸特征属于不同类的图像，第二难样本又可以被称为同人低相似样本，其包括人体特征属于不同类但人脸特征属于同一类的图像。

服务器100从query集合和gallery集合中筛选出第一难样本和第二难样本后，即可利用其筛选出的第一难样本和第二难样本对ReID模型进行训练，以提升该ReID模型的性能，使得该ReID模型可以更准确地实现对于目标对象的跟踪识别。

应理解，图1所示场景仅为示例，在实际应用中，本申请实施例提供的样本挖掘方法不仅可以适用于图1所示的场景，还可以适用于其他场景，例如，可以由终端设备执行本申请实施例提供的样本挖掘方法挖掘难样本，在此不对本申请实施例提供的样本挖掘方法适用的应用场景做任何限定。

下面通过实施例对本申请提供的样本挖掘方法进行介绍。

参见图2，图2为本申请实施例提供的样本挖掘方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例，对该样本挖掘方法的实现过程进行描述。如图2所示，该样本挖掘方法包括以下步骤：

步骤201：获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像。

当服务器需要挖掘用于训练ReID模型的难样本时，服务器可以获取ReID模型在线和/或离线处理相关任务时所利用的query集合(即目标图像集合)和gallery集合(即种子图像集合)。其中，query集合包括显示有需要跟踪识别的目标对象的图像，query集合中不同的图像可以显示相同的目标对象，也可以显示不同的目标对象；gallery集合包括大量种子图像，这些种子图像中的部分图像显示有需要跟踪识别的目标对象，部分图像中显示的对象并非需要跟踪识别的目标对象。

需要说明的是，上述query集合和gallery集合中包括的图像通常均为仅包括人形的图像，如图3中的图像301和图像302所示。即query集合和gallery集合中包括的图像，通常都是对图像采集设备采集的整体图像进行人物提取处理后得到的图像。

具体实现时，若服务器自身运行有ReID模型，则服务器可以直接获取该ReID模型处理相关任务时所利用的query集合和gallery集合，进而基于所获取的query集合和gallery集合挖掘难样本。若服务器自身没有运行ReID模型，则服务器可以与其他运行有ReID模型的设备通信，以从其他运行有ReID模型的设备处获取该ReID模型处理相关任务时所利用的query集合和gallery集合，或者，服务器可以从相关数据库中调取query集合和gallery集合，该相关数据库中存储有ReID模型处理任务时所利用的query集合和gallery集合。当然，在实际应用中，服务器还可以通过其他方式获取query集合和gallery集合，本申请在此不对获取query集合和gallery集合的方式做任何限定。

可选的，为了尽可能地减少后续样本挖掘过程中所需耗费的计算量，服务器获取到query集合和gallery集合后，可以基于gallery集合对query集合中包含的图像进行过滤处理，以滤除query集合中正确识别率高于预设阈值的图像，即滤除query集合中容易被正确识别的图像，此类容易被正确识别的图像通常对于提升ReID模型性能帮助较小。

在一种可能的实现方式中，服务器可以通过以下方式实现对于query集合的过滤处理：先确定第一阈值和第二阈值，在gallery集合中检索query集合时，按照第一预设检索条件基于该第一阈值确定的检索准确率能够满足预设准确率阈值，按照第二预设检索条件基于该第二阈值确定的检索召回率满足预设召回率阈值；然后，针对query集合中的每张图像，在gallery集合中检索出与该图像相似度最高的目标图像，并判断这二者之间的相似度是否处于目标区间，若是则保留query集合中的该图像，若否则滤除query集合中的该图像；此处的目标区间是根据第一阈值和第二阈值确定的。

示例性的，可以通过实验的方式确定上述第一阈值T1和第二阈值T2。为了便于描述，下文将query集合中的图像简称为query图像，将gallery集合中的图像简称为gallery图像。

具体确定第一阈值T1时，可以在gallery集合中检索query集合中各张query图像，确定各张query图像各自对应的相似gallery图像，从各张query图像各自对应的gallery图像中，挑选出相似度大于第一阈值T1的相似gallery图像，并确定所挑选出的相似gallery图像中的正确gallery图像，此处的正确gallery图像中包含的对象与其对应的query图像中包含的对象一致，进而，计算正确gallery图像在所挑选的相似gallery图像中占据的比例，并判断该比例是否满足预设准确率阈值，若是，则确定此次实验使用的第一阈值T1作为用于组成目标区间的第一阈值。

应理解，确定第一阈值T1时，针对每张query图像检索与其对应的相似gallery图像时，可以确定gallery集合中与该张query图像相似度最高的图像，作为该张query图像对应的相似gallery图像，即检索gallery top1图像。上述预设准确率阈值可以根据实际需求设定，例如设定为97％等，本申请在此不对该预设准确率阈值做具体限定。

具体确定第二阈值T2时，可以在gallery集合中检索query集合中各张query图像，确定各张query图像各自对应的相似gallery图像，从各张query图像各自对应的gallery图像中，挑选出相似度大于第二阈值T2的相似gallery图像，并确定所挑选出的相似gallery图像中的正确召回gallery图像，此处的正确召回gallery图像是指与样本标注结果一致的图像，进而，计算正确召回gallery图像在所挑选的相似gallery图像中占据的比例，并判断该比例是否满足预设召回率阈值，若是，则确定此次实验使用的第二阈值T2作为用于组成目标区间的第二阈值。

应理解，确定第二阈值T2时，针对每张query图像检索与其对应的相似gallery图像时，可以确定gallery集合中与该张query图像相似度排名前五的图像，作为该张query图像对应的相似gallery图像，即检索gallery top5图像。上述预设召回率阈值可以根据实际需求设定，例如设定为97％等，本申请在此不对该预设召回率阈值做具体限定。

确定出第一阈值T1和第二阈值T2后，可以进一步基于第一阈值T1和第二阈值T2确定目标区间[T1,T2]或者[T2,T1]。针对query集合中的每张query图像，在gallery集合中检索出与该张query图像最为相似的目标gallery图像，并确定该张query图像与目标gallery图像之间的相似度S1，判断该相似度S1是否处于目标区间，若是则保留该query图像，若否则滤除该query图像。

需要说明的是，在实际应用中，服务器除了可以通过上述方式对query集合进行过滤处理外，也可以根据实际需求采用其他方式对query集合进行过滤处理，本申请在此不对过滤query集合的方式做任何限定。

步骤202：组合所述目标图像集合和所述种子图像集合，得到第一图像集合。

服务器获取到query集合和gallery集合后，可以重构query集合和gallery集合，即利用query集合中的图像和gallery集合中的图像组成第一图像集合，下文将该第一图像集合简称为Body集合。

应理解，若服务器在执行步骤202之前对query集合进行了过滤处理，则服务器在执行步骤202时，可以将对query集合进行过滤处理后保留下来的图像和gallery集合中的图像组合起来得到Body集合，即利用query集合中保留下来的图像和gallery集合中的图像组成Body集合。

可选的，为了尽可能地减少后续处理过程所需耗费的计算量，服务器组合query集合和gallery集合得到Body集合后，可以进一步利用Body集合中人脸检测质量满足预设标准的图像组成第二图像集合，即从Body集合中筛选出人脸检测质量较好的图像组成第二图像集合，下文将该第二图像集合简称为Face集合。

在一种可能的实现方式中，服务器可以通过以下方式确定Body集合中各张图像的人脸检测质量：对Body集合中各图像进行人脸检测，确定各图像各自对应的人脸检测结果，该人脸检测结果能够表征是否能在图像中成功检测到人脸；保留Body集合中人脸检测结果表征能够在图像中成功检测到人脸的图像，滤除Body集合中人脸检测结果表征不能在图像中成功检测到人脸的图像。进而，针对Body集合中保留下来的图像，确定这些图像各自对应的质量分，该质量分用于表征图像中人脸检测质量。

需要说明的是，服务器针对Body集合中保留下来的图像确定质量分时，可以参考图像中人脸的模糊度、朝向等因素进行确定，本申请在此不对确定质量分时参考的因素做具体限定。

相应地，服务器组成Face集合时，可以从Body集合保留下来的图像中，选出质量分大于预设分数阈值的图像组成Face集合。

应理解，在实际应用中，服务器除了可以通过上述的方式确定Body集合中各张图像的人脸检测质量外，还可以通过其他方式确定Body集合中各种图像的人脸检测质量，本申请在此不对确定人脸检测质量的方式做任何限定。

步骤203：提取所述第一图像集合中图像的人体特征和人脸特征。

服务器组合得到Body集合后，可以利用人体特征提取模型提取出Body集合中各张图像的人体特征，利用人脸特征提取模型提取出Body集合中各张图像的人脸特征。

应理解，此处利用的人体特征提取模型是相关技术中可以用于提取图像中人体特征的模型，如ReID模型、人体识别模型等，本申请在此不对用于提取人体特征的模型做任何限定。相类似地，此处利用的人脸特征提取模型也是相关技术中可以用于提取图像中人脸特征的模型，如人脸识别模型等，本申请在此也不对用于提取人脸特征的模型做任何限定。

需要说明的是，若服务器在执行步骤203之前，已从Body集合中筛选出人脸检测质量较好的图像组成Face集合，则服务器执行步骤203时可以针对Body集合中各图像进行人体特征提取处理，针对Face集合中各图像进行人脸特征提取处理。

步骤204：对所述第一图像集合中各图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中各图像的人脸特征进行聚类处理，得到第二聚类结果。

服务器提取出Body集合中各张图像的人体特征和人脸特征后，需要对Body集合中各图像的人体特征进行聚类处理得到第一聚类结果，该第一聚类结果中可以包括多个类别，每个类别中包括的各人体特征彼此之间的相似度较高，若仅从人体特征的角度进行目标对象的识别，基于同一个类别中各人体特征识别出的对象应当为相同的对象。此外，服务器还需要对Body集合中各图像的人脸特征进行聚类处理得到第二聚类结果，该第二聚类结果中可以包括多个类别，每个类别中包括的各人脸特征彼此之间相似度较高，同一个类别中各人脸特征实际上应当对应同一对象。

需要说明的是，若服务器在执行步骤203之前，已从Body集合中筛选出人脸检测质量较好的图像组成Face集合，并且在执行步骤203时针对Face集合中各图像进行人脸特征提取处理，则服务器相应地执行步骤204时，应针对Face集合中各图像的人脸特征进行聚类处理，得到该第二聚类结果。

需要说明的是，在实际应用中，服务器可以根据实际需求采用相应的聚类算法对Body集合中各图像的人体特征和人脸特征进行聚类处理，例如，可以采用rank-order聚类算法或图卷积算法进行聚类处理，本申请在此不对聚类处理时采用的聚类算法做任何限定。

步骤205：根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

通过聚类处理得到第一聚类结果和第二聚类结果后，服务器需要根据该第一聚类结果和第二聚类结果，从Body集合中选出非同人高相似样本对(即第一难样本)和同人低相似样本对(即第二难样本)。

具体挑选非同人高相似样本对时，服务器可以针对第一聚类结果中某个类别，确定该类别中各人体特征各自对应的图像，然后判断这些图像各自对应的人脸特征是否属于第二聚类结果中的同一类别，挑选出任意两个人脸特征属于第二聚类结果中不同类别的图像，组成一个非同人高相似样本对。

具体挑选同人低相似样本对时，服务器可以针对第二聚类结果中某个类别，确定该类别中各人脸特征各自对应的图像，然后判断这些图像各自对应的人体特征是否属于第一聚类结果中的同一类别，挑选出任意两个人体特征属于第一聚类结果中不同类别的图像，组成一个同人低相似样本对。

可选的，为了进一步增加所能挖掘到的难样本量，服务器可以通过以下方式在Body集合中检索可能为难样本的图像，以便将这些图像提供给相关专家进行标注。

服务器可以对Body集合中各图像的人体特征进行二次聚类处理，得到第三聚类结果，该第三聚类结果的聚类精度高于第一聚类结果的聚类精度。然后，确定第三聚类结果包括的N(N为大于1的整数)个类别各自对应的平均特征。进而，针对该第三聚类结果包括的每个类别，计算该类别对应的平均特征与其余N-1个类别各自对应的平均特征之间的rerank距离，作为这N-1个类别各自对应的rerank距离，对这N-1个类别各自对应的rerank距离进行降序排序，确定排序靠前的M(M是大于等于1且小于N-1的整数)个类别中的图像为待标注样本图像。

具体的，服务器可以对Body集合中各图像各自对应的人体特征再次进行更细粒度的聚类处理，得到包括有N个类别的第三聚类结果，该第三聚类结果中各个类别分别对应不同的对象；为了确保第三聚类结果中各个类别准确地对应不同的对象，且同一类别中各人体特征均对应相同的对象，相关技术人员可以对此次聚类处理进行人工干预。

经聚类处理得到第三聚类结果后，服务器可以针对第三聚类结果中的每个类别，利用该类别中包括的各人体特征计算该类别对应的平均特征；如此，得到第三聚类结果中N个类别各自对应的平均特征。进而，针对第三聚类结果包括的N个类别中的每个类别，计算其余N-1个类别各自对应的平均特征与该类别的平均特征之间的rerank距离，作为这N-1个类别各自对应的rerank距离。对这N-1个类别各自对应的rerank距离进行降序排序，并选取排序靠前的M个类别，将这M个类别中各人体特征各自对应的图像作为待标注样本图像，推送给相关专家进行标注。

应理解，上述M值可以根据实际需求进行设定，例如可以设定为4或5，本申请在此不对M值做具体限定。

相关专家获取到待标注样本图像后，可以人工标注其中非同人高相似样本和同人低相似样本。下面结合图4所示的实现过程示意图，对人工标注难样本的过程进行介绍。如图4所示，假设针对图像401检索到四张与其对应的待标注样本图像402、403、404和405，相关专家可以分别针对人物朝向相同的图像(如图4中上一分支所示)和人物朝向不同的图像(如图4中下一分支所示)进行样本对组合处理；对于人物朝向相同的图像401、403和405，相关专家可以人工识别图像401、403和405是否包括相同的对象，进而根据识别结果组合得到两对同人低相似样本对406和407，样本对406中包括图像401和图像405，样本对407中包括图像401和图像403；对于人物朝向不同的图像401和404，相关专家可以人工识别图像401和图像404中是否包括相同的对象，进而根据识别结果组合得到一对非同人高相似样本对408，样本对408中包括图像401和图像404。

应理解，图4所示的人工标注样本的过程仅为示例，在实际应用中，相关专家可以通过其他方式对待标注样本图像进行标注处理，本申请在此不对标注处理的方式做任何限定。

上述样本挖掘方法在挖掘难样本的过程中，将人脸特征信息引入其中，基于人体特征聚类结果和人脸特征聚类结果之间的差异，自动确定非同人高相似样本(即第一难样本)以及同人低相似样本(即第二难样本)，即实现对提升ReID模型性能有帮助的难样本的自动挖掘。相比相关技术中挖掘难样本的实现方式，本申请实施例提供的技术方案既能够挖掘出非同人高相似样本，又能够挖掘出同人低相似样本，并且无需人工参与，可以有效地提高难样本的挖掘效率。

为了便于进一步理解本申请实施例提供的样本挖掘方法，下面结合图5所示的流程图，对本申请实施例提供的样本挖掘方法的实现过程进行整体示例性介绍。如图5所示，该方法包括以下步骤：

步骤501：获取query集合和gallery集合。

步骤502：过滤query集合中的容易样本。

具体实现时，可以通过实验找到第一阈值T1，该第一阈值T1可以保证在gallery集合中基于query集合检索gallery top1的准确率达到97％；通过实验找到第二阈值T2，该第二阈值T2可以保证在gallery集合中基于query集合检索gallery top5的召回率达到97％。在gallery集合中检索query集合中的每张图像，并计算针对每张query图像检索到的gallery top1图像与其该query图像之间的相似度S1，保留S1处于区间[T1,T2]的query图像，滤除其他query图像。

步骤503：提取Body集合中各图像的人体特征，该Body集合包括gallery集合中的图像和query集合中经过滤处理后保留的图像。

步骤504：对Body集合中各图像的人体特征进行聚类处理，得到第一聚类结果。

步骤505：对Body集合中各图像进行人脸检测，得到各图像各自对应的人脸检测结果。

步骤506：判断图像对应的人脸检测结果是否表征能够成功检测该图像中的人脸。若否，则执行步骤507，若是，则执行步骤508。

步骤507：确定该图像不参与辅助计算，即在组成Face集合时不考虑该图像。

步骤508：根据该图像的模糊度和朝向确定该图像对应的质量分，该质量分能够表征该图像中的人脸检测质量。

步骤509：判断质量分是否大于预设分数阈值。若否，则执行步骤510，若是，则执行步骤511。

步骤510：确定该图像不参与辅助计算，即在组成Face集合时不考虑该图像。

步骤511：利用质量分大于预设分数阈值的图像组成Face集合。

步骤512：提取Face集合中各图像的人脸特征。

步骤513：对Face集合中各图像的人脸特征进行聚类处理，得到第二聚类结果。

应理解，在实际应用中，由步骤503和步骤504构成的分支和由步骤505至步骤513构成的分支为两条并列的分支，服务器具体执行时可以同时执行这两个分支。

步骤514：根据第一聚类结果和第二聚类结果，自动筛选出非同人高相似样本对和同人低相似样本对。

步骤515：人工辅助实现对于Body集合的二次细粒度聚类，得到第三聚类结果。

步骤516：计算第三聚类结果中每个类别各自对应的平均人体特征。

步骤517：针对第三聚类结果中的每个类别，对其余N-1个类别进行rerank检索，取top 5类别中的图像作为待标注样本图像。

步骤518：将待标注样本图像推送给相关专家进行人工标注。

针对上文描述的样本挖掘方法，本申请还提供了对应的样本挖掘装置，以使上述样本挖掘方法在实际中得以应用和实现。

参见图6，图6是与上文图2所示的样本挖掘方法对应的一种样本挖掘装置600的结构示意图，该样本挖掘装置600包括：

获取模块601，用于获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

第一图像集合获取模块602，用于组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

特征提取模块603，用于提取所述第一图像集合中图像的人体特征和人脸特征；

聚类模块604，用于对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

难样本确定模块605，用于根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

可选的，在图6所示的样本挖掘装置的基础上，参见图7，图7为本申请实施例提供的另一种样本挖掘装置700的结构示意图。如图7所示，该样本挖掘装置700还包括：

第二图像集合获取模块701，用于利用所述第一图像集合中人脸检测质量满足预设标准的图像，组成第二图像集合；

则所述特征提取模块603具体用于：

提取所述第一图像集合中各图像的人体特征，提取所述第二图像集合中各图像的人脸特征；

则所述聚类模块604具体用于：

对所述第二图像集合中各图像的人脸特征进行聚类处理，得到所述第二聚类结果。

可选的，在图6所示的样本挖掘装置的基础上，参见图8，图8为本申请实施例提供的另一种样本挖掘装置800的结构示意图。如图8所示，该样本挖掘装置800还包括：

过滤模块801，用于对所述目标图像集合进行过滤处理，滤除所述目标图像集合中正确识别率高于预设阈值的图像；

则所述第一图像集合获取模块602具体用于：

将对所述目标图像集合进行过滤处理后保留的图像和所述种子图像集合中的图像组合起来，得到所述第一图像集合。

可选的，在图8所示的样本挖掘装置的基础上，所述过滤模块801具体用于：

确定第一阈值和第二阈值；在所述种子图像集合中检索所述目标图像集合时，按照第一预设检索条件基于所述第一阈值确定的检索准确率满足预设准确率阈值，按照第二预设检索条件基于所述第二阈值确定的检索召回率满足预设召回率阈值；

针对所述目标图像集合中的每张图像，在所述种子图像集合中检索出与该图像相似度最高的目标图像，判断该目标图像与该图像之间的相似度是否处于目标区间，若是则保留该图像，若否则滤除该图像；所述目标区间是根据所述第一阈值和所述第二阈值确定的。

可选的，在图6所示的样本挖掘装置的基础上，参见图9，图9为本申请实施例提供的另一种样本挖掘装置900的结构示意图。如图9所示，该样本挖掘装置900还包括：

二次聚类模块901，用于对所述第一图像集合中各图像的人体特征进行二次聚类处理，得到第三聚类结果；所述第三聚类结果的聚类精度高于所述第一聚类结果的聚类精度；

平均特征确定模块902，用于确定所述第三聚类结果包括的N个类别各自对应的平均特征，所述N为大于1的整数；

待标注样本确定模块903，用于针对所述第三聚类结果包括的每个类别，计算其余N-1个类别各自对应的平均特征与该类别对应的平均特征之间的rerank距离，作为所述N-1个类别各自对应的rerank距离；对所述N-1个类别各自对应的rerank距离进行降序排序，确定排序靠前的M个类别中的图像为待标注样本图像；所述M为小于N-1且大于等于1的整数。

可选的，在图7所示的样本挖掘装置的基础上，所述第二图像集合获取模块701具体用于：

对所述第一图像集合中各图像进行人脸检测，确定各图像各自对应的人脸检测结果；所述人脸检测结果用于表征能否在图像中成功检测到人脸；

保留人脸检测结果表征能在图像中成功检测到人脸的图像，滤除人脸检测结果表征不能在图像中成功检测到人脸的图像；

针对所述第一图像集合中保留下来的图像，确定图像对应的质量分；

从所述第一图像集合中保留下来的图像中，选取质量分大于预设分数阈值的图像组成所述第二图像集合。

可选的，在图6或图9所示的样本挖掘装置的基础上，所述聚类处理采用的聚类算法包括以下任意一种：rank-order聚类算法、图卷积聚类算法。

上述样本挖掘装置在挖掘难样本的过程中，将人脸特征信息引入其中，基于人体特征聚类结果和人脸特征聚类结果之间的差异，自动确定非同人高相似样本(即第一难样本)以及同人低相似样本(即第二难样本)，即实现对提升ReID模型性能有帮助的难样本的自动挖掘。相比相关技术中挖掘难样本的实现方式，本申请实施例提供的技术方案既能够挖掘出非同人高相似样本，又能够挖掘出同人低相似样本，并且无需人工参与，可以有效地提高难样本的挖掘效率。

本申请实施例还提供了一种用于挖掘样本的设备，该用于挖掘样本的设备具体可以是终端或服务器，下面将从硬件实体化的角度对本申请实施例提供的上述设备进行介绍。

参见图10，图10为本申请实施例提供的终端设备的结构示意图。如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：PersonalDigital Assistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为计算机为例：

图10示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图10，计算机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1080是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

在本申请实施例中，该终端所包括的处理器1080还具有以下功能：

获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

提取所述第一图像集合中图像的人体特征和人脸特征；

对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

可选的，所述处理器1080还用于执行本申请实施例提供的样本挖掘方法的任意一种实现方式的步骤。

参见图11，图11为本申请实施例提供的一种服务器1100的结构示意图。该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作***1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。

其中，CPU 1122用于执行如下步骤：

获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

提取所述第一图像集合中图像的人体特征和人脸特征；

对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

可选的，CPU 1122还可以用于执行本申请实施例提供的样本挖掘方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种样本挖掘方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种样本挖掘方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种样本挖掘方法，其特征在于，所述方法包括：

获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

提取所述第一图像集合中图像的人体特征和人脸特征；

对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

2.根据权利要求1所述的方法，其特征在于，在所述提取所述第一图像集合中图像的人体特征和人脸特征之前，所述方法还包括：

利用所述第一图像集合中人脸检测质量满足预设标准的图像，组成第二图像集合；

则所述提取所述第一图像集合中图像的人体特征和人脸特征，包括：

提取所述第一图像集合中各图像的人体特征，提取所述第二图像集合中各图像的人脸特征；

则所述对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果，包括：

对所述第二图像集合中各图像的人脸特征进行聚类处理，得到所述第二聚类结果。

3.根据权利要求1所述的方法，其特征在于，在所述组合所述目标图像集合和所述种子图像集合，得到第一图像集合之前，所述方法还包括：

对所述目标图像集合进行过滤处理，滤除所述目标图像集合中正确识别率高于预设阈值的图像；

则所述组合所述目标图像集合和所述种子图像集合，得到第一图像集合，包括：

将对所述目标图像集合进行过滤处理后保留的图像和所述种子图像集合中的图像组合起来，得到所述第一图像集合。

4.根据权利要求3所述的方法，其特征在于，所述对所述目标图像集合进行过滤处理，滤除所述目标图像集合中正确识别率高于预设阈值的图像，包括：

确定第一阈值和第二阈值；在所述种子图像集合中检索所述目标图像集合时，按照第一预设检索条件基于所述第一阈值确定的检索准确率满足预设准确率阈值，按照第二预设检索条件基于所述第二阈值确定的检索召回率满足预设召回率阈值；

针对所述目标图像集合中的每张图像，在所述种子图像集合中检索出与该图像相似度最高的目标图像，判断该目标图像与该图像之间的相似度是否处于目标区间，若是则保留该图像，若否则滤除该图像；所述目标区间是根据所述第一阈值和所述第二阈值确定的。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一图像集合中各图像的人体特征进行二次聚类处理，得到第三聚类结果；所述第三聚类结果的聚类精度高于所述第一聚类结果的聚类精度；

确定所述第三聚类结果包括的N个类别各自对应的平均特征，所述N为大于1的整数；

针对所述第三聚类结果包括的每个类别，计算其余N-1个类别各自对应的平均特征与该类别对应的平均特征之间的rerank距离，作为所述N-1个类别各自对应的rerank距离；对所述N-1个类别各自对应的rerank距离进行降序排序，确定排序靠前的M个类别中的图像为待标注样本图像；所述M为小于N-1且大于等于1的整数。

6.根据权利要求2所述的方法，其特征在于，通过以下方式确定所述第一图像集合中图像的人脸检测质量：

对所述第一图像集合中各图像进行人脸检测，确定各图像各自对应的人脸检测结果；所述人脸检测结果用于表征能否在图像中成功检测到人脸；

保留人脸检测结果表征能在图像中成功检测到人脸的图像，滤除人脸检测结果表征不能在图像中成功检测到人脸的图像；

针对所述第一图像集合中保留下来的图像，确定图像对应的质量分；

则所述利用所述第一图像集合中人脸检测质量满足预设标准的图像，组成第二图像集合，包括：

从所述第一图像集合中保留下来的图像中，选取质量分大于预设分数阈值的图像组成所述第二图像集合。

7.根据权利要求1或5所述的方法，其特征在于，所述聚类处理采用的聚类算法包括以下任意一种：rank-order聚类算法、图卷积聚类算法。

8.一种样本挖掘装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像集合和种子图像集合；所述目标图像集合包括显示有待识别的目标对象的图像，所述种子图像集合包括显示有所述目标对象的图像以及显示有非所述目标对象的图像；

第一图像集合获取模块，用于组合所述目标图像集合和所述种子图像集合，得到第一图像集合；

特征提取模块，用于提取所述第一图像集合中图像的人体特征和人脸特征；

聚类模块，用于对所述第一图像集合中图像的人体特征进行聚类处理，得到第一聚类结果；对所述第一图像集合中图像的人脸特征进行聚类处理，得到第二聚类结果；

难样本确定模块，用于根据所述第一聚类结果和所述第二聚类结果，确定第一难样本和第二难样本；所述第一难样本包括人体特征属于同一类但人脸特征属于不同类的图像，所述第二难样本包括人体特征属于不同类但人脸特征属于同一类的图像。

9.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行权利要求1至7任一项所述的样本挖掘方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至7任一项所述的样本挖掘方法。

Images