CN110096605B - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法及装置、电子设备、存储介质，涉及计算机技术领域，该方法包括：对目标图像进行分段，以生成多段待处理图像；将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。本公开能够避免聚类过程的局限性，提高聚类效率。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

背景技术

在图像处理的过程中，可能需要对手机等终端中的图片和视频等进行混合聚类，以将其进行准确分类，便于用户使用。但是，在待聚类视频数量非常多的情况下，对图片和视频进行混合聚类则会出现耗时长耗电量大的问题。

相关技术中，是将聚类时间点放在晚间闲暇并充电的时段。如果用户没有晚间充电，则聚类功能在实际应用时候将不会发挥作用，局限性较大，因此使得聚类效率较低。

发明内容

本公开的目的在于提供一种图像处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的聚类局限性较大以及效率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种图像处理方法，包括：对目标图像进行分段，以生成多段待处理图像；将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。

在本公开的一种示例性实施例中，对目标图像进行分段，以生成多段待处理图像包括：对所述目标图像中包含的图像和视频进行随机混合处理，并对所述随机混合处理后的目标图像进行分段，以生成所述多段待处理图像。

在本公开的一种示例性实施例中，将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果包括：通过深度学习模型对所述预设段的所有待处理图像进行特征提取，以得到各所述待处理图像的特征值；计算所述预设段中每两个待处理图像对应的特征值之间的相似度；按照所述相似度对所述预设段的所有待处理图像进行聚类，以得到所述预设聚类结果。

在本公开的一种示例性实施例中，按照所述相似度对所述预设段的所有待处理图像进行聚类，以得到所述预设聚类结果包括：将所述相似度满足第一预设条件的两个待处理图像确定为相同类；将所述相似度满足第二预设条件的两个待处理图像确定为不同类。

在本公开的一种示例性实施例中，结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果包括：结合当前段之前的已聚类段的聚类结果，对所述当前段的待处理图像进行聚类，得到所述当前段的聚类结果；其中，所述当前段为所述剩余段中当前处理的一段，所述已聚类段中除所述预设段之外的其他段的聚类结果是根据所述预设聚类结果确定的；根据所述已聚类段的聚类结果以及所述当前段的聚类结果，对下一段的待处理图像进行聚类，直至对所有剩余段的待处理图像全部完成聚类为止，以得到所述目标图像的聚类结果。

在本公开的一种示例性实施例中，结合当前段之前的已聚类段的聚类结果，对所述当前段的待处理图像进行聚类，得到所述当前段的聚类结果包括：分别对所述当前段的每个待处理图像进行特征提取，以得到所述当前段中各所述待处理图像的特征值；从所述已聚类段中确定预设数量的特征值作为参考特征值；计算所述当前段中各所述待处理图像的特征值与所述参考特征值之间的相似度；按照所述相似度对所述当前段的所有待处理图像进行聚类，以得到所述当前段中各所述待处理图像的聚类结果。

在本公开的一种示例性实施例中，按照所述相似度对所述当前段的所有待处理图像进行聚类，以得到所述当前段中各所述待处理图像的聚类结果包括：若所述当前段的待处理图像与所述参考特征值之间的相似度满足第三预设条件，则确定所述当前段的待处理图像与所述参考特征值对应的预设段的待处理图像属于相同类；若所述当前段的待处理图像与所述参考特征值之间的相似度满足第四预设条件，则确定所述当前段的待处理图像与所述参考特征值对应的预设段的待处理图像属于不同类。

在本公开的一种示例性实施例中，在对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类时，所述方法还包括：若检测到聚类异常，则确定已聚类段；结合所述已聚类段的聚类结果，对除所述已聚类段之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。

根据本公开的一个方面，提供一种图像处理装置，包括：图像分段模块，用于对目标图像进行分段，以生成多段待处理图像；第一聚类模块，用于将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；第二聚类模块，用于结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像处理方法。

本公开示例性实施例中提供的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质中，一方面，通过将目标图像进行分段得到多段待处理图像，再对预设段进行聚类，并根据预设段的待处理图像的预设聚类结果对剩余段的待处理图像进行聚类，将一个比较大的聚类过程分解为多个较小的聚类过程，避免了依靠闲暇时间进行聚类的局限性，也避免了一次性聚类过程中可能导致的风险，增加了聚类过程的应用场合和范围，提高了聚类便利性。另一方面，结合预设段的待处理图像的聚类结果，对剩余段的待处理图像进行聚类，减少了聚类的图像的数量，能够提高聚类的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种图像处理方法的示意图。

图2示意性示出本公开示例性实施例中对预设段进行聚类的流程图。

图3示意性示出本公开示例性实施例中对当前段进行聚类的流程图。

图4示意性示出本公开示例性实施例中进行聚类的具体流程图。

图5示意性示出本公开示例性实施例中一种图像处理装置的框图。

图6示意性示出本公开示例性实施例中一种电子设备的框图。

图7示意性示出本公开示例性实施例中一种程序产品。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种图像处理方法，可以应用于为图像和/或视频进行聚类的应用场景。接下来，参考图1中所示对本示例性实施例中的图像处理方法进行具体说明。

在步骤S110中，对目标图像进行分段，以生成多段待处理图像。

本示例性实施例中，目标图像可以为即将要输入用于聚类的聚类模型，或者是实际参与聚类的图像和/或视频，具体地可以由用户来确定和选择。目标图像中可以包括多个图像以及多个视频，且目标图像可以存储在手机或者是存储在电脑等终端中。

当目标图像的数量非常大时，为了避免耗时耗电，可以将目标图像分段，以减少工作量。具体地，首先可以确定目标图像的数量，即目标图像包含的图像和视频的数量的总和。例如，获取的目标图像的数量可以用M来表示。当实际参与聚类的图片和视频的总量超过较大的预设阈值，例如5000个时，若其中还包含大量视频，则往往需要数个小时甚至是几天的时间来进行聚类，花费时间较长。为了避免和减少聚类过程中异常情况造成的中断损失，可启用断点聚类功能。断点聚类功能中，首先可将目标图像划分为多个段，以实现将一个大的聚类过程分解为数段聚类过程的目的。

在得到目标图像的数量大于5000个之后，可对所有的目标图像进行分段，以得到多段待处理图像。具体地，可对所述目标图像中的图像和视频进行随机混合处理，并对所述随机混合处理后的所述目标图像进行分段，以生成所述多段待处理图像。其中，随机混合处理指的是使所有参与聚类的图像和视频处于均匀混合状态的操作。随机混合处理具体可以由shuffle函数或者是其它函数来执行，此处不作详细说明。

进一步地，可对随机混合处理后的图像和视频进行分段，具体可对目标图像进行平均分段，也可以根据实际需求进行随机分段，此处不作特殊限定。在进行平均分段的过程中，可设定划分的段数，进而根据设定的段数以及目标图像的总数量来确定每段的数量。例如，传入聚类模型的图像和视频的数量总和为M，设定将目标图像划分为P段，则可以根据二者的比值计算出每段包含的图像和视频的数量C＝M/P，且可按照需要处理的先后顺序或者是其它顺序确定第1段至第P段。需要注意的是，划分的段数P可根据实际需求进行设定，例如50段、100段、200段等等，此处不作特殊限定。另外，如果M/P不是整数，则前P-1段包含的图像和视频的数量相等，均为M/P；而最后一段(第P段)包含的图像和视频的数量可以为M％P的值。需要说明的是，还可以确定每段包含的图像和视频的数量，进而根据目标图像的总数量以及每段的数量确定要划分的段数，此处不作特殊限定。

本示例性实施例中，首先根据参与聚类的图像和视频的总量确定段数P，将图像和视频M平均分段，只要使得每段的数量保持在200个左右即可。若假设视频均为1分钟以内的短视频，则对于每段包含的图像和视频的聚类时间一般而言在10分钟左右，从而能够避免异常情况导致的聚类效果差的问题，也能避免一次性聚类过程中导致的风险，提高安全性，增加应用范围。

在步骤S120中，将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果。

本示例性实施例中，预设段指的是指定段，例如可以为划分的多段待处理图像中的第1段，当然也可以为其它段，此处以预设段为第1段为例进行说明。聚类是一种无监督学习的算法，用于发现共同的群体，以按照相似性将待处理图像划分为多个类或类别，需要说明的是，在聚类时，事先并不知道会分为多少个类。

将多段待处理图像中预设段的待处理图像进行聚类，指的是对预设段包含的每一个待处理图像均进行聚类处理，即将预设段中每两个待处理图像进行对比判断二者是否属于同一类别。本示例性实施例中，可根据预设段的待处理图像中包含的对象进行聚类，也可以根据待处理图像的地点进行聚类，还可以根据待处理图像的时间进行聚类，还可以根据待处理图像中备注的信息进行聚类等等，此处以对图像中包含的对象进行聚类为例进行说明。预设聚类结果指的是对预设段的待处理图像进行聚类得到的每个待处理图像对应的聚类结果，预设聚类结果例如可以为待处理图像中包含的对象的类别等等。可例如，第1段包含200个待处理图像，则分别对200个待处理图像中的每一个进行聚类处理，以得到每一个待处理图像的聚类结果。聚类结果用于表示每一个图像或视频的类别，例如第1个图像属于人物1，第2个视频属于人物2，第3个图像属于人物3，第4个视频属于人物1等。在得到预设聚类结果之后，可将预设聚类结果进行保存，以便于基于预设聚类结果进行后续处理。

本示例性实施例中，在对预设段的待处理图像进行聚类时，具体可以采用划分方法(例如K-MEANS算法、K-MEDOIDS算法、CLARANS算法)、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法中的任意一种或多种来实现，本示例性实施例中以采用深度学习模型进行聚类为例进行具体说明。

图2中示意性示出了确定预设聚类结果的流程图，参考图2中所示，步骤S120的执行过程包括步骤S210至步骤S230，其中：

在步骤S210中，通过深度学习模型对所述预设段的所有待处理图像进行特征提取，以得到各所述待处理图像的特征值。

本步骤中，深度学习模型可以为任意合适的可用于聚类的模型，包括但不限于CRF(Conditional Random Fields，条件随机场)聚类模型，该CRF模型是一种判别式模型，其联合概率可以为若干势函数连乘的形式，例如线性链条件随机场。假设对第1段的图像和视频中的人物进行聚类，则可将第1段中的每个图像和视频输入至深度学习模型，以得到每个图像和视频对应的特征值(或者是特征向量)，此处的特征值例如可以为人脸特征值。通过深度学习模型对预设段的每个图像和视频进行特征提取，能够得到用于准确描述图像的特征值。

在步骤S220中，计算所述预设段中每两个待处理图像对应的特征值之间的相似度。

本步骤中，在步骤S210的基础上，得到预设段中每个待处理图像的特征值。进一步地，可根据距离计算公式计算每两个待处理图像对应的特征值之间的特征距离，进而根据特征距离确定每两个待处理图像的相似度。其中，特征距离可以包括但不限于欧式距离、余弦距离、马氏距离等等，此处以欧式距离为例进行说明。具体地，相似度与欧式距离负相关，即欧式距离越大，相似度越小；欧式距离越小，相似度越大。

在步骤S230中，按照所述相似度对所述预设段的所有待处理图像进行聚类，以得到所述预设聚类结果。

本步骤中，相似度的值越小，说明两个特征值不相似，两个待处理图像属于不同类。相似度的值越大，说明两个特征值相似，或者是两个待处理图像属于相同类。在此基础上，依照相似度的高低和紧密程度，可将相似度满足第一预设条件的两个特征值对应的两个待处理图像确定为相同类。第一预设条件例如可以为相似度大于第一预设值，第一预设值可以为一个较大的数值，例如0.5等等。另外，可将相似度满足第二预设条件的两个待处理图像确定为不同类，第二预设条件可以为相似度小于第一预设值。也就是说，可按照相似度的高低和紧密程度，将相近的人脸特征划分到相同的类，将相远的人脸特征划分到不同的类。例如第1个图像属于人物1，第2个视频属于人物2，第3个图像属于人物3，第4个视频属于人物1等，则在对第1个图像和第4个视频进行对比时，可将第1个图像和第4个视频划分为同一类；在将第1个图像和第2个视频进行对比时，可将第1个图像和第2个视频划分为不同类。

另外，若预设段中某一个待处理图像与其他待处理图像的特征值之间的相似度均不满足第二预设条件，还可以将该待处理图像独立确定为一个类。举例而言，如果预设段的所有待处理图像的特征值与某一个待处理图像105均不相似，则将该待处理图像105单独确定为一个类，该单独确定的类例如可以为未分类或者是其他类别等等。

图2中的步骤，可通过深度学习模型以及两两之间的相似度对比判断，将预设段中的所有待处理图像进行精准聚类。

进一步地，在步骤S130中，结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述待处理图像的聚类结果。

本示例性实施例中，在对预设段的待处理图像进行聚类之后，可结合预设段的预设聚类结果，对所有剩余段的待处理图像进行聚类处理。即利用之前的所有聚类的结果(即已经完成聚类的所有段的聚类结果)，依次对每个剩余段中的包含的所有待处理图像进行聚类，这种聚类方法可以避免每次均对所有段的待处理图像重新进行聚类，避免了对已聚类段图像进行重复聚类的过程，减少了操作量，进而能够提高聚类效率。

本示例性实施例中，由于预设聚类结果在后续聚类过程中均会被使用到，因此，结合预设聚类结果，对除预设段的待处理图像之外的剩余段的待处理图像进行聚类的过程可以理解为：结合位于各所述剩余段之前的所有段的待处理图像的聚类结果，对各所述剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。其中，剩余段可以为多段待处理图像中除预设段之外的任意段。需要注意的是，在对某一个剩余段的待处理图像进行处理时，位于该剩余段的待处理图像之前的所有段待处理图像均已完成聚类，即均为已聚类段，以保证结果的准确性和连续性。

如此一来，结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到目标图像的聚类结果的具体过程包括：结合当前段之前的已聚类段的聚类结果，对所述当前段的待处理图像进行聚类，得到所述当前段的聚类结果；其中，所述当前段为所述剩余段中当前处理的一段，所述已聚类段中除所述预设段之外的其他段的聚类结果是根据所述预设聚类结果确定的；根据所述已聚类段的聚类结果以及所述当前段的聚类结果，对下一段的待处理图像进行聚类，直至对所有剩余段的待处理图像全部完成聚类为止，以得到所述目标图像的聚类结果。

本示例性实施例中，首先可以将剩余段中的当前处理的一段作为当前段，且当前段可随处理进程实时发生变化。例如将第1段作为预设段，第1段之后的段落称为剩余段，第4段作为当前段。在处理第4段之前，第2段已经根据第1段的预设聚类结果完成聚类，且第3段已经根据第1段的聚类结果和第2段的聚类结果完成了聚类。此时，可以将当前段(即第4段)之前的所有剩余段(即第2段和第3段)以及预设段(第1段)作为已聚类段，即已聚类段包括第1段至第3段。进一步地，可以根据已聚类段的聚类结果(第1段至第3段的聚类结果)，对当前段的待处理图像进行聚类，得到当前段的聚类结果，即得到第4段的聚类结果。最后，根据已聚类段的聚类结果以及所述当前段的聚类结果，对下一段的待处理图像进行聚类，直至对所有剩余段的待处理图像全部完成聚类为止，以得到所述目标图像的聚类结果。例如，第4段的下一段为第5段，则可以将第5段重新作为当前段，并根据第1段至第4段的聚类结果，对第5段进行聚类，得到第5段的聚类结果；接下来，再根据第1段至第5段的聚类结果，对第6段进行聚类，如此进行迭代直至所有的段均聚类完成为止，以得到目标图像的聚类结果。

在对预设段的待处理图像之外的剩余段的待处理图像进行聚类时，具体可以采用划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法中的任意一种或多种来实现，本示例性实施例中以采用深度学习模型进行聚类为例进行具体说明。深度学习模型具体可以为CRF聚类模型，CRF的具体执行过程与步骤S120中描述的相同，因此此处不再赘述。

图3中示意性示出了对当前段进行聚类的具体流程图，参考图3所示，步骤S130的执行过程主要包括步骤S310至步骤S340，其中：

在步骤S310中，分别对所述当前段的每个待处理图像进行特征提取，以得到所述当前段中各所述待处理图像的特征值。

本步骤中，与步骤S210中类似地，依然可通过CRF聚类模型，来提取特征值。具体地，假设当前正在处理的一段为第4段，则将第4段作为当前段。对第4段的图像和/或视频中的人物进行聚类，则可将第4段中的每个图像和/或视频输入至深度学习模型，以得到每个图像和视频对应的特征值，此处的特征值例如可以为人脸特征值。对当前段的每个待处理图像进行特征提取，可以准确得到当前段中每个待处理图像的特征值。

在步骤S320中，从所述已聚类段中确定预设数量的特征值作为参考特征值。

本步骤中，已聚类段指的是位于当前段之前的所有段。对于当前段为第4段的例子来说，已聚类段具体可以包括已经完成聚类的第1段、第2段和第3段。步骤S320中预设数量具体可以根据实际需求来确定，例如可以设置为10个或者是20个等等。具体地，可从已聚类段的聚类结果中，随机选出10个特征值作为一个段的代表，即将这10个特征值作为参考特征值。需要注意的是，对于待处理图像的数量不足10个的已聚类段，可将该已聚类段的所有待处理图像的特征值作为代表该段的参考特征值。通过选择预设数量的特征值作为参考特征值的方式，可减小聚类过程中的计算量，减少内存消耗。

在步骤S330中，计算所述当前段中各所述待处理图像的特征值与所述参考特征值之间的相似度。

本步骤中，在得到当前段中每个待处理图像的特征值以及选取出每个已聚类段的参考特征值之后，可将每个特征值与每个参考特征值进行对比匹配，以计算二者之间的相似度。类似地，可根据距离计算公式计算每两个待处理图像对应的特征值之间的特征距离，进而根据特征距离确定当前段中每个特征值与每个参考特征值的相似度。其中，特征距离可以包括但不限于欧式距离、余弦距离、马氏距离等等，此处以欧式距离为例进行说明。具体地，欧式距离越大，相似度越小；欧式距离越小，相似度越大。

在步骤S340中，按照所述相似度对所述当前段的所有待处理图像进行聚类，以得到所述当前段中各所述待处理图像的聚类结果。

本步骤中，在得到预设段的待处理图像的预设聚类结果之后，在对当前段的待处理图像进行聚类时，可将该当前段的待处理图像之前的所有聚类结果(即所有段待处理图像的聚类结果)作为基础，在此基础上对该当前段的待处理图像进行CRF聚类，以得到该当前段的待处理图像对应的聚类结果。由于先得到的聚类结果会在后续聚类过程中不断迭代，因此可将与当前段相邻的最新的聚类结果作为所有已聚类段的聚类结果，以减少计算量。

举例而言，可首先对预设段的待处理图像(第1段待处理图像)进行聚类得到预设段的待处理图像的预设聚类结果；对于位于第1段待处理图像之后的第2段待处理图像而言，可根据第1段待处理图像的预设聚类结果以及第2段待处理图像的具体内容对第2段待处理图像进行聚类，得到第2段待处理图像的聚类结果；进一步地，对于第3段待处理图像而言，可根据第1段和第2段待处理图像的聚类结果以及第3段待处理图像的具体内容对第3段待处理图像进行聚类，得到第3段待处理图像的聚类结果，依次类推，直至对所有剩余段的待处理图像均完成聚类为止。本示例性实施例中，通过采取分段聚类的方式，将一个大的聚类过程分解为多段，对第1段聚类之后保存聚类结果；进一步地，对于第1段待处理图像之后的每段待处理图像均采用之前所有段的聚类结果和每段待处理图像进行聚类。如此一来，通过对图像进行分段聚类，无需在用户对设备进行充电时才对图像进行聚类，能够避免聚类过程对用户的依赖和聚类的局限性，实现有效聚类。另外，通过分段聚类，即使对目标图像进行聚类的过程被用户终止或者被***主动杀死，再次聚类时可以使用之前保存已聚类段的聚类结果继续聚类，从而达到断点聚类的效果，能够提高聚类的效率。

详细而言，对于正在处理的当前段而言，可将其中每个待处理图像的人脸特征值，都与已聚类段选择出来的10个参考特征值计算欧氏距离，作为当前特征值与人脸特征代表的相似度。具体地，若当前段的待处理图像与所述参考特征值之间的相似度满足第三预设条件，则确定所述当前段的待处理图像与所述参考特征值对应的预设段的待处理图像属于相同类。其中，第三预设条件可以与第一预设条件相同，也可以不同，例如可以为相似度大于第二预设值，第二预设值可以为一个较大的数值，例如0.7等等。例如，第1段的第1个图像属于人物1，其与第2段的第2个图像的特征值之间的相似度为0.9，则可将第1段的第1个图像和第2段的第2个图像划分为同一类。

另外，若所述剩余段的待处理图像与所述参考特征值之间的相似度满足第四预设条件，则确定所述剩余段的待处理图像与所述参考特征值对应的预设段的待处理图像属于不同类。第四预设条件可以与第二预设条件相同，也可以不同，具体可以为相似度小于第二预设值。例如，第2段的第2个图像属于人物1，其与第3段的第1个图像的特征值之间的相似度为0.15，则可将第2段的第2个图像和第3段的第1个图像划分为不同类。

除此之外，若当前段的待处理图像的特征值与所有参考特征值之间的相似度满足第四预设条件，还可将当前段的待处理图像独立确定为一个类。也就是说，如果第2段中的待处理图像20的特征值与已聚类段的参考特征值均不相似，则将该待处理图像20单独确定为一个类，该单独确定的类例如可以为未分类或者是其他类别等等。

通过图3中的方法，可通过当前段的待处理图像的特征值与已聚类段的参考特征值的对比结果，对当前段的待处理图像进行增量聚类，避免了对每一个段均进行聚类的操作，减少了操作量，提高了聚类效率。除此之外，通过分段聚类，也能避免一次性聚类过程中出现异常情况而导致的风险，提高安全性。另外，只要在终端正常使用的情况下即可实现图像聚类，避免了用户配合，且避免了使用条件的局限性，增加了应用范围，提高了便利性。

在正常聚类过程中，均可以按照步骤S110至步骤S130中的方法来执行分段聚类，以得到每段待处理图像对应的聚类结果。除此之外，在对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类的过程中，若检测到聚类异常，则可以根据如下过程完成整个聚类过程：第一步，若检测到聚类异常，则可确定已聚类段。具体地，聚类异常可以理解为聚类过程由于用户误操作或***原因意外终止而导致的聚类中断或者是不能正常聚类的状态，此时可能只对目标图像中的一部分图像完成了聚类，而无法对目标图像中所有段的待处理图像完成聚类。基于此，可以根据聚类异常的时间，确定该时间之前的已聚类段图像(即已完成聚类的段)。例如，若2019年3月11日10:00检测到聚类异常，此时已完成聚类的段包括多段待处理图像中的第1段至第5段，则确定2019年3月11日10:00之前的已聚类段图像为第1段至第5段。

第二步，结合所述已聚类段的聚类结果，对除所述已聚类段之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。也就是说，根据已聚类段的所有图像对应的聚类结果，对除已聚类段之外的其他剩余段的待处理图像按照步骤S130中的方法进行聚类，以得到每个剩余段的待处理图像的聚类结果，进而得到目标图像的聚类结果。本示例性实施例中，即使聚类服务被用户终止或者被***主动杀死，再次启动聚类时，可使用之前保存的聚类结果继续聚类，从而达到断点聚类的效果。

图4中示出了聚类过程的具体流程图，参考图4中所示，主要包括以下步骤：

在步骤S410中，可确定参与聚类的图像和视频，即目标图像。

在步骤S420中，确定参与聚类的图像和视频的总数量，具体可以用M来表示。

在步骤S430中，按照设定的段数将参与聚类的图像和视频划分为多段，例如可以用第1段至第P段来表示。

在步骤S440中，对第1段待处理图像进行CRF聚类，得到预设聚类结果，例如可以用结果1来表示。

在步骤S450中，对于位于第1段之后的第2段待处理图像而言，可根据结果1以及第2段待处理图像的具体内容对第2段待处理图像进行聚类，得到结果2。其中，结果2包括结果1以及第2段待处理图像的聚类结果。

在步骤S460中，对于第3段待处理图像而言，可根据结果2以及第3段待处理图像的具体内容对第3段待处理图像进行聚类，得到结果3。其中，结果3包括结果2以及第3段待处理图像的聚类结果。

在步骤S470中，对第3段待处理图像之后的剩余段的待处理图像进行聚类，以得到结果P-1。其中，结果P-1包含之前所有段的聚类结果以及第P-1段待处理图像的聚类结果。

在步骤S480中，按照上述步骤进行聚类直至对所有剩余段的待处理图像均完成聚类为止，即在实现结合结果P-1对第P段待处理图像执行完聚类过程以及得到结果P后，可停止聚类过程。其中，结果P包含之前所有段的聚类结果以及第P段待处理图像的聚类结果。

在步骤S490中，将得到的结果P作为目标图像对应的聚类结果。

图4中的步骤，通过采取分段聚类的方式，将一个大的聚类过程分解为数段，第1段采用CRF聚类；进一步地，对于第1段待处理图像之后的每段待处理图像均采用之前所有段的聚类结果和每段待处理图像进行聚类。通过上述步骤，在实际聚类的过程中，能够避免聚类过程对用户的依赖和局限性，实现有效聚类，并且能够提高聚类的效率。

本示例性实施例中，还提供了一种图像处理装置500，参考图5中所示，该图像处理装置500包括以下模块：

图像分段模块501，可以用于对目标图像进行分段，以生成多段待处理图像；

第一聚类模块502，用于将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；

第二聚类模块503，用于结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。

需要说明的是，上述图像处理装置中各模块的具体细节已经在对应的图像处理方法中进行了详细描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线650。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

对目标图像进行分段，以生成多段待处理图像；

将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；

结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像，采用所述剩余段之前所有段的聚类结果和每个剩余段的待处理图像进行分段聚类，以得到所述目标图像的聚类结果。

2.根据权利要求1所述的图像处理方法，其特征在于，对目标图像进行分段，以生成多段待处理图像包括：

对所述目标图像中包含的图像和视频进行随机混合处理，并对所述随机混合处理后的目标图像进行分段，以生成所述多段待处理图像。

3.根据权利要求1所述的图像处理方法，其特征在于，将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果包括：

通过深度学习模型对所述预设段的所有待处理图像进行特征提取，以得到各所述待处理图像的特征值；

计算所述预设段中每两个待处理图像对应的特征值之间的相似度；

按照所述相似度对所述预设段的所有待处理图像进行聚类，以得到所述预设聚类结果。

4.根据权利要求3所述的图像处理方法，其特征在于，按照所述相似度对所述预设段的所有待处理图像进行聚类，以得到所述预设聚类结果包括：

将所述相似度满足第一预设条件的两个待处理图像确定为相同类；

将所述相似度满足第二预设条件的两个待处理图像确定为不同类。

5.根据权利要求1所述的图像处理方法，其特征在于，结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果包括：

结合当前段之前的已聚类段的聚类结果，对所述当前段的待处理图像进行聚类，得到所述当前段的聚类结果；其中，所述当前段为所述剩余段中当前处理的一段，所述已聚类段中除所述预设段之外的其他段的聚类结果是根据所述预设聚类结果确定的；

根据所述已聚类段的聚类结果以及所述当前段的聚类结果，对下一段的待处理图像进行聚类，直至对所有剩余段的待处理图像全部完成聚类为止，以得到所述目标图像的聚类结果。

6.根据权利要求5所述的图像处理方法，其特征在于，结合当前段之前的已聚类段的聚类结果，对所述当前段的待处理图像进行聚类，得到所述当前段的聚类结果包括：

分别对所述当前段的每个待处理图像进行特征提取，以得到所述当前段中各所述待处理图像的特征值；

从所述已聚类段中确定预设数量的特征值作为参考特征值；

计算所述当前段中各所述待处理图像的特征值与所述参考特征值之间的相似度；

按照所述相似度对所述当前段的所有待处理图像进行聚类，以得到所述当前段中各所述待处理图像的聚类结果。

7.根据权利要求1所述的图像处理方法，其特征在于，在对除所述预设段的待处理图像之外的剩余段的待处理图像进行聚类时，所述方法还包括：

若检测到聚类异常，则确定已聚类段；

结合所述已聚类段的聚类结果，对除所述已聚类段之外的剩余段的待处理图像进行聚类，以得到所述目标图像的聚类结果。

8.一种图像处理装置，其特征在于，包括：

图像分段模块，用于对目标图像进行分段，以生成多段待处理图像；

第一聚类模块，用于将多段待处理图像中预设段的待处理图像进行聚类，以得到预设聚类结果并保存所述预设聚类结果；

第二聚类模块，用于结合所述预设聚类结果，对除所述预设段的待处理图像之外的剩余段的待处理图像，采用所述剩余段之前所有段的聚类结果和每个剩余段的待处理图像进行分段聚类，以得到所述目标图像的聚类结果。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任意一项所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的图像处理方法。

Images