CN110516689B - 图像处理方法、装置以及电子设备、存储介质 - Google Patents

Abstract

本公开公开了一种图像处理方法、装置以及电子设备、存储介质，涉及图像处理技术领域，该方法包括：获取图像集合，提取图像集合中各帧图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；基于提取的所述指定信息，确定图像之间的差异度；基于确定的差异度对所述图像集合中的图像进行图像分类。该方式可以根据用户的实际需求并基于图像的指定信息将图像集合中的图像进行分类，图像可依据图像的具体特征进行分类，进而使得图像分类的准确度更高。

Description

图像处理方法、装置以及电子设备、存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理方法、装置以及电子设备、存储介质。

背景技术

相关技术中，如智能终端对图像的分类通常会以拍摄时间或拍摄地点为准。例如同一拍摄时间或拍摄地点的图片归为一类，并在终端的相簿中依序存储并展示。然而，不同拍摄时间点或不同拍摄地点的图像在视觉上可能也非常相似，故此基于拍摄时间和拍摄地点的图像聚类方法的准确性有待提高。

发明内容

本公开提供了一种图像处理方法、装置以及电子设备、存储介质，用至少解决相关技术中图像不能准确进行分类的问题。

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取图像集合；

提取所述图像集合中各帧图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；

基于提取的所述指定信息，确定图像之间的差异度；

基于确定的差异度对所述图像集合中的图像进行图像分类。

在一个实施例中，若所述指定信息为图像内容摘要，所述提取各图像的指定信息包括：

将各图像缩小至指定尺寸，得到各图像对应的缩略图；

所述基于提取的所述指定信息，确定图像之间的差异度，包括：

对不同图像的所述缩略图中对应位置的像素点计算色差；

根据各像素点的色差，确定所述不同图像的差异度。

在一个实施例中，若所述指定信息为图像内容摘要，所述提取各图像的指定信息包括：

基于神经网络提取各图像的高层语义特征；

所述基于提取的所述指定信息，确定图像之间的差异度，包括：

将高层语义特征转换为特征向量；

将不同图像的特征向量之间的距离值作为所述不同图像的差异度。

在一个实施例中，若所述指定信息为色彩分布直方图，所述基于提取的所述指定信息，确定图像之间的差异度，包括：

计算不同图像的色彩分布直方图之间的推土机距离，作为所述不同图像的差异度。

在一个实施例中，若所述指定信息包括图像内容摘要和色彩分布直方图，则所述基于提取的所述指定信息，确定图像之间的差异度，包括：

基于提取的所述图像内容摘要确定不同图像的画面内容差异度，基于提取的所述色彩分布直方图确定不同图像的色彩分布直方图差异度；

将所述画面内容差异度以及所述色彩分布直方图差异度进行加权求和，确定所述不同图像的差异度。

在一个实施例中，所述基于确定的差异度对所述图像集合中的图像进行图像分类，包括：

基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。

在一个实施例中，获得所述图像集合，包括：

对视频图像进行抽帧处理得到所述图像集合；

或，

获取拍摄时间在指定时间范围内的图像得到所述图像集合。

在一个实施例中，还包括：

针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像；

若所述第一视频的图像中预设比率的图像与所述第二视频的图像属于同一类簇，则确定所述第一视频与所述第二视频属于同一类簇。

根据本公开实施例的第二方面，一种图像处理装置，包括：

获取单元，被配置为获取图像集合；

提取单元，被配置为提取所述图像集合中各帧图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；

确定单元，被配置为基于提取的所述指定信息，确定图像之间的差异度；

分类单元，被配置为基于确定的差异度对所述图像集合中的图像进行图像分类。

在一个实施例中，若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：

将各图像缩小至指定尺寸，得到各图像对应的缩略图；

所述确定单元，被配置为：

对不同图像的所述缩略图中对应位置的像素点计算色差；

根据各像素点的色差，确定所述不同图像的差异度。

在一个实施例中，若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：

基于神经网络提取各图像的高层语义特征；

所述确定单元，被配置为：

将高层语义特征转换为特征向量；

将不同图像的特征向量之间的距离值作为所述不同图像的差异度。

在一个实施例中，若所述指定信息为色彩分布直方图，所述确定单元，被配置为：

计算不同图像的色彩分布直方图的推土机距离，作为所述不同图像的差异度。

在一个实施例中，若所述指定信息包括图像内容摘要和色彩分布直方图，则所述确定单元，被配置为：

基于提取的所述图像内容摘要确定不同图像的画面内容差异度，基于提取的所述色彩分布直方图确定不同图像的色彩分布直方图差异度；

将所述画面内容差异度以及所述色彩分布直方图差异度进行加权求和，确定所述不同图像的差异度。

在一个实施例中，所述分类单元，被配置为：

基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。

在一个实施例中，还包括：

图像集合获得单元，被配置为对视频图像进行抽帧处理得到所述图像集合；

或，

获取拍摄时间在指定时间范围内的图像得到所述图像集合。

在一个实施例中，还包括：视频图像处理单元，被配置为针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像；

若所述第一视频的图像中预设比率的图像与所述第二视频的图像属于同一类簇，则确定所述第一视频与所述第二视频属于同一类簇。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

根据本公开实施例的第四方面，提供一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开公开的一种图像处理方法、装置以及电子设备、存储介质，获取图像集合，提取图像集合中各帧图像的指定信息后，然后基于提取的指定信息，确定图像之间的差异度，最后基于确定的差异度对图像集合中的图像进行图像分类。该方式可以根据用户的实际需求并基于图像的指定信息将图像集合中的图像进行分类，使得图像依据图像的具体特征进行分类，使得图像分类的准确度更高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本申请实施例提供的终端的结构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种指定信息差异度确定方法的流程示意图；

图4为本申请实施例提供的一种指定信息差异度确定方法的流程示意图；

图5为本申请实施例提供的一种指定信息差异度确定方法的流程示意图；

图6为本申请实施例提供的一种图像处理装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

如背景技术所述，针对海量图像的归类通常是按照拍摄时间遍历查找或按照拍摄地点遍历查找，该方式对时间和地点的依赖性大，但可能存在如下特殊的因素在不同的时间或者不同地点拍摄有类似的图像，因此采用该方式进行图像分类会忽略上述的特殊因素的影响，使得分类的图像不准确，基于此本申请实施例提供一种图像处理方法。

该方法中图像处理方法适用于终端设备中。图1示出了一种可能的终端设备的结构图。参阅图1所示，所述终端设备100包括：射频(Radio Frequency，RF)电路110、电源120、处理器130、存储器140、输入单元150、显示单元160、摄像头170、通信接口180、以及无线保真(Wireless Fidelity，WiFi)模块190等部件。本领域技术人员可以理解，图1中示出的终端设备的结构并不构成对终端设备的限定，本申请实施例提供的终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对所述终端设备100的各个构成部件进行具体的介绍：

所述RF电路110可用于通信或通话过程中，数据的接收和发送，例如可以将传输到图像集合中的图像进行图像处理并通过业务后台将图像进行分类。特别地，所述RF电路110在接收到业务后台返回数据后，发送给所述处理器130处理然后交由显示屏进行渲染以展示出不同分类的图像，以便于用户能够通过终端设备查看。通常，所述RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

WiFi技术属于短距离无线传输技术，所述终端设备100通过WiFi模块190可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述WiFi模块190可用于通信过程中，数据的接收和发送。

所述终端设备100可以通过所述通信接口180与其他设备实现物理连接。可选的，所述通信接口180与所述其他设备的通信接口通过电缆连接，实现所述终端设备100和其他设备之间的数据传输。

由于在本公开实施例中，所述终端设备100能够实现访问网络的功能，向其他网络设备如图像集合的业务后台发送信息，因此所述终端设备100需要具有数据传输功能，即所述终端设备100内部需要包含通信模块。虽然图1示出了所述RF电路110、所述WiFi模块190、和所述通信接口180等通信模块，但是可以理解的是，所述终端设备100中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。

例如，当所述终端设备100为手机时，所述终端设备100可以包含所述RF电路110，还可以包含所述WiFi模块190；当所述终端设备100为计算机时，所述终端设备100可以包含所述通信接口180，还可以包含所述WiFi模块190；当所述终端设备100为平板电脑时，所述终端设备100可以包含所述WiFi模块。

所述存储器140可用于存储软件程序以及模块。所述处理器130通过运行存储在所述存储器140的软件程序以及模块，从而执行所述终端设备100的各种功能应用以及数据处理。

可选的，所述存储器140可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作***、各种应用程序(比如图像分类)以及人脸识别模块等；存储数据区可存储根据所述终端设备的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。

此外，所述存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述输入单元150可用于接收用户输入的数字或字符信息，以及产生与所述终端设备100的用户设置以及功能控制有关的键信号输入。

可选的，输入单元150可包括触控面板151以及其他输入设备152。

其中，所述触控面板151，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板151上或在所述触控面板151附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板151可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器130，并能接收所述处理器130发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板151。

可选的，所述其他输入设备152可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

所述显示单元160可用于显示由用户输入的信息或提供给用户的信息以及所述终端设备100的各种菜单。所述显示单元160即为所述终端设备100的显示***，用于呈现界面，实现人机交互。

所述显示单元160可以包括显示面板161。可选的，所述显示面板161可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。

进一步的，所述触控面板151可覆盖所述显示面板161，当所述触控面板151检测到在其上或附近的触摸操作后，传送给所述处理器130以确定触摸事件的类型，随后所述处理器130根据触摸事件的类型在所述显示面板161上提供相应的触摸操作服务，例如显示具有类别标识的图像。

虽然在图1中，所述触控面板151与所述显示面板161是作为两个独立的部件来实现所述终端设备100的输入和输入功能，但是在某些实施例中，可以将所述触控面板151与所述显示面板161集成而实现所述终端设备100的输入和输出功能。

所述处理器130是所述终端设备100的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器140内的软件程序和/或模块，以及调用存储在所述存储器140内的数据，执行所述终端设备100的各种功能和处理数据，从而实现基于所述终端设备的多种业务。

可选的，所述处理器130可包括一个或多个处理单元。可选的，所述处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器130中。

所述摄像头170，用于实现所述终端设备100的拍摄功能，拍摄图片或视频。所述摄像头170还可以用于实现终端设备100的扫描功能，对扫描对象(二维码/条形码)进行扫描。

所述终端设备100还包括用于给各个部件供电的电源120(比如电池)。可选的，所述电源120可以通过电源管理***与所述处理器130逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗等功能。

尽管未示出，所述终端设备100还可以包括至少一种传感器、音频电路等，在此不再赘述。

为便于理解，这里先对本公开涉及的一些关键词进行说明，需要说明的是，这里关键词的定义仅是用于举例说明其可能包含的含义，并不用于限定本公开实施例，涉及的关键词可包括：

图像内容摘要，图像内容摘要能够相对于原始图像采用更少而简短的信息来概括表达图像的内容。如图像内容摘要可以为提取的图像的主干轮廓特征。如：若两张图像均想表达一棵大树下摆放有一张长椅的自然风景。不同的是其中一张图像的长椅上可能有一个人坐在长椅上，而人在图像中所占的比例较小，与图像想要传递的主要信息无关，故此可只关注图像中是否具有大树和长椅，关于长椅上是否有人可以忽略不计。图像内容摘要可采用基于视觉特效的图像摘要提取方法实现，也可以采用缩略图来表达图像内容摘要。

色彩分布直方图，即图像的红绿蓝(Red、Green、Blue，RGB)三通道的直方图，描述了该图像中关于颜色的数量特征，可以反映颜色直方图图像颜色的统计分布和基本色调，其中RGB代表红、绿、蓝三个通道的颜色，几乎包括了人类视力所能感知的所有颜色。为了便于处理，实施时，可采用一个通道的直方图进行图像的聚类分析。

色差，用于衡量图像色彩的差异程度。

推土机距离(Earth Mover's Distance，EMD)，是归一化的从一个分布变为另一个分布的最小代价，可用于表征两个分布之间的距离。

类簇，属于同一类别的图像可视为一个类簇。

参阅图2，为本申请实施例提供的一种图像处理方法，包括：

步骤201：获取图像集合。

步骤202：提取图像集合中各帧图像的指定信息，指定信息包括图像内容摘要和/或色彩分布直方图。

需要说明的是，图像集合中的图像可以为同一终端设备的存储器中存储的图像，也可以为多个不同终端设备的存储器分别存储的图像，还可以为从云服务器中下载的图像，关于图像集合中图像的具体来源在此不做限定。

步骤203：基于提取的指定信息，确定图像之间的差异度。

步骤204：基于确定的差异度对所述图像集合中的图像进行图像分类。

此外还要说明的是，针对不同用户的图像分类需求可以选择不同的指定信息进行图像的分类。如：用户甲比较关注画面内容相似的图像的分类，则可将指定信息确定为图像内容摘要，并基于该图像内容摘要对图像集合中的图像进行分类；用户乙比较关注色彩相似的图像的分类，则可将指定信息确定为色彩分布直方图，并基于该色彩分布直方图对图像集合中的图像进行分类；用户丙既关注画面内容的相似又关注色彩相似的图像，则可将指定信息确定为图像内容摘要和色彩分布直方图，并基于图像内容摘要和色彩分布直方图两个信息对图像集合中的图像进行分类。

通过上述的方法对图像集合中的图像进行分类后，可以得到将聚类后的图像进行存储以便进行图像分类查看，也可以在得到同类的图像后，从中挑选优质的图像去掉同类图像中重复的图像。

在一个可选的实施例中，若指定信息为图像内容摘要可以通过如下两种方式确定图像之间的差异度：

方式一：如图3所示的方法确定不同图像间的差异度，包括：

步骤301：将各图像缩小至指定尺寸，得到各图像对应的缩略图。

缩略图的大小可以根据实际需求确定，例如可以根据原始图像的像素点数量确定，如像素点在800万左右时可以定义为9*9像素大小的缩略图。

步骤302：对不同图像的缩略图中对应位置的像素点计算色差。

针对不同图像的缩略图，对缩略图中对应位置的像素点进行计算，可以将两张缩略图中对应位置像素点的像素值进行差值计算，并取绝对值进行求和得到色差。

当然，执行时，也可以将绝对值求和后值取平均值作为色差。还可以将图像转换到Lab(Lab是由亮度L和有关色彩的a,b三个要素组成，L表示明度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围)空间之后采用如公式(1)所示的色差计算方法计算色差：

其中，

表示色差，L^*、Δa^*、Δb^*分别表示两个物体表面的明度差和色品坐标差。

步骤303：根据各像素点的色差，确定不同图像的差异度。

通过色差确定图像内容摘要的差异度，计算方式简便易于实现，且可以直观准确的表征图像的内容差异。

方式二：如图4所示的方法确定不同图像间的差异度，包括：

步骤401：基于神经网络提取各图像的高层语义特征。

例如，提取图像的语义为一棵大树下摆放一张长椅为图像的语义，再例如，一名小朋友背着一个红色的书包为图像的语义。

实施时，可采用卷积神经网络提取图像的特征，然后将图像的特征和对应的语义空间建立映射关系，这种映射关系，可以通过训练获得，使得卷积神经网络提取的图像特征能够采用语义空间的特征进行表示。

步骤402：将高层语义特征转换为特征向量。

实施时，可通过全连接层将语义特征转换为特征向量。

步骤403：将不同图像的特征向量之间的距离值作为不同图像的差异度。

需要说明的是，在计算时可通过计算不同图像的特征向量之间的余弦距离，也可以计算不同图像的特征向量之间的欧式距离获得不同图像之间的差异度，具体实施时可根据实际需求进行选择，在此不做具体限定。该方式通过神经网络提取图像的高层语义特征，进而确定图像的差异度，使得在指定信息为图像内容摘要是图像的分类更加准确。例如，两张图像中均提取出的语义特征为天安门前一名身着黑色校服的小学生背着一个红色的书包，则这两张图像表达的信息相同，两张图像具有较低的差异度。语义特征能够忽略拍摄时天气情况，甚至关注的小学生周围的过客，使得两张图像仅聚焦到图像所要传达的关键信息。故此，通过语义特征能够对关键内容比较相似的图像实现聚类。

在一个可选的实施中，若指定信息为色彩分布直方图可通过计算不同图像的色彩分布直方图之间的推土机距离，作为不同图像的差异度。若两张图像的推土机距离越大，则表明两张图像的色彩越不相似。具体的如果将色彩分布看做空间中泥土的分布，那么两个分布间的距离就是将这些泥土从一个分布改变到另一个分布所需要消耗的最小能量。这里的能量是泥土重量(权值)和移动距离的乘积。此外，在计算分布时还可以通过欧式距离进行计算，在此不做具体限定。

该方式通过计算两张图像色彩分布直方图的推土距离，进而确定图像的差异度，使得在指定信息为色彩分布直方图时图像的分类更加准确。

在一个可选的实施例中，若指定信息包括图像内容摘要和色彩分布直方图，则以通过如图5所示的方法确定不同图像间的差异度，包括：

步骤501：基于提取的图像内容摘要确定不同图像的画面内容差异度，基于提取的色彩分布直方图确定不同图像的色彩分布直方图差异度。

步骤502：将画面内容差异度以及色彩分布直方图差异度进行加权求和，确定不同的差异度。

在此通过一个具体的实施例进行说明，对图像A和图像B分别提取图像内容摘要以及色彩分布直方图，将图像A的图像内容摘要与图像B的图像内容摘要通过图3中的色差计算或者图4中的高层语义信息提取得到画面内容的相似性度为d1，将图像A的色彩分布直方图与图像B的色彩分布直方图通过推土机距离计算得到色彩分布直方图差异度为d2，设置画面内容差异度的权重值为w1，设置色彩分布直方图差异度的权重值为w2，那么两张图像的差异度d＝w1*d1+w2*d2，其中，w1和w2可以根据经验设置。如：用户在进行图像分类时更加侧重图像内容摘要信息，可将画面内容差异度的权重值设置的大一些，将色彩分布直方图差异度设置的小一些，若仅考虑两种指定信息中的一种，则可将未考虑的指定信息的差异度对应的权重值设置为零，当用户设置好权重值后，可以将权重值进行保存，可以基于存储的权重值对其他图像集合进行差异度确定。当然，权重的设定也可以通过机器学习方法训练得到。

通过该方式对图像集合进行分类，考虑了图像内容摘要以及色彩分布直方图两种信息对图像分类的影响，考虑的信息更加全面，使得图像的分类能够整合图像内容也能够关注图像的色彩，故而确定的差异度会更加准确。

在通过上述的方法确定图像的差异度后，可以基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。如：图像A和图像B的差异度较低，将图像A和图像B归为一类图像，将图像C的指定信息分别与图像A和图像B的指定信息进行计算得到，差异度分别为d3和d4，假定d3>d4，那么在进行层次聚类时可采用最大距离、最小距离以及均值距离中的一种进行计算，以确定是否将图像C与图像A和图像B归为一类。如：首先设置聚类的阈值为&，当采用最大距离聚类时，则判断d3是否小于&，若d3小于&，则确定图像C与图像A和图像B属于同类图像；当采用最小距离聚类时，则判断d4否大于&，若d4大于&，则确定图像C与图像A和图像B不属于同类图像；当采用均值距离聚类时，则判断d4和d3的平均值是否大于&，若平均值大于&，则确定图像C与图像A和图像B不属于同类图像。

进一步的，若类一包含图像A和图像B，而类二包含图像C和图像D聚为同一类图像，针对图像E，当确定其所属类别时，可实施为从已有两类别中任选一类，分别计算图像E与该类别中所有图像的差异度，得到x和y，若x和y的值均不大于阈值，且x>y，则将图像E归为类二，若x和y的值均大于阈值，则图像E进行单独归类。

在一种可选的实施例中，前述的图像集合可从视频中获取，如本公开还可对视频图像进行抽帧处理得到图像集合；或，获取拍摄时间在指定时间范围内的图像得到图像集合，通过方式可以对视频或指定时间范围内的图像进行分类，使得图像的分类更加多样性。

在一个可选的实施例中，若图像集合为视频，可针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像。若第一视频的图像中预设比率的图像与第二视频的图像属于同一类簇，则确定第一视频与第二视频属于同一类簇。

需要说明的是，若假定第一视频为视频A，第二视频为视频B，视频A和视频B的拍摄时长分别为10秒和20秒，分别对视频A和视频B按照时间1秒进行抽帧，分别得到10张图像和20张图像，将30张图像构成图像集合，按照上述的图2中所述的分类方法进行分类，得到三类图像分别为I、II以及III，若第I类中包括3张图像来自于视频A，12张图像来自于视频B；第II类中包括4张图像来自于视频A，8张图像来自于视频B；第III类中仅包括3张图像来自于视频A。由于第III类图像中并未包括视频B中的图像，在进行统计时，忽略不计，可知第I类和第II类中共包括视频A中的图像7张，而视频A中共10张图像，可知所占比率为70％，即视频A的图像包含在视频B的图像中，或者视频A的图像与视频B图像重复的概率为70％。

此外还包括：将两个视频图像按照同样的时间间隔进行抽帧处理，分别得到每个视频对应的视频图像集，如：视频A和视频B的拍摄时长分别为10秒和20秒，分别对视频A和视频B按照时间1秒进行抽帧，分别得到10张图像和20张图像，将视频A中第一秒抽帧得到的图像和视频B中所有的图像分别进行差异度的比较，确定是否和视频B中的图像相似，若均不相似则依序对第二秒抽帧得到的图像和视频B中的图像进行差异度比较，直至将视频A中的图像遍历完全截止。若确定视频A中某一秒抽帧得到的图像与视频B中某秒抽帧得到的图像相似则进行记录，并判断视频A中下一秒抽帧的图像与视频B中下一秒抽帧得到的图像是否相似，若相似则进行记录，并将视频A与视频B归为同一类簇。如：视频A中第3秒至第5秒的抽帧图像和视频B中第8秒至第10秒抽帧的图像相似。

通过该方式进行视频图像的分类，可以确定视频图像中相似图像的具体出现时间信息，提高了分类图像的多样性。

参阅图6本申请实施例提供一种图像处理装置，包括：获取单元61、提取单元62、确定单元63以及分类单元64。

需要说明的是，获取单元61，被配置为获取图像集合；提取单元62，被配置为针对图像集合中的各图像，分别提取各图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；确定单元63，被配置为基于提取的所述指定信息，确定图像之间的差异度；分类单元64，被配置为基于确定的差异度对所述图像集合中的图像进行图像分类。

可选的，若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：将各图像缩小至指定尺寸，得到各图像对应的缩略图；所述确定单元，被配置为：对不同图像的所述缩略图中对应位置的像素点计算色差；根据各像素点的色差，确定所述不同图像的差异度。

可选的，若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：基于神经网络提取各图像的高层语义特征；所述确定单元，被配置为：将高层语义特征转换为特征向量；将不同图像的特征向量之间的距离值作为所述不同图像的差异度。

可选的，若所述指定信息为色彩分布直方图，所述确定单元，被配置为：计算不同图像的色彩分布直方图的推土机距离，作为所述不同图像的差异度。

可选的，若所述指定信息包括图像内容摘要和色彩分布直方图，则所述确定单元，被配置为：基于提取的所述图像内容摘要确定不同图像的画面内容差异度，基于提取的所述色彩分布直方图确定不同图像的色彩分布直方图差异度；将所述画面内容差异度以及所述色彩分布直方图差异度进行加权求和，确定所述不同图像的差异度。

可选的，所述分类单元，被配置为：基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。

可选的，还包括：图像集合获得单元，被配置为对视频图像进行抽帧处理得到所述图像集合；或，获取拍摄时间在指定时间范围内的图像得到所述图像集合。

可选的，还包括：视频图像处理单元，被配置为针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像；若所述第一视频的图像中预设比率的图像与所述第二视频的图像属于同一类簇，则确定所述第一视频与所述第二视频属于同一类簇。

在介绍了本申请示例性实施方式中的图像处理方法和装置之后，接下来，介绍本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为***、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的图像处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤204。

下面参照图7来描述根据本申请的这种实施方式的电子设备130。图7显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，电子设备130以通用计算装置的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同***组件(包括存储器132和处理器131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得目标对象能与电子设备130交互的设备通信，和/或与使得所述电子设备130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

在一些可能的实施方式中，本申请提供的图像处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像处理方法中的步骤，例如，电子设备可以执行如图2中所示的步骤201-步骤204。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于图像处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，所述程序可以被指令执行***、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，所述可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在目标对象计算装置上执行、部分地在目标对象设备上执行、作为一个独立的软件包执行、部分在目标对象计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到目标对象电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照所述特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在所述计算机可读存储器中的指令产生包括指令装置的制造品，所述指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取图像集合；

提取所述图像集合中各帧图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；

基于提取的所述指定信息，确定图像之间的差异度；

基于确定的差异度对所述图像集合中的图像进行图像分类；

其中，若所述指定信息为图像内容摘要，所述提取各图像的指定信息包括：将各图像缩小至指定尺寸，得到各图像对应的缩略图；所述基于提取的所述指定信息，确定图像之间的差异度，包括：对不同图像的所述缩略图中对应位置的像素点计算色差；根据各像素点的色差，确定所述不同图像的差异度；或者，

若所述指定信息为图像内容摘要，所述提取各图像的指定信息包括：基于神经网络提取各图像的高层语义特征；所述基于提取的所述指定信息，确定图像之间的差异度，包括：将高层语义特征转换为特征向量；将不同图像的特征向量之间的距离值作为所述不同图像的差异度。

2.根据权利要求1所述的方法，其特征在于，若所述指定信息为色彩分布直方图，所述基于提取的所述指定信息，确定图像之间的差异度，包括：

计算不同图像的色彩分布直方图之间的推土机距离，作为所述不同图像的差异度。

3.根据权利要求1所述的方法，其特征在于，若所述指定信息包括图像内容摘要和色彩分布直方图，则所述基于提取的所述指定信息，确定图像之间的差异度，包括：

基于提取的所述图像内容摘要确定不同图像的画面内容差异度，基于提取的所述色彩分布直方图确定所述不同图像的色彩分布直方图差异度；

将所述画面内容差异度以及所述色彩分布直方图差异度进行加权求和，确定所述不同图像的差异度。

4.根据权利要求1所述的方法，其特征在于，所述基于确定的差异度对所述图像集合中的图像进行图像分类，包括：

基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。

5.根据权利要求1-4任一所述的方法，其特征在于，获得所述图像集合，包括：

对视频图像进行抽帧处理得到所述图像集合；

或，

获取拍摄时间在指定时间范围内的图像得到所述图像集合。

6.根据权利要求5所述的方法，其特征在于，还包括：

针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像；

若所述第一视频的图像中预设比率的图像与所述第二视频的图像属于同一类簇，则确定所述第一视频与所述第二视频属于同一类簇。

7.一种图像处理装置，其特征在于，包括：

获取单元，被配置为获取图像集合；

提取单元，被配置为提取所述图像集合中各帧图像的指定信息，所述指定信息包括图像内容摘要和/或色彩分布直方图；

确定单元，被配置为基于提取的所述指定信息，确定图像之间的差异度；

分类单元，被配置为基于确定的差异度对所述图像集合中的图像进行图像分类；

其中，若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：将各图像缩小至指定尺寸，得到各图像对应的缩略图；所述确定单元，被配置为：对不同图像的所述缩略图中对应位置的像素点计算色差；根据各像素点的色差，确定所述不同图像的差异度；或者，

若所述指定信息为图像内容摘要，所述提取单元提取各图像的指定信息被配置为：基于神经网络提取各图像的高层语义特征；所述确定单元，被配置为：将高层语义特征转换为特征向量；将不同图像的特征向量之间的距离值作为所述不同图像的差异度。

8.根据权利要求7所述的装置，其特征在于，若所述指定信息为色彩分布直方图，所述确定单元，被配置为：

计算不同图像的色彩分布直方图的推土机距离，作为所述不同图像的差异度。

9.根据权利要求7所述的装置，其特征在于，若所述指定信息包括图像内容摘要和色彩分布直方图，则所述确定单元，被配置为：

基于提取的所述图像内容摘要确定不同图像的画面内容差异度，基于提取的所述色彩分布直方图确定不同图像的色彩分布直方图差异度；

将所述画面内容差异度以及所述色彩分布直方图差异度进行加权求和，确定所述不同图像的差异度。

10.根据权利要求7所述的装置，其特征在于，所述分类单元，被配置为：

基于确定的差异度对图像集合采用层次聚类的聚类分析方法进行图像分类。

11.根据权利要求7-10任一所述的装置，其特征在于，还包括：

图像集合获得单元，被配置为对视频图像进行抽帧处理得到所述图像集合；

或，

获取拍摄时间在指定时间范围内的图像得到所述图像集合。

12.根据权利要求11所述的装置，其特征在于，还包括：

视频图像处理单元，被配置为针对第一视频和第二视频，确定抽帧处理得到图像中，分别属于第一视频和第二视频的图像；

若所述第一视频的图像中预设比率的图像与所述第二视频的图像属于同一类簇，则确定所述第一视频与所述第二视频属于同一类簇。

13.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任一权利要求所述的方法。

14.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-6中任一权利要求所述的方法。

Images