CN110751218A - 图像分类方法、图像分类装置及终端设备 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了一种图像分类方法、图像分类装置及终端设备，包括：获取待测图像；获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。通过本申请可提高图像分类的准确性。

Description

图像分类方法、图像分类装置及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像分类方法、图像分类装置及终端设备。

背景技术

近年来图像分类引起了人们极大的研究兴趣，并同时在许多应用产品中成功部署，例如手机、个人计算机等终端设备，智能化地解决了许多实际图像处理问题。

随着深度学习技术的快速发展，深度学习已成为图像分类中的先进技术。然而，现有的图像分类方法，通常是使用深度学习提取整幅图像的全局特征进行图像分类，对于一些类别之间较为相似的图像，无法准确地进行分类。

发明内容

本申请提供了一种图像分类方法、图像分类装置及终端设备，以提高图像分类的准确性。

本申请的第一方面提供了一种图像分类方法，所述图像分类方法包括：

获取待测图像；

获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；

通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；

将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

本申请的第二方面提供了一种图像分类装置，所述图像分类装置包括：

图像获取模块，用于获取待测图像；

全局特征获取模块，用于获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；

局部特征获取模块，用于通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；

类别输出模块，用于将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

本申请的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述图像分类方法的步骤。

本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述图像分类方法的步骤。

本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述图像分类方法的步骤。

由上可见，本申请方案将待测图像分为两支路进行处理，一个支路获取待测图像的全局特征，另一支路通过随机框获取待测图像的局部特征，将待测图像的全局特征和局部特征相结合一同输入至分类器，通过分类器可以获取待测图像的类别。本申请通过随机框可有效地提取待测图像的局部特征，并将待测图像的全局特征和局部特性相结合对待测图像进行分类，增加了用于图像分类的特征数量，提高了图像分类的准确性，能够解决图像之间类别较为相似，全局特征难以区分的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的图像分类方法的实现流程示意图；

图2是本申请实施例二提供的图像分类方法的实现流程示意图；

图3a是在待测图像上生成尺寸相同的随机框的示例图；图3b是在待测图像上生成尺寸不同的随机框的示例图；

图4是本申请实施例三提供的图像分类方法的实现流程示意图；

图5a是分类模型的一训练过程示例图；图5b是分类器的一训练过程示例图；图5c是分类模型的另一训练过程示例图；图5d是分类器的另一训练过程示例图；

图6是本申请实施例四提供的图像分类装置的示意图；

图7是本申请实施例五提供的终端设备的示意图；

图8是本申请实施例六提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，是本申请实施例一提供的图像分类方法的实现流程示意图，该图像分类方法应用于终端设备，如图所示该图像分类方法可以包括以下步骤：

步骤S101，获取待测图像。

在本申请实施例中，可以从终端设备本地获取待测图像，也可以接收其他设备发送的待测图像，在此不做限定。从终端设备本地获取待测图像可以是指从终端设备的存储器中获取待测图像，也可以是获取终端设备在拍照时，还未存入存储器的照片。当待测图像是终端设备所拍摄的还未存入存储器的照片时，可以实现照片在存入存储器之间，完成对照片的分类，而无需后续再对其进行分类。

在本申请实施例中，可以将待测图像分为两支路分别进行处理，具体的，复制待测图像，得到两幅完全相同的待测图像，可以将两幅完全相同的待测图像分别称之为第一待测图像和第二待测图像，一个支路对第一待测图像进行处理，获取待测图像的全局特征，另一个支路对第二待测图像进行处理，获取待测图像的局部特征。

其中，待测图像可以是指待检测类别的图像。图像通常包括主体和背景，主体是图像主要表现的对象，背景是图像中衬托主体的景象，图像的类别是根据图像中主体确定的，例如图像中主体是花束，那么图像的类别就是花束类；图像中主体是绿植，那么图像的类别就是绿植类。

步骤S102，获取所述待测图像的全局特征。

步骤S103，通过随机框获取所述待测图像的局部特征。

其中，全局特征和局部特征均是待测图像的图像特征，是一维特征向量。全局特征是指从整幅待测图像提取的特征向量，是来自整幅待测图像的特征；所述局部特征是指从整幅待测图像的局部区域提取的特征向量，是来自待测图像的局部区域的特征。

在本申请实施例中，由于较多图像无明确固定的图像特征，容易混淆，无法提取有效的局部特征，通过随机框可以有效的提取图像的局部特征。其中，随机框是随机生成的用于选取待测图像中局部图像(即局域区域)的框，随机框的形状在此不做限定。

步骤S104，将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

在本申请实施例中，将待测图像的全局特征和局部特征相结合一同输入至分类器，能够使得分类器根据待测图像的全局特征和局部特征对待测图像进行分类，即在图像分类中进入局部特征，能够解决图像之间类别较为相似，全局特征无法进行区分的问题。其中，分类器可以是指根据待测图像的图像特征对待测图像进行分类的模型，如softmax分类器、全连接层或者非线性支持向量机(Support Vector Machine，SVM)分类器，在此不对分类器的具体类型进行限定。非线性SVM分类器可以有效拓展分类维度，降低softmax在非线性分类上的缺陷。

本申请实施例在待测图像的全局特征的基础上，通过随机框引入待测图像的局部特征，将待测图像的全局特征和局部特性相结合对待测图像进行分类，增加了用于图像分类的特征数量，能够解决图像之间类别较为相似，全局特征难以区分的问题，提高了图像分类的准确性，适合在嵌入式设备中部署。

参见图2，是本申请实施例二提供的图像分类方法的实现流程示意图，该图像分类方法应用于终端设备，如图所示该图像分类方法可以包括以下步骤：

步骤S201，获取待测图像。

该步骤与步骤S101相同，具体可参见步骤S101的相关描述，在此不再赘述。

步骤S202，在所述待测图像上生成随机框。

在本申请实施例中，由于较多图像无明确固定的图像特征，容易混淆，无法提取有效的局部特征，通过随机框可以有效的提取图像的局部特征。其中，随机框是随机生成的用于选取待测图像中局部图像(即局域区域)的框，如图3a和图3b所示，图3a是在待测图像上生成尺寸相同的随机框的示例图，图3b是在待测图像上生成尺寸不同的随机框的示例图，此处的尺寸不同是指尺寸不完全相同。

可选的，在获取待测图像之后，本申请实施例还包括：

获取所述待测图像所属场景；

相应的，所述在所述待测图像上生成随机框包括：

若所述待测图像所属场景为第一场景，则在所述待测图像上生成尺寸不同的随机框；

若所述待测图像所属场景为第二场景，则在所述待测图像上生成尺寸相同的随机框。

在本申请实施例中，可以根据图像所属场景对随机框的尺寸是否相同进行设置，可以根据图像的场景特征是否固定对图像所属场景进行划分，例如，第一场景为场景特征不固定的图像场景，例如自然场景；第二场景为场景特征固定的图像场景，例如植物场景。例如属于自然场景的图像其通常无明确固定的场景特征，可以使用尺寸不同的随机框提取属于自然场景的图像的局部特征，以提取有效的局部特征；而属于植物场景的图像其通常有固定的场景图像，使用尺寸相同的随机框提取即可有效地提取属于植物场景的图像的局部特征，如果使用尺寸不同的随机框提取属于植物场景的图像的局部特征，由于随机框的尺寸变化较大，提取的局部特征可能不明显，容易被其他信息(例如背景信息)干扰，如一幅图像，内容在大片草丛中有三四朵花，其属于花丛并不属于草丛，如果使用尺寸不同的随机框提取该图像的局部特征，以判断该图像的类别，可能会将该图像的类别判定为草丛。其中，场景特征可以是指能够表征图像所属场景的图像特征。场景特征固定可以是指场景特征在图像中的分布较为集中，不分散；场景特征不固定可以是指场景特征在图像中的分布较为分散，不集中。待测图像所属场景可以是指待测图像中主体所属场景，例如图像的主体是花朵，那么该图像所属场景为植物场景；图像的主体是沙滩、山谷等，那么该图像所属场景为自然场景。

步骤S203，对所述随机框中图像进行下采样。

在本申请实施例中，对随机框中图像进行下采样可以缩小随机框中图像的尺寸，减少随机框中图像的计算量。

可选的，当所述随机框的数量为多个时，在对所述随机框中图像进行下采样之前，本申请实施例还包括：

根据预设条件对多个随机框中图像进行排序；

相应的，所述对所述随机框中图像进行下采样包括：

按照排列顺序对所述随机框中的图像进行下采样。

在本申请实施例中，当待测图像上生成多个随机框时，可以根据预设条件对多个随机框中图像进行排序，按照排列顺序将每个随机框中图像进行下采样，并按照上述排列顺序将下采样后的每个随机框中图像依次输入第一分类模型，依次提取每个随机框中图像的特征向量，从而获取每个随机框中图像对应的待测图像的局部特征，一个随机框中图像的特征向量即为该随机框中图像对应的待测图像的局部特征。其中，预设条件可以是指预先设定的排序策略。若多个随机框的尺寸不同，则预设条件包括但不限于随机框的尺寸(即随机框中图像的尺寸)，例如，根据随机框的尺寸从小到大的顺序对多个随机框中图像进行排序；若多个随机框的尺寸相同，则预设条件包括但不限于随机框在待测图像中的位置，如图3a所示，对于尺寸为224*224的待测图像，可以选取5*5为随机框的尺寸，假设每个随机框的左上角坐标为(x_min,y_min)，先比较每个随机框的x_min按照从小到大进行排序，若x_min相同，则比较每个随机框的y_min按照从小到大进行排序。由于不同随机框中图像的特征向量存在较为相似的情况，通过对随机框中图像进行排序，可以避免混淆不同随机框图像对应的相似特征向量。

步骤S204，将下采样后的所述随机框中图像输入至第一分类模型，所述第一分类模型输出所述随机框中图像的特征向量，该特征向量为所述待测图像的局部特征。

其中，第一分类模型可以是指获取随机框中图像的特征向量(即图像特征)的模型，用于输出随机框中图像的特征向量，在此不对第一分类模型的具体类型进行限定。

步骤S205，对所述待测图像进行下采样。

在本申请实施例中，对待测图像进行下采样，可以缩小待测图像的尺寸，减少待测图像的计算量。

步骤S206，将下采样后的所述待测图像输入至第二分类模型，所述第二分类模型输出所述待测图像的全局特征。

其中，第二分类模型可以是指获取待测图像的特征向量的模型，用于输出待测图像的特征向量，在此不对第二分类模型的具体类型进行限定。

需要说明的是，第一分类模型和第二分类模型可以为同一分类模型，也可以为不同分类模型。在第一分类模型和第二分类模型为同一分类模型时，将下采样后的随机框中图像和下采样后的待测图像均输入至该分类模型，该分类模型输出待测图像的局部特征和全局特征，即通过一个分类模型提取待测图像的局部特征和全局特征，可以减少对终端设备内存的占用，同时两个支路共享一个权重，提高了分类模型效率。在第一分类模型和第二分类模型为不同分类模型时，第一分类模型适用于提取局部特征，第二分类模型适用于提取全局特征，将下采样后的随机框中图像输入至第一分类模型，能够更好地待测图像的局部特征，将下采样后的待测图像输入至第二分类模型，能够更好地待测图像的局部特征。

步骤S207，将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

该步骤与步骤S104相同，具体可参见步骤S104的相关描述，在此不再赘述。

本申请实施例可以通过一个分类模型提取待测图像的局部特征和全局特征，也可以通过不同分类模型分别提取待测图像的局部特征和全局特征，使用一个分类模型可以减少对终端设备内容的占用，在提升图像分类准确度的同时，可以简化图像分类过程，使用两个不同分类模型可以更好地提取相应的图像特征。

参见图4，是本申请实施例三提供的图像分类方法的实现流程示意图，该图像分类方法应用于终端设备，如图所示该图像分类方法可以包括以下步骤：

步骤S401，获取待测图像。

该步骤与步骤S101相同，具体可参见步骤S101的相关描述，在此不再赘述。

步骤S402，在所述待测图像上生成随机框。

该步骤与步骤S202相同，具体可参见步骤S202的相关描述，在此不再赘述。

步骤S403，对所述随机框中图像进行下采样。

该步骤与步骤S203相同，具体可参见步骤S203的相关描述，在此不再赘述。

步骤S404，将下采样后的所述随机框中图像输入至第一分类模型，所述第一分类模型输出所述随机框中图像的特征向量，该特征向量为所述待测图像的局部特征。

该步骤与步骤S204相同，具体可参见步骤S204的相关描述，在此不再赘述。

步骤S405，对所述待测图像进行下采样。

该步骤与步骤S205相同，具体可参见步骤S205的相关描述，在此不再赘述。

步骤S406，将下采样后的所述待测图像输入至第二分类模型，所述第二分类模型输出所述待测图像的全局特征。

该步骤与步骤S206相同，具体可参见步骤S206的相关描述，在此不再赘述。

步骤S407，将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量。

在本申请实施例中，待测图像的全局特征和局部特征的维度均为一维，可以将全局特征拼接在局部特征之后，也可以将全局特征拼接在局部特征之前，在此不做限定，将维度均为一维的全局特征和局部特征进行拼接后，可以形成拼接后的一维特征向量，例如n个选取框，n为大于零的整数，n个选取框中图像对应的特征向量为v，v∈{v₁,…v_n}，全局特征为w₁，将全局特征和局部特征进行拼接后，形成的拼接后的一维特征向量可以为w∈{v₁,…v_n,w₁}或w∈{w₁,v₁,…v_n}。

可选的，当所述局部特征的数量为多个时，所述将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量包括：

根据预设条件对多个局部特征进行排序；

将排序后的所述多个局部特征与所述全局特征进行拼接，形成一维特征向量。

在本申请实施例中，可以先根据预设条件对从多个随机框中图像提取的局部特征进行排序，再将全局特征拼接在局部特征之前或之后，形成融合后的一维特征向量，因为一维特征向量的计算量小，可以处理效率高。其中，上述预设条件与对多个随机框中图像进行排序的预设条件相同，可以避免混淆不同随机框中图像对应的特征向量。

步骤S408，将所述拼接后的一维特征向量输入至所述分类器，所述分类器输出所述待测图像的类别。

该步骤与步骤S104部分相同，相同部分具体可参见步骤S104的相关描述，在此不再赘述。

在本申请实施例中，需要先对分类模型和分类器分别进行训练，使用训练好的分类模型提取待测图像的局部特征和全局特征，使用训练好的分类器对待测图像进行分类。

在第一分类模型和第二分类模型为同一分类模型时，该分类模型的训练过程如图5a所示，在对分类模型进行训练时，将训练样本分成两支路进行处理，在上支路中首先在训练样本上随机生成随机框，对随机框中图像进行排序，对排序后的随机框中图像进行下采样；同时，在下支路中对训练样本进行下采样，然后将下采样后的随机框中图像和下采样后的训练样本进行排队，将队列中的图像(包括下采样后的随机框中图像和训练样本)依次输入至分类模型，分类模型输出依次局部特征和全局特征进行训练回传。如图5b所示，在训练好分类模型之后，使用训练好的分类模型提取训练样本的局部特征和全局特征，并将局部特征和全局特征进行特征拼接，形成拼接后的一维特征向量，将拼接后的一维特征向量输入至分类器，使用目标监督对分类器进行回传训练。

在第一分类模型和第二分类模型为不同分类模型时，第一分类模型和第二分类模型的训练过程如图5c所示，在对分类模型进行训练时，将训练样本分成两支路进行处理，在上支路中首先在训练样本上随机生成随机框，对随机框中图像进行排序，对排序后的随机框中图像进行下采样，将下采样后的随机框中图像输入至第一分类模型，使用损失函数对第一分类模型进行回传训练；同时，在下支路中对训练样本进行下采样，将下采样后的训练样本输入第二分类模型，使用损失函数对第二分类模型进行回传训练。如图5d所示，在训练好第一分类模型和第二分类模型之后，使用训练好的第一分类模型提取训练样本的局部特征，使用训练好的第二分类模型提取训练样本的全局特征，并将局部特征和全局特征进行特征拼接，形成拼接后的一维特征向量，将拼接后的一维特征向量输入至分类器，使用目标监督对分类器进行训练。其中，通过对第一分类模型和第二分类模型分别进行训练，可以使得训练后的第一分类模型和第二分类模型更具有针对性，例如第一分类模型更适用于提取局部特征，第二分类模型更适用于提取全局特征。

本申请实施例通过将待测图像的全局特征和局部特征拼接为一维特征向量，可以减少计算量，提高图像分类效率。

参见图6，是本申请实施例四提供的图像分类装置的示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

所述图像分类装置包括：

图像获取模块61，用于获取待测图像；

全局特征获取模块62，用于获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；

局部特征获取模块63，用于通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；

类别输出模块64，用于将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

可选的，所述局部特征获取模块63包括：

随机框生成单元，用于在所述待测图像上生成随机框；

随机框下采样单元，用于对所述随机框中图像进行下采样；

局部特征获取单元，用于将下采样后的所述随机框中图像输入至第一分类模型，所述第一分类模型输出所述随机框中图像的特征向量，该特征向量为所述待测图像的局部特征。

可选的，所述全局特征获取模块62包括：

图像排序单元，用于当所述随机框的数量为多个时，根据预设条件对多个随机框中图像进行排序；

所述随机框下采样单元，具体用于按照排列顺序对所述随机框中的图像进行下采样。

可选的，所述图像分类装置还包括：

场景获取模块65，用于获取所述待测图像所属场景；

所述随机框生成单元具体用于：

若所述待测图像所属场景为第一场景，则在所述待测图像上生成尺寸不同的随机框；

若所述待测图像所属场景为第二场景，则在所述待测图像上生成尺寸相同的随机框。

可选的，所述全局特征获取模块62包括：

图像下采样单元，用于对所述待测图像进行下采样；

全局特征获取单元，用于将下采样后的所述待测图像输入至第二分类模型，所述第二分类模型输出所述待测图像的全局特征。

可选的，所述类别输出模块64包括：

特征拼接单元，用于将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量；

特征输入单元，用于将所述拼接后的一维特征向量输入至所述分类器。

可选的，所述特征拼接单元具体用于：

根据预设条件对多个局部特征进行排序；

将排序后的所述多个局部特征与所述全局特征进行拼接，形成一维特征向量。

本申请实施例提供的图像分类装置可以应用在前述方法实施例一、实施例二和实施例三中，详情参见上述方法实施例一、实施例二和实施例三的描述，在此不再赘述。

图7是本申请实施例五提供的终端设备的示意图。如图所示的该终端设备可以包括：一个或多个处理器701(图中仅示出一个)；一个或多个输入设备702(图中仅示出一个)，一个或多个输出设备703(图中仅示出一个)和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储指令，处理器701用于执行存储器704存储的指令。其中：

所述处理器701，用于获取待测图像；获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

可选的，所述处理器701具体用于：

在所述待测图像上生成随机框；

对所述随机框中图像进行下采样；

将下采样后的所述随机框中图像输入至第一分类模型，所述第一分类模型输出所述随机框中图像的特征向量，该特征向量为所述待测图像的局部特征。

可选的，所述处理器701还用于：

当所述随机框的数量为多个时，根据预设条件对多个随机框中图像进行排序；

按照排列顺序对所述随机框中的图像进行下采样。

可选的，所述处理器701具体用于：

获取所述待测图像所属场景；

若所述待测图像所属场景为第一场景，则在所述待测图像上生成尺寸不同的随机框；

若所述待测图像所属场景为第二场景，则在所述待测图像上生成尺寸相同的随机框。

可选的，所述处理器701具体用于：

对所述待测图像进行下采样；

将下采样后的所述待测图像输入至第二分类模型，所述第二分类模型输出所述待测图像的全局特征。

可选的，所述处理器701具体用于：

将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量；

将所述拼接后的一维特征向量输入至所述分类器。

可选的，所述处理器701具体用于：

当所述局部特征的数量为多个时，根据预设条件对多个局部特征进行排序；

将排序后的所述多个局部特征与所述全局特征进行拼接，形成一维特征向量。

应当理解，在本申请实施例中，所述处理器701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备702可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、数据接收接口等。输出设备703可以包括显示器(LCD等)、扬声器、数据发送接口等。

该存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。例如，存储器704还可以存储设备类型的信息。

具体实现中，本申请实施例中所描述的处理器701、输入设备702、输出设备703和存储器704可执行本申请实施例提供的图像分类方法的实施例中所描述的实现方式，也可执行实施例四所述图像分类装置中所描述的实现方式，在此不再赘述。

图8是本申请实施例六提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个图像分类方法实施例中的步骤。或者，所述处理器80执行所述计算机程序82时实现上述装置实施例中各模块/单元的功能。

所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元CPU，还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得所述终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分类方法，其特征在于，所述图像分类方法包括：

获取待测图像；

获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；

通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；

将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

2.如权利要求1所述的图像分类方法，其特征在于，所述通过随机框获取所述待测图像的局部特征包括：

在所述待测图像上生成随机框；

对所述随机框中图像进行下采样；

将下采样后的所述随机框中图像输入至第一分类模型，所述第一分类模型输出所述随机框中图像的特征向量，该特征向量为所述待测图像的局部特征。

3.如权利要求2所述的图像分类方法，其特征在于，当所述随机框的数量为多个时，在对所述随机框中图像进行下采样之前，还包括：

根据预设条件对多个随机框中图像进行排序；

相应的，所述对所述随机框中图像进行下采样包括：

按照排列顺序对所述随机框中的图像进行下采样。

4.如权利要求3所述的图像分类方法，其特征在于，在获取待测图像之后，还包括：

获取所述待测图像所属场景；

相应的，所述在所述待测图像上生成随机框包括：

若所述待测图像所属场景为第一场景，则在所述待测图像上生成尺寸不同的随机框；

若所述待测图像所属场景为第二场景，则在所述待测图像上生成尺寸相同的随机框。

5.如权利要求1所述的图像分类方法，其特征在于，所述获取所述待测图像的全局特征包括：

对所述待测图像进行下采样；

将下采样后的所述待测图像输入至第二分类模型，所述第二分类模型输出所述待测图像的全局特征。

6.如权利要求1至5任一项所述的图像分类方法，其特征在于，将所述全局特征和所述局部特征输入至分类器包括：

将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量；

将所述拼接后的一维特征向量输入至所述分类器。

7.如权利要求6所述的图像分类方法，其特征在于，当所述局部特征的数量为多个时，所述将所述全局特征和所述局部特征进行特征拼接，形成拼接后的一维特征向量包括：

根据预设条件对多个局部特征进行排序；

将排序后的所述多个局部特征与所述全局特征进行拼接，形成一维特征向量。

8.一种图像分类装置，其特征在于，所述图像分类装置包括：

图像获取模块，用于获取待测图像；

全局特征获取模块，用于获取所述待测图像的全局特征，其中，所述全局特征是指从整幅待测图像提取的特征向量；

局部特征获取模块，用于通过随机框获取所述待测图像的局部特征，其中，所述局部特征是指从整幅待测图像的局部区域提取的特征向量；

类别输出模块，用于将所述全局特征和所述局部特征输入至分类器，所述分类器输出所述待测图像的类别。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像分类方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像分类方法的步骤。

Images