CN111027600A - 图像类别预测方法和装置 - Google Patents

Abstract

本申请实施例提供了一种图像类别预测方法和装置，本申请实施例可以获取待分类图像；通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定所述参考类别在所述预测类别集合中的目标排列位置；基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果，本方案可以有效地提高图像类别预测的准确性。

Description

图像类别预测方法和装置

技术领域

本申请涉及通信技术领域，具体涉及一种图像类别预测方法和装置。

背景技术

如今，图像类别预测技术广泛地应用于各行各业。图像类别预测技术是指对图像进行定量分析，根据图像所反映出的特征信息进行分类的一种图像处理方法。

目前的图像类别预测技术中，普遍采用已知类别的图像对神经网络模型进行训练，然后通过训练后的神经网络模型对图像进行分类，得到图像类别的预测结果，然而，在对现有技术的研究和实践过程中，本申请的发明人发现，当对已知类别之外的图像进行分类时，由于神经网络模型的泛化能力较差，不能正确地识别图像的类别，导致图像类别预测的准确性差。

发明内容

本申请的目的在于提供一种图像类别预测方法和装置，可以有效地提高图像类别预测的准确性。

本申请实施例提供了一种图像类别预测方法，包括：

获取待分类图像；

通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；

通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；

确定所述参考类别在所述预测类别集合中的目标排列位置；

基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；

基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

相应的，本申请实施例还提供了一种图像类别预测装置，包括：

获取单元，用于获取待分类图像；

第一分类单元，用于通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；

第二分类单元，用于通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；

确定单元，用于确定所述参考类别在所述预测类别集合中的目标排列位置；

调整单元，用于基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；

结果获取单元，用于基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

可选的，在一些实施例中，所述确定单元包括集合获取子单元，类别获取子单元，位置确定子单元，确定子单元；

所述集合获取子单元，用于获取图像类别映射集合，其中，所述图像类别映射集合包括第一分类网络的预设参考类别与第二分类网络的预设预测类别之间的映射关系；

所述类别获取子单元，用于基于所述图像类别映射集合获取所述参考类别对应的目标预测类别；

所述位置确定子单元，用于确定所述目标预测类别在所述预测类别集合中的排列位置；

所述确定子单元，用于根据所述排列位置确定所述参考类别在所述预测类别集合中的目标排列位置。

可选的，在一些实施例中，所述图像类别装置还包括构建单元；

所述构建单元，具体用于获取第一分类网络的预设参考类别集合，所述预设参考类别集合包括多个预设参考类别；

获取第二分类网络的预设预测类别集合，所述预设预测类别集合包括多个预设预测类别；

建立所述预设参考类别与所述预设预测类别之间的映射关系，得到图像类别映射集合。

可选的，在一些实施例中，所述调整单元包括方式确定子单元、调整子单元；

所述方式确定子单元，用于根据所述目标排列位置确定顺序调整方式，以及所述顺序调整方式对应的预设位置；

所述调整子单元，用于在所述预测类别集合中，采用所述顺序调整方式将所述目标预测类别调整至所述预设位置，得到调整后的预测类别集合。

可选的，在一些实施例中，所述第二分类单元包括特征提取子单元、分析子单元；

所述特征提取子单元，用于通过所述第二分类网络对所述待分类图像进行特征提取，得到待分类图像的局部特征信息；

所述分析子单元，用于基于所述局部特征信息通过所述第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合。

可选的，在一些实施例中，所述图像分类装置还包括网络训练单元；

所述网络训练单元，用于采集多张标注有真实类别的图像样本；

基于所述真实类别对预设分类网络进行训练，得到所述第二分类网络。

可选的，在一些实施例中，所述网络训练单元包括样本特征提取子单元、样本分析子单元、损失计算子单元、训练子单元；

所述样本特征提取子单元，用于对所述图像样本进行特征提取，得到图像样本的局部特征信息；

所述样本分析子单元，用于基于所述图像样本的局部特征信息对所述图像样本进行分类，得到图像样本的预测类别集合，所述图像样本的预测类别集合包括多个样本预测类别；

所述损失计算子单元，用于计算每个样本预测类别与所述真实类别之间的类别损失，得到多个类别损失；

所述训练子单元，用于基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络。

可选的，在一些实施例中，所述损失计算子单元包括调整模块、计算模块；

所述调整模块，用于当所述多个样本预测类别中存在所述真实类别时，调整每个样本预测类别对应的损失权重；

所述计算模块，用于基于所述样本预测类别对应的损失权重计算每个样本预测类别与真实类别之间的类别损失。

可选的，在一些实施例中，所述多个样本预测类别根据样本预测类别对应的预测概率排序，所述调整模块具体用于：

根据所述真实类别的排列位置确定每个样本预测类别对应的损失权重；

根据样本预测类别的排列顺序确定所述真实类别的排列位置；

根据所述真实类别的排列位置调整每个样本预测类别对应的损失权重。

可选的，在一些实施例中，所述训练子单元具体用于：

在所述多个类别损失中选取满足预设数量的目标类别损失；

基于所述目标类别损失对所述预设分类网络进行训练，得到第二分类网络。

可选的，在一些实施例中，所述图像类别预测装置还包括区块链存储单元；

所述区块链存储单元，用于将所述待分类图像的类别预测结果存储至区块链中。

相应的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的图像类别预测方法中的步骤。

相应的，本申请实施例还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本申请实施例任一提供的图像类别预测方法中的步骤。

本申请实施例可以获取待分类图像；通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定所述参考类别在所述预测类别集合中的目标排列位置；基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果，由于本申请实施例基于参考类别对预测类别的排列顺序进行了调整，可以有效地提高预测类别集合的分类准确性，进而有效地提高了图像类别预测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像类别预测方法的流程示意图；

图2是本申请实施例提供的图像标注操作的示意图；

图3是本申请实施例提供的图像标注操作的另一示意图；

图4是本申请实施例提供的图像类别预测方法的另一示意图；

图5是本申请实施例提供的可视化图像标注工具的示意图；

图6是本申请实施例提供的图像类别预测工具的分类流程示意图；

图7是本申请实施例提供的分类网络的训练流程示意图；

图8是本申请实施例提供的改造损失函数的流程示意图；

图9是本申请实施例提供的图像类别预测装置的一种结构示意图；

图10是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图11是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图12是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图13是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图14是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图15是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图16是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图17是本申请实施例提供的图像类别预测装置的另一种结构示意图；

图18是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种图像类别预测方法和装置，其中，该图像类别预测装置可以集成在服务器中，该服务器可以包括后台服务器，等等。

例如，以该图像类别预测装置集成在服务器中为例，该服务器可以获取待分类图像；通过第一分类网络对该待分类图像进行分类，得到该待分类图像的参考类别；通过第二分类网络对该待分类图像进行分类，得到该待分类图像的预测类别集合，其中，该预测类别集合包括多个预测类别，该多个预测类别根据预测类别对应的预测概率排列；确定该参考类别在该预测类别集合中的目标排列位置；基于该目标排列位置对该预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于该调整后的预测类别集合获取该待分类图像的类别预测结果。

以下分别进行详细说明。需说明的是，以下实施例描述顺序不作为对实施例优选顺序的限定。

在一些实施例中，本申请将从图像类别预测装置的角度进行描述，其中，该图像类别预测装置具体可以集成在服务器。

如图1所示，提供了一种图像类别预测方法，该图像类别预测方法可以由服务器执行，具体流程可以如下：

101、获取待分类图像。

其中，待分类图像可以有多种表现形式，例如，在一些实施例中，可以为一张完整的图像，该图像可以包括背景与物体，又例如，可以为一张图像中的一部分，譬如可以为图像中的一个物体。

其中，获取待分类图像的方法可以有多种，在一些实施例中，为了能够提高图像类别预测的效率，可以使用图像标注工具对图像进行标注操作，根据标注操作获取待分类图像，例如，可以使用图像标注工具在图像上标注多个极值点，然后将极值点之间连接的线段所围成的区域确定为待分类图像；又例如，可以使用图像标注工具在图像上标注多个极值点，然后根据预设算法对图像进行处理，在图像上可以勾勒出待分类图像的轮廓。

在一些实施例中，为了能够获取更准确的待分类图像，可以基于标注人员对图像标注工具的操作对待分类图像的轮廓进行调整，譬如，可以使用图像标注工具上所提供的轮廓修改工具进行调整，又譬如，也可以通过对图像标注工具上所提供的修改功能进行操作，然后图像标注工具可以根据预设修正算法对轮廓进行调整；其中，预设修正算法可以有多种，例如可以为深度学习算法，具体可以根据业务的需求进行设置。

由于可以根据业务的需求选择所要分类的图像区域，如可以选择全图或者选取局部图像作为待分类图像，不仅可以满足业务的需求，并且能有效地提高图像类别预测的效率。

例如，可以使用图像标注工具对一张图像中待分类的物体进行标注操作，然后基于标注操作的点对图像进行切割，从而得到待分类图像，如图2所示，可以对图像中的“小车”标注多个极值点“P1”、“P2”、“P3”、“P4”，然后将极值点之间连接的线段所确定的区域(Bbox，Bounding Box)图像“A1”确定为待分类图像，然后图像标注工具根据该Bbox图像对整张图像进行分割，得到待分类图像。

又例如，可以使用图像标注工具对一张图像中待分类的物体进行标注操作，如图3所示，可以对图像中的“小车”标注多个极值点“P5”、“P6”、“P7”、“P8”，然后图像标注工具可以基于预设算法在图像上可以勾勒出“小车”的轮廓“A2”，标注人员可以通过使用轮廓修改工具对“小车”的轮廓进行调整，也可以通过对标注工具上的修改功能的操作，然后使得图像标注工具通过预设修正算法对“小车”的框进行调整，获得更为准确的待分类图像。

102、通过第一分类网络对该待分类图像进行分类，得到该待分类图像的参考类别。

其中，参考类别可以有多种表现形式，在一些实施例中，为了能够有效地提高分类的效率，参考类别可以为参考类别标签的形式，该参考类别标签可以包括汉字、数字、二进制字符、字母中的至少一种，例如，可以为“Box”的参考类别标签，又例如，也可以为“纸盒”的参考类别标签，再例如，也可以为车辆、行人、建筑等类别标签。具体的标签可以根据实际操作进行设置。

其中，通过第一分类网络对该待分类图像进行分类的方法可以有多种，例如，可以通过分类网络中的特征提取层对该待分类图像进行特征提取，然后经过特征分类层(即全连接层)对特征提取结果进行处理，然后得到分类结果。

其中，该第一分类网络可以有多种表现形式，例如，该分类网络可以为卷积神经网络(CNN，Convolutional Neural Networks)，又例如，该分类网络也可以为残差网络(ResNet，Residual Network)，再例如，该分类网络也可以为Inception-V3(一种卷积神经网络结构)。

其中，通过第一分类网络对该待分类图像进行分类之前，该第一分类网络可以有多种获取方式，例如，可以由开发人员预先设置该第一分类网络，又例如，也可以经过预先训练得到该第一分类网络，譬如，可以采用基于ImageNet(图像网，一个用于视觉对象识别软件研究的大型可视化数据库)1000类标准标签对分类网络进行预训练得到该第一分类网络；又譬如，可以采用基于其他数据集对分类网络进行预训练得到该第一分类网络，该数据集可以有多种，比如可以为MNIST数据集(Modified National Institute of Standardsand Technology database，修改后的美国国家标准技术研究院数据库，是一种用于手写字识别的数据集)，又比如可以为CIFAR-10数据集(Canadian Institute For AdvancedResearch-10database，加拿大高等研究院-10数据集，一种用于计算机视觉的数据集)，具体可以根据实际应用的需求进行设置。

其中，该第一分类网络的网络参数可以根据实际应用的需求进行设置。

由于可以使用数据集对预设分类网络进行训练得到第一分类网络，则可以基于现有数据集的丰富程度，有效地提升第一分类网络的准确性，使得该参考类别的参考价值更高，也能够有效地提高图像类别预测的准确性。

例如，可以采用基于ImageNet 1000类标准标签进行预训练的ResNet网络进行分类，该ResNet网络可以包括卷积特征提取层和全连接层，然后可以通过卷积特征提取层对该待分类图像进行卷积处理，然后通过全连接层对卷积处理结果进行处理，得到该待分类图像的参考类别。

又例如，可以采用基于可以采用基于ImageNet 1000类标准标签进行预训练的Inception-V3网络进行分类，该Inception-V3网络可以包括卷积特征提取层和全连接层，然后通过卷积特征提取层对该待分类图像进行卷积处理，然后通过全连接层对卷积处理结果进行处理，得到该待分类图像的参考类别。

103、通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列。

其中，预测类别可以有多种表现形式，在一些实施例中，为了能够有效地提高分类的效率，预测类别可以为预测类别标签的形式，该预测类别标签可以包括汉字、数字、二进制字符、字母中的至少一种，例如，可以为“Bird”的预测类别标签，又例如，也可以为“玻璃盒”的预测类别标签，再例如，也可以为车辆、行人、建筑等类别标签。具体的标签可以根据实际操作进行设置。

其中，预测概率可以指示预测类别为真实类别的可能性，预测概率可以有多种获取方式，在一些实施例中，当基于局部特征信息通过所述第二分类网络对该待分类图像进行分类时可以获取，具体可以包括：

采用所述第二分类网络对所述局部特征信息进行分析，得到全局特征信息；

基于所述全局特征信息进行分类，得到多个预测类别以及所述预测类别对应的预测概率。

例如，在一些实施例中，该第二分类网络可以包括卷积特征提取层和全连接层，其中卷积特征提取层用于提取待分类图像中的局部特征信息，全连接层用于基于局部特征信息进行组合、分析得到全局特征信息，然后基于全局特征信息对该待分类图像的类别进行预测，得到预测结果，譬如可以为多个预测类别；之后，对预测结果通过归一化指示函数(Normalized exponential function，又被称为Softmax函数)进行处理即可以得到每个预测类别对应的预测概率。

其中，通过第二分类网络对该待分类图像进行分类，得到该待分类图像的预测类别集合的方式可以有多种，例如，在一些实施例中，可以对该待分类图像进行特征提取，得到局部特征信息，然后对局部特征信息进行分析得到该待分类图像的预测类别集合，具体可以包括：

通过所述第二分类网络对所述待分类图像进行特征提取，得到待分类图像的局部特征信息；

基于所述局部特征信息通过所述第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合。

其中，局部特征信息是待分类图像中区别于其他区域的一块区域的信息；局部特征信息通常是描述待分类图像中的一块区域，该区域具有高的可区分度；通常具有以下特点：可重复性、可区分性、准确性、有效性(特征的数量、特征提取的效率)、鲁棒性(稳定性、不变性)。

其中，通过所述第二分类网络对所述待分类图像进行特征提取，得到待分类图像的局部特征信息的方式可以有多种，例如，在一些实施例中，该第二分类网络可以包括卷积层(convolution layer)、池化层(polling layer)、非线性映射层(non-linearitymapping，又称激活函数，即activation function)，其中卷积层通过一定大小的卷积核作用于待分类图像的局部图像区域，得到局部图像区域的特征信息，然后池化层实现降采样(down-sampling)操作，池化层具有保证特征不变性、特征降维、以及在一定程度上防止过拟合(overfitting)的功能；之后，为了增加整个分类网络的非线性能力，再经过非线性映射层进行处理，最后得到所述待分类图像的局部特征信息。

其中，基于所述局部特征信息通过所述第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合的方法可以有多种，例如，在一些实施例中，该第二分类网络可以包括全连接层，全连接层具有“分类器”的功能，基于全连接层实现对局部特征信息的分类(Classification)，即可以得到该待分类图像的预测类别集合。

其中，该第二分类网络的网络参数可以根据实际需求进行设置。

其中，在通过第二分类网络对该待分类图像进行分类之前，该第二分类网络可以有多种获取方式，例如，可以由开发人员预先设置该第二分类网络，又例如，在一些实施例中，为了能够提高图像类别预测的准确性，可以基于已知真实类别的样本对预设分类网络进行训练，得到第二类别网络，具体可以包括：

采集多张标注有真实类别的图像样本；

基于该真实类别对预设分类网络进行训练，得到该第二分类网络。

其中，采集多张标注有真实类别的图像样本的方式可以有多种，在一些实施例中，比如，可以从现有的已知真实类别的图像数据库中选取图像作为样本，又比如，还可以根据实际业务中收集到的已知真实类别的图像来进行训练，具体可以根据实际需求进行设置。

其中，图像样本的数量可以根据预测精度进行调整，例如，在一些实施例中，可以选用200张图像样本，又例如，在一些实施例中，可以选用1999张图像样本，具体可以根据实际需求进行设置。

其中，该预设分类网络可以有多种获取方式，例如，该预设分类网络可以是基于已知真实类别的图像样本进行训练的分类网络，比如，在一些实施例中，该预设分类网络可以是经过迁移学习训练后的分类网络，譬如，分类网络可以包括特征提取层和全连接层，在进行迁移学习训练时，冻结全部特征提取层的网络参数，对全连接层进行训练，可以得到预设分类网络，又譬如，在进行迁移学习训练时，可以冻结一部分特征提取层的网络参数，对另一部分的特征提取层和全连接层进行训练，具体的训练方式可以根据实际需求进行设置。

其中，基于该真实类别对预设分类网络进行训练，得到该第二分类网络的方式可以有多种，例如在一些实施例中，可以基于图像样本的样本预测类别与真实类别之间的类别损失进行训练该第二分类网络，具体可以包括：

对所述图像样本进行特征提取，得到图像样本的局部特征信息；

基于所述图像样本的局部特征信息对所述图像样本进行分类，得到图像样本的预测类别集合，所述图像样本的预测类别集合包括多个样本预测类别；

计算每个样本预测类别与所述真实类别之间的类别损失，得到多个类别损失；

基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络。

例如，该预设分类网络为经过迁移学习后的分类网络，该预设分类网络可以包括特征提取层与全连接层，其中特征提取层的网络参数被冻结，全连接层进行了训练；则该预设分类网络可以对所述图像样本进行特征提取，得到图像样本的局部特征信息；然后基于所述图像样本的局部特征信息对所述图像样本进行分类，得到图像样本的多个预测类别，接着，计算每个样本预测类别与所述真实类别之间的类别损失，得到多个类别损失；最后，基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络。

其中，基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络的方式可以有多种，譬如，在一些实施例中，可以根据预测精度的需求选取一定数量的类别损失对预设分类网络进行训练，得到第二分类网络，具体可以包括：

在所述多个类别损失中选取满足预设数量的目标类别损失；

基于所述目标类别损失对所述预设分类网络进行训练，得到第二分类网络。

譬如，当样本预测类别集合包括10个预测类别时，计算得到了10个样本预测类别与真实类别之间的类别损失，由于业务需求中只需要提高前3位预测类别的精度，那么则选择前3位的类别损失对预设分类网络进行训练，得到第二分类网络。

由上可得，由于可以根据预测精度的需求选取一定数量的类别损失对预设网络进行训练，可以有效地满足实际图像类别预测业务中的需求。

其中，计算每个样本预测类别与所述真实类别之间的类别损失，得到多个类别损失的方式可以有多种，例如，在一些实施例中，可以根据真实类别调整每个样本预测类别对应的损失权重，再进行计算类别损失，具体可以包括：

当所述多个样本预测类别中存在所述真实类别时，调整每个样本预测类别对应的损失权重；

基于所述样本预测类别对应的损失权重计算每个样本预测类别与真实类别之间的类别损失。

在一些实施例中，所述多个样本预测类别根据样本预测类别对应的预测概率排序，则调整每个样本预测类别对应的损失权重的方法可以有多种，例如，可以根据真实类别来调整每个样本预测类别对应的损失权重，则具体可以包括：

根据样本预测类别的排列顺序确定所述真实类别的排列位置；

根据所述真实类别的排列位置调整每个样本预测类别对应的损失权重。

其中，根据所述真实类别的排列位置调整每个样本预测类别对应的损失权重的方式可以有多种，例如，在一些实施例中，可以根据实际需求的预测精度来确定所需调整的权重，譬如，当实际应用中，开发人员希望前N位的预测类别的准确率较高，则在对预设分类网络进行训练时，需要前N位的样本预测类别中出现真实类别，那么，当真实类别的排列位置不在前N位时，调整其他样本预测类别对应的损失权重，使得前N位中出现真实类别的可能性提升；当真实类别的排列位置在前N位时，则可以给予正常权重，以维持预测的准确性。

例如，对已知真实类别的图像样本进行分类，可以得到多个样本预测类别为“鸡”、“鸭”、“牛”、“鹅”，其中的样本预测类别根据预测概率进行排列，图像样本的真实类别为“鹅”，则根据样本预测类别的排列顺序可以确定“鹅”的排列位置为第四位，由于运营需要提升前三位预测结果的准确性，而前三位的样本预测类别中并没有预测出真实类别“鹅”，那么就需要调整每个样本预测类别对应的损失权重，譬如，可以给予N倍权重，使得真实类别能够出现前三位的样本预测类别中，其中，损失权重可以根据实际需求进行设置。

由上可得，调整每个样本预测类别对应的损失权重的方法可以有效地提升在预测类别集合的命中率，而且可以根据实际业务的需求确定损失权重的数值，可以有效地满足运营精度的要求。

104、确定该参考类别在该预测类别集合中的目标排列位置。

其中，确定该参考类别在该预测类别集合中的目标排列位置的方式可以有多种，例如，在一些实施例中，可以根据图像类别映射集合获取参考类别对应的目标预测类别，然后根据该目标预测类别确定目标排列位置，具体可以包括：

获取图像类别映射集合，其中，该图像类别映射集合包括第一分类网络的预设参考类别与第二分类网络的预设预测类别之间的映射关系；

基于该图像类别映射集合获取该参考类别对应的目标预测类别，

确定该目标预测类别在该预测类别集合中的排列位置；

根据该排列位置确定该参考类别在该预测类别集合中的目标排列位置。

其中，获取图像类别映射集合的方式可以有多种，例如，可以从服务器的数据库中获取该图像类别映射集合；又例如，也可以获取开发人员预先设置的图像类别映射集合。

其中，该图像类别映射集合有多种设置方式，例如，可以由开发人员预先设置，又例如，在一些实施例中，可以构建第一分类网络的预设参考类别与第二分类网络的预设预测类别之间的映射关系进行设置，具体可以包括：

获取第一分类网络的预设参考类别集合，该预设参考类别集合包括多个预设参考类别；

获取第二分类网络的预设预测类别集合，该预设预测类别集合包括多个预设预测类别；

建立该预设参考类别与该预设预测类别之间的映射关系，得到图像类别映射集合。

其中，该预设参考类别集合为第一分类网络进行分类时所采用的类别数据集，在一些实施例中，该预设参考类别集合可以为预设参考类别标签数据集的形式，获取第一分类网络的预设参考类别集合的方式可以有多种，例如，可以由开发人员进行预先设置；其中该预设参考类别集合可以有多种表现形式，例如，可以是ImageNet(图像网，一个用于视觉对象识别软件研究的大型可视化数据库)1000类标准标签集合，也可以是MNIST数据集(Modified National Institute of Standards and Technology database，修改后的美国国家标准技术研究院数据集，一种用于手写字识别的数据集)，具体可以根据实际需求进行设置。

其中，该预设预测类别集合为第二分类网络进行分类时所采用的类别数据集，在一些实施例中，该预设预测类别集合可以为预设预测类别标签数据集的形式，获取第二分类网络的预设预测类别集合的方式可以有多种，例如，可以由开发人员进行预先设置；其中预设预测类别集合可以有多种表现形式，例如可以为ImageNet1000类标准标签集合，又比如可以为CIFAR-10数据集(Canadian Institute For Advanced Research-10database，加拿大高等研究院-10数据集，一种用于计算机视觉的数据集)，具体可以根据实际需求进行设置。

其中，建立该预设参考类别与该预设预测类别之间的映射关系，得到图像类别映射集合的方式可以有多种，例如，在一些实施例中，可以根据预设参考类别与预设预测类别之间的包含关系来建立映射关系。

比如，预设参考类别为“苹果”、“香蕉”，预设预测类别为“水果”，根据实际认知，“水果”是包含“苹果”、“香蕉”的，根据它们之间的包含关系则可以建立“苹果”、“香蕉”与“水果”之间的映射关系。

又比如，预设参考类别为“纸盒”、“玻璃盒”，预设预测类别为“盒子”，由于根据实际业务需求，需要将“纸盒”、“玻璃盒”归纳到“盒子”这一类别下，则可以根据该包含关系建立“纸盒”、“玻璃盒”与“盒子”之间的映射关系。

例如，参考类别为“小型汽车”，预测类别集合为“自行车”、“摩托车”、“汽车”，其中的预测类别根据各自的预测概率进行排列；则获取图像类别映射集合，根据图像类别映射集合可以得到“小型汽车”对应的是“汽车”，即目标预测类别为“汽车”，然后根据“汽车”在预测类别集合中的排列位置为第三位，然后根据该第三位的排列位置可以得到“小型汽车”在该预测类别集合中的排列位置为第三位。

由于第一分类网络进行分类时基于预设参考类别，第二分类网络进行分类时基于预设预测类别，则建立该预设参考类别与该预设预测类别之间的映射关系，得到图像类别映射集合，可以有效地结合多个分类网络所使用的分类数据集，有效地提高分类网络的泛化能力，进而有效地提高预测准确率。

105、基于该目标排列位置对该预测类别的排列顺序进行调整，得到调整后的预测类别集合。

其中，基于该目标排列位置对该预测类别的排列顺序进行调整，得到调整后的预测类别集合的方式可以有很多种，例如，在一些实施例中，为了能够迎合实际业务的需求，可以根据目标排列位置确定顺序调整方式，然后采用该顺序调整方式对预测类别集合进行调整，具体可以包括：

根据该目标排列位置确定顺序调整方式，以及该顺序调整方式对应的预设位置；

在该预测类别集合中，采用该顺序调整方式将该目标预测类别调整至该预设位置，得到调整后的预测类别集合。

其中，基于该目标排列位置确定顺序调整方式，以及顺序调整方式对应的预设位置的方式可以有很多种，例如，在一些实施例中，可以根据实际需求需要考虑的前N位预测类别的顺序确定顺序调整方式，譬如当实际业务需求只需考虑预测类别集合中的前三位预测类别的顺序时，则可以根据目标排列位置是否为前三位，来确定顺序调整方式以及顺序调整方式对应的预设位置。具体可以根据实际需求进行设置。

其中，顺序调整方式可以有多种表现形式，例如，在一些实施例中，调整方式可以是将目标预测类别移动至预设位置，其余的预测类别保持相对位置进行排序，又例如，调整方式可以是将目标预测类别与处于预设位置的预测类别进行替换，其余的预测类别保持在原有的位置。具体的调整方式与预测位置可以根据实际需求进行设置。

例如，目标预测类别为“汽车”，预测类别集合可以包括“自行车”、“摩托车”、“汽车”，则可以得到目标排列位置为第三位，当实际业务需求只需考虑预测类别集合中前四位预测类别的顺序时，则根据“汽车”排第三位，可以确定“汽车”的调整方式为将目标预测类别移动至预设位置，其余的预测类别保持相对位置进行排序，其中预设位置为第一位，则将“汽车”调整至第一位，可以得到调整后的预测类别集合为“汽车”“自行车”、“摩托车”。

106、基于该调整后的预测类别集合获取该待分类图像的类别预测结果。

其中，基于该调整后的预测类别集合获取该待分类图像的类别预测结果的方法可以有多种，例如，在一些实施例中，为了提高类别预测结果的准确性，可以将该调整后的预测类别集合作为该待分类图像的类别预测结果。

例如，当得到调整后的预测类别集合为“盒子”、“鸟”、“狗”时，则可以将该预测类别集合作为该待分类图像的类别预测结果。

在一些实施例中，当无法确定参考类别对应的目标排列位置时，为了保证预测的准确率，可以将该预测类别集作为类别预测结果，例如，当预测类别集为“香蕉”、“苹果”、“葡萄”、“哈密瓜”，参考类别为“汽车”时，无法在预测类别集中确定“汽车”所对应的目标预测类别，以及目标预测类别的目标排列位置，则为了保证预测的准确率，可以将预测类别集为“香蕉”、“苹果”、“葡萄”、“哈密瓜”作为类别预测结果。

在一些实施例中，当基于该调整后的预测类别集合获取该待分类图像的类别预测结果之后，为了能够提高该图像类别预测方法的适应性，还可以包括：

将所述待分类图像的类别预测结果存储至区块链中。

其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

由上可知，本申请实施例可以获取待分类图像；通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定所述参考类别在所述预测类别集合中的目标排列位置；基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果，由于本申请实施例基于参考类别对预测类别的排列顺序进行了调整，可以有效地提高预测类别集合的分类准确性，进而有效地提高了图像类别预测的准确性。

以上是以图像类别预测装置为例来介绍本申请实施例的方法。

根据以上实施例所描述的方法，以下将以该图像类别预测装置具体集成于服务器中为例作进一步详细说明，该服务器可以包括后台服务器等等。

如图4所示，提供了一种图像类别预测方法，具体流程可以如下：

201、服务器获取待分类图像。

其中，服务器获取待分类图像的方法可以有多种，例如，服务器可以从运营人员所收集的等待分类的图像集中获取，又例如，可以获取经过标注人员在图像标注工具中的操作处理而得到的待分类图像。

其中，该图像标注工具可以有多种表现形式，例如，在一些实施例中，如图5所示，该图像标注工具可以为可视化图像标注工具的形式，该可视化图像标注工具可以包括图像显示框、图像处理工具栏，其中的图像显示框可以用于显示该正在标注的图像，也可以显示该图像的处理过程；其中的图像处理工具栏可以包括标注工具按钮、轮廓修改工具按钮、修改功能按钮等等，图像处理工具栏其中的标注工具按钮可以供标注人员在图像上标注极值点，然后在图像显示框中显示可视化图像标注工具根据极值点勾勒出的待分类图像的轮廓；轮廓修改工具可以供标注人员对轮廓进行调整，以便获取更准确的待分类图像；修改功能按钮可以供标注用于进行点击操作，以便使得可视化图像标注工具根据预设算法对轮廓进行调整，以便获取更准确的待分类图像，同时也能够减少标注人员的劳动量从而有效地提高图像类别预测的效率。

例如，该图像包括了场景背景“天空”以及物体“汽车”，标注人员对图像中的“汽车”进行了标注极值点的操作，然后图像标注工具基于极值点之间连接的线段所围成的区域确定该图像中的待分类区域，并且将该待分类的区域作为待分类图像，然后服务器通过该图像标注工具获取该待分类图像。

又例如，该图像包括了场景背景“天空”以及物体“小狗”，标注人员通过图像标注工具将整张图像作为待分类图像，然后服务器通过该图像标注工具获取待分类图像。

202、服务器通过第一分类网络对该待分类图像进行分类，得到该待分类图像的参考类别。

例如，该待分类图像为“汽车”，该第一分类网络为基于ImageNet1000类标准标签进行预训练的Inception-V3网络，服务器通过该预训练的Inception-V3分类网络中的卷积层对该待分类图像进行卷积处理，然后通过该全连接层对卷积处理结果进行处理，得到该待分类图像的参考类别标签为“小型汽车”。

又例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，该第一分类网络为基于ImageNet1000类标准标签进行预训练的ResNet网络，然后服务器通过该预训练后的ResNet网络对该待分类图像进行分类，得到该待分类图像的参考类别标签为“小狗”。

203、服务器通过第二分类网络对该待分类图像进行分类，得到该待分类图像的预测类别集合，其中，该预测类别集合包括多个预测类别，该多个预测类别根据预测类别对应的预测概率排列。

其中，在一些实施例中，服务器在通过第二分类网络对该待分类网络进行分类之前，还可以基于已知真实类别的图像样本对分类网络进行训练得到第二分类网络。

比如，该预设网络是经过迁移学习训练的Inception-V3网络，该网络可以包括特征提取层与全连接层；在进行迁移学习训练的时候，选用了大约200张已知真实类别的图像作为样本进行迁移学习训练，迁移学习训练时冻结了全部特征提取层的网络参数，对全连接层进行了训练；

之后，需要基于已知真实类别的图像样本对该预设网络训练得到第二分类网络，在进行训练时，先基于预设网络对图像样本进行分类，得到多个样本预测类别，其中多个样本预测类别基于样本预测类别对应的预测概率排列，由于业务需求为提高前3位预测类别的准确率，那么当真实类别不属于前3位预测类别时，对每个预测类别对应的损失权重进行调整，以提高前三位预测类别中预测到真实类别的准确率；

再之后，基于每个预测类别对应的损失权重计算每个预测类别与真实类别之间的损失权重，由于业务需求为提高前3位预测类别的准确率，则选取前3位的类别损失进行后向传播，对该预设分类网络进行训练，得到第二分类网络。

例如，该待分类图像为“汽车”，该预设分类网络为经过迁移学习训练的Inception-V3网络，该第二分类网络为经过类别损失进行训练的预设分类网络，服务器通过该第二分类网络得到该待分类图像的预测类别集合为“摩托车”、“自行车”、“汽车”、“三轮车”的类别标签。

又例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，该预设分类网络为经过迁移学习训练的ResNet网络，该第二分类网络为经过类别损失进行训练的预设分类网络，服务器通过该第二分类网络得到该待分类图像的预测类别集合为“小猪”、“小猫”、“小羊”、“小狗”。

204、服务器确定该参考类别在该预测类别集合中的目标排列位置。

例如，该待分类图像为“汽车”，基于第一分类网络得到该待分类图像的参考类别标签为“小型汽车”，基于第二分类网络得到该待分类图像的预测类别集合为“摩托车”、“自行车”、“汽车”、“三轮车”的类别标签，则服务器获取图像类别映射集合，该图像类别映射集合包括“小型汽车”与“汽车”之间的映射关系，则服务器根据该图像类别映射集合可以得到“小型汽车”对应的目标预测类别标签是“汽车”，其中，“汽车”的排列位置为第三位，则服务器可以得到该“小型汽车”在该预测类别集合中的目标排列位置为第三位。

又例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，基于第一分类网络得到该待分类图像的参考类别标签为“小狗”，基于第二分类网络得到该待分类图像的预测类别集合为“小猪”、“小猫”、“小羊”、“小狗”的类别标签，则服务器可以获取图像类别映射集合，并且根据该图像类别映射集合可以得到“小狗”对应的目标预测类别标签为“小狗”，其中，“小狗”的排列位置为第四位，则服务器可以得到“小狗”在该预测类别集合中的目标排列位置为第四位。

205、服务器基于该目标排列位置对该预测类别的排列顺序进行调整，得到调整后的预测类别集合。

例如，该待分类图像为“汽车”，基于第一分类网络得到该待分类图像的参考类别标签为“小型汽车”，基于第二分类网络得到该待分类图像的预测类别集合为“摩托车”、“自行车”、“汽车”、“三轮车”的类别标签，得到该“小型汽车”在该预测类别集合中的目标排列位置为第三位，由于实际业务需求只需考虑预测类别集合中前三位预测类别的顺序，则根据“汽车”排第三位，服务器可以确定“汽车”的调整方式为将目标预测类别移动至预设位置，其余的预测类别保持相对位置进行排序，其中预设位置为第一位，则服务器将“汽车”调整至第一位，可以得到调整后的预测类别集合为“汽车”、“摩托车”、“自行车”、“三轮车”。

又例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，基于第一分类网络得到该待分类图像的参考类别标签为“小狗”，基于第二分类网络得到该待分类图像的预测类别集合为“小猪”、“小猫”、“小羊”、“小狗”、的类别标签，则服务器可以得到“小狗”在该预测类别集合中的目标排列位置为第四位，根据“小狗”排第四位，服务器可以确定“小狗”的调整方式为将目标预测类别与处于预设位置的预测类别进行替换，其余的预测类别保持原来的位置进行排序，其中预设位置为第一位，则服务器将“小狗”与“小猪”的类别标签进行替换，可以得到替换后的预测类别集合为“小狗”、“小猫”、“小羊”、“小猪”。

206、服务器基于该调整后的预测类别集合获取该待分类图像的类别预测结果。

例如，该待分类图像为“汽车”，该调整后的预测类别集合包括“汽车”、“摩托车”、“自行车”、“三轮车”，然后服务器将该调整后的预测类别集合作为该待分类图像的类别预测结果，即类别预测结果为：该待分类图像可能为“汽车”、“摩托车”、“自行车”、“三轮车”，其中，为“汽车”的可能性最大。

又例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，该调整后的预测类别集合包括“小狗”、“小猫”、“小羊”、“小猪”，然后服务器将该调整后的预测类别集合作为该待分类图像的类别预测结果，即类别预测结果为：该待分类图像可能为“小狗”、“小猫”、“小羊”、“小猪”，其中，为“小狗”的可能性最大。

在一些实施例中，当在该预测类别集中无法确定该目标预测类别的目标排列位置时，为了保证预测的准确率，可以将该预测类别集作为类别预测结果。

其中，在一些实施例中，当服务器获取该待分类图像的类别预测结果之后，服务器还可以通过可视化图像标注工具显示该待分类图像的类别预测结果，其中，该可视化图像标注工具可以包括类别显示区域。

例如，该待分类图像为“汽车”，然后服务器得到类别预测结果为：该待分类图像可能为“小型汽车”、“四轮自行车”、“摩托车”，则可以在可视化图像标注工具的类别显示区域显示该类别预测结果“小型汽车”、“四轮自行车”、“摩托车”。

例如，该待分类图像包括了场景背景“天空”以及物体“小狗”，然后服务器得到类别预测结果为：该待分类图像可能为“狗”、“猫”、“猪”，则可以在可视化图像标注工具的类别显示区域显示该类别预测结果“狗”、“猫”、“猪”。

其中，在一些实施例中，当服务器获取该待分类图像的类别预测结果之后，为了能够提高图像类别预测的稳定性，还可以将该类别预测结果存储至区块链中。

由上可得，在本申请实施例中，服务器可以获取待分类图像；然后，服务器通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；接着，服务器通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；再然后，服务器确定所述参考类别在所述预测类别集合中的目标排列位置；服务器基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；最后，服务器基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果，由于本申请实施例基于参考类别对预测类别的排列顺序进行了调整，可以有效地提高预测类别集合的分类准确性，进而有效地提高了图像类别预测的准确性。

以上是以图像类别预测装置为例来介绍本申请实施例的方法。

下面以图像类别预测装置具体集成在图像类别预测工具中为例来对本方法进行介绍，该图像类别预测工具可以包括分割模块和分类模块。

其中，该分割模块可以用于供用户根据需求对图像进行分割，得到图像中的待分类区域，以便分类模块将该待分类区域作为待分类图像进行分类，例如，根据业务需求需要对整张图像进行分类时，则在分割模块中将整张图像作为待分类区域；又例如，根据业务需求需要对局部图像进行分类时，则在分割模块中进行操作，得到局部图像，并将该局部图像作为待分类区域。

其中，该分割模块可以有多种表现形式，在一些实施例中，该分割模块可以为可视化图像标注工具的模式，通过该可视化图像标注工具可以获取用户针对图像的标注操作，从而得到图像中的待分类区域。

其中，该标注操作可以有多种形式，例如，可以是在图像上标注多个极值点，然后将极值点之间连接的线段所围成的区域(Bbox，Bounding Box)确定为待分类区域；又例如，可以是在图像上标注多条线段，然后通过线段之间连接所围成的区域来确定待分类区域。

例如，用户在图像上标注了四个极值点，然后将该四个极值点之间连接所围成的区域确定为待分类区域。

其中，该分类模块可以用于对待分类区域进行分类得到预测类别；该预测类别可以有多种表现形式，例如，该预测类别可以是类别标签的形式，譬如可以为车辆、行人、建筑等类别标签。具体可以根据实际需求进行设置。

在一些实施例中，为了提高该分类模块的分类准确率，该分类模块可以包括训练后分类网络与未训练分类网络，然后，可以分别经过训练后分类网络、未训练分类网络对该待分类区域进行分类，得到对应的预测类别集合与参考类别，通过参考类别对预测类别集合进行调整，得到综合预测类别。

其中，该分类网络可以有多种表现形式，例如，该分类网络可以为卷积神经网络(CNN，Convolutional Neural Networks)，又例如，该分类网络也可以为残差网络(ResNet，Residual Network)，再例如，该分类网络也可以为Inception-V3(一种卷积神经网络结构)。

其中，该训练后分类网络可以有多种获取方式，例如，在一些实施例中，可以采用迁移学习的方式对分类网络进行训练，譬如，可以采用迁移学习的方式对残差网络进行训练，得到迁移训练后的残差网络。其中，迁移学习(Transfer Learning)是指一种将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中的深度学习训练方法。具体的训练方法可以根据实际需求进行设置。

如图6所示，以下对图像类别预测工具中分类模块的分类过程进行说明。

(1)统一化类别

为了能够通过参考类别对预测类别集合进行调整得到综合预测类别，在进行训练之前，需要将训练中待迁移的类别数据集与未训练分类网络在进行分类时所使用的类别数据集进行对接。

其中，类别数据集可以为分类网络在进行分类时所使用的图像的类别集合，该类别数据集可以有多种表现形式，例如，该类别数据集可以包括多个类别标签，该类别标签可以有多种形式，譬如可以为车辆、行人、建筑等类别标签。具体可以根据实际需求进行设置

其中，进行对接的方式可以有很多种，例如，在一些实施例中，根据图像类别预测的精度要求，可以基于未训练分类网络在进行分类时所使用的类别数据集来构造映射层级关系，然后，通过对训练中待迁移的类别数据集进行整理，确定整理后的类别数据集与映射层级关系之间的包含关系，根据该包含关系构建图像类别映射集合，从而实现对类别标签进行统一化，其中，图像类别映射集合包括类别与类别之间的映射关系。

其中该映射层级关系用于克服类别标签之间的包含关系，例如，当类别数据集中可以包括类别标签“水果”、“苹果”、“雪梨”，对于实际业务情境下，“苹果”、“雪梨”均属于“水果”这一类别，则建立“苹果”、“雪梨”与“水果”之间的映射关系，从而克服类别标签之间的包含关系。

其中，该包含关系的程度具体可以根据图像类别预测的精度要求来确定，例如，当实际业务中图像类别预测的精度要求较低，则在该映射层级关系可以将“鸡”的类别标签映射至“脊椎动物”的类别标签下，又例如，当实际业务中图像类别预测的精度要求较高时，则在该映射层级关系可以将“鸡”的类别标签映射至“鸟类”的类别标签下，具体可以根据实际需求进行设置。

例如，预设分类网络可以是基于ImageNet1000类标准标签进行预训练的分类网络，为了综合该预设分类网络和迁移学习训练后分类网络的预测类别标签，实际业务场景下待迁移的类别标签需要与ImageNet1000类标准标签进行对接，实现对类别标签进行统一化，在对接时首先可以使用ImageNet1000类标准标签的synset(同义词集合)建立映射层级关系，以克服类别标签之间的包含关系，比如，可以将“玻璃盒”、“外卖盒”等类别标签归纳至“盒子”的总类别标签，然后，对实际业务场景下待迁移的类别标签进行整理，比如，整理后实际业务场景下待迁移的类别标签包括“纸盒”，之后，根据图像类别预测的精度要求确定整理后的类别数据集与映射层级关系之间的包含关系并构建图像类别映射集合，比如，对于实际业务来说，整理后的类别数据集中所包括的“纸盒”类别标签与映射层级关系中包含的“盒子”总类别标签属于同一类别，即它们的包含关系为“盒子”包含“纸盒”，则可以构建“纸盒”与“盒子”之间的映射关系。

又例如，当实际业务场景下的类别标签包含在ImageNet1000类标准标签内时，例如实际业务场景下的类别标签为“鸭”，该类别标签包含在ImageNet1000类标准标签中的“鸟类”系列类别标签，即“鸟类”系列类别标签中包括了“鸭”，则可以统一为“鸟类”的类别标签，并进入synset层级映射中。

(2)分类网络的训练和预测

(2.1)分类网络的训练

分类网络的训练流程可以如图7所示，当对预设分类网络进行迁移学习训练时，需要收集一定数量的已知类别的实际业务图像作为样本图像，以避免出现由于某些类别中仅有几张样本图像而导致迁移学习效果差的情况，样本图像标注有真实类别标签，然后，基于该样本图像进行迁移学习。

其中，每个类别的样本图像数量基本均衡，具体的数量可以根据实际业务的精度要求进行设置，例如，每个类别的样本图像数量可以设置为200张，又例如，每个类别的样本图像数量可以设置为198张。

其中，该预设分类网络可以包括卷积特征提取层与全连接层，该卷积特征提取层可以用于提取图像中的特征信息，该全连接层可以用于基于该特征信息来对图像进行分类。

其中，根据该预设分类网络的结构可以有多种进行迁移学习训练的方式，比如，可以经过卷积特征提取层与全连接层的训练(即前向训练)之后，采用改造后的损失函数计算预测类别与真实类别之间的类别损失，然后基于该类别损失进行后向传播对预设分类网络进行训练，例如，可以冻结卷积特征提取层，对全连接层进行训练，然后采用改造后的损失函数(Loss Function)计算损失，再基于该损失进行后向传播对预设分类网络进行训练，得到训练后的分类网络。又例如，可以冻结部分卷积层，对一部分卷积层和全部全连接层进行训练，然后采用改造后的损失函数(Loss Function)计算损失，再基于该损失进行后向传播对预设分类网络进行训练。

其中，该损失函数可以根据实际情况进行改造，例如，在一些实施例中，为了提高预测类别的准确率，使其更符合实际业务要求，可以根据业务要求的分类精确度来改造损失函数，如图8所示，具体可以包括：

通过前向训练后的预设分类网络对待分类区域进行分类，得到预测类别集，该预测类别集包括多个预测类别标签；

对多个预测类别标签进行归一化处理(Softmax)，得到每一个预测类别标签对应的预测分数；

当预测分数前N位所对应的预测类别标签中不包含正确标注(Ground Truth)类别标签时，给予损失权重，以便于后向传播(Backforward)中提高正确标注类别标签的预测概率；否则给予正常权重。

例如，进行迁移学习训练时，可以冻结卷积特征提取层，对全连接层进行训练，当通过训练后分类网络所得到的类别标签预测结果的前N位中不包含正确标注(GroundTruth)类别标签时，为了提高前N位预测类别的准确率，可以给予损失权重，例如可以给予N倍的损失权重；否则给予正常权重，保证该训练后分类网络的准确性，例如可以给予一倍的权重，其中，N为自然数。

由于这种改造损失函数的方法将训练标准放宽了，可以有效地提高前N位预测类别标签的准确率，相比于其他分类网络只得到单一预测类别标签的方式，经过该改造后的损失函数训练得到的分类网络的准确率更高，可以更好地符合实际业务需求。

由上可得，该采用迁移学习的方式对预设分类网络进行训练，得到训练后分类网络的方法，由于对实际业务中类别标签进行了整理，并且与未训练分类网络建立时所使用的类别标签集合进行了整合，可以有效地提高该训练后分类网络的泛化能力，然后由于也对损失函数进行了改造，并采用该改造后的损失函数对该分类网络进行训练，在相同训练数据规模下，改造后的损失函数可以有效地提高预测类别的准确率，进而有效地提高了训练后分类网络所得的预测类别的准确率。

(2.2)训练后分类网络的预测

当经过分割模块得到图像的待分类区域之后，可以采用该训练后分类网络对该待分类区域进行分类，得到该待分类区域的预测类别集。

其中，该预测类别集可以包括多个预测类别，在一些实施例中，该预测类别集可以包括多个预测类别标签，多个预测类别标签可以根据预设规则进行排列，例如，可以根据预测类别标签对应的预测概率进行排列；又例如，可以根据预设算法对实际业务场景的预测类别的出现频率进行统计，然后根据统计结果对预测类别进行排列。具体的排列规则可以根据实际应用的需求进行设置。

例如，图像的待分类区域为“小型汽车”，当处于实际业务场景时，采用经过迁移学习训练后分类网络对该待分类区域进行分类，可以得到预测类别集，该预测类别集可以包括预测类别标签，分别是“汽车”、“自行车”、“摩托车”。

(3)未训练分类网络的预测

当经过分割模块得到图像的待分类区域之后，还可以采用未分类网络对该待分类区域进行分类，得到该待分类区域的参考类别。

其中，该未训练分类网络可以有多种表现形式，例如，该分类网络可以为卷积神经网络(CNN，Convolutional Neural Networks)，又例如，该分类网络也可以为残差网络(ResNet，Residual Network)，再例如，该分类网络也可以为Inception-V3(一种卷积神经网络结构)。

例如，图像的待分类区域为“小型汽车”，当处于实际业务场景时，采用未训练分类网络对该待分类区域进行分类，可以得到参考类别标签“小汽车”。

(4)综合结果

在以上的步骤中，经过步骤(1)对类别进行了统一化，构建了未训练分类网络分类时所使用的类别数据集(即预设参考类别数据集)与训练后分类网络分类时所使用的类别数据集(即预设预测类别数据集)之间的映射关系，得到了图像类别映射集合；当经过步骤(2)和(3)得到待分类区域的预测类别集与参考类别之后，为了提高图像类别预测的准确性，需要综合参考类别与预测类别集，基于参考类别对预测类别集进行修正，进而得到更为准确的分类结果，具体可以包括：

获取图像类别映射集合，基于该图像类别映射集合获取参考类别对应的目标预测类别，其中图像类别映射集合包括未训练分类网络的预设参考类别与训练后分类网络的预设预测类别之间的映射关系；

在该预测类别集中确定该目标预测类别的目标排列位置；

基于该目标排列位置对预测类别的排列顺序进行调整，得到调整后的预测类别集；根据调整后的预测类别集得到待分类区域的类别预测结果。

其中，获取图像类别映射集合的方式可以有多种，例如，可以从服务器的数据库中获取该图像类别映射集合；又例如，也可以获取开发人员预先设置的图像类别映射集合。

其中，基于该目标排列位置对预测类别的排列顺序进行调整的方式有很多种，例如，在一些实施例中，可以根据该目标排列位置确定对应的预设位置，然后将该目标预测类别调整至预设位置，具体可以包括：

基于该目标排列位置确定调整方式，以及调整方式对应的预设位置；采用该调整方式将该目标预测类别调整至该预设位置，得到调整后的预测类别集。

其中，基于该目标排列位置确定调整方式，以及调整方式对应的预设位置的方式可以有很多种，例如，在一些实施例中，可以根据实际需求需要考虑的前N位预测类别的顺序确定调整方式，譬如当实际业务需求只需考虑预测类别集合中的前三位预测类别的顺序时，则可以根据目标排列位置是否为前三位，来确定调整方式以及调整方式对应的预设位置。具体可以根据实际需求进行设置。

其中，采用该调整方式将该目标预测类别调整至该预设位置的方式可以有很多种，例如，调整方式可以是将目标预测类别移动至预设位置，譬如，预设位置为第一位，而目标排列位置为第三位时，可以将该目标预测类别调整至第一位，其余的预测类别保持原来的相对位置再排列；又例如，调整方式可以是将目标预测类别与处于预设位置的预测类别进行替换，譬如，预设位置为第一位，而目标排列位置为第四位时，则将该目标预测类别与处于第一位的预测类别进行替换，其余的预测类别保持原来的相对位置不改变。具体的调整方式与预测位置可以根据实际需求进行设置。

例如，图像的待分类区域为“小型汽车”，当经过迁移学习训练后的分类网络进行分类时，得到预测类别集，该预测类别集包括多个预测类别标签，分别是：“自行车”、“汽车”、“摩托车”、“滑板车”、“三轮车”、……，其中的预测类别标签根据各自的预测概率进行排列；当经过未训练分类网络进行分类时，得到参考类别标签为“小型汽车”，由于根据实际业务需求进行构建的图像类别映射集合中可以得到，“小型汽车”与“汽车”存在映射关系，即“小型汽车”是属于“汽车”类别下的，则可以确定“小型汽车”类别标签对应的是“汽车”类别标签，并且由于“汽车”在预测类别集中排第二位，则可以得到目标排列位置为第二位；

然后根据目标排列位置确定调整方式以及调整方式对应的预设位置，调整方式可以为将目标预测类别调整至预设位置，其余的预测类别保持相对位置进行排列，其中的预设位置可以为第一位；由于根据实际业务需求只需要考虑预测类别集合中前三位的预测类别的排列顺序，则根据目标排列位置是否为前三位来确定调整方式，由于该目标排列位置为第二位位于前三位中，则可以将“汽车”类别标签调整至第一位，其余的保持相对位置不变，最后得到调整后的预测类别集为“汽车”、“自行车”、“摩托车”、“滑板车”、“三轮车”、……；

则根据该调整后的预测类别集可以得到该图像的待分类区域的预测结果为“汽车”、“自行车”、“摩托车”、“滑板车”、“三轮车”、……。

在一些实施例中，当在该预测类别集中无法确定该目标预测类别的目标排列位置时，为了保证预测的准确率，可以将该预测类别集作为类别预测结果，例如，当预测类别集为“香蕉”、“苹果”、“葡萄”、“哈密瓜”，参考类别为“汽车”时，无法在预测类别集中确定“汽车”所对应的目标预测类别，以及目标预测类别的目标排列位置，则为了保证预测的准确率，可以将预测类别集为“香蕉”、“苹果”、“葡萄”、“哈密瓜”作为类别预测结果。

在一些实施例中，为了方便用户的使用，当得到该分类结果时，可以在可视化图像标注工具上显示该分类结果，其中，该分类结果的显示方式可以有很多种，例如，在一些实施例中，为了保护用户的使用习惯，可以将预测概率前三位所对应的分类结果按顺序排序并显示在可视化图像标注工具的列表中，然后将预测概率前三位之外所对应的分类结果按照固定的相对顺序显示在剩余的列表中。

由上可得，未训练分类网络基于大量现有的数据集进行训练，对于已知类别的图像，分类效果要比训练后分类网络更好；然而对于训练后分类网络，对于未知类别的图像，分类效果要比未训练分类网络更好，而根据参考类别对应的目标排列位置对预测类别的排列顺序进行调整的方式，可以有效地结合未训练分类网络与训练后分类网络的分类效果，增强了分类网络的泛化能力，进而提高了分类的准确率。

为了便于更好的实施本申请实施例提供的图像类别预测方法，在一些实施例中还提供了一种图像类别预测装置，该图像类别预测装置可以适用于服务器。其中名词的含义与上述图像类别预测方法中相同，具体实现细节可以参考方法实施例中的说明。

在一些实施例中，还提供了一种图像类别预测装置，该图像类别预测装置具体可以集成在服务器中，如图9所示，该图像类别预测装置可以包括获取单元301，第一分类单元302，第二分类单元303，确定单元304，调整单元305和结果获取单元306，具体如下：

获取单元301，用于获取待分类图像；

第一分类单元302，用于通过第一分类网络对该待分类图像进行分类，得到该待分类图像的参考类别；

第二分类单元303，用于通过第二分类网络对该待分类图像进行分类，得到该待分类图像的预测类别集合，其中，该预测类别集合包括多个预测类别，该多个预测类别根据预测类别对应的预测概率排列；

确定单元304，用于确定该参考类别在该预测类别集合中的目标排列位置；

调整单元305，用于基于该目标排列位置对该预测类别的排列顺序进行调整，得到调整后的预测类别集合；

结果获取单元306，用于基于该调整后的预测类别集合获取该待分类图像的类别预测结果。

可选的，在一些实施例中，如图10所示，该确定单元304包括集合获取子单元3041，类别获取子单元3042，位置确定子单元3043，确定子单元3044；

该集合获取子单元3041，用于获取图像类别映射集合，其中，该图像类别映射集合包括第一分类网络的预设参考类别与第二分类网络的预设预测类别之间的映射关系；

该类别获取子单元3042，用于基于该图像类别映射集合获取该参考类别对应的目标预测类别；

该位置确定子单元3043，用于确定该目标预测类别在该预测类别集合中的排列位置；

该确定子单元3044，用于根据该排列位置确定该参考类别在该预测类别集合中的目标排列位置。

可选的，在一些实施例中，如图11所示，该图像类别装置还包括构建单元307；

该构建单元307，具体用于获取第一分类网络的预设参考类别集合，该预设参考类别集合包括多个预设参考类别；获取第二分类网络的预设预测类别集合，该预设预测类别集合包括多个预设预测类别；建立该预设参考类别与该预设预测类别之间的映射关系，得到图像类别映射集合。

可选的，在一些实施例中，如图12所示，该调整单元305包括方式确定子单元3051、调整子单元3052；

该方式确定子单元3051，用于根据该目标排列位置确定顺序调整方式，以及该顺序调整方式对应的预设位置；

该调整子单元3052，用于在该预测类别集合中，采用该顺序调整方式将该目标预测类别调整至该预设位置，得到调整后的预测类别集合。

可选的，在一些实施例中，如图13所示，该第二分类单元303包括特征提取子单元3031、分析子单元3032；

该特征提取子单元3031，用于通过该第二分类网络对该待分类图像进行特征提取，得到待分类图像的局部特征信息；

该分析子单元3032，用于基于该局部特征信息通过该第二分类网络对该待分类图像进行分类，得到该待分类图像的预测类别集合。

可选的，在一些实施例中，如图14所示，该图像分类装置还包括网络训练单元308；

该网络训练单元308，用于采集多张标注有真实类别的图像样本；基于该真实类别对预设分类网络进行训练，得到该第二分类网络。

可选的，在一些实施例中，如图15所示，该网络训练单元308包括样本特征提取子单元3081、样本分析子单元3082、损失计算子单元3083、训练子单元3084；

该样本特征提取子单元3081，用于对该图像样本进行特征提取，得到图像样本的局部特征信息；

该样本分析子单元3082，用于基于该图像样本的局部特征信息对该图像样本进行分类，得到图像样本的预测类别集合，该图像样本的预测类别集合包括多个样本预测类别；

该损失计算子单元3083，用于计算每个样本预测类别与该真实类别之间的类别损失，得到多个类别损失；

该训练子单元3084，用于基于该多个类别损失对该预设分类网络进行训练，得到第二分类网络。

可选的，在一些实施例中，如图16所示，该损失计算子单元3083包括调整模块30831、计算模块30832；

该调整模块30831，用于当该多个样本预测类别中存在该真实类别时，调整每个样本预测类别对应的损失权重；

该计算模块30832，用于基于该样本预测类别对应的损失权重计算每个样本预测类别与真实类别之间的类别损失。

可选的，在一些实施例中，该多个样本预测类别根据样本预测类别对应的预测概率排序，该调整模块30831具体用于：

根据该真实类别的排列位置确定每个样本预测类别对应的损失权重；

根据样本预测类别的排列顺序确定该真实类别的排列位置；

根据该真实类别的排列位置调整每个样本预测类别对应的损失权重。

可选的，在一些实施例中，该训练子单元3084具体用于：

在该多个类别损失中选取满足预设数量的目标类别损失；

基于该目标类别损失对该预设分类网络进行训练，得到第二分类网络。

可选的，在一些实施例中，如图17所示，该图像类别预测装置还包括区块链存储单元309；

该区块链存储单元309，用于将该待分类图像的类别预测结果存储至区块链中。

由上可得，本申请实施例的图像类别预测装置可以通过获取单元301获取待分类图像；然后，第一分类单元302通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；之后，第二分类单元303通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定单元304确定所述参考类别在所述预测类别集合中的目标排列位置；调整单元305基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；结果获取单元306基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

此外，本申请实施例还提供一种计算机设备，如图18所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待分类图像；通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定所述参考类别在所述预测类别集合中的目标排列位置；基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像类别预测方法中的步骤。例如，该指令可以执行如下步骤：

获取待分类图像；通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；确定所述参考类别在所述预测类别集合中的目标排列位置；基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像类别预测方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像类别预测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像类别预测方法、装置、计算机设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像类别预测方法，其特征在于，包括：

获取待分类图像；

通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；

通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；

确定所述参考类别在所述预测类别集合中的目标排列位置；

基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；

基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

2.根据权利要求1所述的图像类别预测方法，其特征在于，确定所述参考类别在所述预测类别集合中的目标排列位置，包括：

获取图像类别映射集合，其中，所述图像类别映射集合包括第一分类网络的预设参考类别与第二分类网络的预设预测类别之间的映射关系；

基于所述图像类别映射集合获取所述参考类别对应的目标预测类别；

确定所述目标预测类别在所述预测类别集合中的排列位置；

根据所述排列位置确定所述参考类别在所述预测类别集合中的目标排列位置。

3.根据权利要求2所述的图像类别预测方法，其特征在于，还包括：

获取第一分类网络的预设参考类别集合，所述预设参考类别集合包括多个预设参考类别；

获取第二分类网络的预设预测类别集合，所述预设预测类别集合包括多个预设预测类别；

建立所述预设参考类别与所述预设预测类别之间的映射关系，得到图像类别映射集合。

4.根据权利要求1所述的图像类别预测方法，其特征在于，基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合，包括：

根据所述目标排列位置确定顺序调整方式，以及所述顺序调整方式对应的预设位置；

在所述预测类别集合中，采用所述顺序调整方式将所述目标预测类别调整至所述预设位置，得到调整后的预测类别集合。

5.根据权利要求1所述的图像类别预测方法，其特征在于，通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，包括：

通过所述第二分类网络对所述待分类图像进行特征提取，得到待分类图像的局部特征信息；

基于所述局部特征信息通过所述第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合。

6.根据权利要求1所述的图像类别预测方法，其特征在于，通过第二分类网络对所述待分类图像进行分类之前，还包括：

采集多张标注有真实类别的图像样本；

基于所述真实类别对预设分类网络进行训练，得到所述第二分类网络。

7.根据权利要求6所述的图像类别预测方法，其特征在于，基于所述真实类别对预设分类网络进行训练，得到所述第二分类网络，包括：

对所述图像样本进行特征提取，得到图像样本的局部特征信息；

基于所述图像样本的局部特征信息对所述图像样本进行分类，得到图像样本的预测类别集合，所述图像样本的预测类别集合包括多个样本预测类别；

计算每个样本预测类别与所述真实类别之间的类别损失，得到多个类别损失；

基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络。

8.根据权利要求7所述的图像类别预测方法，其特征在于，计算每个样本预测类别与所述真实类别之间的类别损失，包括：

当所述多个样本预测类别中存在所述真实类别时，调整每个样本预测类别对应的损失权重；

基于所述样本预测类别对应的损失权重计算每个样本预测类别与真实类别之间的类别损失。

9.根据权利要求8所述的图像类别预测方法，其特征在于，所述多个样本预测类别根据样本预测类别对应的预测概率排序；

当所述多个样本预测类别中存在所述真实类别时，调整每个样本预测类别对应的损失权重，包括：

根据样本预测类别的排列顺序确定所述真实类别的排列位置；

根据所述真实类别的排列位置调整每个样本预测类别对应的损失权重。

10.根据权利要求7所述的图像类别预测方法，其特征在于，基于所述多个类别损失对所述预设分类网络进行训练，得到第二分类网络，包括：

在所述多个类别损失中选取满足预设数量的目标类别损失；

基于所述目标类别损失对所述预设分类网络进行训练，得到第二分类网络。

11.根据权利要求1所述的图像类别预测方法，其特征在于，基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果之后，还包括：

将所述待分类图像的类别预测结果存储至区块链中。

12.一种图像类别预测装置，其特征在于，包括：

获取单元，用于获取待分类图像；

第一分类单元，用于通过第一分类网络对所述待分类图像进行分类，得到所述待分类图像的参考类别；

第二分类单元，用于通过第二分类网络对所述待分类图像进行分类，得到所述待分类图像的预测类别集合，其中，所述预测类别集合包括多个预测类别，所述多个预测类别根据预测类别对应的预测概率排列；

确定单元，用于确定所述参考类别在所述预测类别集合中的目标排列位置；

调整单元，用于基于所述目标排列位置对所述预测类别的排列顺序进行调整，得到调整后的预测类别集合；

结果获取单元，用于基于所述调整后的预测类别集合获取所述待分类图像的类别预测结果。

Images