CN112036514A - 一种图像分类方法、装置、服务器及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像分类方法、装置、服务器及计算机可读存储介质，其中方法包括：获取待分类图像，并从所述待分类图像中提取缺陷区域图像；通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。通过实施上述方法，有助于提升图像分类的准确性。

Description

一种图像分类方法、装置、服务器及计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种图像分类方法、装置、服务器及计算机可读存储介质。

背景技术

随着计算机技术的快速发展，人工智能技术在很多领域得到了应用，其中，人工智能技术中的深度神经网络的应用也越来越广泛，比如语音识别技术，计算机视觉技术，自然语言处理技术等领域。在利用深度神经网络的各种应用中，训练数据都是非常重要的。在训练数据量足够多，且数据质量足够好的情况下，训练出的深度神经网络效果才会更好。

目前，对于一些实际应用场景，例如工业质检领域中，训练分类模型的训练数据可能比较少，如果直接采用较少的训练数据训练分类模型，训练后的分类模型的性能可能比较差，缺乏泛化性。导致在某些实际应用场景下，算法效果不理想。因此，如何保障图像分类的准确性，成为了当前计算机视觉技术的研究热点问题。

发明内容

本申请实施例提供了一种图像分类方法、装置、服务器及计算机可读存储介质，有助于提升图像分类的准确性。

本申请实施例第一方面公开了一种图像分类方法，所述方法包括：

获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

本申请实施例第二方面公开了一种视频分类装置，所述装置包括：

获取单元，用于获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

分类单元，用于通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

确定单元，用于依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

本申请实施例第三方面公开了一种服务器，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

本申请实施例第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本申请实施例第五方面公开了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述第一方面的方法。

在本申请实施例中，服务器可以获取待分类图像，并从待分类图像中提取缺陷区域图像，使得输入到第一缺陷分类模型的图像仅是具有缺陷区域的图像。接着通过第一缺陷分类模型对缺陷区域图像进行分类，得到缺陷区域图像的初始缺陷分类结果之后，依照分类调整规则调整初始缺陷分类结果，进一步确定缺陷区域图像的目标缺陷分类结果，可以得到更为准确的分类结果。而且，上述第一缺陷分类模型是通过目标数据集和与目标数据集相关联的辅助数据集训练得到的，这种目标数据集与辅助数据集结合对模型的训练，得到的模型的分类效果也比较好。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像分类***的架构示意图；

图2是本申请实施例提供的一种图像分类方法的流程示意图；

图3a是本申请实施例提供的另一种图像分类方法的流程示意图；

图3b是本申请实施例提供的一种第一缺陷分类模型的结构示意图；

图3c是本申请实施例提供的一种缺陷分类结果调整的流程示意图；

图4是本申请实施例提供的又一种图像分类方法的流程示意图；

图5a是本申请实施例提供的一种对训练数据集进行预处理的流程示意图；

图5b是本申请实施例提供的另一种对训练数据集进行预处理的流程示意图；

图5c是本申请实施例提供的一种第二缺陷分类模型的结构示意图；

图5d是本申请实施例提供的一种第二缺陷分类模型训练的结构示意图；

图6是本申请实施例提供的一种图像分类装置的结构示意图；

图7是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能的计算机视觉技术中的图像分类等技术，具体通过如下实施例进行说明：

在利用深度神经网络的各种应用中，训练数据都是非常重要的。在训练数据量足够多，且数据质量足够好的情况下，训练出的深度神经网络模型效果才会更好。尤其是利用监督类的深度神经网络模型处理分类问题时，输入到深度神经网络模型的训练数据中也应具有对应的标签。例如在工业质检领域中，虽然能够采集到足够多的数据，但是只有一小部分数据有标签标注，如果直接利用数据中具有标签的数据训练深度神经网络模型，由于数据量比较少，训练后的深度神经网络模型的分类效果可能比较差。如果人为的对数据添加标签，也是相当麻烦的，费时费力，而且还容易在操作的时候出现错误。

针对上述问题，本申请实施例提供了一种如图1所示图像分类***的架构示意图。如图1所示，该图像分类***主要包括两部分，第一部分是开发阶段，该开发阶段指的是对第二缺陷分类模型的训练，第二部分是应用阶段，指的是利用第一缺陷分类模型解决缺陷分类问题，其中，第一缺陷分类模型是根据训练后的第二缺陷分类模型确定的。

其中，该图像分类***可以适应于训练数据中标签缺乏的情形，在开发阶段，对第二缺陷分类模型的训练中，利用了领域自适应技术，领域自适应技术是迁移学习中的一种，假设有多个域的数据（一般是两个，称为源域与目标域）,其数据分布不同而任务目标有关联（例如分类问题中，两个域的标签集是一致的）。领域自适应的目标是利用源域数据的信息，处理目标域任务，以提升效果。具体地，上述的目标域也就是如图1所示的训练数据中目标产品对应的数据，源域也就是如图1所示的辅助产品对应的数据，将领域自适应技术应用到第二缺陷分类模型的训练过程中，能够从辅助产品对应的数据中进行知识迁移，从而提升第二缺陷分类模型的缺陷分类的能力。服务器在获取到训练数据后，可以先将训练数据通过预处理模块进行预处理，得到高质量的训练数据。可选的，该预处理模块对训练数据的预处理可以是对数据的清洗，以去除训练数据中质量较差的数据；还可以是对训练数据包括的标签进行合并，以减少标签数量，进而降低第二缺陷分类模型的训练难度；还可以是对训练数据包括的图像进行处理，以从图像中提取只包含缺陷区域的图像。在对训练数据处理完之后，就可以将预处理后的训练数据输入到第二缺陷分类模型中，以训练该第二缺陷分类模型。可选的，该第二缺陷分类模型是一种基于对抗的融合网络模型，包含了一个特征提取模块，一个产品分类模块和一个缺陷分类模块。在训练过程中，特征提取模块与产品分类模块发生对抗，产品分类模块要努力准确分类出缺陷区域样本图像是属于哪一种产品，而特征提取模块则要生成能够混淆产品分类模块判别能力的特征。通过这种方式，特征提取模块所提取的图像特征可以忽略产品间的差异而聚焦于缺陷的特点。

其中，在对第二缺陷分类模型训练完之后，就可以根据训练后的第二缺陷分类模型确定第一缺陷分类模型。其中，第一缺陷分类模型只包括第二缺陷分类模型中的特征提取模块和缺陷分类模块。第一缺陷分类模型确定之后，该第一缺陷分类模型就可以部署到实际应用场景中，以处理缺陷分类问题。如图1所示的应用阶段，在获取到待分类数据后，先通过前处理模块，得到待分类图像对应的缺陷区域图像。在得到缺陷区域图像之后，就可以输入到第一缺陷分类模型中，以得到初始缺陷分类结果。而在得到初始缺陷分类结果之后，为了得到更为准确的缺陷分类结果，还可以通过后处理模块调整初始缺陷分类结果，以得到待分类图像的最终缺陷分类结果，即目标缺陷分类结果。

在一种实现方式中，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（ContentDelivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请在此不做限制。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

请参阅图2，图2是本申请实施例提供的一种图像分类方法的流程示意图。该方法应用于服务器，可由服务器执行，如图2所示，该图像分类方法可包括：

S201：获取待分类图像，并从待分类图像中提取缺陷区域图像。

其中，待分类图像可以是存在缺陷的图像，例如存在缺陷的液晶面板图像，该缺陷可以是指液晶面板图像上存在的划痕、磨损、斑块等等，该存在缺陷的液晶面板图像的获得方式可以是在液晶面板的制作流程中对某个站点生产的液晶面板拍照所得的图像，站点可以理解为在液晶面板的制作流程中存在多个生产步骤，而每个生产步骤对应于一个站点。

在一种实现方式中，服务器可以获取待分类图像，在获取到待分类图像后，还可以从待分类图像中提取出缺陷区域图像，以使得后续步骤中根据该缺陷区域图像进行分类处理。

在一种实现方式中，如图3a所示是本申请实施例提供的另一种图像分类方法的流程示意图。从图3a中可以看出，服务器在获取到待分类图像之后，将该待分类图像通过前处理模块，就可以得到待分类图像对应的缺陷区域图像。其中前处理模块的作用是从待分类图像中提取出缺陷区域图像，而从待分类图像中提取缺陷区域图像的具体实现方式可以是服务器先识别待分类图像中缺陷区域的位置信息，其中，该位置信息可以是例如坐标等信息。在确定缺陷区域的位置信息后，服务器可以依照该位置信息从待分类图像中提取出缺陷区域图像。可选的，服务器可以具备缺陷定位能力，根据该缺陷定位能力可以确定待分类图像中缺陷区域的位置信息，然后根据该位置信息将缺陷区域裁剪出来，则裁剪出的缺陷区域就是缺陷区域图像。

S202：通过第一缺陷分类模型对缺陷区域图像进行分类，得到缺陷区域图像的初始缺陷分类结果，其中，第一缺陷分类模型是通过目标数据集和与目标数据集相关联的辅助数据集训练得到的。

在一种实现方式中，服务器可以将缺陷区域图像输入到第一缺陷分类模型，以对该缺陷区域图像进行分类处理，第一缺陷分类模型的输出就是缺陷区域图像的初始缺陷分类结果。第一缺陷分类模型的结构示意图可以如图3b所示，从图3b中可以看出，该第一缺陷分类模型包括特征提取模块和缺陷分类模块。再根据如图3a所示的示意图可以看出，缺陷区域图像是先输入到特征提取模块，通过特征提取模块可以提取到缺陷区域图像的图像特征，然后该图像特征通过缺陷分类模块，即可得到缺陷区域图像的初始分类结果。

其中，第一缺陷分类模型是通过目标数据集和与目标数据集相关联的辅助数据集训练得到的。目标数据集是与目标对象关联的数据集，辅助数据集是与辅助对象关联的数据集，且辅助对象与目标对象相关联。例如，若目标对象为65寸8K的液晶面板为例，则辅助对象可以是是75寸4K的液晶面板、65寸4K的液晶面板、45寸8K的液晶面板等等。

S203：依照分类调整规则调整初始缺陷分类结果，以确定缺陷区域图像的目标缺陷分类结果。

在一种实现方式中，在根据第一缺陷分类模型得到缺陷区域图像的初始缺陷分类结果之后，服务器还可以对该初始缺陷分类结果进行处理，以得到更为准确的缺陷区域图像的缺陷分类结果，也就是目标缺陷分类结果。

其中，初始缺陷分类结果或目标缺陷分类结果用于指示缺陷区域图像对应的缺陷类别。例如，以液晶面板为例，液晶面板图像上存在的划痕、磨损、斑块等等都可以定义为缺陷，那么可以根据这些缺陷的形成原因，缺陷区域的大小、缺陷的位置等来对缺陷进行分类。例如，若仅考虑缺陷的形成原因，且缺陷的形成原因可能有3种，那么根据第一缺陷分类模型得到缺陷区域图像的初始缺陷分类结果可能存在3种；若仅考虑缺陷区域的大小，且将缺陷区域的大小划分为4种，那么根据第一缺陷分类模型得到缺陷区域图像的初始缺陷分类结果可能存在4种；也可以将多种情况进行组合来定义缺陷的类别，本申请不做限定。

在一种实现方式中，在得到初始缺陷分类结果之后，为了得到更为精确的缺陷分类结果，可以经过图3a所示的后处理模块调整得到目标缺陷分类结果。其中，经过后处理模块调整得到目标缺陷分类结果的具体实现过程可以是如图3c所示的缺陷分类结果调整的流程示意图。如图3c所示，服务器可以根据预设的分类调整规则对初始缺陷分类结果进行调整，以确定缺陷区域图像的目标缺陷分类结果。可选的，目标缺陷分类结果可以是比初始缺陷分类结果更为细分的分类结果。例如，初始缺陷分类结果可能存在3种情况，根据分类调整规则之后，得到的目标缺陷分类结果可能为5种分类结果。

举例来说，以对象为液晶面板为例，分类调整规则可以根据液晶面板缺陷的形成原因，缺陷区域的大小、缺陷的位置等因素确定。例如，若分类调整规则只考虑缺陷区域的大小，假设根据缺陷区域的大小，缺陷区域图像的初始缺陷分类结果可能存在3种，分别表示为A、B、C。根据分类调整规则，针对初始缺陷分类结果为B的情况。服务器还可以进一步检测缺陷区域图像对应缺陷区域的大小，若缺陷区域的大小超过阈值，则目标缺陷分类结果为B1，若缺陷区域的大小不超过阈值，则目标缺陷分类结果为B2。又如，若分类调整规则只考虑缺陷的位置，假设根据缺陷的位置，缺陷区域图像的初始缺陷分类结果可能存在3种，分别表示为A、B、C。根据分类调整规则，针对初始缺陷分类结果为B的情况。服务器还可以进一步根据上述所识别的待分类图像中缺陷区域的位置信息，来调整初始缺陷分类结果，假设位置信息是坐标信息，则可以根据坐标信息确定缺陷区域在待分类图像中的位置，例如缺陷区域可以是在待分类图像的左部，右部，上部，下部，中部这5种情况，对应的目标缺陷分类结果分别表示为B1、B2、B3、B4、B5。那么根据缺陷区域在待分类图像的位置信息，则在初始缺陷分类结果为B的情况下，其对应的目标缺陷分类结果可能是B1、B2、B3、B4、B5中的任意一种。

在本申请实施例中，服务器可以获取待分类图像，并从待分类图像中提取缺陷区域图像，使得输入到第一缺陷分类模型的图像仅是具有缺陷区域的图像，从而减少了待分类图像中背景区域对分类结果的影响。接着通过第一缺陷分类模型对缺陷区域图像进行分类，得到缺陷区域图像的初始缺陷分类结果之后，依照分类调整规则调整初始缺陷分类结果，进一步确定缺陷区域图像的目标缺陷分类结果，可以得到更为准确的分类结果。而且，上述第一缺陷分类模型是通过目标数据集和与目标数据集相关联的辅助数据集训练得到的，这种目标数据集与辅助数据集结合对模型的训练，得到的模型的分类效果也比较好。

请参阅图4，图4是本申请实施例提供的又一种图像分类方法的流程示意图。该方法应用于服务器，可由服务器执行，如图4所示，该图像分类方法可包括：

S401：获取训练数据集，其中，训练数据集包括目标数据集和辅助数据集。

在一种实现方式中，服务器可以获取训练数据集，以使得后续步骤中根据该训练数据集对第二缺陷分类模型进行训练。而且对于第二缺陷分类模型的训练，训练数据集是非常重要的。只有训练数据集的数量足够多，且质量足够好的数据，才能够使得训练出的第二缺陷分类模型的分类效果较好。考虑到在对第二缺陷分类模型时，针对目标对象所获取的输入数据不是足够多，例如可能是存在获取数据比较困难的情况，或者是获取到的数据足够多，但是缺乏数据对应的标签的情况。那么在这种输入数据不是足够多的情况下直接对第二缺陷分类模型可能导致第二缺陷分类模型的分类效果较差。为了获得足够多的输入数据，可以在输入数据中添加与需要对目标数据进行处理的相关联的辅助数据，以使得输入到第二缺陷分类模型的输入数据足够多。也就是说，训练数据集可以包括目标数据集和辅助数据集，其中，目标数据集是与目标对象关联的数据，辅助数据集是与辅助对象关联的数据，而目标对象与辅助对象是相关联的。

其中，目标数据集可以包括第一目标数据集和第二目标数据集。第一目标数据集可以是包括缺陷标签的数据集，第二目标数据集可以是不包括缺陷标签的数据集。具体的，第一目标数据集可以包括至少一个标注有产品标签和缺陷标签的第一图像；第二目标数据集可以包括至少一个标注有产品标签的第二图像，第一图像和第二图像均为与目标对象关联的图像。

其中，辅助训练集可以包括至少一个标注有产品标签和缺陷标签的第三图像，第三图像与目标对象的辅助对象关联。

在一种实现方式中，上述的缺陷标签和产品标签均可以用独热（one-hot）编码表示，one-hot编码是一种有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制，在分类问题中，常用来描述标签值。如果有n个缺陷类别，one-hot码就是一个n维向量。该向量只有类别标签对应的位置为1，其他全为0。例如，假设有3个缺陷类别时，则这3个缺陷类别的缺陷标签可以分别为[1 0 0]、[0 1 0]、[0 0 1]。

举例来说，在工业质检领域中，虽然能够采集到足够多的数据，但是可能只有一小部分数据能获得标签标注。以液晶面板为例，在训练针对缺陷分类的模型时，工厂给的数据存在诸多问题，比如某种缺陷类别对应的液晶面板图像的数量较少，甚至没有，或者是数据中大量液晶面板图像没有标注缺陷标签。如果直接利用工厂的数据训练针对缺陷分类的模型，那么最终训练得到的模型的分类效果可能比较差。为了解决这个问题，可以添加辅助数据以训练针对缺陷分类的模型。以目标对象为65寸8K的液晶面板为例，则可以获取辅助对象对应的数据，辅助对象可以是75寸4K的液晶面板、65寸4K的液晶面板、45寸8K的液晶面板等等。需要注意的是，本申请实施例中的目标对象也可以称为目标产品，辅助对象可以指不同于目标产品的其他产品，即辅助对象也可以称为辅助产品，并且这里的产品是指不同型号的液晶面板，例如上述所描述的65寸8K、75寸4K等等。

在一种实现方式中，针对第二缺陷分类模型中目标数据集中标签缺乏的问题，可以添加辅助数据集，将该辅助数据集与目标数据集作为训练数据集，以根据该训练数据集训练第二缺陷分类模型。其中，辅助数据集可以通过以下三种方式来获得，第一种方式可以是将除目标产品以外的其他产品的数据作为辅助数据集；第二种方式可以是制作假数据，将制作的假数据作为辅助数据集；第三种方式可以是使用领域自适应的方法，将其他产品的数据作为辅助的源域，进行知识迁移。也可以包括其他方式，本申请不做限定。

在一种实现方式中，上述第一种方式适用于不同产品之间相似程度较高的情况。对于类别定义一致，且类别的视觉表现不会因产品不同而有较大改变的条件下，可以直接采用这种方式来丰富目标数据集，以得到训练数据集。而且不同产品的数据会扩大训练数据集的多样性，使得第二缺陷分类模型能够更好地关注于缺陷特征。但是直接加入辅助产品的方法可能会带来负迁移，即辅助产品对应的数据可能会干扰目标产品的特征学习。此外，辅助产品的数据量通常会远大于目标产品的数据量，这样会导致第二缺陷分类模型更倾向于提升对辅助产品的缺陷分类能力。

在一种实现方式中，上述第二种方式可以包括基于人工规则的方式和基于生成对抗网络的方式。第二种方式的目标是自动制作具有缺陷的数据，例如，以液晶面板为例，就是要在液晶面板上自动制造缺陷，以得到包含缺陷区域的图像。对于目标数据集中某种缺陷类别标签较少或没有的情况下，可以制造针对这种缺陷类别标签的训练图像，以使最终得到的训练数据集达到训练的要求。但是生成训练图像方法的主要问题是生成的训练图像质量可能不高，会带来噪声。同时该方法还存在训练图像模式单一的问题，这样并不能有效改善目标数据集中标签缺乏的问题。

可以看出，上述两种解决针对目标数据集中标签缺乏的问题的方式都存在一些问题，进而影响第二缺陷分类模型的分类效果。因此可以利用上述的第三种方式，即基于领域自适应的方法，与第一种方法相比，能够更好地建立起产品之间的联系，可以将辅助产品对于缺陷的分类知识迁移到目标产品缺陷分类中。领域自适应的方法主要可以分为两种，一种是设计统计量衡量两个域数据分布的差异，在优化过程中最小化该统计量，常用的有基于最大均值差异距离（MaximumMeanDiscrepancy，MMD）的方法。另一种是基于对抗的方法，可以引入特征提取模块与产品分类模块，其中，特征提取模块用来提取训练数据集中训练图像的图像特征，产品分类模块用来区别训练数据集中训练图像所属的产品类别。在训练过程中，特征提取模块与产品分类模块发生对抗，产品分类模块试图能够区分出训练数据集中训练图像的产品类别，而特征提取模块则希望输出的图像特征在输入到产品分类模块中进行处理时，能够尽可能的使产品分类模块不能够区分出训练数据集中训练图像的产品类别，即特征提取模块可以输出能够混淆产品分类模块判别产品类别能力的图像特征，以这种对抗的方式达到提取出共有特征的目标。

S402：对训练数据集进行预处理，确定目标训练数据集。

在一种实现方式中，服务器可以对训练数据集进行预处理，该预处理具体可以是对训练数据集中包括的训练图像和缺陷标签进行处理，以得到目标训练数据集。其中，训练图像可以包括步骤S201所描述的第一图像、第二图像和第三图像。

其中，服务器可以对缺陷标签进行合并处理，以减少缺陷标签的数量，例如在对缺陷标签合并之前，有5种缺陷标签，表示的是5种缺陷类别，在进行合并处理之后，可以得到3种缺陷标签，表示的是3种缺陷类别。通过缺陷标签的合并，可以降低第二缺陷分类模型的训练难度。服务器还可以对训练数据集中包括的训练图像进行处理，以提取训练图像中缺陷区域图像。可选的，服务器可以识别训练图像中缺陷区域的位置信息，而在识别出缺陷区域的位置信息之后，就可以依照该位置信息从训练图像中提取缺陷区域样本图像。这种将输入到第二缺陷分类模型中包含有缺陷区域的图像替换为缺陷区域图像，也可以有效的提高第二缺陷分类模型的分类效果。

在一种实现方式中，如图5a所示是本申请实施例提供的一种对训练数据集进行预处理的流程示意图。从图5a中可以看出，服务器可以对训练数据集做缺陷区域样本图像提取处理以及缺陷标签合并处理，以得到目标训练数据集。

在一种实现方式中，如图5a所示，服务器可以从训练数据集包括的训练图像中提取缺陷区域样本图像。可选的，服务器可以识别每张训练图像中缺陷区域的位置信息，而在识别出缺陷区域的位置信息之后，就可以依照该位置信息从每张训练图像中提取缺陷区域样本图像。即每张训练图像都会有一张对应的缺陷区域样本图像。那么输入到第二缺陷分类模型的图像不仅仅是包含缺陷区域的图像，而是从包含缺陷区域的图像中提取出的缺陷区域图像，利用这种图像数据可以提高第二缺陷分类模型的分类效果。

在一种实现方式中，如图5a所示，除了对训练数据集中包括的训练图像进行处理之外，还可以对缺陷标签进行处理。可选的，服务器可以根据标签合并规则对第一图像和第三图像对应的缺陷标签集进行合并处理，以确定出目标缺陷标签集，然后依照目标缺陷标签集中的目标缺陷标签更新第一图像和第三图像各自对应的缺陷标签。其中，缺陷标签集指的是各个第一图像的缺陷标签和各个第三图像的缺陷标签的集合，目标缺陷标签集指的是更新后的各个第一图像的缺陷标签以及更新后的各个第三图像的缺陷标签的集合。

在一种实现方式中，上述的标签合并规则可以是预先设置的标签合并映射关系，例如表1所示为一种标签合并映射关系。表1中第一标签表示的是标签合并之前第一图像或第三图像对应的缺陷标签，第一标签包括5种标签，表示的是初始缺陷分类有5个类别。对应的，表1中第二标签表示的是标签合并之后第一图像或第三图像对应的缺陷标签，第二标签包括3种标签，表示的是经过标签合并之后第一图像或第三图像对应的缺陷分类有3个类别。根据表1所示的标签合并映射关系，可以将第一图像和第三图像对应的缺陷标签集更新为目标缺陷标签集，对应的第一图像和第三图像各自对应的缺陷标签也会更新。例如，在标签合并之前，某张第一图像的缺陷标签为10000，在经过标签合并处理之后，该第一图像的缺陷标签为100。

表1：

举例来说，以液晶面板为例，液晶面板的缺陷类别的定义可以包括多种情况，具体的可以是液晶面板的缺陷的形成原因，缺陷区域的大小，缺陷区域的位置等等。而缺陷类别的定义可以根据一种情况确定，也可以根据多种情况定义。例如，可以根据液晶面板的缺陷的形成原因定义缺陷类别，假设缺陷的形成原因包括A1、A2、A3、A4、A5，那么液晶面板的缺陷类别可以设为5种，对应的缺陷类别标签可以参考表1中所示的第一标签。又如，可以根据液晶面板的缺陷区域的大小定义缺陷类别，假设缺陷区域的大小包括B1、B2、B3、B4，那么液晶面板的缺陷类别可以设为4种。再如，可以根据液晶面板的缺陷的形成原因与缺陷区域的大小共同定义缺陷类别，假设缺陷的形成原因包括A1、A2、A3、A4、A5，缺陷区域的大小包括B1、B2、B3、B4，若某个液晶面板的缺陷的形成原因为A1，缺陷区域的大小为B1，则可以将这种液晶面板的缺陷设置为一个缺陷类别。可以看出，在上述描述的情况下，液晶面板可能会存在大量的缺陷类别，为了降低后续第二缺陷分类模型的学习难度，可以进行缺陷类别的合并，以降低缺陷类别。例如，针对上述描述的缺陷的形成原因包括A1、A2、A3、A4、A5，缺陷类别有5个类别的情况，可以将A1和A2合并为一个缺陷的形成原因，A4和A5合并为一个缺陷的形成原因，即缺陷类别由5个类别合并为3个缺陷类别。

在一种实现方式中，在确定缺陷区域样本图像以及更新后的第一图像和第三图像各自对应的缺陷标签之后，就可以根据缺陷区域样本图像、缺陷区域样本图像对应的产品标签和更新后的第一图像和第三图像各自对应的缺陷标签，确定目标训练数据集。其中，目标训练数据集包括缺陷区域样本图像、缺陷区域样本图像对应的产品标签以及缺陷区域样本图像的缺陷标签，缺陷标签是更新后的缺陷标签。

在一种实现方式中，如图5b所示是本申请实施例提供的另一种对训练数据集进行预处理的流程示意图。从图5b中可以看出，除了可以对训练数据集中包括的训练图像和缺陷标签进行处理之外，服务器还可以对训练数据集进行数据清洗处理，然后再根据数据清洗后的训练数据集确定目标训练数据集。可选的，对训练数据集的数据清洗处理可以是对训练数据集中图像质量比较差的数据去除，也可以是其他清洗操作。通过数据清洗可以去掉训练数据集中质量较差的数据，例如比较模糊的图像，以避免利用质量较差的数据对第二缺陷分类模型进行训练，影响第二缺陷分类模型的分类效果。

在一种实现方式中，以目标对象（或者可称为目标产品，或者还可以称为其余名称）为65寸8K的液晶面板为例。需要注意的是，本实施例中所描述的产品可理解为对象，例如目标产品可以理解为目标对象，辅助产品可理解为辅助对象。目标训练数据集的数学表示可以为如下的描述。

其中，记X为液晶面板的目标训练数据集中的缺陷区域样本图像，数量为n。根据不同产品可分为针对目标产品X _t 的缺陷区域样本图像和针对辅助产品X _s 的缺陷区域样本图像。其中，辅助产品可以包括多个子辅助产品，例如，目标产品是65寸8K的液晶面板，那么辅助产品可以是75寸4K的液晶面板、65寸4K的液晶面板、45寸8K的液晶面板等等，则X _s可表示为X _s= X _s1∪X _s2∪…∪X _sm 。其中，m为辅助产品的产品类型数量，例如m为5，则表示有5中不同产品类型的辅助产品，X _s1、X _s2以及X _sm 表示的是不同的辅助产品类型，并且每一种辅助产品类型包括至少一张缺陷区域样本图像。

其中，记Y为目标缺陷标签集，所包含的标签以目标产品的缺陷类别决定，假设总计有l个缺陷类别。可选的，目标缺陷标签可以用one-hot编码表示。例如，若l为3时，即有3个缺陷类别时，则这3个缺陷类别的标签可以分别为[1 0 0]、[0 1 0]、[0 0 1]。需要注意的是，针对辅助产品的缺陷区域样本图像是均有目标缺陷标签标注的，而针对目标产品的缺陷区域样本图像是部分图像有目标缺陷标签标注，绝大部分图像没有目标缺陷标签标注。那么，可以记目标产品中有目标缺陷标签标注的那部分数据为X _tl ，没有目标缺陷标签标注的那部分数据为X _tn 。

其中，可以引入产品标签集，产品标签集是各个缺陷区域样本图像对应的产品标签的集合，记P为产品标签集，若辅助产品的产品类型数量为m，则加上目标产品的产品类别，总计产品类别有m+1个。可选的，产品标签可以用one-hot编码表示，则每一个缺陷区域样本图像的产品标签为一个（m+1）维的向量。其中，针对目标产品的缺陷区域样本图像的产品标签的第（m+1）维为1，即[0 0 …1]。针对k号辅助产品的缺陷区域样本图像的产品标签的第k维为1，k=1,2,⋯,m。由于每一个缺陷区域样本图像来源于哪个产品是已知的，因此每一个缺陷区域样本图像都具有产品标签。为了便于表达，记y(x)∈Y表示缺陷区域样本图像x的缺陷标签，其中x∈X _i ，i∈{tl,s1,s2,…,sm}。记p(x)∈P表示缺陷区域样本图像x的产品标签，其中x∈X _i ，i∈{tl,tn,s1,s2,…,sm}。

S403：通过目标训练数据集对第二缺陷分类模型进行训练，以优化第二缺陷分类模型的多个模型参数，得到第一缺陷分类模型。

在一种实现方式中，在确定目标训练数据集之后，服务器可以通过该目标训练数据集对第二缺陷分类模型进行训练，以得到训练后的第二缺陷分类模型。其中，对第二缺陷分类模型的训练也就是优化第二缺陷分类模型中包括的多个模型参数。那么在训练完第二缺陷分类模型之后，也就优化了第二缺陷分类模型中的多个模型参数。接着，根据优化后的多个模型参数可以确定第一缺陷分类模型。该第一缺陷分类模型可以用于对缺陷图像进行分类处理。

在一种实现方式中，如图5c所示为本申请实施例提供的一种第二缺陷分类模型的结构示意图。如图5c所示，该第二缺陷分类模型可以包括特征提取模块、缺陷分类模块和产品分类模块。那么，第二缺陷分类模型的多个模型参数可以是特征提取模块的第一模型参数、缺陷分类模块的第二模型参数以及产品分类模块的第三模型参数。具体的，服务器可以通过目标训练数据集和参数优化规则对第二缺陷分类模型的多个模型参数进行优化，以确定优化后的多个模型参数。在确定优化后的多个模型参数，就可以从优化后的多个模型参数中提取优化后的第一模型参数和优化后的第二模型参数，并根据优化后的第一模型参数和优化后的第二模型参数确定第一缺陷分类模型。其中，第一缺陷分类模型可以包括如图3b所示的特征提取模块和缺陷分类模块。

在一种实现方式中，通过目标训练数据集和参数优化规则对第二缺陷分类模型的多个模型参数进行优化确定优化后的多个模型参数的具体实现方式可以是首先将目标训练数据集通过特征提取模块，以提取目标训练数据集中缺陷区域样本图像的图像特征。在提取到图像特征之后，将该图像特征分别通过缺陷分类模块和产品分类模块，缺陷分类模块的输出是缺陷区域样本图像的缺陷预测标签，产品分类模块的输出是缺陷区域样本图像的产品预测标签。然后再根据缺陷预测标签、产品预测标签、目标训练数据集中的缺陷标签、目标训练数据集中的产品标签，以及目标函数来优化第二缺陷分类模型的多个模型参数。

在一种实现方式中，如图5d所示是本申请实施例提供的一种第二缺陷分类模型训练的结构示意图。从图5d中可以看出，为了能够在训练过程中更加方便地对第二缺陷分类模型的多个模型参数进行优化，相比于图5c的第二缺陷分类模型，图5d中的产品分类模块之前引入了一个梯度反转模块（或者可称为梯度反转层（Gradient Reversal Layer，GRL））。

以下将根据图5d为例具体描述第二缺陷分类模型的训练过程，该第二缺陷分类模 型是利用基于对抗的领域适应方法训练的。第二缺陷分类模型的训练过程的目的是优化第 二缺陷分类模型的多个模型参数，即特征提取模块的第一模型参数θ _E ，缺陷分类模块的第 二模型参数θ _C 以及产品分类模块的第三模型参数θ _D 。该第二缺陷分类模型的输入是将训练 数据集经过预处理后得到的目标训练数据集。目标训练数据集包括缺陷区域样本图像X _tl ，X _tn ，X _s1，X _s2，…，X _sm 以及缺陷区域样本图像对应的缺陷标签与产品标签。缺陷区域样本图像 通过特征提取模块可以得到图像特征。可选的，该特征提取模块可以是resnet-18网络，也 可以是其他深度神经网络，本申请不做限定。特征提取模块输出的图像特征随后将分别通 过缺陷分类模块和产品分类模块，其中，缺陷分类模块输出的是l维的缺陷预测标签

，产 品分类模块输出的是(m+1)维的产品预测标签

。可选的，缺陷分类模块或产品分类模块可 以包括全连接层和分类计算（softmax）层，即输入到缺陷分类模块或产品分类模块的图像 特征先经过全连接层处理，再经过softmax层处理。最后引入分类损失L _C与对抗损失L _D，以根 据L _C和L _D对模型参数θ _E ，θ _D ，θ _C 进行优化。

在一种实现方式中，本申请实施例以一个迭代过程进行说明如何对模型参数θ _E ，θ _D ，θ _C 进行优化。在一个迭代过程中，首先从目标训练数据集中采样一批（batch）数据B。其中，为了使第二缺陷分类模型达到更好的分类效果，可以尽量使得一个batch中的数据均匀取自于各类产品。例如若只有一个辅助产品类型，一个batch中的数据量是64的话，则在目标产品中选取32个缺陷区域样本图像，辅助产品中选取32个缺陷区域样本图像。在第二缺陷分类模型的前向计算中将针对这些缺陷区域样本图像计算分类损失L _C与对抗损失L _D。其中，分类损失L _C只计算一个batch中具有缺陷标签的缺陷区域样本图像，即L _C不考虑X _tn 部分的数据，对抗损失L _D的计算来源于一个batch中全部的缺陷区域样本图像，L _C与L _D定义如下：

分类损失L _C是一种损失函数，用于衡量一个batch数据的缺陷预测标签与缺陷标签之 间的差异，可选的，分类损失L _C可以是公式3-1所示的缺陷预测标签

（也就是缺陷分类 模块的输出）与缺陷标签y(x)（也就是更新后的缺陷标签）的交叉熵函数。

公式3-1

对抗损失L _D也是一种损失函数，用于衡量一个batch数据的产品预测标签与产品标签 之间的差异，可选的，对抗损失L _D可以是公式3-2所示的是产品预测标签

（也就是产品分 类模块的输出）与产品标签p(x)的交叉熵函数。

公式3-2

其中，‖B‖为一批数据的数据量，•_[j]表示标签向量的第j维元素，E(•)、D(•)以及C(•)分别表示的是特征提取模块、产品分类模块和缺陷分类模块的作用效果。

该第二缺陷分类模型是一种基于对抗的神经网络模型，在训练过程中，针对缺陷 分类，需要使L _C最小化，对应的数学表示可以为

。而针对产品分类，特征提取 模块与产品分类模块发生对抗，产品分类模块要努力准确分类出缺陷区域样本图像所属的 产品类别，而特征提取模块则要生成能够混淆产品分类模块判别能力的图像特征。因此产 品分类模块要使L _D最小化，特征提取模块要使L _D最大化，对应的数学表示可以为

。

为了能够在训练过程中更加方便地对模型参数θ _E ，θ _D ，θ _C 进行优化，引入了梯度反 转模块，即GRL。梯度反转模块可以用于神经网络模型中的一个计算模块，其中前向计算是 恒等变换，而反向计算则是将取相反数。将梯度反转模块的作用用数学表示可以为如下理 解：满足对于任意的函数f(x)，前向计算时，满足GRL(f(x))=f(x)，反向计算时，满足

。那么在如图5d中所显示的在产品分类模块前加入梯度反转模块后，公 式3-2式中的

可以变为公式3-3。

公式3-3

通过以上的描述，可以得到如公式3-4所示的目标函数，第二缺陷分类模型可以根据该目标函数对模型参数θ _E ，θ _D ，θ _C 进行优化。

公式3-4

其中，λ为用于权衡分类损失L _C与对抗损失L _D的超参数。那么优化模型参数θ _E ，θ _D ，θ _C 的具体实现可以为如下所示的算法所示，在优化过程中，采用交替优化的方式，具体为：

输入：X _tl ，X _tn ，X _s1，X _s2，…，X _sm ，Y，P

输出：θ _E ，θ _C （θ _D 参数不需要导出）

初始化模型参数：θ _E ，θ _C ，θ _D

循环：

1.采样一个batch；

2.以公式3-4式为目标函数进行优化：

固定θ _D ，优化θ _E ，θ _C

固定θ _E ，θ _C ，优化θ _D

通过上述方法优化完成后，就可以确定如图3b所示的第一缺陷分类模型，第一缺陷分类模型只包括第二缺陷分类模型中的特征提取模块和缺陷分类模块，而且特征提取模块和缺陷分类模块中所包括的模型参数分别是优化得到的模型参数θ _E 与θ _C 。相比于图5c或图5d所示的第二缺陷分类模型，第一缺陷分类模型不包括图5c中的产品分类模块，或者说是不包括图5d中的产品分类模块和梯度反转模块。因为第二缺陷分类模型中的产品分类模块只是用来指导特征提取模块的模型参数θ _E 的训练，那么在第二缺陷分类模型的多个模型参数训练完成后，在对缺陷进行分类的实际应用中，是不需要进行产品类别判别的，因此，第一缺陷分类模型也就不需要包括图5c中的产品分类模块。此外，在对缺陷进行分类的实际应用中，也不需要辅助对象的参与，直接将目标对象的数据输入到第一缺陷分类模型即可。

S404：获取待分类图像，并从待分类图像中提取缺陷区域图像。

S405：通过第一缺陷分类模型对缺陷区域图像进行分类，得到缺陷区域图像的初始缺陷分类结果。

S406：依照分类调整规则调整初始缺陷分类结果，以确定缺陷区域图像的目标缺陷分类结果。

其中，步骤S404-S406的具体实施方式可以参见上述实施例步骤S201-S203的具体描述，此处不再赘述。

在本申请实施例中，在对第二缺陷分类模型训练时，获取的训练数据集包括目标数据集还可以包括辅助数据集，这使得在标签缺乏的情况下，由于目标数据集与辅助数据集的结合，使得训练数据量足够多，而且还可以对训练数据集进行预处理，以得到高质量的目标训练数据集，这种足够多，且高质量的目标训练数据集可以有效的提高第二缺陷分类模型的分类效果。并且，第二缺陷分类模型采用了一种基于对抗的融合训练方式，能够建立起不同产品之间的联系，同时特征提取模块所提取的图像特征能够忽略产品间的差异而聚焦于缺陷，可以解决标签缺乏的问题，也可以提升第二缺陷分类模型的分类能力。进而根据第二缺陷分类模型确定的第一缺陷分类模型的分类效果也得到了提升。

请参阅图6，图6是本申请实施例提供的一种基于图像分类装置的结构示意图。本实施例中所描述的图像分类装置，包括：

获取单元601，用于获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

分类单元602，用于通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

确定单元603，用于依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

在一种实现方式中，所述装置还包括训练单元604，具体用于：

获取训练数据集，其中，所述训练数据集包括目标数据集和辅助数据集；

对所述训练数据集进行预处理，确定目标训练数据集；

通过所述目标训练数据集对第二缺陷分类模型进行训练，以优化所述第二缺陷分类模型的多个模型参数，得到第一缺陷分类模型。

在一种实现方式中，所述目标数据集包括第一目标数据集和第二目标数据集，所述第一目标数据集包括至少一个标注有产品标签和缺陷标签的第一图像；所述第二目标数据集包括至少一个标注有产品标签的第二图像，所述第一图像和所述第二图像均为与目标对象关联的图像；所述辅助训练集包括至少一个标注有产品标签和缺陷标签的第三图像，所述第三图像与所述目标对象的辅助对象关联。

在一种实现方式中，所述训练单元604，具体用于：

从所述训练数据集包括的训练图像中提取缺陷区域样本图像，所述训练图像包括所述第一图像、所述第二图像和所述第三图像；

根据标签合并规则对所述第一图像和所述第三图像对应的缺陷标签集进行合并处理，以确定出目标缺陷标签集；

依照所述目标缺陷标签集中的目标缺陷标签更新所述第一图像和所述第三图像各自对应的缺陷标签；

根据所述缺陷区域样本图像、所述缺陷区域样本图像对应的产品标签和更新后的所述第一图像和所述第三图像各自对应的缺陷标签，确定目标训练数据集。

在一种实现方式中，所述第二缺陷分类模型包括特征提取模块、缺陷分类模块和产品分类模块，所述特征提取模块用于提取所述目标训练数据集中缺陷区域样本图像的图像特征，所述缺陷分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的缺陷预测标签，所述产品分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的产品预测标签。

在一种实现方式中，所述多个模型参数包括所述特征提取模块的第一模型参数、所述缺陷分类模块的第二模型参数和所述产品分类模块的第三模型参数；所述训练单元604，具体用于：

通过所述目标训练数据集和参数优化规则对所述第二缺陷分类模型的多个模型参数进行优化，确定优化后的所述多个模型参数；

从优化后的所述多个模型参数中提取优化后的所述第一模型参数和优化后的所述第二模型参数；

根据优化后的所述第一模型参数和优化后的所述第二模型参数确定第一缺陷分类模型，其中，所述第一缺陷分类模型包括特征提取模块和缺陷分类模块。

在一种实现方式中，所述装置还包括提取单元605，具体用于：

识别所述待分类图像中缺陷区域的位置信息；

依照所述位置信息从所述待分类图像中提取缺陷区域图像。

可以理解，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

请参阅图7，图7是本申请实施例提供的一种服务器的结构示意图。本实施例中所描述的服务器，包括：处理器701、存储器702以及网络接口703。上述处理器701、存储器702以及网络接口703之间可以交互数据。

上述处理器701可以是中央处理单元（Central Processing Unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供程序指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。其中，所述处理器701调用所述程序指令时用于执行：

在一种实现方式中，所述处理器701，具体用于：

获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

在一种实现方式中，所述处理器701，还用于：

获取训练数据集，其中，所述训练数据集包括目标数据集和辅助数据集；

对所述训练数据集进行预处理，确定目标训练数据集；

通过所述目标训练数据集对第二缺陷分类模型进行训练，以优化所述第二缺陷分类模型的多个模型参数，得到第一缺陷分类模型。

在一种实现方式中，所述目标数据集包括第一目标数据集和第二目标数据集，所述第一目标数据集包括至少一个标注有产品标签和缺陷标签的第一图像；所述第二目标数据集包括至少一个标注有产品标签的第二图像，所述第一图像和所述第二图像均为与目标对象关联的图像；所述辅助训练集包括至少一个标注有产品标签和缺陷标签的第三图像，所述第三图像与所述目标对象的辅助对象关联。

在一种实现方式中，所述处理器701，具体用于：

从所述训练数据集包括的训练图像中提取缺陷区域样本图像，所述训练图像包括所述第一图像、所述第二图像和所述第三图像；

根据标签合并规则对所述第一图像和所述第三图像对应的缺陷标签集进行合并处理，以确定出目标缺陷标签集；

依照所述目标缺陷标签集中的目标缺陷标签更新所述第一图像和所述第三图像各自对应的缺陷标签；

根据所述缺陷区域样本图像、所述缺陷区域样本图像对应的产品标签和更新后的所述第一图像和所述第三图像各自对应的缺陷标签，确定目标训练数据集。

在一种实现方式中，所述第二缺陷分类模型包括特征提取模块、缺陷分类模块和产品分类模块，所述特征提取模块用于提取所述目标训练数据集中缺陷区域样本图像的图像特征，所述缺陷分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的缺陷预测标签，所述产品分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的产品预测标签。

在一种实现方式中，所述多个模型参数包括所述特征提取模块的第一模型参数、所述缺陷分类模块的第二模型参数和所述产品分类模块的第三模型参数；所述处理器701，具体用于：

通过所述目标训练数据集和参数优化规则对所述第二缺陷分类模型的多个模型参数进行优化，确定优化后的所述多个模型参数；

从优化后的所述多个模型参数中提取优化后的所述第一模型参数和优化后的所述第二模型参数；

根据优化后的所述第一模型参数和优化后的所述第二模型参数确定第一缺陷分类模型，其中，所述第一缺陷分类模型包括特征提取模块和缺陷分类模块。

在一种实现方式中，所述处理器701，具体用于：

识别所述待分类图像中缺陷区域的位置信息；

依照所述位置信息从所述待分类图像中提取缺陷区域图像。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图2或者图4对应实施例中的图像分类方法的部分或全部步骤。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法的实施例中所执行的步骤。

以上对本申请实施例所提供的一种图像分类方法、装置、服务器及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分类方法，其特征在于，包括：

获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

2.根据权利要求1所述的方法，其特征在于，所述通过第一缺陷分类模型对所述缺陷区域图像进行分类之前，所述方法还包括：

获取训练数据集，其中，所述训练数据集包括目标数据集和辅助数据集；

对所述训练数据集进行预处理，确定目标训练数据集；

通过所述目标训练数据集对第二缺陷分类模型进行训练，以优化所述第二缺陷分类模型的多个模型参数，得到第一缺陷分类模型。

3.根据权利要求2所述的方法，其特征在于，所述目标数据集包括第一目标数据集和第二目标数据集，所述第一目标数据集包括至少一个标注有产品标签和缺陷标签的第一图像；所述第二目标数据集包括至少一个标注有产品标签的第二图像，所述第一图像和所述第二图像均为与目标对象关联的图像；所述辅助数据集包括至少一个标注有产品标签和缺陷标签的第三图像，所述第三图像与所述目标对象的辅助对象关联。

4.根据权利要求3所述的方法，其特征在于，所述对所述训练数据集进行预处理，确定目标训练数据集，包括：

从所述训练数据集包括的训练图像中提取缺陷区域样本图像，所述训练图像包括所述第一图像、所述第二图像和所述第三图像；

根据标签合并规则对所述第一图像和所述第三图像对应的缺陷标签集进行合并处理，以确定出目标缺陷标签集；

依照所述目标缺陷标签集中的目标缺陷标签更新所述第一图像和所述第三图像各自对应的缺陷标签；

根据所述缺陷区域样本图像、所述缺陷区域样本图像对应的产品标签和更新后的所述第一图像和所述第三图像各自对应的缺陷标签，确定目标训练数据集。

5.根据权利要求4所述的方法，其特征在于，所述第二缺陷分类模型包括特征提取模块、缺陷分类模块和产品分类模块，所述特征提取模块用于提取所述目标训练数据集中缺陷区域样本图像的图像特征，所述缺陷分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的缺陷预测标签，所述产品分类模块用于根据所述图像特征确定所述目标训练数据集中缺陷区域样本图像的产品预测标签。

6.根据权利要求5所述的方法，其特征在于，所述多个模型参数包括所述特征提取模块的第一模型参数、所述缺陷分类模块的第二模型参数和所述产品分类模块的第三模型参数；所述通过所述目标训练数据集对第二缺陷分类模型进行训练，以优化所述第二缺陷分类模型的多个模型参数，得到第一缺陷分类模型，包括：

通过所述目标训练数据集和参数优化规则对所述第二缺陷分类模型的多个模型参数进行优化，确定优化后的所述多个模型参数；

从优化后的所述多个模型参数中提取优化后的所述第一模型参数和优化后的所述第二模型参数；

根据优化后的所述第一模型参数和优化后的所述第二模型参数确定第一缺陷分类模型，其中，所述第一缺陷分类模型包括所述特征提取模块和所述缺陷分类模块。

7.根据权利要求1所述的方法，其特征在于，所述从所述待分类图像中提取缺陷区域图像，包括：

识别所述待分类图像中缺陷区域的位置信息；

依照所述位置信息从所述待分类图像中提取缺陷区域图像。

8.一种图像分类装置，其特征在于，包括：

获取单元，用于获取待分类图像，并从所述待分类图像中提取缺陷区域图像；

分类单元，用于通过第一缺陷分类模型对所述缺陷区域图像进行分类，得到所述缺陷区域图像的初始缺陷分类结果，其中，所述第一缺陷分类模型是通过目标数据集和与所述目标数据集相关联的辅助数据集训练得到的；

确定单元，用于依照分类调整规则调整所述初始缺陷分类结果，以确定所述缺陷区域图像的目标缺陷分类结果。

9.一种服务器，其特征在于，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

Images