CN109472284A - 一种基于无偏嵌入零样本学习的电芯缺陷分类方法 - Google Patents

Abstract

一种基于无偏嵌入零样本学习的电芯缺陷分类方法，包括：1)从通过高清摄像头采集的电芯图片中，采用滑动窗口的方式获取合适大小的包含缺陷的图像块，将较为常见的缺陷类别分配为带标签的源数据，将少见的缺陷类别分配为无标签的目标数据；2)使用有标注的源类数据和未标注的目标类数据来端对端地训练准全监督学习网络模型QFSL；3)测试阶段，对于输入的图像块，通过视觉嵌入子网络得到它的视觉嵌入，接着利用视觉‑语义衔接子网络，完成从视觉嵌入到语义嵌入的映射，然后通过内积计算得到投影得到的视觉嵌入和语义嵌入的得分，最后送入Softmax分类器产生了所有类别的预测概率，将概率最高的那个类别作为分类结果。

Description

一种基于无偏嵌入零样本学习的电芯缺陷分类方法

技术领域

本发明属于工业缺陷识别领域，针对电芯缺陷分类场景中部分缺陷的数据比较少或难以获取的问题，提出了一种基于无偏嵌入零样本学习的电芯缺陷分类方法。

背景技术

电芯缺陷识别是电池生产过程中重要的一环。在工业化快速发展的现代社会，传统的使用人工查验的方式存在诸多弊端：(1)人工耗费大。人工排查缺陷的方式需要耗费大量人力和时间才能匹配电池市场的需求；(2)评价缺乏客观性。人工对缺陷的判断主要依赖于个人经验，这对于不同工人是难以统一的，因而最后的判断是比较主观的；(3)对工人视力损害大。由于缺陷的排查需要通过一些细微的区域进行判断，会长时间耗费眼力，容易引起视觉疲劳。这些因素的存在，使得传统的方式已无法适应工业场景中准确高效的需求。

随着计算机视觉、深度学习领域的快速发展，基于大数据学习的分类模型成为一个有效的替代方案。通常情况下，该方案需要对各种缺陷手机大量训练样本学习，联合训练分类器，从而完成对缺陷类别的识别。在电芯缺陷场景中，主要的缺陷的类别包含凹坑、单层隔离膜破损、隔离膜翻折、划伤、极耳打折、胶污、破损漏金属、气泡、碳粉条、碳粉脏污、压伤、异物、油污共13种类别，其中一部分类别的出现的概率相对较低，相应的样本量偏少，不足够来直接用于缺陷分类器的训练。此外，有些缺陷是随着分类的进行逐渐被挖掘出来的，及缺陷的类别会出现新的种类。这种情况下的分类需要采用零样本学习的策略，但是大多数现有的零样本学习方法都存在强偏问题：在训练阶段，输入通常被投影到由源类确定的语义嵌入空间中的几个固定的点。这样就导致了在测试阶段中，在目标数据集中的新类图像倾向于被分到源类当中。

发明内容

针对电芯缺陷分类场景中部分类别可用的样本量偏少的现状，本发明提出了一种同时利用带有标注的源类数据和不带标注的目标类数据，采用直推式无偏嵌入策略的零样本学习方法，对电芯缺陷进行有效分类。

为实现上述目的，本发明所述的基于无偏嵌入零样本学习的电芯缺陷分类方法包括如下步骤：

1)通过高清摄像头采集电芯缺陷图片，对缺陷区域进行取样切块，将较为常见的缺陷类别分配为带标签的源数据，将少见的缺陷类别分配为无标签的目标数据，并将数据划分为训练集和测试集；

2)构建准全监督学习网络模型QFSL，包括视觉嵌入子网络、视觉-语义衔接子网络、得分子网络和分类器四个模块；

3)使用训练集中的图像块训练QFSL模型，定义损失函数，利用随机梯度下降算法SGD对模型参数进行优化；

4)将测试集中图像块输入给QFSL模型，得到输入在源类别及目标类别上的预测概率，将概率最高的那个类别作为分类结果。

进一步，所述的电芯缺陷包含凹坑、单层隔离膜破损、隔离膜翻折、划伤、极耳打折、胶污、破损漏金属、气泡、碳粉条、碳粉脏污、压伤、异物、油污共13种类别，其中隔离膜翻折、极耳打折、破损漏金属和异物的数据比较少，不足以训练传统的分类器，作为目标数据类别，其余的类别作为源数据类别。

进一步，所述的视觉嵌入子网络采用在ImageNet数据集上预训练的GoogLeNet将原始图像映射到视觉嵌入空间；其中，视觉嵌入子网络的参数用W_θ表示，视觉嵌入子网络模块会与其它模块一起优化，网络的第一个全连接层的输出作为视觉嵌入。

进一步，所述的视觉-语义衔接子网络采用了非线性函数将视觉嵌入映射到语义嵌入；由2个全连接层来实现，其中每一个全连接层后面跟了一个非线性激活函数：ReLU，视觉-语义衔接子网络的参数记为视觉-语义衔接子网络模块会与其它模块一起优化。

进一步，所述的得分子网络由单个全连接层来实现，具体的得分函数形式如下：

其中，x和y分别为输入图片和分类标签，φ^*(y)是对于标签y人为定义的语义向量的归一化表达，得分子网络的权重是固定的，在训练阶段不参与更新，对于一张输入图片得到(S+T)个得分，S和T分别为源类别和目标类别的数量。

进一步，所述的分类器采用Softmax的形式产生输入属于各个类别的概率，并将概率最高的那个类别作为预测结果。

进一步，所述的损失包含分类损失、偏置损失和正则化损失三项，定义如下：

其中，N_s和N_t分别为源类别和目标类别在训练集中的数量，和分别为源类别和目标类别的样本，λ和γ是平衡参数；对于分类损失使用标准的交叉熵定义；对于偏置损失定义其中Y^t是目标类的集合，p_i表示预测为类i的概率，该损失项在模型预测给目标类的概率和大的时候值变小，防止目标类被映射到源类中；对于正则化损失Ω，使用l²范数来约束训练参数。

本发明的有益效果如下：

本发明是一种无偏嵌入零样本学习的电芯缺陷分类方法。它基于深度学习的卷积神经网络算法，结合带有标注的源类数据和无标注的目标类数据进行端到端的训练，从而实现对类别样本数量较少的缺陷实现有效的零样本学习。

与传统方法相比，本发明能够有效地契合在实际电芯缺陷检测的工业场景中，部分缺陷样本难以收集的状况。如果这部分类别的数据在未来可以拿到标注的数据，本方法提出的模型可以得到进一步训练和改进；此外，在测试阶段，该模型可以同时对源类别和目标类别的数据实现分类，保证源类别的分类准确率。并实现对目标类别的无偏的零样本学习。

附图说明

图1是本发明方法的准全监督学习网络模型QFSL的示意图。

具体实施方式

下面对本发明的技术方案进行清晰、完整的解释和描述。

本发明提出了一种无偏嵌入零样本学习的电芯缺陷分类方法，该方法对包含电芯缺陷的图片块能够实现常见缺陷(源类别)和少见缺陷(目标类别)的分类，包括如下步骤：

步骤1，采集电芯缺陷图片数据。通过高清摄像头拍摄电芯，将其中包含缺陷的部分随机寻找中心点，切割成96×96的图像块，同时保证各类缺陷在图像块中仍能看见。将切割后的图像块标注为凹坑、单层隔离膜破损、隔离膜翻折、划伤、极耳打折、胶污、破损漏金属、气泡、碳粉条、碳粉脏污、压伤、异物、油污共13种电芯缺陷类别，其中隔离膜翻折、极耳打折、破损漏金属和异物的数据比较少，归为目标类别，其余类别归为源类别。对每一种类别的数据划分训练集和测试集，其中每一个源类别采用700张训练和300张测试，每一种目标类别采用100张训练和100张测试。

步骤2，构建QFSL模型。定义视觉嵌入子网络、视觉-语义衔接子网络、得分子网络和分类器四个模块。视觉嵌入子网络采用预训练过的GoogleNet的结构；视觉-语义衔接子网络采用2个带有ReLU激活函数的全连接层，节点数均为1024；得分子网络为130个节点的全连接层(对应源类别加上目标类别的数量乘以语义向量的长度)；分类器采用Softmax的形式。

步骤3，训练QFSL模型。模型的输入是带有类别标签的源类数据和不带类别标签的目标类数据，采用权利要求7中所述的损失函数进行优化，使用随机梯度下降算法更新模型的参数，平衡参数λ＝1，γ＝0.0005，模型学习率设为0.001，批处理的大小为64，训练过程迭代5000次后终止。

步骤4，测试电芯缺陷图片分类效果。对测试集中的图片块，输入到QFSL模型中，将概率最高的那个类别作为分类结果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种基于无偏嵌入零样本学习的电芯缺陷分类方法，包含如下步骤：

1)通过高清摄像头采集电芯缺陷图片，对缺陷区域进行取样切块，将较为常见的缺陷类别分配为带标签的源数据，将少见的缺陷类别分配为无标签的目标数据，并将数据划分为训练集和测试集；

2)构建准全监督学习网络模型QFSL，包括视觉嵌入子网络、视觉-语义衔接子网络、得分子网络和分类器四个模块；

3)使用训练集中的图像块训练QFSL模型，定义损失函数，利用随机梯度下降算法SGD对模型参数进行优化；

4)将测试集中图像块输入给QFSL模型，得到输入在源类别及目标类别上的预测概率，将概率最高的那个类别作为分类结果。

2.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的电芯缺陷包含凹坑、单层隔离膜破损、隔离膜翻折、划伤、极耳打折、胶污、破损漏金属、气泡、碳粉条、碳粉脏污、压伤、异物、油污共13种类别，其中隔离膜翻折、极耳打折、破损漏金属和异物的数据比较少，不足以训练传统的分类器，作为目标数据类别，其余的类别作为源数据类别。

3.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的视觉嵌入子网络采用在ImageNet数据集上预训练的GoogLeNet将原始图像映射到视觉嵌入空间；其中，视觉嵌入子网络的参数用W_θ表示，视觉嵌入子网络模块会与其它模块一起优化，网络的第一个全连接层的输出作为视觉嵌入。

4.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的视觉-语义衔接子网络采用了非线性函数将视觉嵌入映射到语义嵌入；由2个全连接层来实现，其中每一个全连接层后面跟了一个非线性激活函数：ReLU，视觉-语义衔接子网络的参数记为视觉-语义衔接子网络模块会与其它模块一起优化。

5.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的得分子网络由单个全连接层来实现，具体的得分函数形式如下：

其中，x和y分别为输入图片和分类标签，φ^*(y)是对于标签y人为定义的语义向量的归一化表达，得分子网络的权重是固定的，在训练阶段不参与更新，对于一张输入图片得到(S+T)个得分，S和T分别为源类别和目标类别的数量。

6.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的分类器采用Softmax的形式产生输入属于各个类别的概率，并将概率最高的那个类别作为预测结果。

7.根据权利要求1所述的一种基于无偏嵌入零样本学习的电芯缺陷分类方法，其特征在于，所述的损失包含分类损失、偏置损失和正则化损失三项，定义如下：

其中，N_s和N_t分别为源类别和目标类别在训练集中的数量，和分别为源类别和目标类别的样本，λ和γ是平衡参数；对于分类损失使用标准的交叉熵定义；对于偏置损失定义其中Y^t是目标类的集合，p_i表示预测为类i的概率，该损失项在模型预测给目标类的概率和大的时候值变小，防止目标类被映射到源类中；对于正则化损失Ω，使用l²范数来约束训练参数。