CN111476307B - 一种基于深度领域适应的锂电池表面缺陷检测方法 - Google Patents

一种基于深度领域适应的锂电池表面缺陷检测方法 Download PDF

Info

Publication number
CN111476307B
CN111476307B CN202010282872.7A CN202010282872A CN111476307B CN 111476307 B CN111476307 B CN 111476307B CN 202010282872 A CN202010282872 A CN 202010282872A CN 111476307 B CN111476307 B CN 111476307B
Authority
CN
China
Prior art keywords
domain
model
classifier
adaptation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010282872.7A
Other languages
English (en)
Other versions
CN111476307A (zh
Inventor
刘坤
焦广成
张建华
刘铁旭
陈海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010282872.7A priority Critical patent/CN111476307B/zh
Publication of CN111476307A publication Critical patent/CN111476307A/zh
Application granted granted Critical
Publication of CN111476307B publication Critical patent/CN111476307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于深度领域适应的锂电池表面缺陷检测方法，该方法在分类器中设计了一种基于最大均值差异MMD和KL散度等统计量的适应层，并在特征提取后设计了一个领域判别器用于对抗判别提取的特征来自于哪一个域。一方面两种方式互补机制能够使提取的两域公共特征更加充分，另一方面，基于统计量的适应层设计能够使目标域数据参与到分类器的训练中，从而使模型在目标域上有更好的泛化能力。模型在特征提取网络中设计了一个简单有效的多尺度特征融合策略，能够对细小缺陷有很好的识别效果。本发明拥有高效的检测效果而又缓解了深度学习对标签数据的依赖性，训练好的模型对目标域数据有更好的泛化能力。

Description

一种基于深度领域适应的锂电池表面缺陷检测方法
技术领域
本发明涉及机器视觉技术领域，具体提供一种基于深度领域适应的锂电池表面缺陷检测方法。
背景技术
目前，锂离子电池的应用越来越广泛，例如手机、笔记本、电动汽车等，形成了一个巨大的产业群。但在生产过程中产生的一些缺陷严重影响锂电池寿命和安全系数。如封边褶皱，极片划痕、露箔、颗粒、穿孔、暗斑、异物，以及表面凹痕、污迹、鼓包、喷码变形等。对于电池缺陷检测的传统方法是人工测量和判断。但电池检测结果受检测人员主观意愿、情绪、视觉疲劳等人为因素的影响，从而出现漏检，误检的情况。机器视觉的检测***可以克服人工检测的缺点，从而使检测结果标准、可量化，提高整个生产***的自动化程度；既节约了人力成本，也避免人为统计数据所带来的错误。
最近国内外众多学者将深度学习技术大量应用在锂电池的表面缺陷检测中，其中周佳禾等人(周佳禾,宫元九.利用卷积神经网络检测锂电池电极缺陷[J].电子测量技术,2019(19).)提出了一种以卷积神经网络(CNN)为核心的锂电池电极缺陷检测方法，将电池电极完整区域图像通过CNN提取的特征送入支持向量SVM机给出最终预测检测结果。该方法需要大量带有标签的训练数据，而数据的标注需要大量的人力物力成本。深度领域适应技术能够缓解深度学习模型对标签数据的依赖。深度领域适应方法是深度迁移学习的一个代表分支，其利用一个与待检测数据集相似的有标签数据集作为源域，待检测数据集作为目标域(目标域数据可以不需要标注)。
而现有的深度领域适应方法不能直接应用到锂电池的表面缺陷检测当中，识别率不理想。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，设计了一种基于深度领域适应的锂电池表面缺陷检测方法。
为实现上述目的，本发明采用的技术方案是：
一种基于深度领域适应的锂电池表面缺陷检测方法，该方法的深度领域适应模型设计包括：
特征提取器，基于卷积神经网络搭建起来的，用于对输入图像自动提取有效特征的子模块；
分类器，由全连接层构成的用于对特征准确分类的子模块；
领域判别器，由全连接层构成的用于对特征来自于源域还是目标域进行一个二类判别的子模块；
该模型在特征提取器后面接一个领域判别器并与分类器并联；在分类器中设计一个适应层，适应层引用最大均值差异(MMD)和KL散度为度量准则，计算出源域和目标域这两域特征分布的差异性，并让该差异值最小化来更新模型参数；所述源域的图像数据为不同生产线上采集的锂电池表面缺陷数据，或者不同厂家的采集***采集的缺陷图像；所述目标域是将要检测的生产线上采集的缺陷图像。
适应层引入最大均值差异(MMD)和KL散度作为统计量来计算两域特征分布的差异，适应层的自适应损失函数Lcon为式(1)：
Lcon＝MMD(S,T)+λDKL(p||q) (1)
式中，MMD(S,T)为MMD的计算公式，其中S,T分别表示源域和目标域；DKL(p||q)为KL散度的计算公式，其中p表示原有分布，q表示用来近似p的简单分布；λ为平衡系数，由式(2)计算得到：
Figure BDA0002447372760000021
式中i为当前训练的步数，N为总的训练步数。
深度领域适应模型在训练过程中，源域和目标域的数据流路径不同，总的损失函数包含三项：
Figure BDA0002447372760000023
其中α，β是平衡参数,每一项损失在反向传播中的更新规则是：
Figure BDA0002447372760000022
其中，μ表示学习率，θ表示对应模块参数，f代表特征提取器，c代表分类器，d代表领域判别器；L是交叉熵损失函数，ds，dt是源域和目标域的域标签；
在反向传播过程中，自适应损失函数Lcon更新特征提取器F和分类器适应层前的参数；对抗性损失函数
Figure BDA0002447372760000024
负责更新特征提取器F和领域判别器D的参数；分类损失函数Lc用于更新特征提取器F和整个分类器C的参数。
深度领域适应模型的特征提取器以VGG-16网络为基础，包括五组卷积运算，每组卷积运算由两个或三个卷积层、及跟在相应卷积层后的批量归一层和一个池化层组成，经过五组卷积运算后最终输出32倍下采样的512个通道的特征图；在特征提取过程中融入多尺度特征融合策略，该策略是在第三组和第四组卷积运算的输出特征图后分别加一条支路，对每条支路进行卷积操作和池化操作，加上VGG-16本身的第五组卷积运算的输出一共有三条支路，每条支路的最终输出特征图大小均为4*4，将三个支路的输出特征图进行拉伸操作，拉伸成一维向量再拼接在一起形成一个4*4*3的一维向量，该一维向量就是融合后的特征向量。VGG-16网络的所有的卷积核大小为3×3、步长为1，池化窗口大小为2*2，步长为2；第三组卷积运算后面的支路的卷积核大小为3*3，步长为2，池化窗口大小2*2，步长2；第四组后面的支路的卷积核大小3*3，步长为1，池化窗口大小2*2，步长2。
该锂电池表面缺陷检测方法的具体步骤是：
步骤1：源域和目标域数据准备：
源域数据是和目标域数据相似但不同且有共同标签空间的数据，对于源域数据是要带标注的，目标域数据不需要标注；
步骤2：深度领域适应模型的设计：
深度领域适应模型包括特征提取器、由全连接层构成的用于对特征准确分类的分类器、由全连接层构成的用于对特征来自于源域还是目标域进行一个二类判别的领域判别器，
该模型在特征提取器后面接一个领域判别器并与分类器并联；在分类器中设计一个适应层，适应层引用最大均值差异MMD和KL散度为度量准则，计算出源域和目标域这两域特征分布的差异性，并让该差异值最小化来更新模型参数；
步骤3：模型的训练：
1)将源域数据和目标域数据裁剪或缩放成统一大小，调整后的图片大小128*128，并制作成小批量n的以适应于深度领域适应模型输入的数据格式，形成数据集；
2)源域数据和目标域数据同时输入深度领域适应模型，在前向传播阶段，源域数据以小批量n送入模型，经过特征提取器后分为两支，一支进入分类器，并在适应层和分类器最后一层有输出端；另一支进入领域判别器，经领域判别器最后一层流出；
目标域数据流同样以小批量m送入模型，经过特征提取器后分两支，一支进入分类器，经适应层流出，此时不经过分类器最后一层；另一支经领域判别器流出，m＝n；
3)损失函数的计算：
源域和目标域的数据流在适应层的输出端计算自适应损失函数Lcon，源域数据流在分类器输出端计算分类交叉熵损失函数Lc，源域和目标域的数据流在领域判别器输出端计算二分类交叉熵损失函数
Figure BDA0002447372760000031
即对抗性损失函数；
4)损失函数反向传播更新参数，总的损失函数为式(7)，模型参数的更新规则为(8)；
Figure BDA0002447372760000032
Figure BDA0002447372760000041
5)重复步骤2)-4)，当整个训练数据集都参与训练一遍，模型的训练就完成一个周期，循环训练直到总的损失函数收敛，模型训练完成；
步骤4：模型训练完毕后保存，并移植到锂电池生产线上检测***的服务器中，用于生产线上的模型只需要训练好的特征提取器和分类器，适应层和领域判别器在测试阶段需要去掉；
步骤5：线上测试阶段：
线上采集的锂电池表面图像输入步骤4中移植好的用于生产线上的深度领域适应模型检测，实现锂电池表面缺陷检测识别。
锂电池表面缺陷类型为表面凹痕、污迹、表面鼓包、褶皱、极片划痕、颗粒、暗斑7种，对极片划痕、表面凹痕、表面鼓包的识别准确率不低于85％，其他缺陷的识别准确率不低于90％。
与现有技术相比，本发明的有益效果是：
本发明方法最关键的是将无监督的深度领域适应模型应用于锂电池表面缺陷检测中，拥有深度学习技术高效的检测效果而又缓解了深度学习对标签数据的依赖性，在保证识别准确性及实时性的前提下，不需要大量的带有标签的训练数据，减少了人力成本，训练好的模型对目标域数据有更好的泛化能力，其性能远远优于传统机器视觉和一般的领域适应方法。
本发明本发明的深度领域适应模型包括三个部分：以深度卷积神经网络为基础的特征提取器，以全连接层为基础的分类器和领域判别器。不同于其他深度领域模型的是，本发明中的深度领域适应模型结合了以统计量为度量准则和领域对抗判别两种特征分布对齐方式来实现领域对齐。该模型在分类器中设计一个适应层，该层引用最大均值差异(MMD)和KL散度为度量准则，计算出两域分布的差异性。并让该值最小化来更新模型参数。另一方面，该模型在特征提取器后面接一个领域判别器并与分类器并联，该判别器对输入的特征分布是来自于源域还是目标域进行一个二类判别。特征提取器以尽可能迷惑判别器结果为准来更新参数，而判别器以尽可能正确判断特征来源为准更新参数，在如此博弈中，最终收敛结果就会是经过特征提取器的特征不能够被强大的判别器判断其来源，此时的特征就是域不变的。一方面两种方式互补机制能够使提取的两域公共特征更加充分，另一方面，基于统计量的适应层设计能够使目标域数据参与到分类器的训练中，从而使模型在目标域上有更好的泛化能力。
本发明在深度领域适应模型的设计中结合了以统计量为度量准则和领域对抗判别两种特征分布对齐方式来实现领域对齐，一方面加强了两域对齐的程度，另一方面能够使目标域的数据参与到分类器的训练当中(计算MMD和KL都需要目标域数据的特征)，在目标域上的泛化能力强，提高表面缺陷的识别率。
本发明针对锂电池表面一些细小的划痕、凹痕、以及电池基片上的暗斑、颗粒等缺陷，简单的卷积神经网络是难以提取这些细小目标的有效特征的，为此，本发明中设计的深度模型在特征提取过程中融入了多尺度特征融合策略，以应对小目标缺陷难以识别的问题，加入了一个简单有效的多尺度特征融合策略，该策略能有效地整合不同尺度和感受野的特征图信息，提高基本几何特征和高级语义特征(高级语义特征为缺陷类型等宏观特征，基本几何特征为缺陷的轮廓、纹理、边缘等微细结构信息)的综合提取能力。对难以察觉的细小缺陷有很好的识别效果，避免了复杂网络结构的构建，减少了计算机的处理能力，实现轻量化，计算成本较低。
附图说明
图1为本发明公开的一种基于深度领域适应的锂电池表面缺陷检测模型图；
图2为本发明公开的多尺度特征融合策略示意图；
图3为本发明公开的一种基于深度领域适应的锂电池表面缺陷检测流程图；
附图标号：1、源域数据；2、目标域数据；3、卷积层；4、批归一层(BN)；5、池化层；6、全连接层；7、适应层；8、源域数据流；9、目标域数据流；10、融合的特征向量；11、特征提取器；12、分类器；13、领域判别器；14、第三组卷积运算输出的特征图；15、第四组卷积运算输出的特征图；16、第五组卷积运算输出的特征图；17、卷积操作；18、池化操作；19、拉伸操作。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明所涉及的一种基于深度领域适应的锂电池表面缺陷检测模型，该模型包含三个子模块：特征提取器，分类器和领域判别器。该模型是一种结合最小化统计量和对抗判别方法来实现分布对齐的一种全新域适应模型。
特征提取器是利用卷积神经网络搭建的用于提取输入样本有效特征的子模块。该特征提取器是在VGG-16的基础上发展起来的，其包含五组卷积运算。每组卷积运算由两个或三个卷积层3，批量归一层4和一个池化层5组成，所有的卷积核大小为3×3、步长为1，池化窗口大小为2*2，步长为2。
输入的原始图像被逐层计算提取特征，经过五组卷积运算后最终输出32倍下采样的512个通道的特征图。与原始VGG-16不同，本发明提出的特征提取器在卷积层之后增加了批处理规范化(BN)层，并在输出向量上应用了一种新的特征融合策略。BN是CNN中对一批数据的中间结果进行规范化的操作，可以加快训练过程，优化训练模型。如图2所示，多尺度特征融合策略针对锂电池细小缺陷设计，具体是在第三组和第四组卷积运算输出特征图后分别加一条支路，其中第三组卷积运算输出的特征图14大小为16*16，后面支路的卷积核大小为3*3，步长为2，池化窗口大小2*2，步长2；第四组卷积运算输出的特征图15大小为8*8，第四组卷积运算输出的特征图的支路经卷积操作17和池化操作18，卷积核大小3*3，步长为1，池化窗口大小2*2，步长2；加上VGG-16本身的结构一共有三条支路，每条支路的最终输出特征图大小均为4*4，将这些三个支路上的输出特征图经拉伸操作19成一维向量再拼接在一起形成一个4*4*3的一维向量，该向量就是融合后的特征向量10。
将不同尺度的特征映射转化为与最后一个特征图相同的尺寸。这些特征图被拉伸成一维向量，然后拼接成一个新的融合向量，该融合向量即为特征提取器的输出向量。再将得到的特征向量输入到领域判别器中。该策略能够整合不同尺度和感受野的特征图信息，提高基本几何特征和高级语义特征的综合提取能力。有利于对难以察觉的细小缺陷有有效识别。
本发明所设计的分类器包含一个适应层7，适应层引用最大均值差异(MMD)和KL散度为两域特征分布的差异性度量，在整个模型的优化过程中最小化该差异性度量就能够得到两域的公共特征。MMD是迁移学习，尤其是领域适应中使用最广泛(目前)的一种损失函数，主要用来度量两个不同但相关的分布的距离。KL散度是一个非对称的度量，它可以度量简单分布近似于复杂分布时丢失了多少信息。KL散度的引入能够修正MMD对两域公有特征提取不充分的问题。适应层的损失函数定义为：
Lcon＝MMD(S,T)+λDKL(p||q) (1)
式中，MMD(S,T)为MMD的计算公式，其中S,T分别表示源域和目标域。DKL(p||q)为KL散度的计算公式，其中p表示原有分布，q表示用来近似p的简单分布。λ为平衡系数，根据训练经验给出λ的公式如下：
Figure BDA0002447372760000061
式中i为当前训练的步数，N为总的训练步数。MMD和KL散度的公式分别如下：
Figure BDA0002447372760000062
式中φ(·)代表一种映射，xs表示源域样本，xt表示目标域样本。n和m是源域和目标域数据的小批量(batch size)。H表示通过将数据映射到再生的Hilbert空间(RKHS)来测量距离。
Figure BDA0002447372760000063
式中p(xj)是目标域的分布，q(xi)是源域的分布，同上，n＝m是源域和目标域数据的小批量(batch size)。
除了适应层的损失，分类器中最后一层在源域数据的有监督训练下的交叉熵损失函数如下：
Lc＝L(C(F(xs)),ys) (5)
式中L为交叉熵损失函数，F为特征提取器映射函数，C为分类器映射函数，xs表示源域样本，ys表示源域样本标签。
领域判别器的结构实际上是一个二分类器，只需要对输入的特征向量进行一个二类判别，为了简化训练步骤，用一个特征反转操作代替领域判别器和特征提取器的参数交替更新。该操作能够让对抗判别在训练时完全变成一个端到端的常规二分类问题。至此，领域判别器的损失函数如下：
Figure BDA0002447372760000077
式中L是交叉熵损失函数，xs，xt表示源域和目标域的样本，ds，dt是源域和目标域的域标签，F为特征提取器映射函数，D为领域判别器映射函数。
基于以上对三个子模块的说明，最终总的损失函数如下：
Figure BDA0002447372760000071
其中，α，β为平衡参数，用于在学习过程中调整这两个量之间的权衡。减号的出现是梯度反转操作的缘故。参数更新规则如下：
Figure BDA0002447372760000074
其中，μ是学习率，θ表示对应模块参数。在反向传播过程中，自适应损失函数Lcon可以更新特征提取器F和分类器适应层前的参数；对抗性损失函数
Figure BDA0002447372760000075
负责更新特征提取器F和领域判别器D的参数；分类损失函数Lc用于更新特征提取器F和整个分类器C的参数。方程(8)的更新可以通过随机梯度下降(SGD)来实现。
为了更好的说明训练过程和参数更新规则，在图3中给出了训练细节和整个检测流程。
步骤1：源域和目标域数据准备。源域数据是和目标域数据相似但不同且有共同标签空间的数据，一般为锂电池的不同生产厂家或生产线上采集的缺陷图片，或着不同采集***采集的缺陷图像。目标域就是将要进行缺陷检测的生产线上采集的图像。对于源域数据是要带标注的，这种标注可以是领域参与者已经完成的，通常比较好获取。
步骤2：深度领域适应模型的设计。该设计结合了两种不同的特征分布对齐方式来缩小域间差异性。提出了一种新的适应层来实现基于统计量的最小化分布方法，适应层引用最大均值差异MMD和KL散度作为统计量来计算两域的特征分布差异，KL散度是一个非对称的度量，它可以度量简单分布近似于复杂分布时丢失了多少信息。KL散度的引入能够修正MMD对两域公有特征提取不充分的问题，尤其是对锂电池表面缺陷有复杂背景干扰的情况下，本实施例中适应层引入位置为分类器中最后一层之前，且紧挨最后一层；并在卷积神经网络提取的过程中融入多尺度特征融合策略。
步骤3：模型的训练。
1)源域数据和目标域数据调整，适当裁剪或缩放成统一大小，调整后的图片大小128*128，并制作成小批量n的以适应于深度领域适应模型输入的数据格式，形成数据集。
2)源域数据和目标域数据同时输入模型，如图1所示，在前向传播阶段，源域数据以小批量n送入模型，经过特征提取器后分为两支，一支进入分类器，并在适应层(分类器适应层前的结构会得到目标域数据的训练，所以适应层越靠后，分类器对目标域的泛化能力越强)和分类器最后一层有输出端。另一支进入领域判别器，经判别器最后一层流出。目标域数据流同样以小批量m送入模型，经过特征提取器后分两支，一支进入分类器，经适应层流出(此时不经过分类器最后一层)。另一支经领域判别器流出。
3)损失函数的计算。源域和目标域的数据流在适应层的输出端计算自适应损失函数Lcon，源域数据流在分类器输出端计算分类交叉熵损失函数Lc，源域和目标域的数据流在领域判别器输出端计算二分类交叉熵损失函数
Figure BDA0002447372760000081
即对抗性损失函数。
4)损失函数反向传播更新参数。总的损失函数如式(7)所示，其模型参数的更新规则如式(8)所示。
5)重复步骤2)-4)，当整个训练数据集都参与训练一遍，模型的训练就完成一个周期，循环训练直到总的损失函数收敛，模型训练完成。
步骤4：模型训练完毕后保存，并移植到锂电池生产线上检测***的服务器中。用于生产线上的模型只需要训练好的特征提取器和分类器，适应层和领域判别器只是用来训练模型的，在测试阶段需要去掉。
步骤5：线上测试阶段。线上采集的图像输入步骤4移植的用于生产线上的模型检测，单张图像检测时间为0.2s，满足生产效率的要求。
本实施例对锂电池表面凹痕、污迹、表面鼓包、褶皱、极片划痕，颗粒、暗斑等7种缺陷图像进行了实验，其中对极片划痕、表面凹痕、表面鼓包的识别准确率分别为87.32％、85.41％、85.46％，其他缺陷的识别率均在90％以上。实验中的相关参数设置如下：输入图片大小128*128像素，训练小批量(batch size)大小为32，训练100周期，每个周期200个批量(训练小批量对应步骤2)中的n,m，也是公式3，4中的n,m。每个周期200个批量是指(源域数据集总样本数/小批量大小32＝200)。周期对应模型训练中设置的循环训练周期。公式(2)中的总的训练步数N＝(源域数据集总样本数/小批量大小32)*循环训练周期))。学习率0.0001，公式(2)中的总的训练步数N为100*200，公式(7)中的α，β分别取0.66，0.34。
训练中参数的设置是和具体数据集有关的，比如循环训练周期是根据总的损失函数的收敛程度决定的，收敛早且快，那么周期数适当小一些，反之大一些，模型训练时根据经验设置较大的循环训练周期，使其能满足在循环训练周期内实现总的损失函数达到收敛的目的。训练小批量的大小，不宜过小。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于深度领域适应的锂电池表面缺陷检测方法，该方法的深度领域适应模型设计包括：
特征提取器，基于卷积神经网络搭建起来的，用于对输入图像自动提取有效特征的子模块；
分类器，由全连接层构成的用于对特征准确分类的子模块；
领域判别器，由全连接层构成的用于对特征来自于源域还是目标域进行一个二类判别的子模块；
该模型在特征提取器后面接一个领域判别器并与分类器并联；在分类器中设计一个适应层，适应层引用最大均值差异MMD和KL散度为度量准则，计算出源域和目标域这两域特征分布的差异性，并让该差异值最小化来更新模型参数；所述源域的图像数据为不同生产线上采集的锂电池表面缺陷图像，或者不同厂家的采集***采集的缺陷图像；所述目标域是将要检测的生产线上采集的缺陷图像；
适应层引入最大均值差异MMD和KL散度作为统计量来计算两域特征分布的差异，适应层的自适应损失函数Lcon为式(1)：
Lcon＝MMD(S,T)+λDKL(p||q) (1)
式中，MMD(S,T)为MMD的计算公式，其中S,T分别表示源域和目标域；DKL(p||q)为KL散度的计算公式，其中p表示原有分布，q表示用来近似p的简单分布；λ为平衡系数，由式(2)计算得到：
Figure FDA0004156608870000011
式中i为当前训练的步数，N为总的训练步数。
2.根据权利要求1所述的锂电池表面缺陷检测方法，其特征在于，深度领域适应模型在训练过程中，源域和目标域的数据流路径不同，总的损失函数包含三项：
Figure FDA0004156608870000012
其中α，β是平衡参数,每一项损失在反向传播中的更新规则是：
Figure FDA0004156608870000021
其中，μ表示学习率，θ表示对应模块参数，f代表特征提取器，c代表分类器，d代表领域判别器；L是交叉熵损失函数，ds，dt是源域和目标域的域标签；
在反向传播过程中，自适应损失函数Lcon更新特征提取器F和分类器适应层前的参数；对抗性损失函数
Figure FDA0004156608870000022
负责更新特征提取器F和领域判别器D的参数；分类损失函数Lc用于更新特征提取器F和整个分类器C的参数。
3.根据权利要求1所述的锂电池表面缺陷检测方法，其特征在于，特征提取器以VGG-16网络为基础，包括五组卷积运算，每组卷积运算由两个或三个卷积层、及跟在相应卷积层后的批量归一层和一个池化层组成，经过五组卷积运算后最终输出32倍下采样的512个通道的特征图；在特征提取过程中融入多尺度特征融合策略，该策略是在第三组和第四组卷积运算的输出特征图后分别加一条支路，对每条支路进行卷积操作和池化操作，加上VGG-16本身的第五组卷积运算的输出一共有三条支路，每条支路的最终输出特征图大小均为4*4，将三个支路的输出特征图进行拉伸操作，拉伸成一维向量再拼接在一起形成一个4*4*3的一维向量，该一维向量就是融合后的特征向量。
4.根据权利要求3所述的锂电池表面缺陷检测方法，其特征在于，VGG-16网络的所有的卷积核大小为3×3、步长为1，池化窗口大小为2*2，步长为2；第三组卷积运算后面的支路的卷积核大小为3*3，步长为2，池化窗口大小2*2，步长2；第四组后面的支路的卷积核大小3*3，步长为1，池化窗口大小2*2，步长2。
5.根据权利要求1-4任一所述的锂电池表面缺陷检测方法，其特征在于，该方法的具体步骤是：
步骤1：源域和目标域数据准备：
源域数据是和目标域数据相似但不同且有共同标签空间的数据，对于源域数据是要带标注的，目标域数据不需要标注；
步骤2：深度域适应模型的设计：
深度域适应模型包括特征提取器、由全连接层构成的用于对特征准确分类的分类器、由全连接层构成的用于对特征来自于源域还是目标域进行一个二类判别的领域判别器，
该模型在特征提取器后面接一个领域判别器并与分类器并联；在分类器中设计一个适应层，适应层引用最大均值差异MMD和KL散度为度量准则，计算出源域和目标域这两域特征分布的差异性，并让该差异值最小化来更新模型参数；
步骤3：模型的训练：
1)将源域数据和目标域数据裁剪或缩放成统一大小，调整后的图片大小128*128，并制作成小批量n的以适应于深度域适应模型输入的数据格式，形成数据集；
2)源域数据和目标域数据同时输入深度域适应模型，在前向传播阶段，源域数据以小批量n送入模型，经过特征提取器后分为两支，一支进入分类器，并在适应层和分类器最后一层有输出端；另一支进入领域判别器，经领域判别器最后一层流出；
目标域数据流同样以小批量m送入模型，经过特征提取器后分两支，一支进入分类器，经适应层流出，此时不经过分类器最后一层；另一支经领域判别器流出，m＝n；
3)损失函数的计算：
源域和目标域的数据流在适应层的输出端计算自适应损失函数Lcon，源域数据流在分类器输出端计算分类交叉熵损失函数Lc，源域和目标域的数据流在领域判别器输出端计算二分类交叉熵损失函数
Figure FDA0004156608870000031
即对抗性损失函数；
4)损失函数反向传播更新参数，总的损失函数为式(7)，模型参数的更新规则为(8)；
Figure FDA0004156608870000032
Figure FDA0004156608870000033
5)重复步骤2)-4)，当整个训练数据集都参与训练一遍，模型的训练就完成一个周期，
循环训练直到总的损失函数收敛，模型训练完成；
步骤4：模型训练完毕后保存，并移植到锂电池生产线上检测***的服务器中，用于生产线上的模型只需要训练好的特征提取器和分类器，适应层和领域判别器在测试阶段需要去掉；
步骤5：线上测试阶段：
线上采集的锂电池表面图像输入步骤4中移植好的用于生产线上的深度域适应模型检测，实现锂电池表面缺陷检测识别。
6.根据权利要求5所述的锂电池表面缺陷检测方法，其特征在于，锂电池表面缺陷类型为表面凹痕、污迹、表面鼓包、褶皱、极片划痕、颗粒、暗斑7种，对极片划痕、表面凹痕、表面鼓包的识别准确率不低于85％，其他缺陷的识别准确率不低于90％。
CN202010282872.7A 2020-04-13 2020-04-13 一种基于深度领域适应的锂电池表面缺陷检测方法 Active CN111476307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282872.7A CN111476307B (zh) 2020-04-13 2020-04-13 一种基于深度领域适应的锂电池表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282872.7A CN111476307B (zh) 2020-04-13 2020-04-13 一种基于深度领域适应的锂电池表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111476307A CN111476307A (zh) 2020-07-31
CN111476307B true CN111476307B (zh) 2023-06-20

Family

ID=71751564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282872.7A Active CN111476307B (zh) 2020-04-13 2020-04-13 一种基于深度领域适应的锂电池表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111476307B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232293B (zh) * 2020-11-09 2022-08-26 腾讯科技（深圳）有限公司 图像处理模型训练、图像处理方法及相关设备
CN112434602B (zh) * 2020-11-23 2023-08-29 西安交通大学 一种基于可迁移共特征空间挖掘的故障诊断方法
CN112540298B (zh) * 2020-12-26 2022-05-10 福州大学 一种基于深度-迁移学习的锂离子电池soc估计方法
CN112967245B (zh) * 2021-03-01 2022-11-08 创新奇智(青岛)科技有限公司 电池检测方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN110111297A (zh) * 2019-03-15 2019-08-09 浙江大学 一种基于迁移学习的注塑制品表面图像缺陷识别方法
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110348579A (zh) * 2019-05-28 2019-10-18 北京理工大学 一种领域自适应迁移特征方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224854A1 (de) * 2015-12-10 2017-06-14 Siemens Aktiengesellschaft Verfahren zur Erstellung einer Tiefenkarte

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN110111297A (zh) * 2019-03-15 2019-08-09 浙江大学 一种基于迁移学习的注塑制品表面图像缺陷识别方法
CN110348579A (zh) * 2019-05-28 2019-10-18 北京理工大学 一种领域自适应迁移特征方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yaroslav Ganin.etc."Domain-Adversarial Training of Neural Networks".《The journal of machine learning research》.2016,全文. *
刘坤 ; 张晓怿 ; 陈宁纪 ; 苏秀苹 ; .融合深度信息的雾霾情况下显著性目标提取.河北工业大学学报.2015,(第02期),全文. *

Also Published As

Publication number Publication date
CN111476307A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476307B (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN108875602A (zh) 监控环境下基于深度学习的人脸识别方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和***
CN112115993B (zh) 一种基于元学习的零样本和小样本证件照异常检测方法
CN105469111B (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN109858428B (zh) 基于机器学习和深度学习的ana荧光片自动识别方法
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
Tian et al. CASDD: Automatic surface defect detection using a complementary adversarial network
CN115631186B (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN105303169A (zh) 一种基于慢特征的细胞***识别方法及其识别装置
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN117434082A (zh) 用于硅胶制品生产线的质量检测方法及其***
CN116468935A (zh) 一种基于多核卷积网络的交通标志阶梯式分类识别方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、***、装置及介质
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN112396580A (zh) 一种圆形零件缺陷检测方法
CN116520154A (zh) 锂电池极片检测的性能评估方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant