CN117094986B - 基于小样本的自适应缺陷检测方法及终端设备 - Google Patents

基于小样本的自适应缺陷检测方法及终端设备 Download PDF

Info

Publication number
CN117094986B
CN117094986B CN202311324323.1A CN202311324323A CN117094986B CN 117094986 B CN117094986 B CN 117094986B CN 202311324323 A CN202311324323 A CN 202311324323A CN 117094986 B CN117094986 B CN 117094986B
Authority
CN
China
Prior art keywords
defect
image
mask
level
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311324323.1A
Other languages
English (en)
Other versions
CN117094986A (zh
Inventor
周凡
刘海亮
林格
陈小燕
苏卓
汤武惊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Shenzhen Research Institute of Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202311324323.1A priority Critical patent/CN117094986B/zh
Publication of CN117094986A publication Critical patent/CN117094986A/zh
Application granted granted Critical
Publication of CN117094986B publication Critical patent/CN117094986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于缺陷检测技术领域，提供了一种基于小样本的自适应缺陷检测方法及终端设备，方法包括：为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的正常电池图像确定为掩码图像，并记录每张掩码图像中的掩码区域的位置信息和尺寸信息；通过训练好的缺陷图像生成模型分别对各张掩码图像进行处理，得到各张掩码图像分别对应的预测缺陷图像；基于所有预测缺陷图像以及对应的掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过第一训练集对缺陷检测模型进行训练；通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测，能够提高小样本情况下缺陷检测模型的缺陷检测准确度。

Description

基于小样本的自适应缺陷检测方法及终端设备
技术领域
本申请属于缺陷检测技术领域，尤其涉及一种基于小样本的自适应缺陷检测方法及终端设备。
背景技术
随着工业制造技术的不断提高以及人们对电子产品的需求的不断增大，电池的生产数量急剧增加。在电池生产过程中，难免会产生一些具有缺陷（例如表面存在凸起）的缺陷电池，不仅会影响电池的外观，而且带来安全隐患。
基于此，在电池生产出来之后，通常需要对电池进行缺陷检测。相关技术通常是采用基于深度学习算法的目标检测模型对电池图像进行缺陷检测，而目标检测模型的训练通常需要大量的缺陷电池样本图像，但实际生产过程中产生的缺陷电池相对较少，导致没有足够的缺陷电池样本图像对目标检测模型进行训练，这样会使目标检测模型的泛化能力不足，从而降低了目标检测模型的缺陷检测准确度，也就是说，在小样本情况下，基于深度学习算法的目标检测模型的缺陷检测准确度较低。
发明内容
有鉴于此，本申请实施例提供一种基于小样本的自适应缺陷检测方法及终端设备，用于解决小样本情况下，基于深度学习算法的目标检测模型的缺陷检测准确度较低的技术问题。
第一方面，本申请实施例提供一种基于小样本的自适应缺陷检测方法，包括：
为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的所述正常电池图像确定为掩码图像，并记录每张所述掩码图像中的掩码区域的位置信息和尺寸信息；
通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，得到各张所述掩码图像分别对应的预测缺陷图像；所述缺陷图像生成模型包括n个级联的缺陷预测网络；每一级所述缺陷预测网络均包括一个缺陷判别模块和一个缺陷生成模块；每一级缺陷预测网络中的缺陷判别模块用于对上一级缺陷预测网络输出的上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；每一级缺陷预测网络中的缺陷生成模块用于基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向下一级缺陷预测网络发送所述本级预测缺陷图像；
基于所有所述掩码图像对应的预测缺陷图像以及所有所述掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过所述第一训练集对缺陷检测模型进行训练；
通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测。
在第一方面的一种可选的实现方式中，所述缺陷判别结果包括：所述上一级预测缺陷图像中的掩码区域不是缺陷区域，以及所述上一级预测缺陷图像中的掩码区域是缺陷区域；对应地，所述通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，包括：
在第i级缺陷预测网络中，通过所述第i级缺陷预测网络中的缺陷判别模块对上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向所述第i级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；其中，第1级缺陷预测网络对应的上一级预测缺陷图像为所述掩码图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向第i+1级缺陷预测网络输出所述本级预测缺陷图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块直接将所述上一级预测缺陷图像输出至所述缺陷图像生成模型的输出端，作为所述掩码图像对应的预测缺陷图像。
在第一方面的一种可选的实现方式中，所述通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，包括：
所述第i级缺陷预测网络中的缺陷生成模块随机生成一个尺寸与所述掩码区域的尺寸相同的噪声图像；
所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像、所述梯度信息以及所述噪声图像，采用以下公式生成本级预测缺陷图像：
；
其中，X i为所述本级预测缺陷图像，z i为所述第i级缺陷预测网络对应的噪声系数，X i-1为所述上一级预测缺陷图像，G i为所述噪声图像，T i-1为所述上一级预测缺陷图像中掩码区域的梯度信息；1>z 1>z 2>z 3>……>z n-1>z n>0。
在第一方面的一种可选的实现方式中，在所述通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理之前，还包括：
基于缺陷样本图像集和所述正常样本图像集制作第二训练集；
通过所述第二训练集训练预设二分类器，并将训练完成的所述二分类器与梯度信息提取单元的组合确定为所述缺陷判别模块。
在第一方面的一种可选的实现方式中，所述基于缺陷样本图像集和所述正常样本图像集制作第二训练集，包括：
从所述缺陷样本图像集的每张缺陷电池图像中裁剪出缺陷区域，将裁剪出的所述缺陷区域分别确定为相应缺陷电池图像对应的局部缺陷图像；
从所述正常样本图像集的多张正常电池图像中裁剪出多张局部正常图像，每张所述局部正常图像对应一张所述局部缺陷图像，每张所述局部正常图像的尺寸与对应的所述局部缺陷图像的尺寸相同；
将裁剪出的所述局部缺陷图像和所述局部正常图像分别作为第二训练集的正样本集和负样本集，得到所述第二训练集。
在第一方面的一种可选的实现方式中，所述为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，包括：
在预设存储区域存储有预设信息列表的情况下，基于所述预设信息列表中各个目标区域的位置信息和尺寸信息，分别为各张正常电池图像添加掩码区域；
在所述预设存储区域未存储所述预设信息列表的情况下，分别为各张所述正常电池图像随机添加掩码区域。
在第一方面的一种可选的实现方式中，所述掩码区域用于遮盖所述正常电池图像中的目标区域；所述为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，包括：
将所述正常电池图像中目标区域的所有像素的像素值均修改为0。
第二方面，本申请实施例提供一种终端设备，包括：
掩码生成单元，用于为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的所述正常电池图像确定为掩码图像，并记录每张所述掩码图像中的掩码区域的位置信息和尺寸信息；
缺陷生成单元，用于通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，得到各张所述掩码图像分别对应的预测缺陷图像；所述缺陷图像生成模型包括n个级联的缺陷预测网络；每一级所述缺陷预测网络均包括一个缺陷判别模块和一个缺陷生成模块；每一级缺陷预测网络中的缺陷判别模块用于对上一级缺陷预测网络输出的上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；每一级缺陷预测网络中的缺陷生成模块用于基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向下一级缺陷预测网络发送所述本级预测缺陷图像；
第一训练单元，用于基于所有所述掩码图像对应的预测缺陷图像以及所有所述掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过所述第一训练集对缺陷检测模型进行训练；
缺陷检测单元，用于通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测。
第三方面，本申请实施例提供另一种终端设备，包括存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一可选实现方式所述的基于小样本的自适应缺陷检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一可选实现方式所述的基于小样本的自适应缺陷检测方法。
实施本申请实施例提供的基于小样本的自适应缺陷检测方法、终端设备及计算机可读存储介质具有以下有益效果：
本申请实施例提供的基于小样本的自适应缺陷检测方法，通过构建并训练缺陷图像生成模型，通过缺陷图像生成模型来生成大量用于训练缺陷检测模型的预测缺陷图像，使得在真实的缺陷电池样本图像不足的情况下，缺陷检测模型也能够具有充足的训练样本，从而提高了缺陷检测模型的缺陷检测准确度。
此外，生成预测缺陷图像的过程相当于是通过缺陷图像生成模型对掩码图像的掩码区域进行去燥的过程，由于缺陷图像生成模型中设置有多个级联的缺陷预测网络，且每一级缺陷预测网络中均设置有用于引导缺陷生成模块生成预测缺陷图像的缺陷判别模块，且缺陷判别模块是基于真实的缺陷样本图像集训练得到的，因此，在逐级缺陷判别模块输出的缺陷判别结果以及梯度信息的引导下，缺陷图像生成模型可以快速且高效地生成高质量的预测缺陷图像，如此使得缺陷检测模型的训练样本的数量和质量均得到了提高，从而进一步提高了缺陷检测模型的缺陷检测准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于小样本的自适应缺陷检测方法的示意性流程图；
图2为本申请实施例提供的一种掩码图像的生成过程示意图；
图3为本申请实施例提供的一种缺陷图像生成模型的示意性结构图；
图4为本申请实施例提供的另一种基于小样本的自适应缺陷检测方法的示意性流程图；
图5为本申请实施例提供的一种基于小样本的自适应缺陷检测方法中S41的具体实现流程图；
图6为本申请实施例提供的一种第二训练集的制作过程示意图；
图7为本申请实施例提供的一种终端设备的结构示意图；
图8为本申请另一实施例提供的一种终端设备的结构示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
需要说明的是，除非另有规定，本申请实施例使用的所有技术术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请实施例使用的技术术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
在本申请实施例的描述中，技术术语“包括”、“包含”、“具有”及它们的任意变形等都意味着“包括但不限于”，除非是以其他方式另外特别强调。在本申请实施例的描述中，除非另有说明，技术术语“多个”是指两个或多于两个，技术术语“至少一个”、“一个或多个”是指一个、两个或两个以上。技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。技术术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例的描述中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
随着工业制造技术的不断提高以及人们对电子产品的需求的不断增大，电池的生产数量急剧增加。在电池生产过程中，难免会产生一些具有缺陷（例如表面存在凸起）的缺陷电池，不仅会影响电池的外观，而且带来安全隐患。
基于此，在电池生产出来之后，通常需要对电池进行缺陷检测。相关技术通常是采用基于深度学习算法的目标检测模型对电池图像进行缺陷检测，而目标检测模型的训练通常需要大量的缺陷电池样本图像，但实际生产过程中产生的缺陷电池相对较少，导致没有足够的缺陷电池样本图像对目标检测模型进行训练，这样会使目标检测模型的泛化能力不足，从而降低目标检测模型的缺陷检测准确度，也就是说，在小样本情况下，基于深度学习算法的目标检测模型的缺陷检测准确度较低。
此外，用于训练目标检测模型的缺陷电池样本图像通常是由人工进行标注的，而电池上一些细小的缺陷很难通过人眼识别出来，如此不仅耗费人力，而且标注出的缺陷部分不一定准确，从而会影响目标检测模型的缺陷检测准确度。
有鉴于此，本申请实施例提供一种基于小样本的自适应缺陷检测方法，通过构建并训练缺陷图像生成模型，通过缺陷图像生成模型来生成大量用于训练缺陷检测模型的预测缺陷图像，使得在真实的缺陷电池样本图像不足的情况下，缺陷检测模型也能够具有充足的训练样本，从而提高了缺陷检测模型的缺陷检测准确度。此外，生成预测缺陷图像的过程相当于是通过缺陷图像生成模型对掩码图像的掩码区域进行去燥的过程，由于缺陷图像生成模型中设置有多个级联的缺陷预测网络，且每一级缺陷预测网络中均设置有用于引导缺陷生成模块生成预测缺陷图像的缺陷判别模块，且缺陷判别模块是基于真实的缺陷样本图像集训练得到的，因此，在逐级缺陷判别模块输出的缺陷判别结果以及梯度信息的引导下，缺陷图像生成模型可以快速且高效地生成高质量的预测缺陷图像，如此使得缺陷检测模型的训练样本的数量和质量均得到了提高，从而进一步提高了缺陷检测模型的缺陷检测准确度。
本申请实施例提供的基于小样本的自适应缺陷检测方法的执行主体为终端设备。终端设备可以包括但不限于计算机终端或者移动通信终端，例如个人电脑、手机或平板电脑等。在具体应用中，可以通过对终端设备配置目标脚本文件，由该目标脚本文件描述本申请实施例提供的基于小样本的自适应缺陷检测方法，令终端设备在需要进行缺陷检测时执行该目标脚本文件，进而执行本申请实施例提供的基于小样本的自适应缺陷检测方法中的各个步骤。
请参阅图1，为本申请实施例提供的一种基于小样本的自适应缺陷检测方法的示意性流程图。如图1所示，该基于小样本的自适应缺陷检测方法可以包括S11~S14，详述如下：
S11，为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的正常电池图像确定为掩码图像，并记录每张掩码图像中的掩码区域的位置信息和尺寸信息。
其中，正常样本图像集可以包括多张正常电池图像。正常电池图像是对表面不存在缺陷的正常电池进行拍摄得到的可见光图像。
掩码区域用于对正常电池图像的目标区域进行遮盖。正常电池图像中被掩码区域遮盖的目标区域即为要生成电池缺陷的区域。电池缺陷例如可以包括表面凸起、表面凹坑和/或表面裂纹等，此处对电池缺陷的类型不做限定。
在一个可选的实现方式中，目标区域的位置和尺寸可以是电子设备随机确定的。该实现方式中，由于随机确定目标区域具有较大的不确定性，因此可以增加最终生成的缺陷电池图像的多样性，从而能够使缺陷检测模型的训练样本更加丰富，进而可以提高训练完成的缺陷检测模型的缺陷识别准确度。
在另一种可选的实现方式中，目标区域的位置和尺寸可以是电子设备根据用户需求确定的。示例性的，当用户想让电子设备生成一些在指定区域内有电池缺陷的缺陷电池图像时，用户可以向终端设备输入目标区域的位置信息和尺寸信息。其中，位置信息可以通过目标区域的中心点在预设坐标系中的坐标表示。预设坐标系例如可以是以正常电池图像的中心点为原点，以相交于该原点的任意两条垂直的射线分别为x轴和y轴建立的平面直角坐标系。尺寸信息可以通过目标区域的长和宽表示。该实现方式中，由于目标区域的位置和尺寸可以由用户自行设置，因此能够提高最终生成的缺陷电池图像中缺陷区域的位置和尺寸的可控性，如此能够根据实际的生产场景，生成适用于不同生产场景的缺陷电池图像，进而扩大了自适应缺陷检测方法的适用范围。
基于此，电子设备在为各个正常电池图像添加掩码区域时，可以先确定预设存储区域是否存储有预设信息列表。其中，预设信息列表用于记录用户预先输入的各个目标区域的位置信息和尺寸信息。预设存储区域可以根据实际需求设置，此处对其不做特别限定。
可选的，在预设存储区域存储有预设信息列表的情况下，电子设备可以从预设存储区域中获取该预设信息列表，并基于预设信息列表中各个目标区域的位置信息和尺寸信息，为各个正常电池图像添加掩码区域。
可选的，在预设存储区域未存储预设信息列表的情况下，电子设备可以为各个正常电池图像随机添加掩码区域。
在一个具体的实现方式中，为正常电池图像添加掩码区域具体可以包括：将正常电池图像中目标区域的所有像素的像素值均修改为0。
由于某个像素的像素值为0时，该像素会呈现出黑色，因此，将目标区域的所有像素的像素值均修改为0，相当于通过黑色掩码对该目标区域进行了遮盖，即，修改了像素值之后的目标区域可以看作是为正常电池图像添加的掩码区域。为了便于描述，以下将添加了掩码区域的正常电池图像称为掩码图像。
示例性的，请参阅图2，为本申请实施例提供的一种掩码图像的生成过程示意图。如图2所示，通过为正常样本图像集中的每张正常电池图像21分别添加一个掩码区域，可以得到多张分别与正常电池图像21对应的掩码图像22。
可以理解的是，在电子设备为各张正常电池图像随机添加掩码区域的情况下，电子设备可以在得到各张正常电池图像分别对应的掩码图像后，记录掩码图像中的掩码区域的位置信息和尺寸信息。其中，掩码图像中的掩码区域的位置信息即为正常电池图像中的目标区域的位置信息；掩码图像中的掩码区域的尺寸信息即为正常电池图像中的目标区域的尺寸信息。
在一个具体的实现方式中，终端设备记录掩码图像中的掩码区域的位置信息和尺寸信息，可以包括：将掩码图像中的掩码区域的位置信息和尺寸信息与该掩码图像进行关联存储。
本申请实施例通过预先对掩码区域（即待生成电池缺陷的目标区域）的位置信息和尺寸信息进行记录，可以节省后续对预测出的缺陷电池图像中的缺陷区域进行人工标注的步骤，从而节省人工成本。
S12，通过训练好的缺陷图像生成模型分别对各张掩码图像进行处理，得到各张掩码图像分别对应的预测缺陷图像。
本申请实施例中，通过训练好的缺陷图像生成模型对掩码图像进行处理的目的是为了对掩码图像中的掩码区域进行缺陷预测，从而将掩码图像中的掩码区域处理为包含电池缺陷的缺陷区域，且保持掩码图像中的非掩码区域不变。即，每张预测缺陷图像相对于对应的掩码图像而言，图像中的非掩码区域保持不变，图像中的掩码区域变为了包含电池缺陷的缺陷区域。也就是说，预测缺陷图像是通过对掩码图像中的掩码区域进行缺陷预测而得到的缺陷电池图像。
可以理解的是，为了区分真实的缺陷电池图像与通过缺陷图像生成模型生成的缺陷电池图像，本申请实施例将通过缺陷图像生成模型生成的缺陷电池图像定义为预测缺陷图像。其中，真实的缺陷电池图像指对实际生产过程中产生的表面存在缺陷的缺陷电池进行拍摄得到的可见光图像。
请参阅图3，为本申请实施例提供的一种缺陷图像生成模型的示意性结构图。如图3所示，该缺陷图像生成模型可以包括n个级联的缺陷预测网络31。其中，n为大于1的整数。每个缺陷预测网络31均可以包括缺陷判别模块310和缺陷生成模块320。其中，每一级缺陷预测网络31中的缺陷判别模块310的输入端与本级缺陷预测网络31中的缺陷生成模块320的第一输入端共接，并作为本级缺陷预测网络31的输入端；每一级缺陷预测网络31中的缺陷判别模块310的输出端与本级缺陷预测网络31中的缺陷生成模块320的第二输入端连接；每一级缺陷预测网络31中的缺陷生成模块320的输出端作为本级缺陷预测网络31中的输出端，并与下一级缺陷预测网络31的输入端连接；第一级缺陷预测网络31的输入端作为缺陷图像生成模型的输入端；任意一级缺陷预测网络31的输出端均可以作为陷图像生成模型的输出端。
每一级缺陷预测网络31均可以预先配置有一个噪声系数。例如，第i级缺陷预测网络31的噪声系数可以为z i，1≤i≤n，且1>z 1>z 2>z 3>……>z n-1>z n>0。其中，z 1为最靠近缺陷图像生成模型的输入端的缺陷预测网络31对应的噪声系数，z n为最靠近缺陷图像生成模型的输入端的缺陷预测网络31对应的噪声系数。
在具体应用中，每一级缺陷预测网络31对应的噪声系数z i的初始值可以是由用户预先设置的，每一级缺陷预测网络31对应的噪声系数z i的最终值可以是缺陷图像生成模型在训练过程中学习得到的。其中，噪声系数z i的最终值指缺陷图像生成模型训练完成后各级缺陷预测网络31对应的噪声系数z i的值。
每一级缺陷预测网络31中的缺陷判别模块310可以用于引导本级缺陷预测网络31中的缺陷生成模块320生成本级缺陷预测网络31对应的预测缺陷图像。
示例性的，缺陷判别模块310可以是基于真实的缺陷样本图像集训练得到的。缺陷样本图像集多张已被标注缺陷区域的缺陷电池图像。缺陷电池图像是对表面存在缺陷的缺陷电池进行拍摄得到的可见光图像。关于缺陷判别模块310的具体训练过程将在下一个实施例中进行详细说明，此处暂不详述。
可以理解的是，为了便于描述，以下将上一级级缺陷预测网络31输出的预测缺陷图像称为上一级预测缺陷图像，将本级缺陷预测网络31生成的预测缺陷图像称为本级预测缺陷图像，将缺陷图像生成模型最终输出的预测缺陷图像称为输入端的掩码图像对应的预测缺陷图像。对于第1级缺陷预测网络31而言，其对应的上一级预测缺陷图像即为缺陷图像生成模型的输入端的掩码图像。
具体地，每一级缺陷预测网络31中的缺陷判别模块310可以用于对接收到的上一级预测缺陷图像中的掩码区域进行进行缺陷判别，并提取上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络31中的缺陷生成模块320发送缺陷判别结果以及上述梯度信息。
其中，缺陷判别结果可以包括：上一级预测缺陷图像中的掩码区域不是缺陷区域，以及上一级预测缺陷图像中的掩码区域是缺陷区域。
掩码区域的梯度信息可以通过尺寸与掩码区域的尺寸相同的梯度图像表示。梯度图像可以是基于现有的梯度特征提取网络对掩码区域进行处理得到的。梯度特征提取网络例如可以为基于索贝尔（sobel）算子的梯度特征提取网络。
在一种可选的实现方式中，在上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，本级缺陷预测网络31中的缺陷生成模块320可以基于上一级预测缺陷图像、上一级预测缺陷图像中掩码区域的梯度信息以及本级缺陷预测网络31对应的噪声系数，生成本级预测缺陷图像，且将本级预测缺陷图像输出至下一级缺陷生成模块320中。
在另一种可选的实现方式中，在上一级预测缺陷图像中的掩码区域是缺陷区域的情况下，本级缺陷预测网络31中的缺陷生成模块320可以用于直接将上一级预测缺陷图像输出至缺陷图像生成模型的输出端，作为掩码图像对应的预测缺陷图像端。该实现方式中，在任意一级缺陷预测网络中的缺陷判别模块310判别出上一级预测缺陷图像中的掩码区域是缺陷区域时，证明缺陷图像生成模型此时已经生成较为真实的预测缺陷图像，因此，通过将上一级预测缺陷图像直接输出至缺陷图像生成模型的输出端，既保证了生成的预测缺陷图像的真实性，可以提高缺陷图像生成模型的预测缺陷图像生成效率。
在一个具体的实现方式中，在上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，本级缺陷预测网络31中的缺陷生成模块320可以先随机生成一个尺寸与掩码区域的尺寸相同的噪声图像；再基于上一级预测缺陷图像、上一级预测缺陷图像中掩码区域的梯度信息、本级缺陷预测网络31对应的噪声系数以及本级缺陷预测网络31中的缺陷生成模块320生成的上述噪声图像，采用如下公式生成本级预测缺陷图像：
；
其中，X i为本级预测缺陷图像，z i为本级缺陷预测网络31对应的噪声系数，X i-1为上一级预测缺陷图像，G i为随机生成的噪声图像，T i-1为上一级预测缺陷图像中掩码区域的梯度信息。
通过上述公式可以看出，每一级缺陷缺陷预测网络31中的缺陷生成模块320在基于上一级预测缺陷图像生成本级缺陷预测图像时，会在上一级预测缺陷图像的基础上，减去一个随机生成的噪声图像，并叠加一次上一级预测缺陷图像中掩码区域的梯度信息，如此能够进一步增强所预测的缺陷的边缘信息，加快缺陷图像生成模型生成预测缺陷图像的速度。
在一个具体的实现方式中，G i可以是电子设备从多元标准正态分布中采样得到的高斯噪声图像。
本实施例中，生成预测缺陷图像的过程相当于通过缺陷图像生成模型对掩码图像的掩码区域进行去燥的过程，由于缺陷图像生成模型中设置有多个级联的缺陷预测网络，且每一级缺陷预测网络中均设置有用于引导缺陷生成模块生成预测缺陷图像的缺陷判别模块，且缺陷判别模块是基于真实的缺陷样本图像集训练得到的，因此，在每一级缺陷判别模块输出的缺陷判别结果以及梯度信息的引导下，缺陷图像生成模型能够快速且高效地生成高质量的预测缺陷图像。
S13，基于所有掩码图像对应的预测缺陷图像以及所有掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过第一训练集对缺陷检测模型进行训练。
在一个具体的实现方式中，基于所有掩码图像对应的预测缺陷图像以及所有掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，可以包括：
将各张掩码图像对应的预测缺陷图像分别与对应掩码图像中的掩码区域的位置信息和尺寸信息建立关联关系，将每一组具有关联关系的预测缺陷图像与掩码区域的位置信息和尺寸信息分别作为第一训练集的一条训练数据，得到第一训练集。
本申请实施例中，缺陷检测模型可以包括目标检测网络。
示例性的，目标检测网络可以为YOLOv5（you only look once version 5）网络。需要说明的是，关于YOLOv5网络的具体结构以及工作原理等可以参考现有技术中的相关描述，此处不对其进行详述。
缺陷检测模型具体可以用于检测待检测电池图像中是否包含电池缺陷，以及在待检测电池图像中包含电池缺陷的情况下，对电池缺陷所在的缺陷区域进行定位，并输出电池缺陷所在的缺陷区域的位置信息和尺寸信息。
在通过第一训练集对缺陷检测模型进行训练时，可以将第一训练集的每条训练数据中的预测缺陷图像作为缺陷检测模型的输入，将与该条训练数据中的预测缺陷图像具有关联关系的掩码区域的位置信息和尺寸信息作为缺陷检测模型的输出，对缺陷检测模型进行训练，从而使缺陷检测模型能够在训练过程中学习到其内部各个参数（例如每一级缺陷预测网络31对应的噪声系数z i）的值。
S14，通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测。
本申请实施例中，在通过第一训练集对缺陷检测模型进行训练之后，可以将训练好的缺陷检测模型应用于实际电池缺陷检测场景中。
例如，当需要对实际生产过程中的待检测电池图像进行缺陷检测时，可以将待检测电池图像输入至训练好的缺陷检测模型中，训练好的缺陷检测模型便可以输出待检测电池图像中是否包含电池缺陷的缺陷检测结果；且在待检测电池图像中包含电池缺陷的情况下，训练好的缺陷检测模型还可以输出电池缺陷所在的缺陷区域的位置信息和尺寸信息，从而能够实现对电池缺陷的检测。
请参阅图4，为本申请另一实施例提供的一种基于小样本的自适应缺陷检测方法的示意性流程图。与图1对应的实施例相比，本实施例提供的基于小样本的自适应缺陷检测方法，在S12之前，还可以包括S41，详述如下：
S41，基于缺陷样本图像集和正常样本图像集制作第二训练集。
需要说明的是，关于缺陷样本图像集和正常样本图像集的具体说明可以参考前述实施例中的相关描述，此处不对其进行赘述。
本申请实施例中，第二训练集可以包括多张局部缺陷图像和多张局部正常图像。其中，局部缺陷图像可以是从缺陷样本图像集中得到的，局部正常图像可以是从正常样本图像集中得到的。基于此，在一个具体的实现方式中，S41可以包括如图5所示的S411~S413，详述如下：
S411，从缺陷样本图像集的每张缺陷电池图像中裁剪出缺陷区域，将裁剪出的缺陷区域分别确定为相应缺陷电池图像对应的局部缺陷图像。
可以理解的是，由于每张缺陷电池图像的缺陷区域已被预先标注，因此，终端设备可以直接从每张缺陷电池图像中将被标注的缺陷区域裁剪出来，并将裁剪出的缺陷区域确定为相应缺陷电池图像对应的局部缺陷图像。即，每张局部缺陷图像属于对应的缺陷电池图像的一部分。
可以理解的是，由于不同缺陷电池图像的缺陷区域的大小可能相同，也可能不同，因此，裁剪出的不同局部缺陷图像的尺寸可以相同，也可以不同，本申请实施例对此不做特别限定。
S412，从正常样本图像集的多张正常电池图像中裁剪出多张局部正常图像，每张局部正常图像对应一张局部缺陷图像，每张局部正常图像的尺寸与对应的局部缺陷图像的尺寸相同。
在具体应用中，终端设备可以从正常样本图像集的任意多张正常图像中裁剪出多张尺寸分别与对应的局部缺陷图像的尺寸相同的局部正常图像。
S413，将裁剪出的局部缺陷图像和局部正常图像分别作为第二训练集的正样本集和负样本集，得到第二训练集。
本申请实施例中，第二训练集包括由多张局部缺陷图像组成的负样本集和由多张局部正常图像组成的正样本集。
示例性的，请参阅图6，为本申请实施例提供的一种第二训练集的制作过程示意图。如图6所示，终端设备可以从缺陷样本图像集中的每张缺陷电池图像61中直接裁剪出被标注的缺陷区域，并将裁剪出的缺陷区域分别确定为相应缺陷电池图像61对应的局部缺陷图像610，且将由所有局部缺陷图像610组成的图像集确定为第二训练集的负样本集。
终端设备可以从正常样本图像集中的各张正常电池图像62中随机裁剪出多张尺寸分别与对应的局部缺陷图像610的尺寸相同的局部正常图像620，并将由所有局部正常图像620组成的图像集确定为第二训练集的正样本集。
S42，通过第二训练集训练预设二分类器，并将训练完成的预设二分类器确定为缺陷判别模块，将缺陷判别模块与梯度信息提取单元的组合确定为缺陷判别模块。
其中，预设二分类器和梯度信息提取单元均可以根据实际需求进行选择。示例性的，预设二分类器可以为U-net网络。梯度信息提取单元可以为基于sobel算子的梯度特征提取网络。
由于用于训练缺陷判别模块的第二训练集来自于真实的缺陷电池图像和正常电池图像，因此，缺陷判别模块具有较高的缺陷判别准确率。
需要说明的是，在对缺陷图像生成模型进行训练时，需要先对缺陷图像生成模型中的缺陷判别模块进行训练，在缺陷判别模块训练完成后，再基于训练好的缺陷判别模块，对缺陷图像生成模型中的缺陷生成模块进行训练。
在对缺陷图像生成模型中的缺陷生成模块进行训练时，可以预先生成一张像素为0且尺寸与局部缺陷图像的尺寸相同的第一图像，并将该第一图像作为缺陷图像生成模型的输入，将上述负样本集中的各张局部缺陷图像作为缺陷图像生成模型的输出，对缺陷图像生成模型中的缺陷生成模块进行训练，从而使缺陷图像生成模型在训练过程中学习到其内部各个参数的值。
可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的基于小样本的自适应缺陷检测方法，本申请实施例进一步给出实现上述方法实施例的终端设备的实施例。请参阅图7，为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本实施例相关的部分。如图7所示，终端设备70可以包括：掩码生成单元71、缺陷生成单元72、第一训练单元73及缺陷检测单元74。其中：
掩码生成单元71用于为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的所述正常电池图像确定为掩码图像，并记录每张所述掩码图像中的掩码区域的位置信息和尺寸信息。
缺陷生成单元72用于通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，得到各张所述掩码图像分别对应的预测缺陷图像；所述缺陷图像生成模型包括n个级联的缺陷预测网络；每一级所述缺陷预测网络均包括一个缺陷判别模块和一个缺陷生成模块；每一级缺陷预测网络中的缺陷判别模块用于对上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；每一级缺陷预测网络中的缺陷生成模块用于基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向下一级缺陷预测网络发送所述本级预测缺陷图像。
第一训练单元73用于基于所有所述掩码图像对应的预测缺陷图像以及所有所述掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过所述第一训练集对缺陷检测模型进行训练。
缺陷检测单元74用于通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测。
可选的，所述缺陷判别结果包括：所述上一级预测缺陷图像中的掩码区域不是缺陷区域，以及所述上一级预测缺陷图像中的掩码区域是缺陷区域；缺陷生成单元72具体用于：
在第i级缺陷预测网络中，通过所述第i级缺陷预测网络中的缺陷判别模块对上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向所述第i级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；其中，第1级缺陷预测网络对应的上一级预测缺陷图像为所述掩码图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向第i+1级缺陷预测网络输出所述本级预测缺陷图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块直接将所述上一级预测缺陷图像输出至所述缺陷图像生成模型的输出端，作为所述掩码图像对应的预测缺陷图像。
可选的，缺陷生成单元72具体用于：
所述第i级缺陷预测网络中的缺陷生成模块随机生成一个尺寸与所述掩码区域的尺寸相同的噪声图像；
所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像、所述梯度信息以及所述噪声图像，采用以下公式生成本级预测缺陷图像：
；
其中，X i为所述本级预测缺陷图像，z i为所述第i级缺陷预测网络对应的噪声系数，X i-1为所述上一级预测缺陷图像，G i为所述噪声图像，T i-1为所述上一级预测缺陷图像中掩码区域的梯度信息；1>z 1>z 2>z 3>……>z n-1>z n>0。
可选的，终端设备70还可以包括：训练集制作单元和第二训练单元。其中：
训练集制作单元用于基于缺陷样本图像集和所述正常样本图像集制作第二训练集。
第二训练单元用于通过所述第二训练集训练预设二分类器，并将训练完成的所述二分类器与梯度信息提取单元的组合确定为所述缺陷判别模块。
可选的，训练集制作单元具体用于：
从所述缺陷样本图像集的每张缺陷电池图像中裁剪出缺陷区域，将裁剪出的所述缺陷区域分别确定为相应缺陷电池图像对应的局部缺陷图像；
从所述正常样本图像集的多张正常电池图像中裁剪出多张局部正常图像，每张所述局部正常图像对应一张所述局部缺陷图像，每张所述局部正常图像的尺寸与对应的所述局部缺陷图像的尺寸相同；
将裁剪出的所述局部缺陷图像和所述局部正常图像分别作为第二训练集的正样本集和负样本集，得到所述第二训练集。
可选的，掩码生成单元71具体用于：
在预设存储区域存储有预设信息列表的情况下，基于所述预设信息列表中各个目标区域的位置信息和尺寸信息，分别为各张正常电池图像添加掩码区域；
在所述预设存储区域未存储所述预设信息列表的情况下，分别为各张所述正常电池图像随机添加掩码区域。
可选的，所述掩码区域用于遮盖所述正常电池图像中的目标区域。掩码生成单元71具体用于：
将所述正常电池图像中目标区域的所有像素的像素值均修改为0。
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参照方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将终端设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述终端设备中各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8为本申请另一实施例提供的一种终端设备的结构示意图。如图8所示，本实施例提供的终端设备8可以包括：处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82，例如基于小样本的自适应缺陷检测方法对应的程序。处理器80执行计算机程序82时实现上述基于小样本的自适应缺陷检测方法实施例中的步骤，例如图1所示的S11~S14。或者，处理器80执行计算机程序82时实现上述终端设备实施例中各模块/单元的功能，例如图7所示的单71~74的功能。
示例性的，计算机程序82可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器81中，并由处理器80执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序82在终端设备8中的执行过程。例如，计算机程序82可以被分割成掩码生成单元、缺陷生成单元、第一训练单元及缺陷检测单元，各单元的具体功能请参阅图7对应的实施例中的相关描述，此处不赘述。
本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
处理器80可以是中央处理单元（central processing unit，CPU），还可以是其他通用处理器、数字信号处理器（digital signal processor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器81可以是终端设备8的内部存储单元，例如终端设备8的硬盘或内存。存储器81也可以是终端设备8的外部存储设备，例如终端设备8上配备的插接式硬盘、智能存储卡（smart media card，SMC）、安全数字（secure digital，SD）卡或闪存卡（flash card）等。进一步地，存储器81还可以既包括终端设备8的内部存储单元也包括外部存储设备。存储器81用于存储计算机程序以及终端设备所需的其他程序和数据。存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例所述的基于小样本的自适应缺陷检测方法中的各个步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参照其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于小样本的自适应缺陷检测方法，其特征在于，包括：
为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的所述正常电池图像确定为掩码图像，并记录每张所述掩码图像中的掩码区域的位置信息和尺寸信息；
通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，得到各张所述掩码图像分别对应的预测缺陷图像；所述缺陷图像生成模型包括n个级联的缺陷预测网络；每一级所述缺陷预测网络均包括一个缺陷判别模块和一个缺陷生成模块；每一级缺陷预测网络中的缺陷判别模块用于对上一级缺陷预测网络输出的上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；每一级缺陷预测网络中的缺陷生成模块用于基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向下一级缺陷预测网络发送所述本级预测缺陷图像；
基于所有所述掩码图像对应的预测缺陷图像以及所有所述掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过所述第一训练集对缺陷检测模型进行训练；
通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测；
所述缺陷判别结果包括：所述上一级预测缺陷图像中的掩码区域不是缺陷区域，以及所述上一级预测缺陷图像中的掩码区域是缺陷区域；对应地，所述通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，包括：
在第i级缺陷预测网络中，通过所述第i级缺陷预测网络中的缺陷判别模块对上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向所述第i级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；其中，第1级缺陷预测网络对应的上一级预测缺陷图像为所述掩码图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向第i+1级缺陷预测网络输出所述本级预测缺陷图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块直接将所述上一级预测缺陷图像输出至所述缺陷图像生成模型的输出端，作为所述掩码图像对应的预测缺陷图像；
所述通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，包括：
所述第i级缺陷预测网络中的缺陷生成模块随机生成一个尺寸与所述掩码区域的尺寸相同的噪声图像；
所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像、所述梯度信息以及所述噪声图像，采用以下公式生成本级预测缺陷图像：
；
其中，X i为所述本级预测缺陷图像，z i为所述第i级缺陷预测网络对应的噪声系数，X i-1为所述上一级预测缺陷图像，G i为所述噪声图像，T i-1为所述上一级预测缺陷图像中掩码区域的梯度信息；1>z 1>z 2>z 3>……>z n-1>z n>0。
2.根据权利要求1所述的基于小样本的自适应缺陷检测方法，其特征在于，在所述通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理之前，还包括：
基于缺陷样本图像集和所述正常样本图像集制作第二训练集；
通过所述第二训练集训练预设二分类器，并将训练完成的所述二分类器与梯度信息提取单元的组合确定为所述缺陷判别模块。
3.根据权利要求2所述的基于小样本的自适应缺陷检测方法，其特征在于，所述基于缺陷样本图像集和所述正常样本图像集制作第二训练集，包括：
从所述缺陷样本图像集的每张缺陷电池图像中裁剪出缺陷区域，将裁剪出的所述缺陷区域分别确定为相应缺陷电池图像对应的局部缺陷图像；
从所述正常样本图像集的多张正常电池图像中裁剪出多张局部正常图像，每张所述局部正常图像对应一张所述局部缺陷图像，每张所述局部正常图像的尺寸与对应的所述局部缺陷图像的尺寸相同；
将裁剪出的所述局部缺陷图像和所述局部正常图像分别作为第二训练集的正样本集和负样本集，得到所述第二训练集。
4.根据权利要求1所述的基于小样本的自适应缺陷检测方法，其特征在于，所述为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，包括：
在预设存储区域存储有预设信息列表的情况下，基于所述预设信息列表中各个目标区域的位置信息和尺寸信息，分别为各张正常电池图像添加掩码区域；
在所述预设存储区域未存储所述预设信息列表的情况下，分别为各张所述正常电池图像随机添加掩码区域。
5.根据权利要求1所述的基于小样本的自适应缺陷检测方法，其特征在于，所述掩码区域用于遮盖所述正常电池图像中的目标区域；所述为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，包括：
将所述正常电池图像中目标区域的所有像素的像素值均修改为0。
6.一种终端设备，其特征在于，包括：
掩码生成单元，用于为正常样本图像集中的每张正常电池图像分别添加一个掩码区域，将添加了掩码区域的所述正常电池图像确定为掩码图像，并记录每张所述掩码图像中的掩码区域的位置信息和尺寸信息；
缺陷生成单元，用于通过训练好的缺陷图像生成模型分别对各张所述掩码图像进行处理，得到各张所述掩码图像分别对应的预测缺陷图像；所述缺陷图像生成模型包括n个级联的缺陷预测网络；每一级所述缺陷预测网络均包括一个缺陷判别模块和一个缺陷生成模块；每一级缺陷预测网络中的缺陷判别模块用于对上一级缺陷预测网络输出的上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向本级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；每一级缺陷预测网络中的缺陷生成模块用于基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向下一级缺陷预测网络发送所述本级预测缺陷图像；
第一训练单元，用于基于所有所述掩码图像对应的预测缺陷图像以及所有所述掩码图像中的掩码区域的位置信息和尺寸信息，生成第一训练集，并通过所述第一训练集对缺陷检测模型进行训练；
缺陷检测单元，用于通过训练好的缺陷检测模型对待检测电池图像进行缺陷检测；
所述缺陷判别结果包括：所述上一级预测缺陷图像中的掩码区域不是缺陷区域，以及所述上一级预测缺陷图像中的掩码区域是缺陷区域；所述缺陷生成单元具体用于：
在第i级缺陷预测网络中，通过所述第i级缺陷预测网络中的缺陷判别模块对上一级预测缺陷图像进行缺陷判别，并提取所述上一级预测缺陷图像中的掩码区域的梯度信息，且向所述第i级缺陷预测网络中的缺陷生成模块发送所述缺陷判别结果和所述梯度信息；其中，第1级缺陷预测网络对应的上一级预测缺陷图像为所述掩码图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域不是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像以及所述梯度信息，生成本级预测缺陷图像，并向第i+1级缺陷预测网络输出所述本级预测缺陷图像；
在所述缺陷判别结果为所述上一级预测缺陷图像中的掩码区域是缺陷区域的情况下，通过所述第i级缺陷预测网络中的缺陷生成模块直接将所述上一级预测缺陷图像输出至所述缺陷图像生成模型的输出端，作为所述掩码图像对应的预测缺陷图像；
所述缺陷生成单元具体用于：
所述第i级缺陷预测网络中的缺陷生成模块随机生成一个尺寸与所述掩码区域的尺寸相同的噪声图像；
所述第i级缺陷预测网络中的缺陷生成模块基于所述判别结果、所述上一级预测缺陷图像、所述梯度信息以及所述噪声图像，采用以下公式生成本级预测缺陷图像：
；
其中，X i为所述本级预测缺陷图像，z i为所述第i级缺陷预测网络对应的噪声系数，X i-1为所述上一级预测缺陷图像，G i为所述噪声图像，T i-1为所述上一级预测缺陷图像中掩码区域的梯度信息；1>z 1>z 2>z 3>……>z n-1>z n>0。
7.一种终端设备，其特征在于，包括存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的基于小样本的自适应缺陷检测方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的基于小样本的自适应缺陷检测方法。
CN202311324323.1A 2023-10-13 2023-10-13 基于小样本的自适应缺陷检测方法及终端设备 Active CN117094986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311324323.1A CN117094986B (zh) 2023-10-13 2023-10-13 基于小样本的自适应缺陷检测方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311324323.1A CN117094986B (zh) 2023-10-13 2023-10-13 基于小样本的自适应缺陷检测方法及终端设备

Publications (2)

Publication Number Publication Date
CN117094986A CN117094986A (zh) 2023-11-21
CN117094986B true CN117094986B (zh) 2024-04-05

Family

ID=88780503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311324323.1A Active CN117094986B (zh) 2023-10-13 2023-10-13 基于小样本的自适应缺陷检测方法及终端设备

Country Status (1)

Country Link
CN (1) CN117094986B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN115115905A (zh) * 2022-06-13 2022-09-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN115760823A (zh) * 2022-11-28 2023-03-07 杭州海康机器人股份有限公司 一种缺陷检测方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN115115905A (zh) * 2022-06-13 2022-09-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN115760823A (zh) * 2022-11-28 2023-03-07 杭州海康机器人股份有限公司 一种缺陷检测方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络和RetinaNet的销钉缺陷识别;王健 等;华南理工大学学报(自然科学版)(02);第5-12页 *

Also Published As

Publication number Publication date
CN117094986A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN111369545B (zh) 边缘缺陷检测方法、装置、模型、设备及可读存储介质
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
EP4099217A1 (en) Image processing model training method and apparatus, device, and storage medium
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
WO2020082731A1 (zh) 电子装置、证件识别方法及存储介质
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和***及设备
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN115223022A (zh) 一种图像处理方法、装置、存储介质及设备
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113129298A (zh) 文本图像的清晰度识别方法
CN117094986B (zh) 基于小样本的自适应缺陷检测方法及终端设备
CN112464827A (zh) 口罩佩戴识别方法、装置、设备及存储介质
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备
CN115495498B (zh) 数据关联方法、***、电子设备及存储介质
CN114708582B (zh) 基于ai和rpa的电力数据智慧稽查方法及装置
CN115937596A (zh) 目标检测方法及其模型的训练方法、设备以及存储介质
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN115273123A (zh) 一种票据识别方法、装置、设备及计算机存储介质
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN113052836A (zh) 电子身份照片检测方法、装置、电子设备及存储介质
CN114882557A (zh) 一种人脸识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant