CN112634209A - 一种产品缺陷检测方法和装置 - Google Patents
一种产品缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN112634209A CN112634209A CN202011449711.9A CN202011449711A CN112634209A CN 112634209 A CN112634209 A CN 112634209A CN 202011449711 A CN202011449711 A CN 202011449711A CN 112634209 A CN112634209 A CN 112634209A
- Authority
- CN
- China
- Prior art keywords
- defect
- product
- network
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 134
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- 238000000280 densification Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种产品缺陷检测方法和装置。其中方法包括：利用Unet网络生成产品图像的掩模图像；根据掩模图像中指定像素值的分布情况确定产品特征；设置与产品特征相对应的缺陷条件；将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。该技术方案的有益效果在于，将轻量的Unet网络应用于产品检测场景来生成mask，能够在几十张图的少量训练样本情况下完成图像缺陷区域的拟合与图像提取任务，生成的mask能够较为准确地描述有关缺陷的信息，可以在未能够获得大量训练样本的情况下有效地进行产品缺陷的检测。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种产品缺陷检测方法和装置。
背景技术
在产品制造过程中，由于工艺不稳定、厂房环境变化、使用原材料不良等因素的影响，生产出的产品会存在各种形态各异的缺陷、利用计算机视觉技术可以实现对人工检测缺陷方式的替代，但是大多数计算机视觉技术所依赖的产品缺陷检测模型要依赖于大量有标注的训练样本，而这依然需要较多的人工参与，成本高，效率低。
发明内容
本申请实施例提供了一种产品缺陷检测方法和装置，可以实现高效的产品缺陷检测，并且依赖的模型可依赖少量训练样本即可训练完成。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种产品缺陷检测方法，包括：利用Unet网络生成产品图像的掩模图像；根据掩模图像中指定像素值的分布情况确定产品特征；设置与产品特征相对应的缺陷条件；将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。
在一些实施例中，根据掩模图像中指定像素值的分布情况确定产品特征包括：确定能够涵盖掩模图像中连通的指定像素值的定位框，将定位框的几何特征作为产品特征；缺陷条件为：几何特征的特征值大于预设阈值。
在一些实施例中，缺陷特征条件中的预设阈值是根据各训练样本图像中的缺陷大小确定的，从而使预设比例数量的训练样本图像的产品特征能够与缺陷特征条件相匹配。
在一些实施例中，Unet网络是通过如下方式训练的：根据训练样本图像的缺陷标注信息，为训练样本图像生成第一掩模图像作为样本真实值，第一掩模图像的指定像素值与缺陷标注信息相对应；将训练样本图像输入到Unet网络中，得到Unet网络输出的第二掩模图像作为样本预测值；根据样本真实值和样本预测值计算训练损失值，根据训练损失值进行Unet网络的优化。
在一些实施例中，根据样本真实值和样本预测值计算训练损失值包括：将样本真实值和样本预测值代入Dice-coefficient损失函数计算训练损失值。
在一些实施例中，方法还包括：基于DenseNet网络搭建分类网络，分类网络包括初始模块、主干网络和分类模块；若确定产品中存在缺陷，则将掩模图像输入到分类网络中，得到分类网络输出的缺陷分类结果。
在一些实施例中，将掩模图像输入到分类网络中，得到分类网络输出的缺陷分类结果包括：利用初始模块得到掩模图像的初始特征图，初始模块包括卷积层和最大池化层；利用主干网络对初始特征图进行稠密化处理，得到稠密特征图；主干网络包括级联的DenseX模块、卷积层和平均池化层，DenseX模块包括X个级联的Dense模块，X为正整数；利用分类模块输出根据稠密特征图确定的缺陷分类结果，分类模块包括全连接层和softmax层。
在一些实施例中，分类网络在训练时使用交叉熵和L2正则化项组合形成的损失函数。
在一些实施例中，分类网络在训练时利用Momentum优化器进行参数优化。
第二方面，本申请实施例还提供一种产品缺陷检测装置，用于实现如上任一的产品缺陷检测方法。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的产品缺陷检测方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行如上任一所述的产品缺陷检测方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：将轻量的Unet网络应用于产品检测场景来生成mask，能够在几十张图的少量训练样本情况下完成图像缺陷区域的拟合与图像提取任务，生成的mask能够较为准确地描述有关缺陷的信息，可以在未能够获得大量训练样本的情况下有效地进行产品缺陷的检测。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请一个实施例的产品缺陷检测方法的流程示意图；
图2示出了根据本申请一个实施例的Unet网络的结构示意图；
图3示出了根据本申请一个实施例的分类网络的结构示意图；
图4示出了根据本申请一个实施例的产品缺陷检测装置的结构示意图；
图5示出了根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的技术构思在于，考虑到产品缺陷的类型众多，凭借少量的训练样本很难提取出复杂高维特征的情况，利用Unet网络生成产品图像的mask，减少不易在此阶段学习到的复杂信息，得到仍能够包含缺陷相关信息的二值化图像，从而根据mask能够方便地进行是否存在缺陷的检测。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1示出了根据本申请一个实施例的产品缺陷检测方法的流程示意图。如图1所示，该方法包括：
步骤S110，利用Unet网络生成产品图像的掩模图像。
Unet网络是一种主要应用于医学领域的计算机视觉网络，本申请实施例使用该网络的原因在于，其网络结构较浅，能够使只有用少量训练样本的数据集；并且，在一些使用Unet进行医学分析的方案中，与产品缺陷检测有着共通之处，都可以通过对病灶(缺陷)大小等几何特征进行分析来进行诊断(检测)。
图2示出了根据本申请一个实施例的Unet网络的结构示意图，由图2可以看出，Unet网络的特点是网络呈对称的U形，这也是“Unet”得名的原因。
Unet网络的前半部分通过3×3的卷积核对产品图像进行特征提取，前两个卷积核的个数为64，以后每增加两次卷积操作，卷积核的个数都会变为原来的2倍，每两个卷积核会配合一个2×2的最大池化操作，每经过一次最大池化，特征图的长度和宽度均会减半；后半部分卷积核的个数从1024开始下降，每经过一次卷积操作，卷积核的个数就下降一半，配合上采样，每经过一次上采样，特征图的长度和宽度都会增加一倍。并且在后半部分增加了一种新的拼接(copy and crop)的特征融合方式,将上半段采集的特征图裁剪到与右侧特征图一样大小然后进行通道级拼接，即拼接得到的特征图的大小，长宽是右侧特征图的大小，通道数是两个待拼接的特征图的通道数之和。
需要说明的是，在其他实施例中可以根据实际需求对卷积核的大小、个数等进行适当调整。
将产品图像输入到如图2所示的Unet之中，就可以得到一张mask。Mask可以是黑白两色的黑白图像，或者灰度值包含1和0的灰度图像，由于产品中缺陷部分的比例通常较小，一般地，可以将mask中较少比例的像素值认为是疑似产品缺陷的图像表示。
步骤S120，根据掩模图像中指定像素值的分布情况确定产品特征。例如，可以将灰度值为1的部分认为是疑似缺陷。
步骤S130，设置与产品特征相对应的缺陷条件。
可以根据产品缺陷的实际表现形式来设置与产品特征相对应的缺陷条件，从而将产品特征与缺陷条件进行匹配。
步骤S140，将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。
可见，图1所示的方法，采用Unet网络并不直接进行产品缺陷的检测，而是得到一张能够描述产品的掩模图像mask，将该mask中指定像素值的分布情况作为产品特征，再进一步将产品特征与缺陷条件进行匹配来判断产品是否存在缺陷。该技术方案的有益效果在于，将轻量的Unet网络应用于产品检测场景来生成mask，能够在几十张图的少量训练样本情况下完成图像缺陷区域的拟合与图像提取任务，生成的mask能够较为准确地描述有关缺陷的信息，可以在未能够获得大量训练样本的情况下有效地进行产品缺陷的检测。
在一些实施例中，上述方法中，根据掩模图像中指定像素值的分布情况确定产品特征包括：确定能够涵盖掩模图像中连通的指定像素值的定位框，将定位框的几何特征作为产品特征；缺陷条件为：几何特征的特征值大于预设阈值。
具体地，定位框可以是圆形、椭圆形等，一般地设置为矩形，例如通过对掩模图像中所有指定像素值求最小外接矩形得到。
几何特征及其对应的预设阈值可以是根据缺陷的实际表现形式来确定的。例如，对于污损缺陷，可以将几何特征设置为面积，若面积足够大，则认为是缺陷；对于划痕缺陷，可以将几何特征设置为长度，若长度足够长，则认为是缺陷，等等。
例如，可以通过遍历像素值的方式，保存灰度值为指定值(例如为1)的位置作为索引，通过计算连通的缺陷位置的最小外接矩形的长与宽，判断长与宽是否满足阈值要求，如果长或宽有一个满足预设阈值，则判断该图像所对应的产品为缺陷产品。
当然，对于不需要检测出是何种缺陷的情况，由于各种缺陷的表现形式不同，可以将多种几何特征及其对应的预设阈值配合使用，如果有一类几何特征的特征值大于对应的预设阈值，则认为是存在缺陷。
在一些实施例中，上述方法中，缺陷特征条件中的预设阈值是根据各训练样本图像中的缺陷大小确定的，从而使预设比例数量的训练样本图像的产品特征能够与缺陷特征条件相匹配。
为了避免人为设置预设阈值使得鲁棒性较差，可以通过训练样本图像中的缺陷大小来确定预设阈值，减少人工干预。
例如，将长度阈值设置成10像素，只可以匹配到80％的训练样本图像，而如果设置为7像素，就能匹配到90％的训练样本图像，此时就将7像素设置为长度阈值。
在一些实施例中，上述方法中，Unet网络是通过如下方式训练的：根据训练样本图像的缺陷标注信息，为训练样本图像生成第一掩模图像作为样本真实值，第一掩模图像的指定像素值与缺陷标注信息相对应；将训练样本图像输入到Unet网络中，得到Unet网络输出的第二掩模图像作为样本预测值；根据样本真实值和样本预测值计算训练损失值，根据训练损失值进行Unet网络的优化。
例如，可以利用labelme等标注工具先进行训练样本图像的标注，得到json标注文件作为缺陷标注信息，然后根据json标注文件生成与训练样本图像相同大小的mask作为样本真实值，其中mask的缺陷区域的灰度值为1，其他位置的灰度值为0。由此，得到了每张训练样本图像的mask。然后将各训练样本图像输入到Unet网络，得到输出的mask作为样本预测值。最后通过计算训练损失值，通过反向传播等方式进行Unet的参数优化。
在一些实施例中，上述方法中，根据样本真实值和样本预测值计算训练损失值包括：将样本真实值和样本预测值代入Dice-coefficient损失函数计算训练损失值。
在这些实施例中，使用Dice-coefficient损失函数，而非原始Unet的损失函数来计算训练损失值。原因在于，相比原始Unet的损失函数，Dice-coefficient损失函数Dice-coefficient对于类别不均衡问题效果更优，并且能较快的度量出生成的mask图与原始mask图之间的相似度。Dice-coefficient损失函数的公式为：
其中X为样本真实值的数学表示，Y为样本预测值的数学表示。
若不关注缺陷的类型，只希望确定产品是否存在缺陷，或者在生产初期尽快地收集缺陷图像，方便为后续较深的深度学习网络提供样本，那么在确定产品中存在缺陷后，就可以结束检测。如果希望进一步检测缺陷类型，那么还可以进行以下的处理。
在一些实施例中，上述方法还包括：基于DenseNet网络搭建分类网络，分类网络包括初始模块、主干网络和分类模块；若确定产品中存在缺陷，则将掩模图像输入到分类网络中，得到分类网络输出的缺陷分类结果。
DenseNet中的“Dense”是因为它提出了一个更激进的密集连接机制：它建立的是前面所有层与后面层的密集连接(dense connection)，简单来说，DenseNet所使用的模块DenseX中每一层的输入均来自前面所有层的输出，它的名称也是由此而来。由于密集连接方式，DenseNet提升了梯度的反向传播，使得网络更容易训练。同样，其网络结构较浅，适用于少量训练样本的数据集。
当然，在其他实施例中，也可以基于Inception、ResNet等搭建分类网络。
在一些实施例中，上述方法中，将掩模图像输入到分类网络中，得到分类网络输出的缺陷分类结果包括：利用初始模块得到掩模图像的初始特征图，初始模块包括卷积层和最大池化层；利用主干网络对初始特征图进行稠密化处理，得到稠密特征图；主干网络包括级联的DenseX模块、卷积层和平均池化层，DenseX模块包括X个级联的Dense模块，X为正整数；利用分类模块输出根据稠密特征图确定的缺陷分类结果，分类模块包括全连接层和softmax层。
例如，图3示出了根据本申请一个实施例的分类网络的结构示意图。该分类网络可以认为是对DensNet121的网络结构进行了精简得到的，新的网络结构不复杂，却很有效。
如图3所示，分类网络包括初始模块、主干网络和分类模块。初始模块包括先经过步长为2的卷积(conv)，然后经过步长为2的最大池化(max pool)。
以上两步卷积核与池化块的大小可以通过实验与调参确定，根据实验可以优选使用7×7的卷积核与3×3的最大池化块。
分类网络的主干部分选用了4个DenseX(Dense3，Dense6，Dense8和Dense12)模块。经过每个DenseX模块内部的时候特征图的大小保持不变，是为了实现各个Dense模块(dense block)内的特征图的尺寸统一(即Dense模块内特征图的长、宽保持不变)，方便在DenseX模块内部进行通道级拼接，实现参数重用。每经过一个2×2的平均池化(avg pool),特征图的长度和宽带分别减半；Dense模块使用1×1的卷积操作，是为了在通道级拼接(concat)之后减少输入的特征图的深度，该操作既能降维减少计算量，又能融合各个通道的特征，因此在每个Dense模块内部和每个DenseX模块直接都会穿插使用1×1的卷积。最后一个池化层为全局平均池化(global avg pool)；最后通过全连接层(fc)和softmax层以输出推理结果。
在一些实施例中，上述方法中，分类网络在训练时使用交叉熵和L2正则化项组合形成的损失函数。初始学习率可以设置为0.1，采用分段常数衰减学习率；在一些实施例中，上述方法中，分类网络在训练时利用Momentum优化器进行参数优化，Momentum值优选为0.9。
经过实验，在产线的生产初期，缺陷样本图像数量不足的情况下，本发明方案可以满足产线需求，较快地检出有缺陷的产品，能够有效提高生产线的工作效率，并为后续较深的产品缺陷检测模型的训练提供训练样本。
本申请实施例还提供一种产品缺陷检测装置，用于实现如上任一的产品缺陷检测方法。
例如，图4示出了根据本申请一个实施例的产品缺陷检测装置的结构示意图。如图4所示，产品缺陷检测装置400包括：
生成单元410，用于利用Unet网络生成产品图像的掩模图像。
特征单元420，用于根据掩模图像中指定像素值的分布情况确定产品特征。
设置单元430，用于设置与产品特征相对应的缺陷条件。
匹配单元440，用于将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。
在一些实施例中，上述装置中，特征单元420，用于确定能够涵盖掩模图像中连通的指定像素值的定位框，将定位框的几何特征作为产品特征；缺陷条件为：几何特征的特征值大于预设阈值。
在一些实施例中，缺陷特征条件中的预设阈值是根据各训练样本图像中的缺陷大小确定的，从而使预设比例数量的训练样本图像的产品特征能够与缺陷特征条件相匹配。
在一些实施例中，装置还包括训练单元，用于通过如下方式训练得到Unet网络：根据训练样本图像的缺陷标注信息，为训练样本图像生成第一掩模图像作为样本真实值，第一掩模图像的指定像素值与缺陷标注信息相对应；将训练样本图像输入到Unet网络中，得到Unet网络输出的第二掩模图像作为样本预测值；根据样本真实值和样本预测值计算训练损失值，根据训练损失值进行Unet网络的优化。
在一些实施例中，上述装置中，训练单元，用于将样本真实值和样本预测值代入Dice-coefficient损失函数计算训练损失值。
在一些实施例中，装置还包括：分类单元，用于基于DenseNet网络搭建分类网络，分类网络包括初始模块、主干网络和分类模块；若确定产品中存在缺陷，则将掩模图像输入到分类网络中，得到分类网络输出的缺陷分类结果。
在一些实施例中，上述装置中，分类单元，用于利用初始模块得到掩模图像的初始特征图，初始模块包括卷积层和最大池化层；利用主干网络对初始特征图进行稠密化处理，得到稠密特征图；主干网络包括级联的DenseX模块、卷积层和平均池化层，DenseX模块包括X个级联的Dense模块，X为正整数；利用分类模块输出根据稠密特征图确定的缺陷分类结果，分类模块包括全连接层和softmax层。
在一些实施例中，上述装置中，分类网络在训练时使用交叉熵和L2正则化项组合形成的损失函数。
在一些实施例中，上述装置中，分类网络在训练时利用Momentum优化器进行参数优化。
能够理解，上述产品缺陷检测装置，能够实现前述实施例中提供的产品缺陷检测方法的各个步骤，关于产品缺陷检测方法的相关阐释均适用于产品缺陷检测装置，此处不再赘述。
图5是本申请的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成产品缺陷检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
利用Unet网络生成产品图像的掩模图像；根据掩模图像中指定像素值的分布情况确定产品特征；设置与产品特征相对应的缺陷条件；将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。
上述如本申请图1所示实施例揭示的产品缺陷检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中产品缺陷检测装置执行的方法，并实现产品缺陷检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中产品缺陷检测装置执行的方法，并具体用于执行：
利用Unet网络生成产品图像的掩模图像；根据掩模图像中指定像素值的分布情况确定产品特征；设置与产品特征相对应的缺陷条件；将产品特征与缺陷条件进行匹配，若匹配成功，则产品中存在缺陷。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种产品缺陷检测方法，包括：
利用Unet网络生成产品图像的掩模图像；
根据所述掩模图像中指定像素值的分布情况确定产品特征；
设置与所述产品特征相对应的缺陷条件；
将所述产品特征与缺陷条件进行匹配，若匹配成功，则所述产品中存在缺陷。
2.如权利要求1所述的方法，其特征在于，所述根据所述掩模图像中指定像素值的分布情况确定产品特征包括：
确定能够涵盖所述掩模图像中连通的指定像素值的定位框，将所述定位框的几何特征作为产品特征；
所述缺陷条件为：所述几何特征的特征值大于预设阈值。
3.如权利要求2所述的方法，其特征在于，所述缺陷特征条件中的预设阈值是根据各训练样本图像中的缺陷大小确定的，从而使预设比例数量的训练样本图像的产品特征能够与所述缺陷特征条件相匹配。
4.如权利要求1所述的方法，其特征在于，所述Unet网络是通过如下方式训练的：
根据训练样本图像的缺陷标注信息，为训练样本图像生成第一掩模图像作为样本真实值，所述第一掩模图像的所述指定像素值与所述缺陷标注信息相对应；
将所述训练样本图像输入到所述Unet网络中，得到所述Unet网络输出的第二掩模图像作为样本预测值；
根据所述样本真实值和所述样本预测值计算训练损失值，根据所述训练损失值进行所述Unet网络的优化。
5.如权利要求4所述的方法，其特征在于，所述根据所述样本真实值和所述样本预测值计算训练损失值包括：
将所述样本真实值和所述样本预测值代入Dice-coefficient损失函数计算训练损失值。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
基于DenseNet网络搭建分类网络，所述分类网络包括初始模块、主干网络和分类模块；
若确定所述产品中存在缺陷，则将所述掩模图像输入到所述分类网络中，得到所述分类网络输出的缺陷分类结果。
7.如权利要求6所述的方法，其特征在于，所述将所述掩模图像输入到分类网络中，得到所述分类网络输出的缺陷分类结果包括：
利用所述初始模块得到掩模图像的初始特征图，所述初始模块包括卷积层和最大池化层；
利用所述主干网络对所述初始特征图进行稠密化处理，得到稠密特征图；所述主干网络包括级联的DenseX模块、卷积层和平均池化层，所述DenseX模块包括X个级联的Dense模块，X为正整数；
利用所述分类模块输出根据所述稠密特征图确定的缺陷分类结果，所述分类模块包括全连接层和softmax层。
8.如权利要求7所述的方法，其特征在于，所述分类网络在训练时使用交叉熵和L2正则化项组合形成的损失函数。
9.如权利要求7所述的方法，其特征在于，所述分类网络在训练时利用Momentum优化器进行参数优化。
10.一种产品缺陷检测装置，其特征在于，所述产品缺陷检测装置用于实现权利要求1～9之任一所述产品缺陷检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011449711.9A CN112634209A (zh) | 2020-12-09 | 2020-12-09 | 一种产品缺陷检测方法和装置 |
| PCT/CN2021/125590 WO2022121531A1 (zh) | 2020-12-09 | 2021-10-22 | 一种产品缺陷检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011449711.9A CN112634209A (zh) | 2020-12-09 | 2020-12-09 | 一种产品缺陷检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634209A true CN112634209A (zh) | 2021-04-09 |
Family
ID=75309706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011449711.9A Pending CN112634209A (zh) | 2020-12-09 | 2020-12-09 | 一种产品缺陷检测方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112634209A (zh) |
| WO (1) | WO2022121531A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658167A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种含缺陷的训练图像生成方法及装置 |
| CN113674203A (zh) * | 2021-07-14 | 2021-11-19 | 歌尔股份有限公司 | 缺陷检测模型训练方法、装置和缺陷检测方法、装置 |
| CN113689383A (zh) * | 2021-07-27 | 2021-11-23 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN117496003A (zh) * | 2023-11-01 | 2024-02-02 | 合肥高斯智能科技有限公司 | 一种工业元件的缺陷图像生成方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4357765A4 (en) * | 2022-08-30 | 2024-05-08 | Contemporary Amperex Technology Co., Limited | ERROR DETECTION METHOD AND APPARATUS AND COMPUTER-READABLE STORAGE MEDIUM |
| CN115346091B (zh) * | 2022-10-14 | 2023-01-31 | 深圳精智达技术股份有限公司 | 一种Mura缺陷图像数据集的生成方法和生成装置 |
| CN115797877B (zh) * | 2023-02-13 | 2023-05-05 | 山东鸿德电力科技有限公司 | 一种电力传输设备的智能监控方法、***及介质 |
| CN116030038B (zh) * | 2023-02-23 | 2023-06-20 | 季华实验室 | 基于缺陷生成的无监督oled缺陷检测方法 |
| CN116188440B (zh) * | 2023-02-28 | 2023-08-29 | 聊城市红日机械配件厂 | 一种轴承保持架的生产分析优化方法、设备及介质 |
| CN116245846B (zh) * | 2023-03-08 | 2023-11-21 | 华院计算技术(上海)股份有限公司 | 带钢的缺陷检测方法及装置、存储介质、计算设备 |
| CN116384253B (zh) * | 2023-04-20 | 2024-04-05 | 中国石油大学(北京) | 管道漏磁检测缺陷深度预测模型建立、预测方法及装置 |
| CN116630242B (zh) * | 2023-04-28 | 2024-01-12 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN117557157B (zh) * | 2023-11-30 | 2024-04-05 | 中国标准化研究院 | 一种基于卷积神经网络的质量考核评价方法 |
| CN117671431B (zh) * | 2024-01-29 | 2024-05-07 | 杭州安脉盛智能技术有限公司 | 一种工业缺陷图像生成方法、装置、设备及存储介质 |
| CN117710366B (zh) * | 2024-02-02 | 2024-05-14 | 杭州百子尖科技股份有限公司 | 用于保温杯的质检方法、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105588845A (zh) * | 2016-01-04 | 2016-05-18 | 江苏科技大学 | 一种焊接缺陷特征参数提取方法 |
| CN109886960A (zh) * | 2019-03-27 | 2019-06-14 | 中建材凯盛机器人（上海）有限公司 | 基于机器视觉的玻璃边缘缺陷检测的方法 |
| CN111179253A (zh) * | 2019-12-30 | 2020-05-19 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与*** |
| CN111814867A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 |
| CN112001841A (zh) * | 2020-07-14 | 2020-11-27 | 歌尔股份有限公司 | 图像待检测区域提取方法、装置和产品缺陷检测*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565708B2 (en) * | 2017-09-06 | 2020-02-18 | International Business Machines Corporation | Disease detection algorithms trainable with small number of positive samples |
| US11010902B2 (en) * | 2018-06-04 | 2021-05-18 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
| CN109242849A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、***和存储介质 |
| CN111179278B (zh) * | 2019-12-16 | 2021-02-05 | 精英数智科技股份有限公司 | 一种图像检测的方法、装置、设备和存储介质 |
| CN111598084B (zh) * | 2020-05-11 | 2023-06-02 | 北京阿丘机器人科技有限公司 | 缺陷分割网络训练方法、装置、设备及可读存储介质 |
| CN112634209A (zh) * | 2020-12-09 | 2021-04-09 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
-
2020
- 2020-12-09 CN CN202011449711.9A patent/CN112634209A/zh active Pending
-
2021
- 2021-10-22 WO PCT/CN2021/125590 patent/WO2022121531A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105588845A (zh) * | 2016-01-04 | 2016-05-18 | 江苏科技大学 | 一种焊接缺陷特征参数提取方法 |
| CN109886960A (zh) * | 2019-03-27 | 2019-06-14 | 中建材凯盛机器人（上海）有限公司 | 基于机器视觉的玻璃边缘缺陷检测的方法 |
| CN111179253A (zh) * | 2019-12-30 | 2020-05-19 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与*** |
| CN111814867A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 |
| CN112001841A (zh) * | 2020-07-14 | 2020-11-27 | 歌尔股份有限公司 | 图像待检测区域提取方法、装置和产品缺陷检测*** |
Non-Patent Citations (2)
| Title |
|---|
| GAO HUANG ET AL: "Densely Connected Convolutional Networks", 《ARXIV:1608.06993V5》 * |
| 古静等: "基于DenseNet网络的焊接缺陷检测识别", 《传感器与微***》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN113674203A (zh) * | 2021-07-14 | 2021-11-19 | 歌尔股份有限公司 | 缺陷检测模型训练方法、装置和缺陷检测方法、装置 |
| CN113689383A (zh) * | 2021-07-27 | 2021-11-23 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113689383B (zh) * | 2021-07-27 | 2024-04-16 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113658167A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种含缺陷的训练图像生成方法及装置 |
| CN113658167B (zh) * | 2021-08-24 | 2024-03-26 | 凌云光技术股份有限公司 | 一种含缺陷的训练图像生成方法及装置 |
| CN117496003A (zh) * | 2023-11-01 | 2024-02-02 | 合肥高斯智能科技有限公司 | 一种工业元件的缺陷图像生成方法 |
| CN117496003B (zh) * | 2023-11-01 | 2024-05-14 | 合肥高斯智能科技有限公司 | 一种工业元件的缺陷图像生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022121531A1 (zh) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634209A (zh) | 一种产品缺陷检测方法和装置 | |
| US11151403B2 (en) | Method and apparatus for segmenting sky area, and convolutional neural network | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及*** | |
| CN111461212B (zh) | 一种用于点云目标检测模型的压缩方法 | |
| CN113298050B (zh) | 车道线识别模型训练方法、装置及车道线识别方法、装置 | |
| CN112597918A (zh) | 文本检测方法及装置、电子设备、存储介质 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| CN113674203A (zh) | 缺陷检测模型训练方法、装置和缺陷检测方法、装置 | |
| CN114694005A (zh) | 目标检测模型训练方法和装置、目标检测方法和装置 | |
| CN112836751A (zh) | 一种目标检测方法和装置 | |
| CN112233077A (zh) | 图像分析方法、装置、设备及存储介质 | |
| CN113763412A (zh) | 图像处理方法、装置及电子设备、计算机可读存储介质 | |
| CN113160176B (zh) | 缺陷检测方法和装置 | |
| CN117765485A (zh) | 基于改进的深度残差网络的车型识别方法、装置和设备 | |
| CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
| CN112465847A (zh) | 一种基于预测清晰边界的边缘检测方法、装置及设备 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN116543295A (zh) | 一种基于退化图像增强的轻量化水下目标检测方法及*** | |
| CN116363064A (zh) | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 | |
| CN114066958A (zh) | 目标的深度信息预测方法和装置、电子设备和存储介质 | |
| CN113326891A (zh) | 小目标对象的检测方法、***及装置 | |
| CN113065548A (zh) | 基于特征的文本检测方法及装置 | |
| CN113689422B (zh) | 一种图像处理方法、装置及电子设备 | |
| CN117132767B (zh) | 一种小目标检测方法、装置、设备及可读存储介质 | |
| CN112396006B (zh) | 基于机器学习的建筑物损毁识别方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |
|
| RJ01 | Rejection of invention patent application after publication |