CN111275700A - 基于深度学习的端子缺陷检测方法及*** - Google Patents

基于深度学习的端子缺陷检测方法及*** Download PDF

Info

Publication number
CN111275700A
CN111275700A CN202010102369.9A CN202010102369A CN111275700A CN 111275700 A CN111275700 A CN 111275700A CN 202010102369 A CN202010102369 A CN 202010102369A CN 111275700 A CN111275700 A CN 111275700A
Authority
CN
China
Prior art keywords
defect
pixel
image
detection
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010102369.9A
Other languages
English (en)
Inventor
张金波
姚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luster LightTech Co Ltd
Original Assignee
Luster LightTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luster LightTech Co Ltd filed Critical Luster LightTech Co Ltd
Priority to CN202010102369.9A priority Critical patent/CN111275700A/zh
Publication of CN111275700A publication Critical patent/CN111275700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的基于深度学习的端子缺陷检测方法及***中，通过收集缺陷图像样本，利用深度学习模型可输出端子区域内每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，像素判定为NG品像素，根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，对过漏、检缺陷样本进行标记，传输到样本库中实现样本库的更新，进行递归训练更新模型，已达到模型检测能力自身优化的效果，同时调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，因此本申请可以根据预设缺陷概率阈值的方式预警过检或漏检，避免了过检或漏检状况。

Description

基于深度学习的端子缺陷检测方法及***
技术领域
本申请涉及缺陷检测技术领域，尤其涉及一种基于深度学习的端子缺陷检测方法及***。
背景技术
在实际生产过程中，端子会出现各种形态的缺陷，如由于在传输过程中出现碰撞而造成的端子欠损、端子裂痕缺陷；由于运动载台振动造成的端子变形缺陷；由于周围光源不稳定或难以保证在同一光学条件下，任一检测内缺陷都能成像良好而造成的端子过曝缺陷。
传统的端子缺陷分割检测算法主要基于模板匹配算法检测分割出端子区中的缺陷，其中模板匹配算法的过程为：采集无缺陷的标准图像，制作模板并保存，然后在线采集待检测图像，将待检测图像和标准图像匹配后进行减影操作，得到缺陷图像，再对缺陷图像进行相应的统计分析处理。
但是上述方法易受光学影响，特别对于不同机种形态各端子区域，边缘切割存在误差且Mark定位受光学影响，这样就常出现模板精度不稳定、缺陷成像不均匀，会出现过检即将原本无缺陷的图片检测为缺陷图片，以及，漏检即未检测出缺陷图片；同时由于边缘切割存在误差从而得到的缺陷面积和尺寸准确率降低，会严重降低缺陷二次检测的准确性。
发明内容
本申请提供了一种基于深度学习的端子缺陷检测方法及***，以解决传统端子缺陷分割算法中易出现过检、漏检及得到的缺陷面积和尺寸准确率低的技术问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
第一方面，本申请提供了一种基于深度学习的端子缺陷检测方法，包括：
对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
根据所述NG品像素获取缺陷的面积值和尺寸值；
根据所述NG品像素获取缺陷的一次检出率；
当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
将过检或漏检图片传输至所述样本库中；
调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
可选的，所述利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：
对所述样本库中的图像进行样本增强，所述样本增强包括对图像进行旋转、镜像或噪声处理；
对样本库中的原图经过多重卷积得到特征图；
对所述特征图池化、ReLu函数激活及损失函数训练后得到深度卷积神经网络学习模型。
可选的，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率，包括：
输出所述像素缺陷类别和对应的概率。
可选的，所述当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素，包括：
预设缺陷概率阈值；
判断输出的像素的概率和所述预设的缺陷概率阈值；
当所述输出的像素的概率大于所述预设缺陷概率阈值时，所述像素判定为NG品像素。
可选的，所述根据所述NG品像素获取缺陷的面积值和尺寸值，包括：
将所有的所述NG品像素合并得到绘制的缺陷区
根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长。
可选的，所述根据所述NG品像素获取缺陷的一次检出率，包括：
所述一次检出率为所述NG品像素个数占全部像素个数的比率。
可选的，所述当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，包括：
当所述一次检出率大于所述图像的给定不良率时，判定为过检；
当所述一次检出率小于所述图像的给定不良率时，判定为漏检。
可选的，所述将过检或漏检图片传输至所述样本库中，包括：
将过检或漏检图片标记后传输至所述样本库中；
利用深度卷积神经网络对所述样本库二次进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型。
可选的，所述调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，包括：
调整所述预设缺陷概率阈值；
当输出的像素的概率大于调整后的预设缺陷概率阈值时，所述像素判定为NG品像素；
根据所述NG品像素获取缺陷的面积值和尺寸值；
根据所述NG品像素获取缺陷的一次检出率；
当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检。
第二方面，基于上述的端子缺陷检测方法，本申请还提供了一种基于深度学习的端子缺陷检测***，所述***包括：
样本库获取模块，用于对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
深度卷积神经网络学习模型训练模块，用于利用深度卷积神经网络多所述预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
概率获取模块，用于将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
NG品像素判定模块，用于当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
缺陷面积和尺寸获取模块，用于根据所述NG品像素获取缺陷的面积值和尺寸值；
一次检出率获取模块，用于根据所述NG品像素获取缺陷的一次检出率；
过检或漏检判定模块，用于当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
样本库更新模块，用于将过检或漏检图片传输至所述样本库中；
缺陷概率阈值调整模块，用于调整缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
与现有技术相比，本申请的有益效果为：
由上述技术方案可见，本申请通过收集缺陷图像样本，利用深度卷积神经网络学习模型对端子区域的缺陷进行标记、分类训练，对端子区域的缺陷进行实时缺陷检出并输出每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；然后：
(1)根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，对过漏、检缺陷样本进行标记，传输到样本库中实现样本库的更新，进行递归训练更新模型，已达到模型检测能力自身优化的效果，同时调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，因此本申请可以根据预设缺陷概率阈值的方式预警过检或漏检，避免了过检或漏检状况。
(2)将所有的所述NG品像素合并得到绘制的缺陷区根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长，因此本申请可以获取面积值和尺寸值参数，用于后续的二次检测。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于深度学习的端子缺陷检测方法的流程示意图；
图2为本申请实施例提供的一种端子缺陷类型示意图；
图3为本申请实施例提供的一种基于深度学习得到的端子缺陷区域示意图；
图4为本申请实施例提供的另一种端子缺陷类型示意图；
图5为本申请实施例提供的另一种基于深度学习得到的端子缺陷区域示意图；
图6为本申请实施例提供的基于深度学习的端子缺陷检测***的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
参见附图1，图1示出了本发明实施例提供的一种基于深度学习的端子缺陷检测方法的流程示意图。下面结合附图1对本申请实施例提供的基于深度学习的端子缺陷检测方法进行说明。
如图1所示，本申请提供的基于深度学习的端子缺陷检测方法包括：
S110：对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库。
图像是由像素点组成，对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本集。
S120：利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型。
考虑的样本不足的可能先对图片进行预处理，预处理包括对所述样本库中的图像进行样本增强，所述样本增强包括对图像进行旋转、镜像或噪声处理；
然后对样本库中的原图经过多重卷积得到特征图；
对所述特征图池化、ReLu函数激活及损失函数训练后得到深度卷积神经网络学习模型。
每一次卷积时选取的卷积核视为特征提取器，不同的卷积核负责提取不同的特征；池化可以减小特征图的尺寸，从而减少参数，达到减小计算量但不损失效果的目的；在每个卷积层之后，立即应用一个激活层，本申请采用ReLu函数激活，当然也可以采用其他的函数激活，其目的是给***引入非线性特征，增加模型及整个神经网络的非线性特征，从而不会影响卷积层的感受野。
S130：将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率。
神经网络的每一层网络有多个神经元，上一层的神经元通过激活函数映射到下一层神经元，每个神经元之间都有对应的权值，输出即为每个像素对应的缺陷类别的概率和概率。
S140：当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素。
具体包括：预设缺陷概率阈值；
判断输出的像素的概率和所述预设的缺陷概率阈值；
当所述输出的像素的概率大于所述预设缺陷概率阈值时，所述像素判定为NG品像素。
例如：32*32的图像有32*32个像素个数，对每个像素进行模型分割检测，我们预设的缺陷概率阈值参数为0.5，当输出的缺陷概率大于0.5时，此时通过概率值筛选这个像素就被认为是NG品像素。
S150：根据所述NG品像素获取缺陷的面积值和尺寸值。
在深度学习分割后需进行缺陷的二次判定，通常选用面积或尺寸作为二次判定的指标，具体操作是：将获取的缺陷面积或缺陷尺寸与缺陷的基准面积或基准尺寸比较，当缺陷的面积或尺寸大于缺陷的基准面积或尺寸，可以二次判定为缺陷像素；但是传统的检测方法中由于亮暗不均等光源影响，缺陷边缘切割存在误差，由此获得的缺陷面积或缺陷尺寸准确率降低。
在本申请实施例中，将所有的所述NG品像素合并得到绘制的缺陷区。
具体参考图2至图5，其中图2为本申请实施例提供的一种端子缺陷类型示意图；图3为本申请实施例提供的一种基于深度学习得到的端子缺陷区域示意图；图4为本申请实施例提供的另一种端子缺陷类型示意图；图5为本申请实施例提供的另一种基于深度学习得到的端子缺陷区域示意图。
根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长。
因此本申请可以获取面积值和尺寸值参数，用于后续的二次检测。
S160：根据所述NG品像素获取缺陷的一次检出率。
具体地，所述一次检出率为所述NG品像素个数占全部像素个数的比率。
具体操作为：统计分割过的图像像素，例如在1000组像素中，基于深度学习的模型检出150组缺陷，此时一次检出率为15％。
S170：当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检。
当所述一次检出率大于所述图像的给定不良率时，判定为过检；
当所述一次检出率小于所述图像的给定不良率时，判定为漏检。
在实际中我们可以通过渠道获取样品的不良率，如通过客户获得样品的不良率，此时我们成为给定不良率，如样品图像的给定不良率为5％，而我们的一次检出率为15％，则此时可以判定为过检；当获取的一次检出率小于给定不良率时可以判定为漏检。
因此在本申请实施例中，我们可以根据设定缺陷概率阈值的方式对过检或漏检进行预警。
S180：将过检或漏检图片传输至所述样本库中。
在本申请实施例中，可自动收集过检图像和现场发现的漏检图像，并反馈到缺陷样本库，通过针对性的筛选、分类、标记重新训练模型完成模型自优化，样本库更新后，则重新利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，即重复步骤S120。
因此在本申请实施例中，当过检达或者漏检达到设定阈值时，对过漏、检缺陷样本进行标记，传输到样本库中，进行递归训练更新模型，已达到模型检测能力自身优化的效果。
S190：调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
在得到新的深度卷积申请网络学习模型后，重新预设缺陷概率阈值，比如由之前的预设的缺陷概率阈值参数为0.5，调整为0.6，然后重新执行步骤S120、S130、S140、S150、S160、S170及S180，直至所述一次检出率接近所述给定不良率为止。
由上述技术方案可见，本申请通过收集缺陷图像样本，利用深度卷积神经网络学习模型对端子区域的缺陷进行标记、分类训练，对端子区域的缺陷进行实时缺陷检出并输出每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；然后：
根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，对过漏、检缺陷样本进行标记，传输到样本库中实现样本库的更新，进行递归训练更新模型，已达到模型检测能力自身优化的效果，同时调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，因此本申请可以根据预设缺陷概率阈值的方式预警过检或漏检，达到降过检或漏检的目的。
将所有的所述NG品像素合并得到绘制的缺陷区根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长，因此本申请可以获取面积值和尺寸值参数，用于后续的二次检测。
第二方面，基于上述的端子缺陷检测方法，本申请还提供了一种基于深度学习的端子缺陷检测***，如图6所示，所述***包括：
样本库获取模块，用于对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
深度卷积神经网络学习模型训练模块，用于利用深度卷积神经网络多所述预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
概率获取模块，用于将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
NG品像素判定模块，用于当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
缺陷面积和尺寸获取模块，用于根据所述NG品像素获取缺陷的面积值和尺寸值；
一次检出率获取模块，用于根据所述NG品像素获取缺陷的一次检出率；
过检或漏检判定模块，用于当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
样本库更新模块，用于将过检或漏检图片传输至所述样本库中；
缺陷概率阈值调整模块，用于调整缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种基于深度学习的端子缺陷检测方法，其特征在于，包括：
对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
根据所述NG品像素获取缺陷的面积值和尺寸值；
根据所述NG品像素获取缺陷的一次检出率；
当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
将过检或漏检图片传输至所述样本库中；
调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
2.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：
对所述样本库中的图像进行样本增强，所述样本增强包括对图像进行旋转、镜像或噪声处理；
对样本库中的原图经过多重卷积得到特征图；
对所述特征图池化、ReLu函数激活及损失函数训练后得到深度卷积神经网络学习模型。
3.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率，包括：
输出所述像素缺陷类别和对应的概率。
4.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素，包括：
预设缺陷概率阈值；
判断输出的像素的概率和所述预设的缺陷概率阈值；
当所述输出的像素的概率大于所述预设缺陷概率阈值时，所述像素判定为NG品像素。
5.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述根据所述NG品像素获取缺陷的面积值和尺寸值，包括：
将所有的所述NG品像素合并得到绘制的缺陷区；
根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长。
6.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述根据所述NG品像素获取缺陷的一次检出率，包括：
所述一次检出率为所述NG品像素个数占全部像素个数的比率。
7.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，包括：
当所述一次检出率大于所述图像的给定不良率时，判定为过检；
当所述一次检出率小于所述图像的给定不良率时，判定为漏检。
8.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述将过检或漏检图片传输至所述样本库中，包括：
将过检或漏检图片标记后传输至所述样本库中；
利用深度卷积神经网络对所述样本库二次进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型。
9.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，包括：
调整所述预设缺陷概率阈值；
当输出的像素的概率大于调整后的预设缺陷概率阈值时，所述像素判定为NG品像素；
根据所述NG品像素获取缺陷的面积值和尺寸值；
根据所述NG品像素获取缺陷的一次检出率；
当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检。
10.一种基于深度学习的端子缺陷检测***，其特征在于，所述***包括：
样本库获取模块，用于对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
深度卷积神经网络学习模型训练模块，用于利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
概率获取模块，用于将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
NG品像素判定模块，用于当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
缺陷面积和尺寸获取模块，用于根据所述NG品像素获取缺陷的面积值和尺寸值；
一次检出率获取模块，用于根据所述NG品像素获取缺陷的一次检出率；
过检或漏检判定模块，用于当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
样本库更新模块，用于将过检或漏检图片传输至所述样本库中；
缺陷概率阈值调整模块，用于调整缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。
CN202010102369.9A 2020-02-19 2020-02-19 基于深度学习的端子缺陷检测方法及*** Pending CN111275700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102369.9A CN111275700A (zh) 2020-02-19 2020-02-19 基于深度学习的端子缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102369.9A CN111275700A (zh) 2020-02-19 2020-02-19 基于深度学习的端子缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN111275700A true CN111275700A (zh) 2020-06-12

Family

ID=71002080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102369.9A Pending CN111275700A (zh) 2020-02-19 2020-02-19 基于深度学习的端子缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN111275700A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461846A (zh) * 2020-11-26 2021-03-09 常州微亿智造科技有限公司 工件缺陷检测方法及装置
CN112991294A (zh) * 2021-03-12 2021-06-18 梅特勒-托利多(常州)测量技术有限公司 异物检测方法、装置及计算机可读介质
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN113658037A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置
CN113837225A (zh) * 2021-08-25 2021-12-24 佛山科学技术学院 一种基于深度学习的缺陷检测3d打印装置及方法
TWI803824B (zh) * 2020-12-09 2023-06-01 大陸商艾聚達信息技術(蘇州)有限公司 人工智慧模型自動提升訓練系統及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530598A (zh) * 2013-03-08 2014-01-22 Tcl集团股份有限公司 一种台标识别方法及***
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107992853A (zh) * 2017-12-22 2018-05-04 深圳市友信长丰科技有限公司 人眼检测方法、装置、计算机设备及存储介质
CN108492291A (zh) * 2018-03-12 2018-09-04 苏州天准科技股份有限公司 一种基于cnn分割的太阳能光伏硅片瑕疵检测***及方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
CN110378944A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110751644A (zh) * 2019-10-23 2020-02-04 上海应用技术大学 道路表面裂纹检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530598A (zh) * 2013-03-08 2014-01-22 Tcl集团股份有限公司 一种台标识别方法及***
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107992853A (zh) * 2017-12-22 2018-05-04 深圳市友信长丰科技有限公司 人眼检测方法、装置、计算机设备及存储介质
CN108492291A (zh) * 2018-03-12 2018-09-04 苏州天准科技股份有限公司 一种基于cnn分割的太阳能光伏硅片瑕疵检测***及方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
CN110378944A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110751644A (zh) * 2019-10-23 2020-02-04 上海应用技术大学 道路表面裂纹检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
栾贻国 著: "《材料加工中的计算机应用技术》", 哈尔滨工业大学出版社, pages: 9 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461846A (zh) * 2020-11-26 2021-03-09 常州微亿智造科技有限公司 工件缺陷检测方法及装置
CN112461846B (zh) * 2020-11-26 2024-02-23 常州微亿智造科技有限公司 工件缺陷检测方法及装置
TWI803824B (zh) * 2020-12-09 2023-06-01 大陸商艾聚達信息技術(蘇州)有限公司 人工智慧模型自動提升訓練系統及方法
CN112991294A (zh) * 2021-03-12 2021-06-18 梅特勒-托利多(常州)测量技术有限公司 异物检测方法、装置及计算机可读介质
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN113658037A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置
CN113658037B (zh) * 2021-08-24 2024-05-14 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置
CN113837225A (zh) * 2021-08-25 2021-12-24 佛山科学技术学院 一种基于深度学习的缺陷检测3d打印装置及方法

Similar Documents

Publication Publication Date Title
CN111275700A (zh) 基于深度学习的端子缺陷检测方法及***
CN113239930B (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN111932501A (zh) 一种基于语义分割的密封圈表面缺陷检测方法
CN115351598A (zh) 一种数控机床轴承检测方法
US20230005130A1 (en) Method and device for detecting display panel defect
CN113554631B (zh) 一种基于改进网络的芯片表面缺陷检测方法
CN111753692A (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
CN111709948A (zh) 容器瑕疵检测方法和装置
CN109285791B (zh) 设计布局为主的快速在线缺陷诊断、分类及取样方法及***
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN117635565B (zh) 一种基于图像识别的半导体表面缺陷检测***
CN116012291A (zh) 工业零件图像缺陷检测方法及***、电子设备和存储介质
CN116485779A (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及***
CN113916893A (zh) 模切产品缺陷的检测方法
CN117455887A (zh) 基于机器视觉的pcb来料检测方法、装置、设备及介质
CN113191977A (zh) 一种用于恶劣环境条件下目标检测识别的图像增强***
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
CN115797314B (zh) 零件表面缺陷检测方法、***、设备及存储介质
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN115995023A (zh) 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法
CN115479891A (zh) 基于图像识别的电路板载元器件自动检测***和方法
CN115239663A (zh) 隐形眼镜瑕疵检测方法及***、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701

Applicant after: Lingyunguang Technology Co., Ltd

Address before: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701

Applicant before: LUSTER LIGHTTECH GROUP Co.,Ltd.

CB02 Change of applicant information