CN111652098B - 产品表面缺陷检测方法及装置 - Google Patents
产品表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN111652098B CN111652098B CN202010449233.5A CN202010449233A CN111652098B CN 111652098 B CN111652098 B CN 111652098B CN 202010449233 A CN202010449233 A CN 202010449233A CN 111652098 B CN111652098 B CN 111652098B
- Authority
- CN
- China
- Prior art keywords
- sample
- detected
- product
- obtaining
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种产品表面缺陷检测方法,包括以下步骤:采集包含产品表面的样本图片,将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图,并标记所述样本子图是否有缺陷;对所述样本子图进行数据增强,得到数据增强后的训练样本;利用统计方法得到所述训练样本的统计特征,结合样本图片和其对应的统计特征得到合成训练样本;根据所述合成训练样本,利用深度学习方法以及相似性度量函数得到缺陷检测模型;采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷;本发明还公开了一种产品表面缺陷检测装置,本发明大大提高产品表面缺陷检测的精度。
Description
技术领域
本发明涉及工业检测和计算机视觉技术领域,特别是一种产品表面缺陷检测方法及装置。
背景技术
在传统工业制造业生产场景中,质检是生产流程中的关键环节,比如在冰箱、电视、汽车、印刷线路板、芯片和液晶显示器等领域中,对产品的表面状态进行检测是对产品质量进行控制的一种重要手段,判断产品是否存在瑕疵和缺陷,并根据检测结果对产品做相应的处理。
产品的表面缺陷种类众多,例如划痕、污点,磕碰等等,这些缺陷都是需要检出的。传统的零件生产中的检测环节一般通过人工检测的方式进行,这增加了人力负担,并且很多细微的缺陷通过人很难检测出来。因此,通过计算机视觉***检测产品表面缺陷,以代替人工检测是目前本领域需要解决的问题,然而现有的通过计算机视觉***检测产品表面缺陷存在检测率低、模型提取不准确等缺陷,以及模型训练时,没有对缺陷样本和无缺陷样本的相似性足够大这个目标进行专门的优化的问题。
发明内容
为解决现有技术中存在的问题,本发明的目的是提供一种产品表面缺陷检测方法及装置,本发明适用于工业检测领域的产品表面缺陷检测场景,能在少样本情况下进行产品表面缺陷检测工作,而且检测率高。
为实现上述目的,本发明采用的技术方案是:一种产品表面缺陷检测方法,包括以下步骤:
采集包含产品表面的样本图片,将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图,并标记所述样本子图是否有缺陷;
对所述样本子图进行数据增强,得到数据增强后的训练样本;
利用统计方法得到所述训练样本的统计特征,结合样本图片和其对应的统计特征得到合成训练样本;
根据所述合成训练样本,利用深度学习方法以及相似性度量函数得到缺陷检测模型;
采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷。
作为一种优选的实施方式,对所述样本子图进行数据增强,得到数据增强后的训练样本具体包括:
采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换,得到更多的训练样本;采用深度学习方法GAN网络生成更多的训练样本。
作为另一种优选的实施方式,利用统计方法得到所述训练样本的统计特征具体包括:
利用随机场模型得到训练样本的随机场特征;利用小波变换得到训练样本的小波特征。
作为另一种优选的实施方式,结合样本图片和其对应的统计特征得到合成训练样本具体包括:
将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合,得到合成训练样本。
作为另一种优选的实施方式,利用深度学习方法以及相似性度量函数得到缺陷检测模型具体包括:
利用深度学习方法,构建一个卷积神经网络模型,提取所述合成训练样本的深度特征,并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L1,以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L2;
以最大化L1,以及以最小化L2为目标,优化所述卷积神经网络模型,得到缺陷检测模型。
作为另一种优选的实施方式,采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷包括:
将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图,利用统计方法得到所述待测子图的统计特征,具体包括:利用随机场模型得到待测子图的随机场特征,利用小波变换得到待测子图的小波特征;
结合待测子图和其对应的统计特征得到合成待测样本,具体包括:将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列,得到合成待测样本;
将合成待测样本送入到所述缺陷检测模型,计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值,如果超过所述阈值,则说明待测产品表面存在缺陷,否则说明待测产品表面无缺陷。
本发明还提供一种产品表面缺陷检测装置,包括:
图像采集模块,用于采集包含产品表面的样本图片;
训练模块,用于将每张所述样本图片按照产品表面的轮廓特点或者按设定的大小均匀分成样本子图,并标记所述样本子图是否有缺陷,对所述样本子图进行数据增强,得到数据增强后的训练样本,利用统计方法得到所述训练样本的统计特征,结合样本图片和其对应的统计特征得到合成训练样本;根据所述合成训练样本,利用深度学习方法以及相似性度量函数得到缺陷检测模型;
检测模块,用于采用所述缺检测陷模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷。
作为一种优选的实施方式,所述训练模块中:
对所述样本子图进行数据增强,得到数据增强后的训练样本具体包括:采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换,得到更多的训练样本;采用深度学习方法GAN网络生成更多的训练样本;
利用统计方法得到所述训练样本的统计特征具体包括:利用随机场模型得到训练样本的随机场特征;利用小波变换得到训练样本的小波特征;
结合样本图片和其对应的统计特征得到合成训练样本具体包括:将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合,得到合成训练样本;
利用深度学习方法以及相似性度量函数根据所述合成训练样本得到缺陷检测模型具体包括:
利用深度学习方法,构建一个卷积神经网络模型,提取所述合成训练样本的深度特征,并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L1,以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L2;
以最大化L1,以及以最小化L2为目标,优化所述卷积神经网络模型,得到缺陷检测模型。
作为另一种优选的实施方式,所述检测模块中,采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷包括:
将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图,利用统计方法得到所述待测子图的统计特征,具体包括:利用随机场模型得到待测子图的随机场特征,利用小波变换得到待测子图的小波特征;
结合待测子图和其对应的统计特征得到合成待测样本,具体包括:将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列,得到合成待测样本;
将合成待测样本送入到所述缺陷检测模型,计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值,如果超过所述阈值,则说明待测产品表面存在缺陷,否则说明待测产品表面无缺陷。
本发明的有益效果是:
本发明只需要少量的训练样本就可以得到大量的训练样本,结合统计方法和深度学习方法,在少量缺陷样本情况下能够生成大量训练样本,能准确提取缺陷特征,大大提高产品表面缺陷检测的精度及准确率,自动检测,节省了人力;解决了现有技术中产品表面缺陷检测训练样本很少且容易出现误判,导致检测结果不准确的技术问题。
附图说明
图1为本发明实施例1中缺陷检测模型的训练流程框图;
图2为本发明实施例1的产品表面缺陷检测方法的流程框图;
图3为本发明实施例2的产品表面缺陷检测装置结构示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例1
如图1所示,一种产品表面缺陷检测方法,包括以下步骤:
步骤101,采集包含产品表面的样本图片,每张样本图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图,并标记样本图片是否有缺陷;
通过图片进行缺陷检测的方法对于图像的成像质量要求很高,高质量的成像图像是准确缺陷检测的必要条件。所以本实施例具体采用了相机阵列获取包含产品表面的超过十亿像素的图片,相机阵列具有参考相机。
获取包含产品表面的超过十亿像素图片步骤如下:
a.用除参考相机以外的相机进行正常采集局部图片,用参考相机进行全局变曝光采集,使用不同长度的曝光时间对全局进行多次曝光采样,获得不同强度范围入射光的细节;
b.对参考相机变曝光采集到的视频图像进行曝光融合,得到全局高动态范围低时域噪声的图像;
c.对未进行变曝光采集的局部视频图像预处理,按照设定的比例缩小,利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置,从全局图中裁剪出最佳匹配块,放大到与局部图像同样大小,作为参考块;
d.对局部图像进行特征点提取匹配及变换,利用图割技术将局部图像进行拼接。该方法可以得到高动态范围超过十亿像素的图像。
每张图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图,并标记样本子图是否有缺陷,步骤如下:如果产品表面的轮廓区分明显则按照不同的轮廓区域将样本图片划分成不同的样本子图,如果产品表面的轮廓区分不明显,按照设定的大小分成多张大小相同的样本子图。假设得到的图片像素为十亿,产品表面的轮廓区分不明显。十亿像素图片宽高为32768的正方形图片,为了避免缺陷在分割处出现,以长、宽为0.2*32768=6554像素的大小,步长为0.1*32768=3277像素进行分割。所以一共可以切分成81张大小相同的图片,即81张尺寸为6554x 6554的样本子图。标记每张样本子图是否有缺陷。
步骤102,对样本子图进行数据增强,得到数据增强后的训练样本。步骤如下:
a.采用数据增强方法对子图进行翻转、缩放、旋转等变换,得到更多的训练样本;
b.采用深度学习方法GAN网络(Generative Adversarial Networks)生成更多的训练样本;
首先构建GAN模型的两个组成部分:生成器(generator)和判别器(discriminator)。它们都是由参数确定的卷积神经网络:表示为G和D。判别网络的参数为最大化正确区分真实数据和伪造数据(生成网络伪造的数据)的概率这一目标而优化,而生成网络的目标是最大化判别网络不能识别其伪造的样本的概率。输入一个向量z,该向量取样自一个潜分布(latent distribution),应用由网络定义的函数G至该向量,得到G(z)。判别网络交替接受G(z)和x(一张真实合成训练样本),输出输入为真的概率。通过适当的超参数调优和足够的训练迭代次数,生成网络和判别网络将一起收敛(通过梯度下降方法进行参数更新)至描述伪造数据的分布和取样真实数据的分布相一致的点。这样就由GAN网络生成了大量的训练样本。
步骤103,利用统计方法得到每张训练样本的统计特征,结合样本图片和它对应的统计特征得到合成训练样本,步骤如下:
a.利用随机场模型得到训练样本的随机场特征。
本实施例采用非因果关系的高斯马尔科夫随机场模型,它假设图像中一个像素的观测值具有马尔科夫性,即每个像素的观测值只与它周围的像素有关。并且每个位置的像素,周围的每个像素对它的观测值的影响是同等重要的,不存在哪一个方向影响更大。
假定图像{y(v)}v∈Ω的尺寸为MxM,非因果关系的高斯马尔科夫随机场模型的单元格为Ω,则每个像素的观测值可以用以下公式(1)(2)表达:
B(θ)y=ε (2)
模型的参数用公式(3)(4)计算如下:
将公式(3)(4)代入公式(1)中可以得到图像的随机场特征。
b.利用小波变换得到图片的小波特征。
本实施例采用冗余离散小波变换(RDWD)得到一个多层的小波特征图。
步骤104,结合样本图片和它对应的统计特征得到合成训练样本,具体为:将随机场特征和小波特征与样本图片按照通道方向进行排列,得到合成训练样本。
步骤105,利用深度学习方法以及相似性度量函数,根据合成训练样本得到缺陷检测模型,步骤如下:
a.利用深度学习方法,构建一个卷积神经网络,提取合成训练样本的深度特征,本实施例采用darknet53卷积网络。并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L1,无缺陷样本和无缺陷样本深度特征之间的相似性距离L2,如公式(5)(6)所示:
c.以最大化L1,以最小化L2为目标,优化卷积神经网络模型,得到缺陷检测模型。利用反向传播算法优化卷积神经网络参数,得到最终的缺陷检测模型。
步骤106,采用缺陷检测模型对待测产品表面图像进行预测,判断产品表面是否含有缺陷,如图2所示,包括:
a.每张待测图片按照产品表面的轮廓特点分成待测子图或者按设定的大小均匀分成待测子图,对待测子图利用非因果关系的高斯马尔科夫随机场模型得到待测子图的随机场特征,再利用冗余离散小波变换(RDWD)得到一个多层的小波特征图;
b.将随机场特征和小波特征与待测图片按照通道方向进行排列,得到合成待测样本;
c.将合成待测样本送入到训练好的darknet53缺陷检测模型,得到图片的深度特征,计算合成待测样本特征与缺陷检测模型训练的正常样本特征的相似性距离是否超过阈值,如果超过阈值则判断产品表面有缺陷,否则产品表面无缺陷。
本实施例的产品表面缺陷检测方法利用相机阵列获取包含产品表面的高分辨率图片,按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图。采用传统数据增强方法以及深度学习方法对样本子图进行数据增强,得到大量的训练样本;利用统计方法得到每张样本子图的统计特征,结合样本图片和它对应的统计特征得到合成训练样本;利用深度学习方法以及相似性度量函数,根据合成训练样本,得到缺陷检测模型;采用缺陷模型对待测产品表面图像进行预测,判断图片是否含有缺陷。根据所有待测子图的检测结果,判断产品表面是否有缺陷。该方法可以利用少量的样本图片得到精确的缺陷检测算法,能大大提高产品表面缺陷检测的精度。
实施例2
如图3所示,一种产品表面缺陷检测装置,包括:图像采集模块、训练模块和检测模块。
图像采集模块,用于采集包含产品表面的样本图片。
利用相机阵列获取图片,相机阵列具有参考相机。用除参考相机以外的相机进行正常采集局部图片,用参考相机进行全局变曝光采集,使用不同长度的曝光时间对全局进行多次曝光采样,获得不同强度范围入射光的细节;通过图像整合,归一化处理以及特征点提取匹配及变换和图像拼接技术得到高动态范围超过十亿像素的图像。
训练模块,用于将每张图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图,采用数据增强方法对样本子图进行翻转、缩放、旋转等变换,得到更多的训练样本;采用深度学习方法GAN网络对样本子图进行数据增强,得到大量的训练样本。利用统计方法得到每张训练样本的统计特征,非因果关系的高斯马尔科夫随机场模型和冗余离散小波变换得到随机场特征及小波特征,将样本图片和它对应的随机场特征及小波特征按照通道排列得到合成训练样本;根据合成训练样本,利用卷积神经网络darknet53以及相似性度量函数得到缺陷检测模型;
检测模块,用于采用缺陷检测模型对待测产品表面图像进行预测,判断产品表面是否含有缺陷,包括:对待测图片按照产品表面的轮廓特点分成待测子图或者按设定的大小均匀分成待测子图,利用非因果关系的高斯马尔科夫随机场模型和冗余离散小波变换得到随机场特征及小波特征,将样本图片和它对应的随机场特征及小波特征按照通道排列得到合成训练样本;将合成样本送入到训练好的darknet53模型,得到图片的深度特征,计算合成样本特征与正常样本特征之间的特征的相似性距离是否超过阈值,如果超过阈值则判断产品表面有缺陷,否则产品表面无缺陷。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (6)
1.一种产品表面缺陷检测方法,其特征在于,包括以下步骤:
采集包含产品表面的样本图片,将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图,并标记所述样本子图是否有缺陷;
对所述样本子图进行数据增强,得到数据增强后的训练样本;
利用统计方法得到所述训练样本的统计特征,结合样本图片和其对应的统计特征得到合成训练样本;
利用统计方法得到所述训练样本的统计特征具体包括:
利用随机场模型得到训练样本的随机场特征;利用小波变换得到训练样本的小波特征;
结合样本图片和其对应的统计特征得到合成训练样本具体包括:
将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合,得到合成训练样本;
根据所述合成训练样本,利用深度学习方法以及相似性度量函数得到缺陷检测模型;
采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷。
2.根据权利要求1所述的产品表面缺陷检测方法,其特征在于,对所述样本子图进行数据增强,得到数据增强后的训练样本具体包括:
采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换,得到更多的训练样本;采用深度学习方法GAN网络生成更多的训练样本。
3.根据权利要求1所述的产品表面缺陷检测方法,其特征在于,利用深度学习方法以及相似性度量函数得到缺陷检测模型具体包括:
利用深度学习方法,构建一个卷积神经网络模型,提取所述合成训练样本的深度特征,并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L1,以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L2;
以最大化L1,以及以最小化L2为目标,优化所述卷积神经网络模型,得到缺陷检测模型。
4.根据权利要求1-3任一项所述的产品表面缺陷检测方法,其特征在于,采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷包括:
将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图,利用统计方法得到所述待测子图的统计特征,具体包括:利用随机场模型得到待测子图的随机场特征,利用小波变换得到待测子图的小波特征;
结合待测子图和其对应的统计特征得到合成待测样本,具体包括:将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列,得到合成待测样本;
将合成待测样本送入到所述缺陷检测模型,计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值,如果超过所述阈值,则说明待测产品表面存在缺陷,否则说明待测产品表面无缺陷。
5.一种产品表面缺陷检测装置,其特征在于,包括:
图像采集模块,用于采集包含产品表面的样本图片;
训练模块,用于将每张所述样本图片按照产品表面的轮廓特点或者按设定的大小均匀分成样本子图,并标记所述样本子图是否有缺陷,对所述样本子图进行数据增强,得到数据增强后的训练样本,利用统计方法得到所述训练样本的统计特征,结合样本图片和其对应的统计特征得到合成训练样本;根据所述合成训练样本,利用深度学习方法以及相似性度量函数得到缺陷检测模型;
所述训练模块中:
对所述样本子图进行数据增强,得到数据增强后的训练样本具体包括:采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换,得到更多的训练样本;采用深度学习方法GAN网络生成更多的训练样本;
利用统计方法得到所述训练样本的统计特征具体包括:利用随机场模型得到训练样本的随机场特征;利用小波变换得到训练样本的小波特征;
结合样本图片和其对应的统计特征得到合成训练样本具体包括:将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合,得到合成训练样本;
利用深度学习方法以及相似性度量函数根据所述合成训练样本得到缺陷检测模型具体包括:
利用深度学习方法,构建一个卷积神经网络模型,提取所述合成训练样本的深度特征,并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L1,以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L2;
以最大化L1,以及以最小化L2为目标,优化所述卷积神经网络模型,得到缺陷检测模型;
检测模块,用于采用所述缺陷 检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷。
6.根据权利要求5所述的产品表面缺陷检测装置,其特征在于,所述检测模块中,采用所述缺陷检测模型对待测产品表面图像进行预测,判断待测产品表面是否含有缺陷包括:
将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图,利用统计方法得到所述待测子图的统计特征,具体包括:利用随机场模型得到待测子图的随机场特征,利用小波变换得到待测子图的小波特征;
结合待测子图和其对应的统计特征得到合成待测样本,具体包括:将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列,得到合成待测样本;
将合成待测样本送入到所述缺陷检测模型,计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值,如果超过所述阈值,则说明待测产品表面存在缺陷,否则说明待测产品表面无缺陷。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010449233.5A CN111652098B (zh) | 2020-05-25 | 2020-05-25 | 产品表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010449233.5A CN111652098B (zh) | 2020-05-25 | 2020-05-25 | 产品表面缺陷检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652098A CN111652098A (zh) | 2020-09-11 |
CN111652098B true CN111652098B (zh) | 2022-03-01 |
Family
ID=72349583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010449233.5A Active CN111652098B (zh) | 2020-05-25 | 2020-05-25 | 产品表面缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652098B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184665A (zh) * | 2020-09-27 | 2021-01-05 | 苏州嘉展科技有限公司 | 一种应用于纸塑行业的人工智能缺陷侦测*** |
CN112270687A (zh) * | 2020-10-16 | 2021-01-26 | 鲸斛(上海)智能科技有限公司 | 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法 |
CN112734690A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机***工程有限公司 | 一种表面缺陷检测方法、装置及计算机可读存储介质 |
CN112730427B (zh) * | 2020-12-22 | 2024-02-09 | 安徽康能电气有限公司 | 一种基于机器视觉的产品表面缺陷检测方法及*** |
CN112700483B (zh) * | 2021-01-13 | 2023-02-17 | 上海微亿智造科技有限公司 | 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质 |
CN112950594B (zh) * | 2021-03-08 | 2023-06-23 | 北京理工大学 | 产品表面缺陷的检测方法、设备及存储介质 |
CN116091500B (zh) * | 2023-04-07 | 2023-07-04 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109732A (zh) * | 2007-08-08 | 2008-01-23 | 哈尔滨工业大学 | 基于模糊平面特征的超声无损检测回波信号分类方法 |
TW200844429A (en) * | 2007-05-15 | 2008-11-16 | Chi-Hao Yeh | An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN110796637A (zh) * | 2019-09-29 | 2020-02-14 | 郑州金惠计算机***工程有限公司 | 图像缺陷检测模型的训练、测试方法、装置及存储介质 |
CN111157531A (zh) * | 2019-12-25 | 2020-05-15 | 南京悠阔电气科技有限公司 | 一种基于深度学习的变电站设备缺陷识别方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074013B (zh) * | 2011-01-26 | 2012-11-28 | 刘国英 | 基于小波域多尺度Markov网模型的图像分割方法 |
US20150204799A1 (en) * | 2014-01-21 | 2015-07-23 | International Business Machines Corporation | Computer-based defect root cause and yield impact determination in layered device manufacturing for products and services |
CN105930788A (zh) * | 2016-04-18 | 2016-09-07 | 太原理工大学 | 非下采样轮廓波和主成分分析相结合的人脸识别方法 |
CN108562589B (zh) * | 2018-03-30 | 2020-12-01 | 慧泉智能科技(苏州)有限公司 | 一种对磁路材料表面缺陷进行检测的方法 |
CN109509172A (zh) * | 2018-09-25 | 2019-03-22 | 无锡动视宫原科技有限公司 | 一种基于深度学习的液晶屏瑕疵检测方法及*** |
CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
CN109615604B (zh) * | 2018-10-30 | 2020-12-18 | 中国科学院自动化研究所 | 基于图像重构卷积神经网络的零件外观瑕疵检测方法 |
CN109682820A (zh) * | 2018-11-05 | 2019-04-26 | 苏州佳智彩光电科技有限公司 | 一种显示屏的缺陷自动光学检测方法 |
CN109583489B (zh) * | 2018-11-22 | 2021-01-15 | 中国科学院自动化研究所 | 缺陷分类识别方法、装置、计算机设备和存储介质 |
CN110161119B (zh) * | 2019-06-07 | 2021-11-26 | 湘潭大学 | 风电叶片缺陷识别方法 |
-
2020
- 2020-05-25 CN CN202010449233.5A patent/CN111652098B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200844429A (en) * | 2007-05-15 | 2008-11-16 | Chi-Hao Yeh | An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film |
CN101109732A (zh) * | 2007-08-08 | 2008-01-23 | 哈尔滨工业大学 | 基于模糊平面特征的超声无损检测回波信号分类方法 |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN110796637A (zh) * | 2019-09-29 | 2020-02-14 | 郑州金惠计算机***工程有限公司 | 图像缺陷检测模型的训练、测试方法、装置及存储介质 |
CN111157531A (zh) * | 2019-12-25 | 2020-05-15 | 南京悠阔电气科技有限公司 | 一种基于深度学习的变电站设备缺陷识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111652098A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652098B (zh) | 产品表面缺陷检测方法及装置 | |
US9846932B2 (en) | Defect detection method for display panel based on histogram of oriented gradient | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
US20130202188A1 (en) | Defect inspection method, defect inspection apparatus, program product and output unit | |
CN111160301B (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
US11494892B2 (en) | Surface defect detection system | |
CN104048969A (zh) | 一种隧道病害的识别方法 | |
CN111681240A (zh) | 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 | |
CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及*** | |
CN116563641A (zh) | 一种基于小目标检测的表面缺陷识别方法及*** | |
CN117635565B (zh) | 一种基于图像识别的半导体表面缺陷检测*** | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及*** | |
CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
CN113569679B (zh) | 测量断裂伸长率的方法、装置和*** | |
Kuo et al. | Automated inspection of micro-defect recognition system for color filter | |
CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及*** | |
CN116258908A (zh) | 一种基于无人机遥感影像数据的地灾预测评估分类方法 | |
CN115272340A (zh) | 工业产品缺陷检测方法和装置 | |
KR101782366B1 (ko) | 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법 | |
CN115239663A (zh) | 隐形眼镜瑕疵检测方法及***、电子设备、存储介质 | |
CN111640117B (zh) | 一种寻找建筑物渗漏源位置的方法 | |
Harshini et al. | Sewage Pipeline Fault Detection using Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |