CN112669267B - 一种电路板缺陷检测方法、装置、电子设备和存储介质 - Google Patents
一种电路板缺陷检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112669267B CN112669267B CN202011511881.5A CN202011511881A CN112669267B CN 112669267 B CN112669267 B CN 112669267B CN 202011511881 A CN202011511881 A CN 202011511881A CN 112669267 B CN112669267 B CN 112669267B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- circuit board
- trained
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 164
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000002950 deficient Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 101100161752 Mus musculus Acot11 gene Proteins 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 229910000679 solder Inorganic materials 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及检测模型,公开了一种电路板缺陷检测方法、装置、电子设备和存储介质,该方法包括:获取第一图像,所述第一图像中的电路板上有缺陷;将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。实施本申请实施例,实现电路板缺陷的精准检测。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种电路板缺陷检测方法、装置、电子设备和存储介质。
背景技术
在电子产品中,电路板是组成电子产品的重要部分,被广泛应用于各类电子设备中,电子产品的正常运作很大程度上依赖于电路板的质量,所以针对电路板的缺陷检测一直以来都是工业制造领域研究的重要方向。
由于人眼对微小目标分辨能力弱、不稳定性高以及面对大量数据无法高效完成检测任务,导致过去的人工检测已经逐渐被机器检测所取代。机器以及应用人工智能的检测方案,如应用光学设备扫描、加入深度学习进行检测识别等,能够实现灰度级、观测微米级的目标,具备始终如一的稳定性以及信息全面可溯源的特点,即使面对较大的数据量也已经能够达到较好的检测效率和精度。然而,由于电路板缺陷种类多,导致现有的检测方案中需要人工标注缺陷,以基于人工标注的缺陷实现电路板的缺陷检测。而人工标注存在失误,这导致现有的检测方案可能存在无法实现电路板缺陷的精准检测。因此,亟需一种技术手段实现电路板缺陷的精准检测。
发明内容
本申请实施例提供了一种电路板缺陷检测方法、装置、电子设备和存储介质,实现电路板缺陷的精准检测。
本申请第一方面提供了一种电路板缺陷检测方法,包括:
获取第一图像,所述第一图像中的电路板上有缺陷;
将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
本申请第二方面提供了一种电路板缺陷检测装置,所述装置包括获取模块、输入模块和确定模块,
所述获取模块,用于获取第一图像,所述第一图像中的电路板上有缺陷;
所述输入模块,用于将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
所述确定模块,用于根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
本申请第三方面提供了一种电路板缺陷检测的电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被生成由所述处理器执行,以执行一种电路板缺陷检测方法任一项方法中的步骤的指令。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述存储计算机程序被所述处理器执行,以实现一种电路板缺陷检测方法任一项所述的方法。
可以看出,上述技术方案中,通过将有缺陷的图像输入训练好的生成网络中,使得训练好的生成网络可以生成无缺陷的图像,从而可以根据有缺陷的图像中每个像素对应的纹理特征值和无缺陷的图像中每个像素对应的纹理特征值,确定出有缺陷的图像中电路板的缺陷信息,避免了现有方案中基于人工标注的缺陷实现电路板的缺陷检测,进而避免了在人工标注存在失误的情况下无法实现电路板缺陷的精准检测的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是本申请实施例提供的一种电路板缺陷检测***的示意图;
图2是本申请实施例提供的又一种电路板缺陷检测***的示意图;
图3是本申请实施例提供的一种电路板缺陷检测方法的流程示意图;
图4是本申请实施例提供的一种灰度值对的示意图;
图5为本申请实施例提供的一种电路板缺陷检测装置的示意图;
图6为本申请的实施例涉及的硬件运行环境的电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,参见图1,图1是本申请实施例提供的一种电路板缺陷检测***的示意图,该电路板缺陷检测***100包括电路板缺陷检测装置110。该电路板缺陷检测装置110用于处理、存储图像等。该电路板缺陷检测***100可以包括集成式单体设备或者多设备,为方便描述,本申请将电路板缺陷检测***100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
参见图2,图2是本申请实施例提供的又一种电路板缺陷检测***的示意图,该电路板缺陷检测***包括服务器20和数据库21。服务器20用于实现本申请实施例涉及到的方案。数据库21用于存储第一图像、样本集等。示例性的,服务器20可以从数据库21中获取第一图像。具体服务器20的功能,在此不做限制。
另外,由于人眼对微小目标分辨能力弱、不稳定性高以及面对大量数据无法高效完成检测任务,导致过去的人工检测已经逐渐被机器检测所取代。机器以及应用人工智能的检测方案,如应用光学设备扫描、加入深度学习进行检测识别等,能够实现灰度级、观测微米级的目标,具备始终如一的稳定性以及信息全面可溯源的特点,即使面对较大的数据量也已经能够达到较好的检测效率和精度。然而,由于电路板缺陷种类多,导致现有的检测方案中需要人工标注缺陷,以基于人工标注的缺陷实现电路板的缺陷检测。而人工标注存在失误,这导致现有的检测方案可能存在无法实现电路板缺陷的精准检测。因此,亟需一种技术手段实现电路板缺陷的精准检测。
基于此,本申请实施例提出一种电路板缺陷检测方法以解决上述问题,下面对本申请实施例进行详细介绍。
参见图3,图3是本申请实施例提供的一种电路板缺陷检测方法的流程示意图。该电路板缺陷检测方法可以应用于电子设备或服务器,如图3所示,所述方法包括:
301、获取第一图像,所述第一图像中的电路板上有缺陷。
示例性的,步骤301可以包括:服务器调用接口从数据库中获取第一图像。
其中,第一图像为进行噪点去除和彩色图像增强后的图像。
需要说明的,第一图像中不存在除电路板之外的其他器件。
302、将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷。
303、根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
其中,缺陷类型包括以下一种或多种:焊点短路、多铜、少铜、焊点断路、缺口、毛刺和划痕。
可选的,所述根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息,包括:根据所述第一图像,确定所述第一图像对应的第一特征图,所述第一特征图包括每个像素对应的纹理特征值;根据所述第二图像,确定所述第二图像对应的第二特征图,所述第二特征图包括每个像素对应的纹理特征值;将所述第一特征图中每个像素对应的纹理特征值与所述第二特征图中每个像素对应的纹理特征值进行对比;在确定所述第一特征图中第一纹理特征值与所述第二特征图中的纹理特征值之间的绝对值大于第三阈值时,根据所述第一纹理特征值,确定所述第一图像中电路板的缺陷信息。
其中,所述根据所述第一图像,确定所述第一图像对应的第一特征图,包括:将所述第一图像进行灰度化,得到第一灰度图像;根据所述第一灰度图像中每个像素的灰度值与其相邻像素中任意一个像素对应灰度值组成的灰度值对确定每个像素点对应的纹理特征值,以得到第一特征图。
示例性的,参见图4,图4是本申请实施例提供的一种灰度值对的示意图。具体的,结合图4,可以看出,像素1的灰度值可以与像素2的灰度值组成一个灰度值对;或,像素1的灰度值可以与像素3的灰度值组成一个灰度值对;或,像素1的灰度值可以与像素4的灰度值组成一个灰度值对;或,像素1的灰度值可以与像素5的灰度值组成一个灰度值对。
其中,所述根据所述第二图像,确定所述第二图像对应的第二特征图,包括:将所述第二图像进行灰度化,得到第二灰度图像;根据所述第二灰度图像中每个像素的灰度值与其相邻像素中任意一个像素对应灰度值组成的灰度值对确定每个像素点对应的纹理特征值,以得到第二特征图。
其中,第三阈值可以由管理员设置,也可以配置在配置文件中,在此不做限制。
其中,第一纹理特征值可以为第一特征图中一个或多个像素一一对应的一个或多个纹理特征值,在此不做限制。
其中,所述根据所述第一纹理特征值,确定所述第一图像中电路板的缺陷信息,可以理解为:确定所述第一纹理特征值对应的像素所在的位置,以得到缺陷信息包括的缺陷位置;确定所述第一纹理特征值对应的像素的尺寸;根据所述第一纹理特征值对应的像素的尺寸,确定缺陷信息包括的缺陷面积;从所述第一特征图中将所述第一纹理特征值对应的区域恢复为所述第一图像所对应的区域;在显示界面上显示所述第一图像所对应的区域;在所述显示界面上检测到缺陷类型输入指令时,获取缺陷信息包括的缺陷类型。
可以理解的,显示界面可以包括缺陷类型输入框,用户可以在缺陷类型输入框中输入缺陷类型。进一步的,在所述显示界面上检测到缺陷类型输入指令时,获取缺陷信息包括的缺陷类型,包括:在所述显示界面上检测到缺陷类型输入指令时,从缺陷类型输入框中获取缺陷信息包括的缺陷类型。
可以看出,上述技术方案中,通过将有缺陷的图像输入训练好的生成网络中,使得训练好的生成网络可以生成无缺陷的图像,从而可以根据有缺陷的图像中每个像素对应的纹理特征值和无缺陷的图像中每个像素对应的纹理特征值,确定出有缺陷的图像中电路板的缺陷信息,避免了现有方案中基于人工标注的缺陷实现电路板的缺陷检测,进而避免了在人工标注存在失误的情况下无法实现电路板缺陷的精准检测的问题。
在一种可能的实施方式中,所述将所述第一图像输入训练好的生成网络中,得到第二图像之前,所述方法还包括:
获取样本集,所述样本集包括正样本集和负样本集,所述正样本集中的每个正样本的电路板上无缺陷,所述负样本集中的每个负样本的电路板上有缺陷;
将所述正样本集和所述负样本集交替输入待训练的生成网络中,每当所述待训练的生成网络有输出结果时,将所述待训练的生成网络的输出结果输入待训练的判别网络中,直到所述待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将所述正样本集和所述负样本集中未交替输入所述待训练的生成网络中的样本输入所述待训练的生成网络中,以得到所述训练好的生成网络;其中,所述第一标签为无缺陷的标签,所述第二标签为有缺陷的标签。
其中,第一阈值可以由管理员设置,也可以配置在配置文件中,在此不做限制。
可选的,负样本集中的每个负样本可以根据正样本集中的每个正样本确定。具体的,可以人为在正样本集中的每个正样本的电路板上增加焊点短路、多铜、少铜、焊点断路、缺口、毛刺和划痕等缺陷,以获得包括不同缺陷类型的负样本集。
可选的,获取样本集,包括:调用接口从数据库中获取样本集。
其中,样本集中的每个样本是根据进行噪点去除和彩色图像增强后的图像确定的。
其中,待训练的生成网络和待训练的判别网络均为深度神经网络。
可以看出,上述技术方案中,由于直到待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将正样本集和负样本集中未交替输入待训练的生成网络中的样本输入待训练的生成网络中,从而提高了训练好的生成网络的可靠性,使得训练好的生成网络输出的图像更加趋近于无缺陷的图像。
在一种可能的实施方式中,所述待训练的生成网络中的损失函数满足以下公式:
其中,所述L为所述待训练的生成网络中的损失函数,所述M为所述负样本集的数量,所述ωn为权重,所述Vn是第一向量,所述第一向量中的第一元素是第二向量中以第一行第一列的元素为基准分别沿第一方向和第二方向,以步长为预设步长获取的至少一个元素、第一行第一列的元素和第一行第一列的元素对角的元素的均值,所述第二向量是根据第一负样本对应的向量中每个元素和第一正样本对应的向量确定的,所述第一负样本为所述负样本集中任意一个负样本,所述第一正样本为所述正样本集中与所述第一负样本关联的正样本,所述第一方向和所述第二方向不同。
其中,预设步长可以由管理员设置,也可以配置在配置文件中,在此不做限制。
其中,若第一方向为向下,则第二方向为向右;若第一方向为向右,则第二方向为向下。
需要说明的,第一向量中除第一元素之外的其他元素,可以参考第一元素,在此不加赘述。
示例性的,第一负样本对应的向量为第一正样本对应的向量为第二向量为即,第二向量为若预设步长为1,则第一向量可以为
可以看出,上述技术方案中,通过利用负样本对应的向量中每个元素和正样本对应的向量确定的向量,实现损失函数的更新,从而提高了训练好的生成网络的可靠性,使得训练好的生成网络输出的图像更加趋近于无缺陷的图像。
在一种可能的实施方式中,所述ωn为所述第一向量中最小元素与所述第一向量中每个元素的总和之比。
在一种可能的实施方式中,所述根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息,包括:
将所述第一图像切分成同等大小的多个第一子图像;
将所述第二图像切分成同等大小的多个第二子图像,所述多个第一子图像与所述多个第二子图像一一对应;
将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息。
可选的,在所述将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息之前,所述方法还包括:根据所述多个第一子图像中每个第一子图像,确定每个第一子图像对应的第一子特征图,所述第一子特征图包括每个像素对应的纹理特征值;根据所述多个第二子图像中每个第二子图像,确定每个第二子图像对应的第二子特征图,所述第二子特征图包括每个像素对应的纹理特征值。
其中,所述根据所述多个第一子图像中每个第一子图像,确定每个第一子图像对应的第一子特征图,包括:将所述多个第一子图像中每个第一子图像进行灰度化,得到每个第一子图像对应的灰度子图像;根据每个第一子图像对应的灰度子图像中每个像素的灰度值与其相邻像素中任意一个像素对应灰度值组成的灰度值对确定每个像素点对应的纹理特征值,以得到每个第一子图像对应的特征图。
其中,所述根据所述多个第二子图像中每个第二子图像,确定每个第二子图像对应的第二子特征图,包括:将所述多个第二子图像中每个第二子图像进行灰度化,得到每个第二子图像对应的灰度子图像;根据每个第二子图像对应的灰度子图像中每个像素的灰度值与其相邻像素中任意一个像素对应灰度值组成的灰度值对确定每个像素点对应的纹理特征值,以得到每个第二子图像对应的特征图。
可以看出,上述技术方案中,通过将图像进行切分,从而可以同时将多个子图像进行对比,提高了确定图像中电路板的缺陷信息的效率。
在一种可能的实施方式中,第三子图像为所述多个第一子图像中的任意一个第一子图像,第四子图像为所述多个第二子图像中与所述第三子图像对应的子图像,所述将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息,包括:
以第三子图像的几何中心为原点,构建坐标系,所述第三子图像为所述多个第一子图像中的任意一个第一子图像,所述坐标系的横坐标的正方向为水平向右,所述坐标系的纵坐标的正方向为向上;
以所述坐标系的原点为圆点,将所述第三子图像中初始半径为预设半径的圆形内的图像的纹理特征值与第四子图像中对应图像的纹理特征值进行对比,每次对比后,预设半径增加第二阈值,直到所述第三子图像与所述第四子图像对比结束为止,以得到每次的对比结果;
根据所述对比结果,确定所述第三子图像对应的缺陷信息。
其中,第二阈值可以由管理员设置,也可以配置在配置文件中,在此不做限制。
其中,所述根据所述对比结果,确定所述第三子图像对应的缺陷信息,包括:若所述对比结果为对比结果不一致,则确定出当次对比对应的缺陷信息,以得到所述第三子图像对应的缺陷信息。
可以看出,上述技术方案中,通过将子图像以圆形为基准进行对比,减少了每次对比的图像面积,从而提高了单次对比效率,进而提高了确定图像中电路板的缺陷信息的效率。
参见图5,图5为本申请实施例提供的一种电路板缺陷检测装置的示意图。其中,如图5所示,本申请实施例提供的一种电路板缺陷检测装置500包括获取模块501、输入模块502和确定模块503,
所述获取模块501,用于获取第一图像,所述第一图像中的电路板上有缺陷;
所述输入模块502,用于将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
所述确定模块503,用于根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
可以看出,上述技术方案中,通过将有缺陷的图像输入训练好的生成网络中,使得训练好的生成网络可以生成无缺陷的图像,从而可以根据有缺陷的图像中每个像素对应的纹理特征值和无缺陷的图像中每个像素对应的纹理特征值,确定出有缺陷的图像中电路板的缺陷信息,避免了现有方案中基于人工标注的缺陷实现电路板的缺陷检测,进而避免了在人工标注存在失误的情况下无法实现电路板缺陷的精准检测的问题。
在一种可能的实施方式中,在将所述第一图像输入训练好的生成网络中,得到第二图像之前,所述获取模块501,还用于获取样本集,所述样本集包括正样本集和负样本集,所述正样本集中的每个正样本的电路板上无缺陷,所述负样本集中的每个负样本的电路板上有缺陷;所述输入模块502,还用于将所述正样本集和所述负样本集交替输入待训练的生成网络中,每当所述待训练的生成网络有输出结果时,将所述待训练的生成网络的输出结果输入待训练的判别网络中,直到所述待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将所述正样本集和所述负样本集中未交替输入所述待训练的生成网络中的样本输入所述待训练的生成网络中,以得到所述训练好的生成网络;
其中,所述第一标签为无缺陷的标签,所述第二标签为有缺陷的标签。
可以看出,上述技术方案中,由于直到待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将正样本集和负样本集中未交替输入待训练的生成网络中的样本输入待训练的生成网络中,从而提高了训练好的生成网络的可靠性,使得训练好的生成网络输出的图像更加趋近于无缺陷的图像。
在一种可能的实施方式中,所述待训练的生成网络中的损失函数满足以下公式:
其中,所述L为所述待训练的生成网络中的损失函数,所述M为所述负样本集的数量,所述ωn为权重,所述Vn是第一向量,所述第一向量中的第一元素是第二向量中以第一行第一列的元素为基准分别沿第一方向和第二方向,以步长为预设步长获取的至少一个元素、第一行第一列的元素和第一行第一列的元素对角的元素的均值,所述第二向量是根据第一负样本对应的向量中每个元素和第一正样本对应的向量确定的,所述第一负样本为所述负样本集中任意一个负样本,所述第一正样本为所述正样本集中与所述第一负样本关联的正样本,所述第一方向和所述第二方向不同。
可以看出,上述技术方案中,通过利用负样本对应的向量中每个元素和正样本对应的向量确定的向量,实现损失函数的更新,从而提高了训练好的生成网络的可靠性,使得训练好的生成网络输出的图像更加趋近于无缺陷的图像。
在一种可能的实施方式中,所述ωn为所述第一向量中最小元素与所述第一向量中每个元素的总和之比。
在一种可能的实施方式中,所述装置500还包括切分模块504,在根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息时,
所述切分模块504,用于将所述第一图像切分成同等大小的多个第一子图像;
所述切分模块504,用于将所述第二图像切分成同等大小的多个第二子图像,所述多个第一子图像与所述多个第二子图像一一对应;
所述确定模块503,用于将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息。
可以看出,上述技术方案中,通过将图像进行切分,从而可以同时将多个子图像进行对比,提高了确定图像中电路板的缺陷信息的效率。
在一种可能的实施方式中,第三子图像为所述多个第一子图像中的任意一个第一子图像,第四子图像为所述多个第二子图像中与所述第三子图像对应的子图像,所述装置500还包括构建模块505和对比模块506,在将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息时,
所述构建模块505,用于以第三子图像的几何中心为原点,构建坐标系,所述第三子图像为所述多个第一子图像中的任意一个第一子图像,所述坐标系的横坐标的正方向为水平向右,所述坐标系的纵坐标的正方向为向上;
所述对比模块506,用于以所述坐标系的原点为圆点,将所述第三子图像中初始半径为预设半径的圆形内的图像的纹理特征值与第四子图像中对应图像的纹理特征值进行对比,每次对比后,预设半径增加第二阈值,直到所述第三子图像与所述第四子图像对比结束为止,以得到每次的对比结果;
所述确定模块503,用于根据所述对比结果,确定所述第三子图像对应的缺陷信息。
可以看出,上述技术方案中,通过将子图像以圆形为基准进行对比,减少了每次对比的图像面积,从而提高了单次对比效率,进而提高了确定图像中电路板的缺陷信息的效率。
参见图6,图6为本申请的实施例涉及的硬件运行环境的电子设备结构示意图。
本申请实施例提供了一种电路板缺陷检测的电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,以执行包括任一项电路板缺陷检测方法中的步骤的指令。其中,如图6所示,本申请的实施例涉及的硬件运行环境的电子设备可以包括:
处理器601,例如CPU。
存储器602,可选的,存储器可以为高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器。
通信接口603,用于实现处理器601和存储器602之间的连接通信。
本领域技术人员可以理解,图6中示出的电子设备的结构并不构成对其的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图6所示,存储器602中可以包括操作***、网络通信模块以及一个或多个程序。操作***是管理和控制服务器硬件和软件资源的程序,支持一个或多个程序的运行。网络通信模块用于实现存储器602内部各组件之间的通信,以及与电子设备内部其他硬件和软件之间通信。
在图6所示的电子设备中,处理器601用于执行存储器602中一个或多个程序,实现以下步骤:
获取第一图像,所述第一图像中的电路板上有缺陷;
将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
本申请涉及的电子设备的具体实施可参见上述电路板缺陷检测方法的各实施例,在此不做赘述。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述存储计算机程序被所述处理器执行,以实现以下步骤:
获取第一图像,所述第一图像中的电路板上有缺陷;
将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型。
本申请涉及的计算机可读存储介质的具体实施可参见上述电路板缺陷检测方法的各实施例,在此不做赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应所述知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应所述知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (5)
1.一种电路板缺陷检测方法,其特征在于,包括:
获取第一图像,所述第一图像中的电路板上有缺陷;
将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型;
所述将所述第一图像输入训练好的生成网络中,得到第二图像之前,所述方法还包括:
获取样本集,所述样本集包括正样本集和负样本集,所述正样本集中的每个正样本的电路板上无缺陷,所述负样本集中的每个负样本的电路板上有缺陷;
将所述正样本集和所述负样本集交替输入待训练的生成网络中,每当所述待训练的生成网络有输出结果时,将所述待训练的生成网络的输出结果输入待训练的判别网络中,直到所述待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将所述正样本集和所述负样本集中未交替输入所述待训练的生成网络中的样本输入所述待训练的生成网络中,以得到所述训练好的生成网络;
其中,所述第一标签为无缺陷的标签,所述第二标签为有缺陷的标签;
所述待训练的生成网络中的损失函数满足以下公式:;
其中,所述L为所述待训练的生成网络中的损失函数,所述为所述负样本集的数量,所述为权重,所述是第一向量,所述第一向量中的第一元素是第二向量中以第一行第一列的元素为基准分别沿第一方向和第二方向,以步长为预设步长获取的至少一个元素、第一行第一列的元素和第一行第一列的元素对角的元素的均值,所述第二向量是根据第一负样本对应的向量中每个元素和第一正样本对应的向量确定的,所述第一负样本为所述负样本集中任意一个负样本,所述第一正样本为所述正样本集中与所述第一负样本关联的正样本,所述第一方向和所述第二方向不同;
所述为所述第一向量中最小元素与所述第一向量中每个元素的总和之比;
所述根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息,包括:
将所述第一图像切分成同等大小的多个第一子图像;
将所述第二图像切分成同等大小的多个第二子图像,所述多个第一子图像与所述多个第二子图像一一对应;
将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息。
2.根据权利要求1所述的方法,其特征在于,第三子图像为所述多个第一子图像中的任意一个第一子图像,第四子图像为所述多个第二子图像中与所述第三子图像对应的子图像,所述将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息,包括:
以第三子图像的几何中心为原点,构建坐标系,所述第三子图像为所述多个第一子图像中的任意一个第一子图像,所述坐标系的横坐标的正方向为水平向右,所述坐标系的纵坐标的正方向为向上;
以所述坐标系的原点为圆点,将所述第三子图像中初始半径为预设半径的圆形内的图像的纹理特征值与第四子图像中对应图像的纹理特征值进行对比,每次对比后,预设半径增加第二阈值,直到所述第三子图像与所述第四子图像对比结束为止,以得到每次的对比结果;
根据所述对比结果,确定所述第三子图像对应的缺陷信息。
3.一种电路板缺陷检测装置,其特征在于,所述装置包括获取模块、输入模块和确定模块,
所述获取模块,用于获取第一图像,所述第一图像中的电路板上有缺陷;
所述输入模块,用于将所述第一图像输入训练好的生成网络中,得到第二图像,所述第二图像中的电路板上无缺陷;
所述确定模块,用于根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息;
其中,所述缺陷信息包括以下至少一种:缺陷位置、缺陷面积和缺陷类型;
在将所述第一图像输入训练好的生成网络中,得到第二图像之前,
所述获取模块,还用于获取样本集,所述样本集包括正样本集和负样本集,所述正样本集中的每个正样本的电路板上无缺陷,所述负样本集中的每个负样本的电路板上有缺陷;
所述输入模块,还用于将所述正样本集和所述负样本集交替输入待训练的生成网络中,每当所述待训练的生成网络有输出结果时,将所述待训练的生成网络的输出结果输入待训练的判别网络中,直到所述待训练的判别网络的输出结果中第一标签的数量与第二标签的数量之比高于第一阈值时,停止将所述正样本集和所述负样本集中未交替输入所述待训练的生成网络中的样本输入所述待训练的生成网络中,以得到所述训练好的生成网络;
其中,所述第一标签为无缺陷的标签,所述第二标签为有缺陷的标签;
所述待训练的生成网络中的损失函数满足以下公式:;
其中,所述L为所述待训练的生成网络中的损失函数,所述为所述负样本集的数量,所述为权重,所述是第一向量,所述第一向量中的第一元素是第二向量中以第一行第一列的元素为基准分别沿第一方向和第二方向,以步长为预设步长获取的至少一个元素、第一行第一列的元素和第一行第一列的元素对角的元素的均值,所述第二向量是根据第一负样本对应的向量中每个元素和第一正样本对应的向量确定的,所述第一负样本为所述负样本集中任意一个负样本,所述第一正样本为所述正样本集中与所述第一负样本关联的正样本,所述第一方向和所述第二方向不同;
所述为所述第一向量中最小元素与所述第一向量中每个元素的总和之比;
所述装置还包括切分模块,在根据所述第一图像中每个像素对应的纹理特征值和所述第二图像中每个像素对应的纹理特征值,确定所述第一图像中电路板的缺陷信息时,
所述切分模块,用于将所述第一图像切分成同等大小的多个第一子图像;
所述切分模块,用于将所述第二图像切分成同等大小的多个第二子图像,所述多个第一子图像与所述多个第二子图像一一对应;
所述确定模块,用于将所述多个第一子图像中每个第一子图像所对应的纹理特征值与所述多个第二子图像中每个第二子图像所对应的纹理特征值进行比对,以确定所述第一图像中电路板的缺陷信息。
4.一种电路板缺陷检测的电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被生成由所述处理器执行,以执行权利要求1-2任一项方法中的步骤的指令。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行,以实现权利要求1-2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011511881.5A CN112669267B (zh) | 2020-12-18 | 2020-12-18 | 一种电路板缺陷检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011511881.5A CN112669267B (zh) | 2020-12-18 | 2020-12-18 | 一种电路板缺陷检测方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112669267A CN112669267A (zh) | 2021-04-16 |
CN112669267B true CN112669267B (zh) | 2024-07-09 |
Family
ID=75407324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011511881.5A Active CN112669267B (zh) | 2020-12-18 | 2020-12-18 | 一种电路板缺陷检测方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112669267B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829895A (zh) * | 2019-01-09 | 2019-05-31 | 武汉精立电子技术有限公司 | 一种基于gan的aoi缺陷检测方法 |
CN111784670A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3532781B2 (ja) * | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
-
2020
- 2020-12-18 CN CN202011511881.5A patent/CN112669267B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829895A (zh) * | 2019-01-09 | 2019-05-31 | 武汉精立电子技术有限公司 | 一种基于gan的aoi缺陷检测方法 |
CN111784670A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112669267A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测***及方法 | |
CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
CN109753953B (zh) | 图像中定位文本的方法、装置、电子设备和存储介质 | |
CN108648169B (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、***、设备及介质 | |
CN106127746A (zh) | 电路板元件漏件检测方法和*** | |
CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
CN108921209A (zh) | 图片识别方法、装置及电子设备 | |
CN114782286A (zh) | 缺陷修复方法、光学修复设备、电子设备及存储介质 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN116542926B (zh) | 电池的二维码缺陷识别方法、装置、设备及存储介质 | |
CN112669267B (zh) | 一种电路板缺陷检测方法、装置、电子设备和存储介质 | |
CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN115311237A (zh) | 一种图像检测方法、装置及电子设备 | |
CN105354833A (zh) | 一种阴影检测的方法和装置 | |
CN113205505A (zh) | 基于改进ResNeSt-RPN的绝缘子缺陷检测方法 | |
CN115063614A (zh) | 一种图像匹配方法、装置及电子设备 | |
CN113804704A (zh) | 电路板检测方法、视觉检测设备及具有存储功能的装置 | |
CN113886745B (zh) | 页面图片测试方法、装置及电子设备 | |
CN116740385B (zh) | 一种设备质检方法、装置和*** | |
CN115393337A (zh) | 工业缺陷检测方法、装置、设备及计算机可读存储介质 | |
CN117152065A (zh) | Pcb裸板缺陷检测方法、装置、设备及存储介质 | |
CN115409784A (zh) | 一种基于cnn实现bpcb表面缺陷检测的方法 | |
CN116894815A (zh) | 产品曲面缺陷的检测方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |