CN113112482A - 一种基于注意力机制网络的pcb缺陷检测方法 - Google Patents
一种基于注意力机制网络的pcb缺陷检测方法 Download PDFInfo
- Publication number
- CN113112482A CN113112482A CN202110410707.XA CN202110410707A CN113112482A CN 113112482 A CN113112482 A CN 113112482A CN 202110410707 A CN202110410707 A CN 202110410707A CN 113112482 A CN113112482 A CN 113112482A
- Authority
- CN
- China
- Prior art keywords
- layer
- net
- image
- network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 125000004432 carbon atom Chemical group C* 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000000873 fovea centralis Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000012141 concentrate Substances 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于注意力机制网络的PCB缺陷检测方法,包括步骤:输入图片,捕获图像并提取图像数据,对图像数据进行数据预处理;构建视觉增益网络模型;训练视觉增益网络模型。本发明的有益效果是:通过分析注意机制和视觉增益机制之间的关系,将相关机制进一步融入到Faster RCNN模型中,构建视觉增益网络模型(VG‑RCNN模型);使用Focal Loss代替原来的交叉熵,通过减少易分类样本的权重,从而使得VG‑RCNN模型在训练时更专注于难分类的样本。通过低成本的图像处理技术提高了PCB板缺陷检测的精度;实验结果表明本发明具较高精确率,相比其他方法更加快速鲁棒。
Description
技术领域
本发明属于检测小尺度目标技术领域,尤其涉及一种基于注意力机制网络的PCB缺陷检测方法。
背景技术
随着智能硬件、柔性制造时代的到来,科学技术的不断创新和进步,琳琅满目的电子产品广泛服务于各个邻域,小到耳机、手环、手机等电子设备;大到空调、电视机、航天器无不在快速的更新换代,作为它们的重要组件印刷电路板(Printed Circuit Board,PCB)也得到了迅猛的发展。由此可见PCB产业有着强大的生命力,是现在乃至未来电子产业的支柱力量。而中国作为PCB的产销大国,PCB生产行业一直在稳步前进,据中国报告网的统计,在2020年进一步扩大,有望占全球总产值的51%。而在PCB制造中,其生产效率及质量的好坏与PCB的缺陷检测密切相关,因此良好的PCB缺陷检测是PCB制造行业迫切需求。
传统的人工检测方法存在着速度慢、时间长和易漏检等等问题,完全无法适应技术和工艺的快速发展,怎样实现精准、高效的PCB自动缺陷检测,一直是电子工业领域非常重视的一个问题。同时,个人和中小企业对检PCB缺陷的需求越来越高,能否达到低成本、高精度是首要考虑的问题。因此,研究如何通过低成本的图像处理技术提高PCB板缺陷检测的精度具有重要的研究意义。
机器视觉简单解释就是通过相机、光源、电脑、伺服***等硬件及图像处理与识别的软件形成一套***代替人眼、人脑来对物体进行测量和判断。它研发之初便是为电子制造行业的检测所用。其主要流程为:通过图像摄取装置获取实物图像,在经由计算机对图像处理分析,从而判断出产品是否存在缺陷。与传统人工目检相比,基于机器视觉的PCB缺陷检测有如下优势:生产效率高、出错率低,从长远角度考虑其检测成本也低,可以说它是所有电子产品生产企业的利器。
发明内容
本发明的目的是克服现有技术中的不足,提供一种基于注意力机制网络的PCB缺陷检测方法。
这种基于注意力机制网络的PCB缺陷检测方法,包括以下步骤:
步骤1、输入图片,捕获图像并提取图像数据,对图像数据进行数据预处理;
步骤2、构建视觉增益网络模型;
步骤2.1、卷积层采用可变形卷积核;以微缺陷图像作为卷积核的输入,对上层的特征图进行卷积,生成特征图;可变形卷积核在卷积计算的过程中计算每个点的偏移,从偏移最小的点取特征进行卷积,具体公式如下:
上式中,f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;是第l个卷积层的第j个通道的网络激活,通过对卷积算子求和得到;Mj表示输入特征映射的子集;为卷积核;是共有的基础;*表示卷积运算;
步骤2.2、池化层的特征映射为:
使用Focal Loss作为交叉熵:
FL(pt)=-αt(1-pt)γlog(pt)
上式中,pt表示分类器预测为t类的概率值,αt表示类别为t的权重,γ为权重超参数;
用VGG16模型提取图像特征,将第四层和第五层卷积层块分别表示为net-cony4和net-conu5,net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征:
上式中,为第十层的输入;为第十一层的权重,为第十一层的偏差;为第十三层的输入、为第十四层的权重,为第十四层的偏差;Mj表示输入特征映射的子集;net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征;
步骤2.3、对于视觉增益网中的副中央凹P(x),通过卷积运算将net_conv5由H×W×C变换为H×W×C·4,其中H和W分别表示特征映射的高度和宽度,C表示特征映射的通道;然后通过深度对H、W运算得到副中央凹P(x)的输出:
P(x)=D2HW(net_conv5′)
上式中,D2HW操作为周期洗牌算子,D2HW将H×W×C·4张量的元素重新排列为形状为H×W×C的张量:
D2HW(T)x,y,c=T[x/2],[y/2],C·2·\bmod(y,2)+C·\bmod(x,2)+c
上式中,x为高分辨率空间的输出像素横坐标,y为高分辨率空间的输出像素纵坐标;下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;mod(y,2)和mod(x,2)为用于获取视觉增益网中央凹除法的元素级余数的函数;net_conv4上的sigmoid函数为:
F(x)=sigmoid(net_conv4)
上式中,sigmoid(·)是非线性激活函数;
步骤2.4、完成对中央凹和副中央凹操作后,将视觉增益网的输出表示为:
O(x)=P(x)(1+F(x))
上式中,P(x)表示深度卷积网络产生的特征,F(x)为net_con4上的sigmoid函数;
将视觉增益网络模型中反向传播的梯度表示为:
上式中,表示求该卷积层的反向传播梯度,式中f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用来区分池化层参数和卷积层参数,有c表示是卷积层;f′表示对该函数求偏导数;表示对该层网络的每个输入进行反向梯度传播;
步骤3、训练视觉增益网络模型:从训练集中随机抽取图像进行训练,并使用测试集来评估视觉增益网络的性能。
作为优选,步骤1具体包括以下步骤:
步骤1.1、缺陷分割:对原始图像的局部图像块进行分割;
步骤1.2、缺陷图像的多样化:将缺陷图像进行平移和旋转;
步骤1.3、采用高斯滤波处理图片噪声。
作为优选,步骤3具体包括以下步骤:
步骤3.1、使用随机梯度下降算法,设置迭代次数、权重衰减和学习速率;对从训练集随机抽取的图像进行训练;
步骤3.2、当迭代次数达到设定值时,降低学习速率;设置训练尺度和测试尺度,继续进行训练;其中训练尺度和测试尺度均为图像最短边的像素大小;
步骤3.3、将所有新的层随机初始化为零均值高斯分布,设置标准偏差为固定值的权重,将所有其他层都使用ImageNet上预先训练的参数进行初始化;
步骤3.4、用测试集来评估训练好的增益网络的性能。
作为优选,步骤1.1中进行缺陷分割时,将捕获的图像大小调整为1280*1024像素;缺陷分割后的局部图像块只包含一种PCB缺陷类型,每个局部图像块的面积为227*227像素。
作为优选,步骤1.2中的平移范围为0像素~50像素,旋转范围为5度~25度。
作为优选,步骤1.3中采用高斯滤波处理图片噪声时对整幅图像进行加权平均,每一个像素点的值都由像素点本身和邻域内的其他像素值经过加权平均后得到。
作为优选,步骤2.3中进行卷积运算的卷积核是3×3×1024。
作为优选,步骤3中在视觉增益网络模型中使用dropout和批处理归一化技术。
本发明的有益效果是:本发明通过分析注意机制和视觉增益机制之间的关系,将相关机制进一步融入到Faster RCNN模型中,构建视觉增益网络模型(VG-RCNN模型);本发明使用Focal Loss代替原来的交叉熵,通过减少易分类样本的权重,从而使得VG-RCNN模型在训练时更专注于难分类的样本。通过低成本的图像处理技术提高了PCB板缺陷检测的精度;实验结果表明本发明具较高精确率,相比其他方法更加快速鲁棒。
附图说明
图1为本发明基于注意力机制网络的PCB缺陷检测方法的流程图;
图2为本发明的数据预处理流程图;
图3为本发明的视觉增益网络模型(VG-RCNN模型)流程图;
图4为本发明的实验流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
尽管较快的RCNN已经应用于图像检测领域,RCNN的一个突出缺陷是对缺陷区域小、分辨率低的缺陷的检测精度低。根据视觉增益机制表明,在人的纹外皮层控制注意关系增益有助于提高副中央凹产生的知觉的灵敏度。本发明提出VG-RCNN模型,VG-RCNN模型采用视觉注意和视觉增益机制来处理纺织品微缺陷图像的检测。图1展示了基于注意力机制网络的PCB缺陷检测方法的流程,具体的实施方案如下:
作为一种实施例,基于注意力机制网络的PCB缺陷检测方法的流程图如图1所示,包括以下步骤:
步骤1、输入图片,捕获图像并提取图像数据,对图像数据进行如图2所示的数据预处理;通常情况下,相机捕获的原始图像中含有不规则纹理、染色等干扰,这些干扰可能是由工业监视器或PCB设备引起的;如果将原始缺陷图像直接输入到VG-RCNN模型中,分类和检测的性能会显著地受到异常干扰和噪声的影响;因此对PCB缺陷数据的预处理分为缺陷分割和缺陷图片多样化两个步骤;
高斯滤波是一种线性平滑滤波,适用于消除高斯噪声;
步骤1.1、缺陷分割:对原始图像的局部图像块进行分割;进行缺陷分割时,将捕获的图像大小调整为1280*1024像素,此时在同一幅图像上存在多种类型的PCB板的缺陷;缺陷分割后的局部图像块只包含一种PCB缺陷类型,每个局部图像块的面积为227*227像素;
步骤1.2、缺陷图像的多样化:将缺陷图像进行平移和旋转,这样VG-RCNN模型可以学***移范围为0像素~50像素,旋转范围为5度~25度;
步骤1.3、采用高斯滤波处理图片噪声;采用高斯滤波处理图片噪声时对整幅图像进行加权平均,每一个像素点的值都由像素点本身和邻域内的其他像素值经过加权平均后得到;
步骤2、构建处理流程如图3所示的视觉增益网络模型(VG-RCNN模型);
步骤2.1、卷积层采用可变形卷积核(Deformable Convolution);以微缺陷图像作为卷积核的输入,对上层的特征图进行卷积,生成特征图;可变形卷积核在卷积计算的过程中自动地计算每个点的偏移,从偏移最小的点取特征进行卷积,具体公式如下:
上式中,f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;是第l个卷积层的第j个通道的网络激活,通过对卷积算子求和得到;Mj表示输入特征映射的子集;为卷积核;是共有的基础;*表示卷积运算;
步骤2.2、池化层的特征映射为:
使用Focal Loss作为交叉熵,通过减少易分类样本的权重,从而使得模型在训练时更专注于难分类的样本;当一个样本被分错的时候,pt是很小的,也就是对于总的loss的贡献很小;当γ=0的时候,Focal loss就是传统的交叉熵损失,当γ增加的时候,调制系数也会增加,具体公式如下:
FL(pt)=-αt(1-pt)γlog(pt)
上式中,pt表示分类器预测为t类的概率值,αt表示类别为t的权重,γ为权重超参数;用VGG16模型提取图像特征,将第四层和第五层卷积层块分别表示为net-cony4和net-conu5,net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征:
上式中,为第十层的输入;为第十一层的权重,为第十一层的偏差;为第十三层的输入、为第十四层的权重,为第十四层的偏差;Mj表示输入特征映射的子集;net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征;
步骤2.3、对于视觉增益网中的副中央凹P(x),通过卷积运算net_conv5由H×W×C变换为H×W×C·4,其中H和W分别表示特征映射的高度和宽度,C表示特征映射的通道;然后通过深度对H、W运算得到副中央凹P(x)的输出:
P(x)=D2HW(net_conv5′)
上式中,D2HW操作为周期洗牌算子,D2HW将H×W×C·4张量的元素重新排列为形状为H×W×C的张量:
D2HW(T)x,y,c=T[x/2],[y/2],C·2·\bmod(y,2)+C·\bmod(x,2)+c
上式中,x为高分辨率空间的输出像素横坐标,y为高分辨率空间的输出像素纵坐标;下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;mod(y,2)和mod(x,2)为用于获取视觉增益网中央凹除法的元素级余数的函数;上的sigmoid函数的执行依据为:第一,中央凹的输出不对后续融合产生太大的干扰和差异;第二,这个行动是为了掩盖一些不重要的信息;net_conv4上的sigmoid函数为:
F(x)=sigmoid(net_conv4)
上式中,sigmoid(·)是非线性激活函数;进行卷积运算的卷积核是3×3×1024;
步骤2.4、完成对中央凹和副中央凹操作后,将视觉增益网的输出表示为:
O(x)=P(x)(1+F(x))
上式中,P(x)表示深度卷积网络产生的特征,F(x)为net_con4上的sigmoid函数;获得网膜中央凹视觉的关键操作是F(x),这是功能选择器来提高良好的特性和抑制噪音,P(x)的重要特征信息是加强,信息的重要特性是抑制;这意味着视觉增益网可以提高本文方法利用视觉增益网的特征表达能力;
将视觉增益网络模型(VG-RCNN模型)中反向传播的梯度表示为:
上式中,P′(x)和F′(x)分别是P(x)和F(x)的偏导数,与VGG16中最后一层卷积块(无视觉增益网络)的特征相比,有增益网的乘法运算o(x)可以帮助分层的梯度流动;为视觉增益网络模型的反向传播梯度;
上式中,表示求该卷积层的反向传播梯度,式中f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用来区分池化层参数和卷积层参数,有c表示是卷积层;f′表示对该函数求偏导数;表示对该层网络的每个输入进行反向梯度传播;
步骤3、训练视觉增益网络模型:从训练集中随机抽取一定数量的图像进行训练,并使用测试集来评估视觉增益网络的性能;视觉增益网络包含了大量的参数,这些参数是从数千个训练像素中学习来的;为了避免视觉增益网络中参数过拟合,在视觉增益网络模型中使用dropout和批处理归一化技术。
步骤3.1、为了学习所提出的网络,使用了随机梯度下降算法,迭代次数为40,000次,权重衰减为0.0001。学习速率最初设置为0.001;
步骤3.2、迭代30000次后,学习率降低到0.0001。训练尺度和测试尺度都设为600,即图像最短边的像素大小;
步骤3.3、表示压缩特征映射比例的特征步幅设置为8,所有新的层随机初始化从一个零均值高斯分布与标准偏差0.01的权重,所有其他层(即VGG16网络)都使用ImageNet上预先训练的参数进行初始化;
步骤3.4、用测试集来评估训练好的增益网络的性能。本实施例是基于深度学习库Tensorflow 1.2.0和相关的第三方库完成的;在一台拥有128GB RAM和4个Nvidia GeForceGTX 1080gpu的个人计算机上进行如图4所示的实验;
考虑到可能的结果变化和随机的实验误差,重复这个实验10次,并报告10次实验的平均测试结果。在训练过程中,训练速度较快的PFRCNN所需的时间为617.52秒,量化每种检测方法在PCB板缺陷数据集上的平均图像级性能。从整体上看,基于全局最优Gabor滤波器(GOGF)的方法往往比基于局部图像补丁(NLSR)和FAWS的方法具有更高的检测精度,RCNN在这五个方面都优于其他三种现有的方法。此外,与其他方法相比,本实施例提出的视觉增益网络模型具有最好的综合性能。采用f-measure来表示同时考虑了精度和召回的性能。本实施例的快速PFRCNN方法的F-measure可以达到95.1%,比快速RCNN方法提高了4.7%。本实验进一步证明了视觉增益网络模型(VG-RCNN模型)的优越性。
Claims (8)
1.一种基于注意力机制网络的PCB缺陷检测方法,其特征在于,包括以下步骤:
步骤1、输入图片,捕获图像并提取图像数据,对图像数据进行数据预处理;
步骤2、构建视觉增益网络模型;
步骤2.1、卷积层采用可变形卷积核;以微缺陷图像作为卷积核的输入,对上层的特征图进行卷积,生成特征图;可变形卷积核在卷积计算的过程中计算每个点的偏移,从偏移最小的点取特征进行卷积,具体公式如下:
上式中,f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;是第l个卷积层的第j个通道的网络激活,通过对卷积算子求和得到;Mj表示输入特征映射的子集;为卷积核;是共有的基础;*表示卷积运算;
步骤2.2、池化层的特征映射为:
使用Focal Loss作为交叉熵:
FL(pt)=-αt(1-pt)γlog(pt)
上式中,pt表示分类器预测为t类的概率值,αt表示类别为t的权重,γ为权重超参数;
用VGG16模型提取图像特征,将第四层和第五层卷积层块分别表示为net-cony4和net-conu5,net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征:
上式中,为第十层的输入;为第十一层的权重,为第十一层的偏差;为第十三层的输入、为第十四层的权重,为第十四层的偏差;Mj表示输入特征映射的子集;net_conv5是VGG16中最后一层卷积块的特征,net_conv4是倒数第二层卷积块的特征;
步骤2.3、对于视觉增益网中的副中央凹P(x),通过卷积运算将net_conv5由H×W×C变换为H×W×C·4,其中H和W分别表示特征映射的高度和宽度,C表示特征映射的通道;然后通过深度对H、W运算得到副中央凹P(x)的输出:
P(x)=D2HW(net_conv5′)
上式中,D2HW操作为周期洗牌算子,D2HW将H×W×C·4张量的元素重新排列为形状为H×W×C的张量:
D2HW(T)x,y,c=T[x/2],[y/2],C·2·\bmod(y,2)+C·\bmod(x,2)+c
上式中,x为高分辨率空间的输出像素横坐标,y为高分辨率空间的输出像素纵坐标;下标c用于区分池化层参数和卷积层参数,有c表示是卷积层;mod(y,2)和mod(x,2)为用于获取视觉增益网中央凹除法的元素级余数的函数;net_conv4上的sigmoid函数为:
F(x)=sigmoid(net_conv4)
上式中,sigmoid(·)是非线性激活函数;
步骤2.4、完成对中央凹和副中央凹操作后,将视觉增益网的输出表示为:
O(x)=P(x)(1+F(x))
上式中,P(x)表示深度卷积网络产生的特征,F(x)为net_con4上的sigmoid函数;
将视觉增益网络模型中反向传播的梯度表示为:
上式中,表示求该卷积层的反向传播梯度,式中f(·)为非线性激活函数;表示第l个卷积层的第j个通道的特征图,下标c用来区分池化层参数和卷积层参数,有c表示是卷积层;f′表示对该函数求偏导数;表示对该层网络的每个输入进行反向梯度传播;
步骤3、训练视觉增益网络模型:从训练集中随机抽取图像进行训练,并使用测试集来评估视觉增益网络的性能。
2.根据权利要求1所述基于注意力机制网络的PCB缺陷检测方法,其特征在于,步骤1具体包括以下步骤:
步骤1.1、缺陷分割:对原始图像的局部图像块进行分割;
步骤1.2、缺陷图像的多样化:将缺陷图像进行平移和旋转;
步骤1.3、采用高斯滤波处理图片噪声。
3.根据权利要求1所述基于注意力机制网络的PCB缺陷检测方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1、使用随机梯度下降算法,设置迭代次数、权重衰减和学习速率;对从训练集随机抽取的图像进行训练;
步骤3.2、当迭代次数达到设定值时,降低学习速率;设置训练尺度和测试尺度,继续进行训练;其中训练尺度和测试尺度均为图像最短边的像素大小;
步骤3.3、将所有新的层随机初始化为零均值高斯分布,设置标准偏差为固定值的权重,将所有其他层都使用ImageNet上预先训练的参数进行初始化;
步骤3.4、用测试集来评估训练好的增益网络的性能。
4.根据权利要求2所述基于注意力机制网络的PCB缺陷检测方法,其特征在于:步骤1.1中进行缺陷分割时,将捕获的图像大小调整为1280*1024像素;缺陷分割后的局部图像块只包含一种PCB缺陷类型,每个局部图像块的面积为227*227像素。
5.根据权利要求2所述基于注意力机制网络的PCB缺陷检测方法,其特征在于:步骤1.2中的平移范围为0像素~50像素,旋转范围为5度~25度。
6.根据权利要求2所述基于注意力机制网络的PCB缺陷检测方法,其特征在于:步骤1.3中采用高斯滤波处理图片噪声时对整幅图像进行加权平均,每一个像素点的值都由像素点本身和邻域内的其他像素值经过加权平均后得到。
7.根据权利要求1所述基于注意力机制网络的PCB缺陷检测方法,其特征在于:步骤2.3中进行卷积运算的卷积核是3×3×1024。
8.根据权利要求1所述基于注意力机制网络的PCB缺陷检测方法,其特征在于:步骤3中在视觉增益网络模型中使用dropout和批处理归一化技术。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410707.XA CN113112482A (zh) | 2021-04-15 | 2021-04-15 | 一种基于注意力机制网络的pcb缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410707.XA CN113112482A (zh) | 2021-04-15 | 2021-04-15 | 一种基于注意力机制网络的pcb缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113112482A true CN113112482A (zh) | 2021-07-13 |
Family
ID=76717955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110410707.XA Pending CN113112482A (zh) | 2021-04-15 | 2021-04-15 | 一种基于注意力机制网络的pcb缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112482A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113870262A (zh) * | 2021-12-02 | 2021-12-31 | 武汉飞恩微电子有限公司 | 基于图像处理的印刷电路板分类方法、装置及储存介质 |
CN115496945A (zh) * | 2022-09-19 | 2022-12-20 | 广东炬森智能装备有限公司 | 基于规范化卷积注意力机制的pcb真假点识别与可解释方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
CN110992317A (zh) * | 2019-11-19 | 2020-04-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的pcb板缺陷检测方法 |
-
2021
- 2021-04-15 CN CN202110410707.XA patent/CN113112482A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
CN110992317A (zh) * | 2019-11-19 | 2020-04-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的pcb板缺陷检测方法 |
Non-Patent Citations (5)
Title |
---|
吴子涵 等: "基于通道注意力机制的RGB-D图像语义分割网络", 《电子设计工程》, vol. 28, no. 13, pages 147 - 153 * |
李欢 等: "基于Focal Loss-2函数的中文短文本情感分类研究", 《杭州电子科技大学学报(自然科学版)》, vol. 39, no. 3, pages 54 - 59 * |
谢娟英 等: "基于深度学习的目标检测算法研究进展", 《陕西师范大学学报(自然科学版)》, vol. 47, no. 5, pages 1 - 9 * |
隗兵: "生物视觉启发的深度网络与图像检测识别研究", 《中国博士学位论文全文数据库信息科技辑》 * |
隗兵: "生物视觉启发的深度网络与图像检测识别研究", 《中国博士学位论文全文数据库信息科技辑》, no. 01, 15 January 2021 (2021-01-15), pages 138 - 270 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113870262A (zh) * | 2021-12-02 | 2021-12-31 | 武汉飞恩微电子有限公司 | 基于图像处理的印刷电路板分类方法、装置及储存介质 |
CN113870262B (zh) * | 2021-12-02 | 2022-04-19 | 武汉飞恩微电子有限公司 | 基于图像处理的印刷电路板分类方法、装置及储存介质 |
CN115496945A (zh) * | 2022-09-19 | 2022-12-20 | 广东炬森智能装备有限公司 | 基于规范化卷积注意力机制的pcb真假点识别与可解释方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
CN113743514B (zh) | 一种基于知识蒸馏的目标检测方法及目标检测终端 | |
CN111754498B (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
CN115294117B (zh) | Led灯珠的缺陷检测方法及相关装置 | |
Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
CN113112482A (zh) | 一种基于注意力机制网络的pcb缺陷检测方法 | |
CN111583148A (zh) | 基于生成对抗网络的岩心图像重构方法 | |
CN115457980A (zh) | 一种无参考语音的自动化语音质量评估方法及*** | |
CN116543433A (zh) | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 | |
Pramudhita et al. | Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture | |
CN111079572A (zh) | 一种基于视频理解的森林烟火检测方法、存储介质和设备 | |
CN108764287B (zh) | 基于深度学习和分组卷积的目标检测方法及*** | |
CN112884721B (zh) | 一种异常检测方法、***及计算机可读存储介质 | |
CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
CN112559791A (zh) | 一种基于深度学习的布匹分类检索方法 | |
CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及*** | |
CN110555384A (zh) | 基于图像数据的牛肉大理石纹自动分级***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |
|
RJ01 | Rejection of invention patent application after publication |