CN115239712B - 电路板表面缺陷检测方法、装置、电子设备及存储介质 - Google Patents
电路板表面缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115239712B CN115239712B CN202211152005.7A CN202211152005A CN115239712B CN 115239712 B CN115239712 B CN 115239712B CN 202211152005 A CN202211152005 A CN 202211152005A CN 115239712 B CN115239712 B CN 115239712B
- Authority
- CN
- China
- Prior art keywords
- layer
- module
- channel
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 59
- 238000010606 normalization Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 30
- 230000017105 transposition Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000623 plasma-assisted chemical vapour deposition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005240 physical vapour deposition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请属于图像识别技术领域，公开了一种电路板表面缺陷检测方法、装置、电子设备及存储介质，获取待检测的电路板图像；把所述电路板图像输入预先训练好的CNN‑Transformer融合模型，得到所述CNN‑Transformer融合模型输出的缺陷识别结果；由于CNN‑Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
Description
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种电路板表面缺陷检测方法、装置、电子设备及存储介质。
背景技术
射频电源是半导体制造流程中的核心零部件之一。其作用是提供高频能量给后端的反应腔室，将输入的气体进行等离子体化后得到活性分子。主要应用于射频溅射、刻蚀、等离子增强化学气相淀积（PECVD）和物理气相沉积等***。
在射频电源生产过程中，对其电路板进行表面缺陷检测是关键的一环。目前，对射频电源的电路板进行表面缺陷检测时，一般使用机器视觉技术进行自动检测，传统的机器视觉技术是使用基于CNN（卷积神经网络）的缺陷图像识别方法或Vision Transformer模型进行检测的；CNN是利用局部感受野来捕获特征，不能对全局信息建立长距离依赖关系，且CNN学习到的权重在推理时是静止的，这使得CNN不能灵活的满足不同输入内容，从而导致射频电源表面缺陷识别及定位准确率不高；Vision Transformer模型具有全局交互能力，但其全局注意力机制带来了较高的时间复杂度和空间复杂度，导致检测效率较低。
发明内容
本申请的目的在于提供一种电路板表面缺陷检测方法、装置、电子设备及存储介质，其识别结果准确率较高且检测效率较高。
第一方面，本申请提供了一种电路板表面缺陷检测方法，用于检测射频电源电路板的表面缺陷，包括步骤：
A1.获取待检测的电路板图像；
A2.把所述电路板图像输入预先训练好的CNN-Transformer融合模型，得到所述CNN-Transformer融合模型输出的缺陷识别结果。
该电路板表面缺陷检测方法，通过使用CNN-Transformer融合模型进行射频电源电路板的表面缺陷的识别，CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
优选地，所述CNN-Transformer融合模型包括依次连接的输入层、第一阶层、第二阶层、第三阶层和第四阶层；
所述第一阶层包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
所述第二阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口和分割深度转置注意力编码器；
所述第三阶层包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
所述第四阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
所述下采样层为大小为2×2的卷积层。
优选地，所述卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器；所述深度化卷积层和所述第一加法器还与所述卷积编码器的特征图输入端连接；所述深度化卷积层的大小与所述卷积编码器的核大小相同。
优选地，所述分割深度转置注意力编码器包括特征编码模块和自注意计算模块；
所述特征编码模块包括通道分切模块、第一通道、第二通道、第三通道、第四通道和张量拼接模块，所述通道分切模块用于把输入的特征图划分为四个子集分别输出至所述第一通道、所述第二通道、所述第三通道和所述第四通道，所述第一通道、所述第二通道、所述第三通道和所述第四通道的输出端分别与所述张量拼接模块连接，所述张量拼接模块用于把所述第一通道、所述第二通道、所述第三通道和所述第四通道的输出特征融合，所述第二通道、所述第三通道和所述第四通道中均设置有一个大小为3×3的深度化卷积层，所述第三通道的所述深度化卷积层的输入端与所述第二通道的所述深度化卷积层的输出端连接；
所述自注意计算模块包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一L2范数模块、第二L2范数模块、激活函数层、第一交叉协方差注意力计算模块、第二交叉协方差注意力计算模块、第二重构模块、第二加法器、第三归一化层和第二逐点卷积层；所述第二归一化层的输入端与所述张量拼接模块的输出端连接，所述第二归一化层的输出端与所述第一重构模块的输入端连接，所述第一重构模块的输出端与所述第一线性层、所述第二线性层和所述第三线性层的输入端连接，所述第一线性层的输出端与所述第一交叉协方差注意力计算模块的输入端之间串联有所述第一L2范数模块，所述第二线性层的输出端与所述第一交叉协方差注意力计算模块的输入端之间串联有所述第二L2范数模块，所述第一交叉协方差注意力计算模块的输出端与所述激活函数层的输入端连接，所述激活函数层的输出端和所述第三线性层的输出端均与所述第二交叉协方差注意力计算模块的输入端连接，所述第二交叉协方差注意力计算模块的输出端与所述第二重构模块的输入端之间串联有所述第四线性层，所述张量拼接模块的输出端和所述第二重构模块的输出端均与所述第二加法器的输入端连接，所述第二加法器的输出端与所述第二逐点卷积层的输入端之间串联有所述第三归一化层。
该CNN-Transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块通过层次级联实现多尺度感受野的融合，并在自注意计算模块中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
优选地，所述CNN-Transformer融合模型通过以下过程训练得到：
B1.采集射频电源电路板的多个图片；
B2.用识别框对各所述图片的表面缺陷区域进行标注，并用标签标注所述表面缺陷区域的缺陷类别，得到样本集；
B3.按7:2:1的比例把所述样本集划分为训练集、验证集和测试集；
B4.用所述训练集对所述CNN-Transformer融合模型进行多次迭代训练并用所述验证集验证训练后的CNN-Transformer融合模型，以得到多个备选模型；
B5.使用所述测试集对各所述备选模型进行测试，并根据评价指标选择最优的所述备选模型作为最终的CNN-Transformer融合模型。
优选地，所述评价指标包括F1-Score指标、Recall指标和precision指标；
步骤B5包括：
使用所述测试集对各所述备选模型进行测试，以获取各所述备选模型的F1-Score指标值、Recall指标值和precision指标值；
计算所述F1-Score指标值、所述Recall指标值和所述precision指标值的和或者加权和，得到综合指标值；
选择所述综合指标值最大的所述备选模型作为最终的CNN-Transformer融合模型。
通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的CNN-Transformer融合模型。
第二方面，本申请提供了一种电路板表面缺陷检测装置，用于检测射频电源电路板的表面缺陷，包括：
第一获取模块，用于获取待检测的电路板图像；
识别模块，用于把所述电路板图像输入预先训练好的CNN-Transformer融合模型，得到所述CNN-Transformer融合模型输出的缺陷识别结果。
该电路板表面缺陷检测装置，通过使用CNN-Transformer融合模型进行射频电源电路板的表面缺陷的识别，CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
优选地，所述CNN-Transformer融合模型包括依次连接的输入层、第一阶层、第二阶层、第三阶层和第四阶层；
所述第一阶层包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
所述第二阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口和分割深度转置注意力编码器；
所述第三阶层包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
所述第四阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
所述下采样层为大小为2×2的卷积层。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述电路板表面缺陷检测方法中的步骤。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述电路板表面缺陷检测方法中的步骤。
有益效果：
本申请提供的电路板表面缺陷检测方法、装置、电子设备及存储介质，获取待检测的电路板图像；把所述电路板图像输入预先训练好的CNN-Transformer融合模型，得到所述CNN-Transformer融合模型输出的缺陷识别结果；由于CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
附图说明
图1为本申请实施例提供的电路板表面缺陷检测方法的流程图；
图2为本申请实施例提供的电路板表面缺陷检测装置的结构示意图；
图3为本申请实施例提供的电子设备的结构示意图；
图4为CNN-Transformer融合模型的结构示意图；
图5为卷积编码器的结构示意图；
图6为分割深度转置注意力编码器的结构示意图；
图7为示例性的识别结果图。
标号说明：1、第一获取模块；2、识别模块；100、第一阶层；200、第二阶层；201、位置编码添加入口；301、处理器；302、存储器；303、通信总线；400、第三阶层；500、第四阶层；600、第一加法器；700、特征编码模块；701、第一通道；702、第二通道；703、第三通道；704、第四通道；800、自注意计算模块；801、第一交叉协方差注意力计算模块；802、第二交叉协方差注意力计算模块；803、第二加法器。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种电路板表面缺陷检测方法，用于检测射频电源电路板的表面缺陷，包括步骤：
A1.获取待检测的电路板图像；
A2.把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果。
该电路板表面缺陷检测方法，通过使用CNN-Transformer融合模型进行射频电源电路板的表面缺陷的识别，CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
参考图4，CNN-Transformer融合模型包括依次连接的输入层、第一阶层100、第二阶层200、第三阶层400和第四阶层500；
第一阶层100包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
第二阶层200包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口201和分割深度转置注意力编码器；
第三阶层400包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
第四阶层500包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
其中，下采样层为大小为2×2的卷积层。
该CNN-Transformer融合模型采用了标准的“四阶段”金字塔式结构；在输入层中，输入图像的尺寸为h×w×c，h、w、c分别为输入图像的高度、宽度和通道数；在第一阶层100中，网络的起始部分，使用大小为4×4的非重叠卷积层来实现较好的池化效果，随后使用三个连续堆叠的核大小为3×3的卷积编码器来提取局部特征，最后输出的特征图的尺寸为h/4×w/4×c1，c1为该特征图的通道数；在第二阶层200中，通过下采样层使特征图的空间大小减小为原来的一半（高度和宽度各减小为原来的一半），并增加通道数，在两个连续堆叠的核大小为5×5的卷积编码器的处理后，在进入分割深度转置注意力编码器前以element-wise add的方式从位置编码添加入口201添加位置编码，最后输出的特征图的尺寸变为h/8×w/8×c2，c2为该特征图的通道数；在第三阶层400中和第四阶层500中，分别通过下采样层使特征图的空间大小减小为原来的一半，并增加通道数，分别使用核大小为7×7和9×9的卷积编码器对特征图处理后，输入分割深度转置注意力编码器，卷积编码器中利用较大的卷积核来增加卷积神经网络的感受野，以提高模型性能，第三阶层400和第四阶层500输出的特征图的尺寸分别变为h/16×w/16×c3和h/32×w/32×c4，c3、c4分别为该两种特征图的通道数。
具体地，见图5，卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器600；深度化卷积层和第一加法器600还与卷积编码器的特征图输入端连接；深度化卷积层的大小与卷积编码器的核大小相同。对于第一阶层100的卷积编码器，其核大小为3×3，从而，其深度化卷积层的大小为3×3；对于第二阶层200的卷积编码器，其核大小为5×5，从而，其深度化卷积层的大小为5×5；对于第三阶层400的卷积编码器，其核大小为7×7，从而，其深度化卷积层的大小为7×7；对于第四阶层500的卷积编码器，其核大小为9×9，从而，其深度化卷积层的大小为9×9。在卷积编码器中，经过第一归一化层的归一化操作后，通过第一逐点卷积层把特征图的通道数扩展为原来的四倍后利用高斯误差线性单元（GELU）激活非线性特征映射，从而增加非线性。
具体地，见图6，分割深度转置注意力编码器包括特征编码模块700和自注意计算模块800；
特征编码模块700包括通道分切模块、第一通道701、第二通道702、第三通道703、第四通道704和张量拼接模块，通道分切模块用于把输入的特征图划分为四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，第一通道701、第二通道702、第三通道703和第四通道704的输出端分别与张量拼接模块连接，张量拼接模块用于把第一通道701、第二通道702、第三通道703和第四通道704的输出特征融合，第二通道702、第三通道703和第四通道704中均设置有一个大小为3×3的深度化卷积层，第三通道703的深度化卷积层的输入端与第二通道702的深度化卷积层的输出端连接；
自注意计算模块800包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一L2范数模块、第二L2范数模块、激活函数层、第一交叉协方差注意力计算模块801、第二交叉协方差注意力计算模块802、第二重构模块、第二加法器803、第三归一化层和第二逐点卷积层；第二归一化层的输入端与张量拼接模块的输出端连接，第二归一化层的输出端与第一重构模块的输入端连接，第一重构模块的输出端与第一线性层、第二线性层和第三线性层的输入端连接，第一线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第一L2范数模块，第二线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第二L2范数模块，第一交叉协方差注意力计算模块801的输出端与激活函数层的输入端连接，激活函数层的输出端和第三线性层的输出端均与第二交叉协方差注意力计算模块802的输入端连接，第二交叉协方差注意力计算模块802的输出端与第二重构模块的输入端之间串联有第四线性层，张量拼接模块的输出端和第二重构模块的输出端均与第二加法器803的输入端连接，第二加法器803的输出端与第二逐点卷积层的输入端之间串联有第三归一化层。
在特征编码模块700中，对于尺寸为h×w×c的输入特征图，利用通道分切模块把该输入特征图划分为四个子集，每个子集的尺寸均为h×w×c/4，四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，其中，第一个子集经过第一通道701直接输出至张量拼接模块；第二个子集在第二通道702中经过大小为3×3的深度化卷积层的卷积操作后同时输出至张量拼接模块和第三通道703；第三个子集与第二通道702输出的子集在第三通道703进行特征融合后输入大小为3×3的深度化卷积层进行卷积操作，最后输出至张量拼接模块；第四个子集在第四通道704中经过大小为3×3的深度化卷积层的卷积操作后输出至张量拼接模块；四个通道输出具有不同尺度感受野的特征图子集，最后由张量拼接模块把四个特征图子集拼接为尺寸为h×w×c特征图。
在自注意计算模块800中，输入的尺寸为h×w×c的特征图，在归一化处理后，经过第一重构模块的重构操作（reshape操作）变为尺寸为hw×c的特征图，把该尺寸为hw×c的特征图同时输入第一线性层、第二线性层、第三线性层进行处理分别得到三组特征，分别记为Q(query，查询)、K(Key，键)、V(value，值)，分别利用第一L2范数模块和第二L2范数模块对Q和K进行稳定训练后输入第一交叉协方差注意力计算模块801进行交叉协方差注意力计算，计算是在通道维度上进行的，只对Q进行转置操作，计算结果与激活函数层的softmax激化函数（即该激活函数层为softmax层）结合即得到注意力分矩阵，该注意力分矩阵进一步与V在第二交叉协方差注意力计算模块802中进行交叉协方差注意力计算，计算结果为尺寸为hw×c的注意力图，该注意力图通过第二重构模块的重构操作变为尺寸为h×w×c的注意力图，尺寸为h×w×c的注意力图与输入的尺寸为h×w×c的特征图在第二加法器803处融合后，由第三归一化层进行归一化处理，最后在第二逐点卷积层中进行两次1×1点卷积和高斯误差线性单元（GELU）激活以生成非线性特征。
该CNN-Transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块700通过层次级联实现多尺度感受野的融合，并在自注意计算模块中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
优选地，该CNN-Transformer融合模型通过以下过程训练得到：
B1.采集射频电源电路板的多个图片（具体数量可根据实际需要设置）；
B2.用识别框对各图片的表面缺陷区域进行标注，并用标签标注表面缺陷区域的缺陷类别，得到样本集；
B3.按7:2:1的比例把样本集划分为训练集、验证集和测试集；
B4.用训练集对CNN-Transformer融合模型进行多次迭代训练并用验证集验证训练后的CNN-Transformer融合模型，以得到多个备选模型；
B5.使用测试集对各备选模型进行测试，并根据评价指标选择最优的备选模型作为最终的CNN-Transformer融合模型。
步骤B2中，可利用Labelimg标注软件进行标注，但不限于此。
其中，步骤B4中，迭代训练的次数可根据实际需要设置，可以把每次迭代训练后得到的模型均作为备选模型，或者每迭代训练N次（N为大于1的预设正整数，可根据实际需要设置，例如为10，但不限于此）就把得到的模型作为备选模型。记录每个备选模型的网络参数。其中，每次迭代训练迭代至损失函数（损失函数可以但不限于此是交叉熵损失函数）收敛或迭代次数达到次数阈值（次数阈值可根据实际需要设置，例如为200，但不限于此），则停止当次迭代训练。
其中，评价指标可以选用现有技术中的任意评价指标。
在一些优选实施方式中，评价指标包括F1-Score指标、Recall指标和precision指标；
步骤B5包括：
使用测试集对各备选模型进行测试，以获取各备选模型的F1-Score指标值、Recall指标值和precision指标值；
计算F1-Score指标值、Recall指标值和precision指标值的和或者加权和，得到综合指标值；
选择综合指标值最大的备选模型作为最终的CNN-Transformer融合模型（具体地，在选出综合指标值最大的备选模型后，把其对应的网络参数赋值给CNN-Transformer融合模型）。
通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的CNN-Transformer融合模型。
其中，步骤A2中，CNN-Transformer融合模型输出的缺陷识别结果包括识别结果图像和识别结果数据，识别结果图像为用识别框标记各表面缺陷区域的电路板图像，且识别结果图像上具有用于表示各表面缺陷区域的缺陷类别（例如缺件、立碑等）的标签，识别结果数据包括各识别框的位置数据和尺寸数据，还包括各识别框对应的标签信息（为用于表示缺陷区域的缺陷类别的信息，可以是名称信息、编号信息等）。
图7为使用该电路板表面缺陷检测方法对一个射频电源电路板进行表面缺陷检测的识别结果图，准确地识别出了零件缺少的缺陷。
由上可知，该电路板表面缺陷检测方法，获取待检测的电路板图像；把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果；由于CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
参考图2，本申请提供了一种电路板表面缺陷检测装置，用于检测射频电源电路板的表面缺陷，包括：
第一获取模块1，用于获取待检测的电路板图像；
识别模块2，用于把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果。
该电路板表面缺陷检测装置，通过使用CNN-Transformer融合模型进行射频电源电路板的表面缺陷的识别，CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
参考图4，CNN-Transformer融合模型包括依次连接的输入层、第一阶层100、第二阶层200、第三阶层400和第四阶层500；
第一阶层100包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
第二阶层200包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口201和分割深度转置注意力编码器；
第三阶层400包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
第四阶层500包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
其中，下采样层为大小为2×2的卷积层。
该CNN-Transformer融合模型采用了标准的“四阶段”金字塔式结构；在输入层中，输入图像的尺寸为h×w×c，h、w、c分别为输入图像的高度、宽度和通道数；在第一阶层100中，网络的起始部分，使用大小为4×4的非重叠卷积层来实现较好的池化效果，随后使用三个连续堆叠的核大小为3×3的卷积编码器来提取局部特征，最后输出的特征图的尺寸为h/4×w/4×c1，c1为该特征图的通道数；在第二阶层200中，通过下采样层使特征图的空间大小减小为原来的一半（高度和宽度各减小为原来的一半），并增加通道数，在两个连续堆叠的核大小为5×5的卷积编码器的处理后，在进入分割深度转置注意力编码器前以element-wise add的方式从位置编码添加入口201添加位置编码，最后输出的特征图的尺寸变为h/8×w/8×c2，c2为该特征图的通道数；在第三阶层400中和第四阶层500中，分别通过下采样层使特征图的空间大小减小为原来的一半，并增加通道数，分别使用核大小为7×7和9×9的卷积编码器对特征图处理后，输入分割深度转置注意力编码器，卷积编码器中利用较大的卷积核来增加卷积神经网络的感受野，以提高模型性能，第三阶层400和第四阶层500输出的特征图的尺寸分别变为h/16×w/16×c3和h/32×w/32×c4，c3、c4分别为该两种特征图的通道数。
具体地，见图5，卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器600；深度化卷积层和第一加法器600还与卷积编码器的特征图输入端连接；深度化卷积层的大小与卷积编码器的核大小相同。对于第一阶层100的卷积编码器，其核大小为3×3，从而，其深度化卷积层的大小为3×3；对于第二阶层200的卷积编码器，其核大小为5×5，从而，其深度化卷积层的大小为5×5；对于第三阶层400的卷积编码器，其核大小为7×7，从而，其深度化卷积层的大小为7×7；对于第四阶层500的卷积编码器，其核大小为9×9，从而，其深度化卷积层的大小为9×9。在卷积编码器中，经过第一归一化层的归一化操作后，通过第一逐点卷积层把特征图的通道数扩展为原来的四倍后利用高斯误差线性单元（GELU）激活非线性特征映射，从而增加非线性。
具体地，见图6，分割深度转置注意力编码器包括特征编码模块700和自注意计算模块800；
特征编码模块700包括通道分切模块、第一通道701、第二通道702、第三通道703、第四通道704和张量拼接模块，通道分切模块用于把输入的特征图划分为四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，第一通道701、第二通道702、第三通道703和第四通道704的输出端分别与张量拼接模块连接，张量拼接模块用于把第一通道701、第二通道702、第三通道703和第四通道704的输出特征融合，第二通道702、第三通道703和第四通道704中均设置有一个大小为3×3的深度化卷积层，第三通道703的深度化卷积层的输入端与第二通道702的深度化卷积层的输出端连接；
自注意计算模块800包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一L2范数模块、第二L2范数模块、激活函数层、第一交叉协方差注意力计算模块801、第二交叉协方差注意力计算模块802、第二重构模块、第二加法器803、第三归一化层和第二逐点卷积层；第二归一化层的输入端与张量拼接模块的输出端连接，第二归一化层的输出端与第一重构模块的输入端连接，第一重构模块的输出端与第一线性层、第二线性层和第三线性层的输入端连接，第一线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第一L2范数模块，第二线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第二L2范数模块，第一交叉协方差注意力计算模块801的输出端与激活函数层的输入端连接，激活函数层的输出端和第三线性层的输出端均与第二交叉协方差注意力计算模块802的输入端连接，第二交叉协方差注意力计算模块802的输出端与第二重构模块的输入端之间串联有第四线性层，张量拼接模块的输出端和第二重构模块的输出端均与第二加法器803的输入端连接，第二加法器803的输出端与第二逐点卷积层的输入端之间串联有第三归一化层。
在特征编码模块700中，对于尺寸为h×w×c的输入特征图，利用通道分切模块把该输入特征图划分为四个子集，每个子集的尺寸均为h×w×c/4，四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，其中，第一个子集经过第一通道701直接输出至张量拼接模块；第二个子集在第二通道702中经过大小为3×3的深度化卷积层的卷积操作后同时输出至张量拼接模块和第三通道703；第三个子集与第二通道702输出的子集在第三通道703进行特征融合后输入大小为3×3的深度化卷积层进行卷积操作，最后输出至张量拼接模块；第四个子集在第四通道704中经过大小为3×3的深度化卷积层的卷积操作后输出至张量拼接模块；四个通道输出具有不同尺度感受野的特征图子集，最后由张量拼接模块把四个特征图子集拼接为尺寸为h×w×c特征图。
在自注意计算模块800中，输入的尺寸为h×w×c的特征图，在归一化处理后，经过第一重构模块的重构操作（reshape操作）变为尺寸为hw×c的特征图，把该尺寸为hw×c的特征图同时输入第一线性层、第二线性层、第三线性层进行处理分别得到三组特征，分别记为Q(query，查询)、K(Key，键)、V(value，值)，分别利用第一L2范数模块和第二L2范数模块对Q和K进行稳定训练后输入第一交叉协方差注意力计算模块801进行交叉协方差注意力计算，计算是在通道维度上进行的，只对Q进行转置操作，计算结果与激活函数层的softmax激化函数（即该激活函数层为softmax层）结合即得到注意力分矩阵，该注意力分矩阵进一步与V在第二交叉协方差注意力计算模块802中进行交叉协方差注意力计算，计算结果为尺寸为hw×c的注意力图，该注意力图通过第二重构模块的重构操作变为尺寸为h×w×c的注意力图，尺寸为h×w×c的注意力图与输入的尺寸为h×w×c的特征图在第二加法器803处融合后，由第三归一化层进行归一化处理，最后在第二逐点卷积层中进行两次1×1点卷积和高斯误差线性单元（GELU）激活以生成非线性特征。
该CNN-Transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块700通过层次级联实现多尺度感受野的融合，并在自注意计算模块800中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
优选地，该CNN-Transformer融合模型通过以下过程训练得到：
B1.采集射频电源电路板的多个图片（具体数量可根据实际需要设置）；
B2.用识别框对各图片的表面缺陷区域进行标注，并用标签标注表面缺陷区域的缺陷类别，得到样本集；
B3.按7:2:1的比例把样本集划分为训练集、验证集和测试集；
B4.用训练集对CNN-Transformer融合模型进行多次迭代训练并用验证集验证训练后的CNN-Transformer融合模型，以得到多个备选模型；
B5.使用测试集对各备选模型进行测试，并根据评价指标选择最优的备选模型作为最终的CNN-Transformer融合模型。
步骤B2中，可利用Labelimg标注软件进行标注，但不限于此。
其中，步骤B4中，迭代训练的次数可根据实际需要设置，可以把每次迭代训练后得到的模型均作为备选模型，或者每迭代训练N次（N为大于1的预设正整数，可根据实际需要设置，例如为10，但不限于此）就把得到的模型作为备选模型。记录每个备选模型的网络参数。其中，每次迭代训练迭代至损失函数（损失函数可以但不限于此是交叉熵损失函数）收敛或迭代次数达到次数阈值（次数阈值可根据实际需要设置，例如为200，但不限于此），则停止当次迭代训练。
其中，评价指标可以选用现有技术中的任意评价指标。
在一些优选实施方式中，评价指标包括F1-Score指标、Recall指标和precision指标；
步骤B5包括：
使用测试集对各备选模型进行测试，以获取各备选模型的F1-Score指标值、Recall指标值和precision指标值；
计算F1-Score指标值、Recall指标值和precision指标值的和或者加权和，得到综合指标值；
选择综合指标值最大的备选模型作为最终的CNN-Transformer融合模型（具体地，在选出综合指标值最大的备选模型后，把其对应的网络参数赋值给CNN-Transformer融合模型）。
通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的CNN-Transformer融合模型。
其中， CNN-Transformer融合模型输出的缺陷识别结果包括识别结果图像和识别结果数据，识别结果图像为用识别框标记各表面缺陷区域的电路板图像，且识别结果图像上具有用于表示各表面缺陷区域的缺陷类别（例如缺件、立碑等）的标签，识别结果数据包括各识别框的位置数据和尺寸数据，还包括各识别框对应的标签信息（为用于表示缺陷区域的缺陷类别的信息，可以是名称信息、编号信息等）。
图7为使用该电路板表面缺陷检测装置对一个射频电源电路板进行表面缺陷检测的识别结果图，准确地识别出了零件缺少的缺陷。
由上可知，该电路板表面缺陷检测装置，获取待检测的电路板图像；把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果；由于CNN-Transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的电路板表面缺陷检测方法，以实现以下功能：获取待检测的电路板图像；把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的电路板表面缺陷检测方法，以实现以下功能：获取待检测的电路板图像；把电路板图像输入预先训练好的CNN-Transformer融合模型，得到CNN-Transformer融合模型输出的缺陷识别结果。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（StaticRandom Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种电路板表面缺陷检测方法，用于检测射频电源电路板的表面缺陷，其特征在于，包括步骤：
A1.获取待检测的电路板图像；
A2.把所述电路板图像输入预先训练好的CNN-Transformer融合模型，得到所述CNN-Transformer融合模型输出的缺陷识别结果；
所述CNN-Transformer融合模型包括依次连接的输入层、第一阶层（100）、第二阶层（200）、第三阶层（400）和第四阶层（500）；
所述第一阶层（100）包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
所述第二阶层（200）包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口（201）和分割深度转置注意力编码器；
所述第三阶层（400）包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
所述第四阶层（500）包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
所述下采样层为大小为2×2的卷积层；
所述分割深度转置注意力编码器包括特征编码模块（700）和自注意计算模块（800）；
所述特征编码模块（700）包括通道分切模块、第一通道（701）、第二通道（702）、第三通道（703）、第四通道（704）和张量拼接模块，所述通道分切模块用于把输入的特征图划分为四个子集分别输出至所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704），所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704）的输出端分别与所述张量拼接模块连接，所述张量拼接模块用于把所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704）的输出特征融合，所述第二通道（702）、所述第三通道（703）和所述第四通道（704）中均设置有一个大小为3×3的深度化卷积层，所述第三通道（703）的所述深度化卷积层的输入端与所述第二通道（702）的所述深度化卷积层的输出端连接；
所述自注意计算模块（800）包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一L2范数模块、第二L2范数模块、激活函数层、第一交叉协方差注意力计算模块（801）、第二交叉协方差注意力计算模块（802）、第二重构模块、第二加法器（803）、第三归一化层和第二逐点卷积层；所述第二归一化层的输入端与所述张量拼接模块的输出端连接，所述第二归一化层的输出端与所述第一重构模块的输入端连接，所述第一重构模块的输出端与所述第一线性层、所述第二线性层和所述第三线性层的输入端连接，所述第一线性层的输出端与所述第一交叉协方差注意力计算模块（801）的输入端之间串联有所述第一L2范数模块，所述第二线性层的输出端与所述第一交叉协方差注意力计算模块（801）的输入端之间串联有所述第二L2范数模块，所述第一交叉协方差注意力计算模块（801）的输出端与所述激活函数层的输入端连接，所述激活函数层的输出端和所述第三线性层的输出端均与所述第二交叉协方差注意力计算模块（802）的输入端连接，所述第二交叉协方差注意力计算模块（802）的输出端与所述第二重构模块的输入端之间串联有所述第四线性层，所述张量拼接模块的输出端和所述第二重构模块的输出端均与所述第二加法器（803）的输入端连接，所述第二加法器（803）的输出端与所述第二逐点卷积层的输入端之间串联有所述第三归一化层。
2.根据权利要求1所述的电路板表面缺陷检测方法，其特征在于，所述卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器（600）；所述深度化卷积层和所述第一加法器（600）还与所述卷积编码器的特征图输入端连接；所述深度化卷积层的大小与所述卷积编码器的核大小相同。
3.根据权利要求1所述的电路板表面缺陷检测方法，其特征在于，所述CNN-Transformer融合模型通过以下过程训练得到：
B1.采集射频电源电路板的多个图片；
B2.用识别框对各所述图片的表面缺陷区域进行标注，并用标签标注所述表面缺陷区域的缺陷类别，得到样本集；
B3.按7:2:1的比例把所述样本集划分为训练集、验证集和测试集；
B4.用所述训练集对所述CNN-Transformer融合模型进行多次迭代训练并用所述验证集验证训练后的CNN-Transformer融合模型，以得到多个备选模型；
B5.使用所述测试集对各所述备选模型进行测试，并根据评价指标选择最优的所述备选模型作为最终的CNN-Transformer融合模型。
4.根据权利要求3所述的电路板表面缺陷检测方法，其特征在于，所述评价指标包括F1-Score指标、Recall指标和precision指标；
步骤B5包括：
使用所述测试集对各所述备选模型进行测试，以获取各所述备选模型的F1-Score指标值、Recall指标值和precision指标值；
计算所述F1-Score指标值、所述Recall指标值和所述precision指标值的和或者加权和，得到综合指标值；
选择所述综合指标值最大的所述备选模型作为最终的CNN-Transformer融合模型。
5.一种电路板表面缺陷检测装置，用于检测射频电源电路板的表面缺陷，其特征在于，包括：
第一获取模块，用于获取待检测的电路板图像；
识别模块，用于把所述电路板图像输入预先训练好的CNN-Transformer融合模型，得到所述CNN-Transformer融合模型输出的缺陷识别结果；
所述CNN-Transformer融合模型包括依次连接的输入层、第一阶层（100）、第二阶层（200）、第三阶层（400）和第四阶层（500）；
所述第一阶层（100）包括从前到后依次连接的大小为4×4的非重叠卷积层和三个连续堆叠的核大小为3×3的卷积编码器；
所述第二阶层（200）包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5×5的卷积编码器、位置编码添加入口（201）和分割深度转置注意力编码器；
所述第三阶层（400）包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7×7的卷积编码器和分割深度转置注意力编码器；
所述第四阶层（500）包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9×9的卷积编码器和分割深度转置注意力编码器；
所述下采样层为大小为2×2的卷积层；
所述分割深度转置注意力编码器包括特征编码模块（700）和自注意计算模块（800）；
所述特征编码模块（700）包括通道分切模块、第一通道（701）、第二通道（702）、第三通道（703）、第四通道（704）和张量拼接模块，所述通道分切模块用于把输入的特征图划分为四个子集分别输出至所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704），所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704）的输出端分别与所述张量拼接模块连接，所述张量拼接模块用于把所述第一通道（701）、所述第二通道（702）、所述第三通道（703）和所述第四通道（704）的输出特征融合，所述第二通道（702）、所述第三通道（703）和所述第四通道（704）中均设置有一个大小为3×3的深度化卷积层，所述第三通道（703）的所述深度化卷积层的输入端与所述第二通道（702）的所述深度化卷积层的输出端连接；
所述自注意计算模块（800）包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一L2范数模块、第二L2范数模块、激活函数层、第一交叉协方差注意力计算模块（801）、第二交叉协方差注意力计算模块（802）、第二重构模块、第二加法器（803）、第三归一化层和第二逐点卷积层；所述第二归一化层的输入端与所述张量拼接模块的输出端连接，所述第二归一化层的输出端与所述第一重构模块的输入端连接，所述第一重构模块的输出端与所述第一线性层、所述第二线性层和所述第三线性层的输入端连接，所述第一线性层的输出端与所述第一交叉协方差注意力计算模块（801）的输入端之间串联有所述第一L2范数模块，所述第二线性层的输出端与所述第一交叉协方差注意力计算模块（801）的输入端之间串联有所述第二L2范数模块，所述第一交叉协方差注意力计算模块（801）的输出端与所述激活函数层的输入端连接，所述激活函数层的输出端和所述第三线性层的输出端均与所述第二交叉协方差注意力计算模块（802）的输入端连接，所述第二交叉协方差注意力计算模块（802）的输出端与所述第二重构模块的输入端之间串联有所述第四线性层，所述张量拼接模块的输出端和所述第二重构模块的输出端均与所述第二加法器（803）的输入端连接，所述第二加法器（803）的输出端与所述第二逐点卷积层的输入端之间串联有所述第三归一化层。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-4任一项所述电路板表面缺陷检测方法中的步骤。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一项所述电路板表面缺陷检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211152005.7A CN115239712B (zh) | 2022-09-21 | 2022-09-21 | 电路板表面缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211152005.7A CN115239712B (zh) | 2022-09-21 | 2022-09-21 | 电路板表面缺陷检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115239712A CN115239712A (zh) | 2022-10-25 |
| CN115239712B true CN115239712B (zh) | 2023-01-31 |
Family
ID=83681281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211152005.7A Active CN115239712B (zh) | 2022-09-21 | 2022-09-21 | 电路板表面缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239712B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630950A (zh) * | 2023-07-25 | 2023-08-22 | 济南大学 | 一种高精度识别轮辋焊缝的方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10115040B2 (en) * | 2016-09-14 | 2018-10-30 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
| CN109239102B (zh) * | 2018-08-21 | 2021-04-09 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
| CN109934814B (zh) * | 2019-03-15 | 2022-02-01 | 英业达科技有限公司 | 表面缺陷侦测***及其方法 |
| CN110766660A (zh) * | 2019-09-25 | 2020-02-07 | 上海众壹云计算科技有限公司 | 基于融合深度学习模型的集成电路缺陷图像识别分类*** |
| CN111768363A (zh) * | 2020-05-13 | 2020-10-13 | 华南农业大学 | 基于深度学习的电路板表面缺陷检测方法及检测*** |
| CN111754456B (zh) * | 2020-05-15 | 2022-10-14 | 清华大学 | 基于深度学习的二维pcb外观缺陷实时自动检测技术 |
| CN113780423A (zh) * | 2021-09-13 | 2021-12-10 | 天津科技大学 | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 |
| US20220004935A1 (en) * | 2021-09-22 | 2022-01-06 | Intel Corporation | Ensemble learning for deep feature defect detection |
| CN114494223A (zh) * | 2022-02-10 | 2022-05-13 | 北京航空航天大学杭州创新研究院 | Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 |
| CN114494254B (zh) * | 2022-04-14 | 2022-07-05 | 科大智能物联技术股份有限公司 | 基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质 |
| CN114862832A (zh) * | 2022-05-31 | 2022-08-05 | 北京中祥英科技有限公司 | 缺陷检测模型的优化方法、装置、设备及存储介质 |
| CN115147643A (zh) * | 2022-06-09 | 2022-10-04 | 南昌工程学院 | 一种基于cnn和transformer的fpc缺陷分类方法 |
-
2022
- 2022-09-21 CN CN202211152005.7A patent/CN115239712B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115239712A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | G2DeNet: Global Gaussian distribution embedding network and its application to visual recognition | |
| CN112633419A (zh) | 小样本学习方法、装置、电子设备和存储介质 | |
| CN112199536A (zh) | 一种基于跨模态的快速多标签图像分类方法和*** | |
| Watanabe et al. | A new pattern representation scheme using data compression | |
| CN115239712B (zh) | 电路板表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN111126056B (zh) | 一种识别触发词的方法及装置 | |
| CN110163294A (zh) | 基于降维操作和卷积网络的遥感图像变化区域检测方法 | |
| CN113962262B (zh) | 一种基于连续学习的雷达信号智能分选方法 | |
| CN113221977B (zh) | 一种基于抗混叠语义重构的小样本语义分割方法 | |
| CN117994570A (zh) | 基于模型无关适配器提高复杂多样数据分布的识别方法 | |
| CN112948581A (zh) | 专利自动分类方法、装置、电子设备及存储介质 | |
| CN112784499A (zh) | 一种基于深度学习替代有限元分析的电抗器磁场仿真方法 | |
| CN117251777A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112529057A (zh) | 一种基于图卷积网络的图相似性计算方法及装置 | |
| CN117011943A (zh) | 基于多尺度自注意力机制的解耦的3d网络的动作识别方法 | |
| CN116502700A (zh) | 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN112445939A (zh) | 一种社交网络群体发现***、方法及存储介质 | |
| CN115512693A (zh) | 音频识别方法、声学模型训练方法、装置和存储介质 | |
| Horváth et al. | Maestro: Uncovering Low-Rank Structures via Trainable Decomposition | |
| Lim et al. | Analyzing deep neural networks with noisy labels | |
| Dang et al. | Capsule network with shortcut routing | |
| Poiitis et al. | Pointspectrum: Equivariance Meets Laplacian Filtering for Graph Representation Learning | |
| CN112800069B (zh) | 一种图数据分析方法、装置及计算机可读存储介质 | |
| CN112825143A (zh) | 深度卷积神经网络压缩方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |