CN116843650A - 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** - Google Patents
融合aoi检测与深度学习的smt焊接缺陷检测方法及*** Download PDFInfo
- Publication number
- CN116843650A CN116843650A CN202310810347.1A CN202310810347A CN116843650A CN 116843650 A CN116843650 A CN 116843650A CN 202310810347 A CN202310810347 A CN 202310810347A CN 116843650 A CN116843650 A CN 116843650A
- Authority
- CN
- China
- Prior art keywords
- network
- detection
- aoi
- model
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 230000007547 defect Effects 0.000 title claims abstract description 120
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000003466 welding Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000002950 deficient Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 239000011229 interlayer Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000013526 transfer learning Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract 1
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种融合AOI检测与深度学习的SMT焊接缺陷检测方法及***，包括：采集原始图像数据；采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成；对训练单元中得到的已训练检测模型进行优化部署。本发明通过采用AOI与深度学习相结合的二阶段检测方法，解决了传统SMT焊接缺陷检测中过度依赖AOI判别所造成的缺陷误判问题，大大提升了缺陷检测的精度与可靠性。
Description
技术领域
本发明涉及SMT焊接缺陷检测的技术领域，具体地，涉及融合AOI检测与深度学习的SMT焊接缺陷检测方法及***。
背景技术
当前SMT缺陷检测技术主要分为两种类型：完全基于深度学习自动提取缺陷特征的单阶段缺陷检测方法，以及基于传统机器视觉与人工提取缺陷特征的AOI缺陷识别方法，缺点为：采用通用的深度神经网络模型进行SMT缺陷识别，无法解决在真实加工环境中某些缺陷样本量极少的情况下模型无法训练的问题。完全依赖基于传统机器视觉的AOI识别手段进行缺陷检测，采用阈值分割、灰度变换、形态学处理等方法进行人工提取缺陷特征，严重依赖专家经验，并且对于样本中的光照变化、纹理噪声等背景信息非常敏感，适应性较差。
因此，需要提出一种新的技术方案以改善上述技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种融合AOI检测与深度学习的SMT焊接缺陷检测方法及***。
根据本发明提供的一种融合AOI检测与深度学习的SMT焊接缺陷检测方法，所述方法包括如下步骤：
步骤S1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
步骤S2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；
步骤S3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本；
步骤S4：对训练单元中得到的已训练检测模型进行优化部署。
优选地，所述步骤S1包括如下步骤：
步骤S1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理方法，得到判定为故障的AOI图像；
步骤S1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
步骤S1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强方法进行扩充；
步骤S1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
优选地，所述步骤S2中：针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
优选地，所述步骤S3中：生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
优选地，所述步骤S4中：采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
本发明还提供一种融合AOI检测与深度学习的SMT焊接缺陷检测***，所述***包括如下模块：
模块M1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
模块M2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；
模块M3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本；
模块M4：对训练单元中得到的已训练检测模型进行优化部署。
优选地，所述模块M1包括如下模块：
模块M1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理***，得到判定为故障的AOI图像；
模块M1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
模块M1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强***进行扩充；
模块M1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
优选地，所述模块M2中：针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
优选地，所述模块M3中：生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
优选地，所述模块M4中：采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用AOI与深度学习相结合的二阶段检测方法，解决了传统SMT焊接缺陷检测中过度依赖AOI判别所造成的缺陷误判问题，大大提升了缺陷检测的精度与可靠性；
2、本发明通过生成对抗网络生成模拟缺陷样本，解决了实际SMT加工中缺陷样本较少的问题，缓解了基于深度学习的缺陷检测模型由于样本量不足所导致的过拟合现象；
3、本发明通过设计目标检测网络与孪生神经网络集成的检测模型，基于深度学习方法自动提取缺陷特征并进行特征匹配学习，大大提升了缺陷检测准确率，解决了传统AOI识别对于高器件失真、屏蔽罩、遮蔽点等高难度缺陷准确率低的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明基于AOI与深度学习的SMT缺陷检测流程图；
图2为本发明基于孪生神经网络的异常检测原理图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种融合AOI检测与深度学习的SMT焊接缺陷检测方法，所述方法包括如下步骤：
步骤S1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
步骤S1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理方法，得到判定为故障的AOI图像；
步骤S1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
步骤S1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强方法进行扩充；
步骤S1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
步骤S2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
步骤S3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x(i)表示第i个AOI图像样本，z(i)表示第i个噪声样本；生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
步骤S4：对训练单元中得到的已训练检测模型进行优化部署；采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
本发明还提供一种融合AOI检测与深度学习的SMT焊接缺陷检测***，所述融合AOI检测与深度学习的SMT焊接缺陷检测***可以通过执行所述融合AOI检测与深度学习的SMT焊接缺陷检测方法的流程步骤予以实现，即本领域技术人员可以将所述融合AOI检测与深度学习的SMT焊接缺陷检测方法理解为所述融合AOI检测与深度学习的SMT焊接缺陷检测***的优选实施方式。
实施例2：
本发明还提供一种融合AOI检测与深度学习的SMT焊接缺陷检测***，所述***包括如下模块：
模块M1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
模块M1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理***，得到判定为故障的AOI图像；
模块M1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
模块M1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强***进行扩充；
模块M1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
模块M2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
模块M3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本；生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
模块M4：对训练单元中得到的已训练检测模型进行优化部署；采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
实施例3：
本发明针对SMT贴片加工场景中的焊接缺陷，提出一种融合AOI检测与深度学习的智能化缺陷检测方法。该方法基于AOI检测得到初步判定为缺陷的图像样本，通过生成对抗网络对图像样本进行数据增强，基于迁移学习方法设计针对AOI缺陷的目标检测模型，基于孪生神经网络实现对极少样本的缺陷检出，最后对模型进行加速部署，实现对SMT焊接缺陷的快速、准确、实时检测。
模块一，AOI检测与数据增强模块。首先，针对具体SMT贴片加工场景及实际需求，选型合适的相机、镜头、光源等搭建图像采集***，对相机拍摄分辨率等参数进行设定，采集清晰的原始图像数据。之后，基于传统的AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理等方法，得到判定为故障的AOI图像。对于初步判定为缺陷的AOI图像通过人工复核进行标注，以构建原始训练数据集。而后，对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切等常规数据增强方法进行扩充；同时，采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量较好的样本加入到神经网络的训练集中，得到最终的训练数据。
模块二，网络结构与算法设计模块。基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测。针对高器件失真、屏蔽罩、遮蔽点等较难检测或样本量极少的AOI样本，设计孪生神经网络模型进行异常检测。孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取模块学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，之后进行图像重建，从而识别出待检测样本中的缺陷信息。最后，孪生神经网络模型可与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
模块三，训练模块。本模块包括两部分：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型。生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本。生成对抗网络训练完成后，可通过其得到模拟缺陷样本，将其加入到原始训练数据中，得到完整的训练数据。将AOI检测与数据增强模块得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，而后使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
模块四，部署与推断模块。首先对训练模块中得到的已训练检测模型进行优化部署。采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化等技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中。在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种融合AOI检测与深度学习的SMT焊接缺陷检测方法，其特征在于，所述方法包括如下步骤：
步骤S1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
步骤S2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；
步骤S3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本；
步骤S4：对训练单元中得到的已训练检测模型进行优化部署。
2.根据权利要求1所述的融合AOI检测与深度学习的SMT焊接缺陷检测方法，其特征在于，所述步骤S1包括如下步骤：
步骤S1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理方法，得到判定为故障的AOI图像；
步骤S1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
步骤S1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强方法进行扩充；
步骤S1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
3.根据权利要求1所述的融合AOI检测与深度学习的SMT焊接缺陷检测方法，其特征在于，所述步骤S2中：针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
4.根据权利要求1所述的融合AOI检测与深度学习的SMT焊接缺陷检测方法，其特征在于，所述步骤S3中：生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
5.根据权利要求1所述的融合AOI检测与深度学习的SMT焊接缺陷检测方法，其特征在于，所述步骤S4中：采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
6.一种融合AOI检测与深度学习的SMT焊接缺陷检测***，其特征在于，所述***包括如下模块：
模块M1：针对具体SMT贴片加工场景及实际需求，选型相机、镜头、光源搭建图像采集***，对相机拍摄分辨率的参数进行设定，采集原始图像数据；
模块M2：基于迁移学习思想，采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；在该残差网络不同尺度的特征图上建立特征金字塔网络，获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；
模块M3：用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成，其损失函数表示如下：
其中，m表示经AOI判定之后的缺陷样本总数，D为判别网络，G为生成网络，φ表示判别网络的参数，θ表示生成网络的参数，x()表示第i个AOI图像样本，z()表示第i个噪声样本；
模块M4：对训练单元中得到的已训练检测模型进行优化部署。
7.根据权利要求6所述的融合AOI检测与深度学习的SMT焊接缺陷检测***，其特征在于，所述模块M1包括如下模块：
模块M1.1：基于AOI识别手段对原始数据进行初步筛选，结合参数阈值分析、滤波处理***，得到判定为故障的AOI图像；
模块M1.2：对于初步判定为缺陷的AOI图像通过人工复核进行标注，构建原始训练数据集；
模块M1.3：对原始训练数据集中的样本采用拉伸、旋转、镜像、裁切的常规数据增强***进行扩充；
模块M1.4：采用生成对抗网络自动学习生成模拟缺陷图像，从中选出质量好的样本加入到神经网络的训练集中，得到最终的训练数据。
8.根据权利要求6所述的融合AOI检测与深度学习的SMT焊接缺陷检测***，其特征在于，所述模块M2中：针对高器件失真、屏蔽罩、遮蔽点的难检测或样本量少的AOI样本，设计孪生神经网络模型进行异常检测；孪生神经网络模型的输入为正常样本及待检测样本，通过基于特征金字塔的多尺度特征提取单元学习到正样本图像的数据分布，通过对比注意力机制捕捉到正样本与待检测样本之间的差异性，进行图像重建，识别出待检测样本中的缺陷信息；孪生神经网络模型与前述基于迁移学习的目标检测网络构成并行模型，得到多网络集成的检测模型。
9.根据权利要求6所述的融合AOI检测与深度学习的SMT焊接缺陷检测***，其特征在于，所述模块M3中：生成对抗网络训练完成后，通过得到模拟缺陷样本，加入到原始训练数据中，得到完整的训练数据；将AOI检测与数据增强单元得到的训练数据，输入到目标检测网络和孪生神经网络的集成模型中，完成前向传播；依据具体的缺陷检测场景设置相应的损失函数，通过反向传播算法计算模型中可学习参数的梯度，使用基于梯度的优化器进行迭代训练，当迭代至满足相关要求后，模型完成训练，得到已训练检测模型。
10.根据权利要求6所述的融合AOI检测与深度学习的SMT焊接缺陷检测***，其特征在于，所述模块M4中：采用TensorRT深度学习推理引擎，利用层间与张量融合、数据精度校准、CUDA核心调度、显存动态分配、GPU底层优化的技术手段对模型进行部署加速；通过容器化方式将模型部署在推理服务器上，服务启动后模型权重加载于推理计算服务器显卡内存中；在推断阶段，首先通过图像采集***拍摄得到原始图像，由AOI检测得到初步判定结果，再将AOI图像输入到部署后的已训练检测模型中进行前向传播，输入检测结果，完成推断过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810347.1A CN116843650A (zh) | 2023-07-04 | 2023-07-04 | 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810347.1A CN116843650A (zh) | 2023-07-04 | 2023-07-04 | 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843650A true CN116843650A (zh) | 2023-10-03 |
Family
ID=88161207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310810347.1A Pending CN116843650A (zh) | 2023-07-04 | 2023-07-04 | 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843650A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095005A (zh) * | 2023-10-20 | 2023-11-21 | 山东龙拓新材料有限公司 | 一种基于机器视觉的塑料母粒质检方法及*** |
| CN117237334A (zh) * | 2023-11-09 | 2023-12-15 | 江西联益光学有限公司 | 一种基于深度学习的手机镜头杂光检测方法 |
| CN117274748A (zh) * | 2023-11-16 | 2023-12-22 | 国网四川省电力公司电力科学研究院 | 基于离群抑制的终生学习电力模型训练及检测方法 |
| CN117647531A (zh) * | 2023-12-27 | 2024-03-05 | 惠州学院 | 一种基于深度学习的aoi检测方法与*** |
-
2023
- 2023-07-04 CN CN202310810347.1A patent/CN116843650A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095005A (zh) * | 2023-10-20 | 2023-11-21 | 山东龙拓新材料有限公司 | 一种基于机器视觉的塑料母粒质检方法及*** |
| CN117095005B (zh) * | 2023-10-20 | 2024-02-02 | 山东龙拓新材料有限公司 | 一种基于机器视觉的塑料母粒质检方法及*** |
| CN117237334A (zh) * | 2023-11-09 | 2023-12-15 | 江西联益光学有限公司 | 一种基于深度学习的手机镜头杂光检测方法 |
| CN117237334B (zh) * | 2023-11-09 | 2024-03-26 | 江西联益光学有限公司 | 一种基于深度学习的手机镜头杂光检测方法 |
| CN117274748A (zh) * | 2023-11-16 | 2023-12-22 | 国网四川省电力公司电力科学研究院 | 基于离群抑制的终生学习电力模型训练及检测方法 |
| CN117274748B (zh) * | 2023-11-16 | 2024-02-06 | 国网四川省电力公司电力科学研究院 | 基于离群抑制的终生学习电力模型训练及检测方法 |
| CN117647531A (zh) * | 2023-12-27 | 2024-03-05 | 惠州学院 | 一种基于深度学习的aoi检测方法与*** |
| CN117647531B (zh) * | 2023-12-27 | 2024-04-26 | 惠州学院 | 一种基于深度学习的aoi检测方法与*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
| CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及*** | |
| CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、***及存储介质 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及*** | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN111008640B (zh) | 图像识别模型训练及图像识别方法、装置、终端及介质 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN107016413B (zh) | 一种基于深度学习算法的烟叶在线分级方法 | |
| CN111626176B (zh) | 一种基于动态注意力机制的遥感目标快速检测方法及*** | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN108108745A (zh) | 分类方法、分类模块及计算机程序产品 | |
| CN116258707A (zh) | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN113379686B (zh) | 一种pcb板缺陷检测方法及装置 | |
| CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
| CN104954741A (zh) | 深层次自我学习网络实现矿车空满状态的检测方法和*** | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN114862832A (zh) | 缺陷检测模型的优化方法、装置、设备及存储介质 | |
| CN114494780A (zh) | 基于特征对比的半监督工业缺陷检测方法及*** | |
| CN114882497A (zh) | 一种基于深度学习算法实现水果分类识别的方法 | |
| CN117011274A (zh) | 自动化玻璃瓶检测***及其方法 | |
| CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
| CN117746077B (zh) | 一种芯片缺陷的检测方法、装置、设备和存储介质 | |
| CN114549414A (zh) | 一种针对轨道数据的异常变化检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |