CN115082401B - 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 - Google Patents
一种基于改进yolox与pnn的smt产线贴片机故障预测方法 Download PDFInfo
- Publication number
- CN115082401B CN115082401B CN202210707932.4A CN202210707932A CN115082401B CN 115082401 B CN115082401 B CN 115082401B CN 202210707932 A CN202210707932 A CN 202210707932A CN 115082401 B CN115082401 B CN 115082401B
- Authority
- CN
- China
- Prior art keywords
- model
- welding spot
- yolox
- pcba
- chip mounter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007547 defect Effects 0.000 claims abstract description 105
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 claims abstract description 72
- 238000003466 welding Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 8
- 238000013526 transfer learning Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/083—Quality monitoring using results from monitoring devices, e.g. feedback loops
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K3/00—Apparatus or processes for manufacturing printed circuits
- H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
- H05K3/303—Surface mounted components, e.g. affixing before soldering, aligning means, spacing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Manufacturing & Machinery (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Operations Research (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- General Factory Administration (AREA)
Abstract
本发明公开了一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,该方法通过采集PCBA产品图像,对图像进行筛选,保留带缺陷的PCBA产品图像,对图像缺陷进行分类和位置信息标注,并将数据按比例进行数据集的制作与划分;对YOLOX神经网络模型进行改进,利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX进行改进,得到改进YOLOX神经网络模型;利用PCBA焊点缺陷数据集对改进YOLOX模型进行训练,得到基于改进YOLOX的PCBA焊点缺陷检测模型;将PCBA焊点缺陷检测模型部署到SMT产线上,进行PCBA焊点缺陷检测,并收集检测结果;采集PCBA焊点缺陷同一时期对应的贴片机故障信息,制作PNN的基础输入数据模型;将基于改进YOLOX的PCBA焊点缺陷模型与PNN模型部署到SMT产线上,进行贴片机故障预测。
Description
技术领域
本发明属于SMT产线故障诊断领域,具体涉及一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法。
背景技术
现如今,SMT技术作为电子产品中的重要组成部分,影响着电子元器件生产产线上的生产质量和生产效率,而对SMT产线设备做到及时的故障诊断,能避免突发的设备故障影响到SMT产线上电子元器件的生产。传统的故障诊断方法通常有两类:1)设备故障发生后,及时进行修理维护;2)通过检测设备的部分运行参数来判断设备的运行情况,从而对部分隐性故障进行诊断。
而本发明提出了一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,旨在贴片机故障发生前对其进行预测,并进行人工检测,避免设备故障的发生,严重影响到SMT产线的运行。
发明内容
本发明的目的在于解决现有SMT产线设备故障不能***从而导致生产效率低下的问题,而提供一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法。
实现本发明目的的技术方案是:
一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程,具体如下:
(一)PCBA焊点缺陷检测过程,包括如下步骤:
1)采集PCBA产品图像,对图像进行筛选,保留带缺陷的PCBA产品图像,对图像缺陷进行分类和位置信息标注,并将图像数据按9:1比例进行数据集的制作与划分;数据集制作方法如下:
1-1)采集SMT产线上AOI设备储存的PCBA焊点缺陷图像,对图像进行筛选,保留常见缺陷,并使各缺陷数量分布保持均匀,防止神经网络学习特征时有较大的偏重;
1-2)使用labelImg图像标注工具对筛选出的图像进行标注,并按VOC数据集的储存格式将标注数据储存在XML文件中,储存的标注信息包括缺陷分类信息和缺陷定位信息;
1-3)将标注后的数据集按照9:1比例划分为训练验证集和测试集,训练验证集用于模型训练,测试集用于对训练得出的模型进行测试;再将训练验证集按照9:1比例划分为训练集和验证集,训练集用于模型训练的训练阶段,调整模型权重,验证集用于验证阶段,判断模型在未知样本上的表现情况;训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集;
2)对YOLOX神经网络模型进行改进,利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换,并保留部分结构,得到改进的YOLOX神经网络模型;改进方法如下:
2-1)将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构;
2-2)保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层,将其增加到用于替换的ConvNeXt部分结构后,并将改变后的整个网络作为改进网络的主干特征提取网络;
2-3)在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵,此时输入图像尺寸为H×W×3,其中“H”、“W”分别为输入模型的高、宽像素尺寸,“3”为图像通道数;接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理,得到最终的目标分类和定位结果,即得到改进的YOLOX神经网络模型;
3)利用步骤1)得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练,选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值;
4)将步骤3)得到的PCBA焊点缺陷检测模型部署到SMT产线上,进行PCBA焊点的缺陷检测,得到PCBA焊点缺陷检测结果;
5)根据步骤4)得到的CBA焊点缺陷检测结果的数据,建立新的PCBA焊点缺陷检测数据集,并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练,重复步骤3)至步骤4);通过迁移学习,使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型;
(二)SMT产线贴片机故障预测过程,包括如下步骤:
A)收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果,以及SMT产线上贴片机产生故障的相关信息,并储存到数据库中;
B)利用概率神经网络PNN建立步骤A)所述缺陷检测结果和贴片机故障信息之间的关系,得到SMT产线贴片机故障预测模型;建立SMT产线贴片机故障预测模型的具体方法如下:
B-1)将同一PCBA产品上的焊点缺陷作为输入数据data,将同一时间段上的贴片机故障类型作为data对应的标签label,data和label共同构成PNN的基础输入模型;
B-2)将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录,并作为PNN模型的待预测输入数据,PNN模型基于基础输入模型运算,得到基于PNN模型的贴片机故障预测类型;
B-3)基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型;
C)将步骤B)得到的SMT产线贴片机故障预测模型部署到SMT产线上,进行贴片机的故障预测,获得故障预测结果;
D)对步骤C)获得的故障预测结果进行筛选,将筛选出的结果作为新的基础数据样本,对PNN模型进行增量更新,重复步骤B)-步骤C);PNN模型的增量更新,达到改善模型预测效果的目的。
本发明提供的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,采用了深度学习算法与计算机视觉图像处理相结合进行PCBA焊点缺陷检测,相比传统的AOI焊点缺陷检测方法,可以大大提高检测的准确度和速度;采用了概率统计学与深度学习相结合进行贴片机故障预测,相比传统的在设备故障发生后才进行处理的方案,本发明能够对设备故障提前做出应对,可以避免设备故障对SMT产线生产造成的不良影响,从而提高SMT产线的生产效率和生产质量。
附图说明
图1为本发明实施例提供的SMT产线贴片机故障预测方法的实现流程示意图;
图2为本发明实施例提供的CSPDarknet53网络的基本结构示意图;
图3为本发明实施例提供的ConvNeXt网络的改进结构示意图;
图4为本发明实施例提供的改进YOLOX网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述,但不是对本发明的限定。
实施例:
如图1所示,一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程,具体如下:
(一)PCBA焊点缺陷检测过程,包括如下步骤:
1)采集PCBA产品图像,对图像进行筛选,保留带缺陷的PCBA产品图像,对图像缺陷进行分类和位置信息标注,并将图像数据按9:1比例进行数据集的制作与划分;数据集制作方法如下:
1-1)采集SMT产线上AOI设备储存的PCBA焊点缺陷图像,对图像进行筛选,保留常见缺陷,并使各缺陷数量分布保持均匀,防止神经网络学习特征时有较大的偏重;
1-2)使用labelImg图像标注工具对筛选出的图像进行标注,并按VOC数据集的储存格式将标注数据储存在XML文件中,储存的标注信息包括缺陷分类信息和缺陷定位信息;
1-3)将标注后的数据集按照9:1比例划分为训练验证集和测试集,训练验证集用于模型训练,测试集用于对训练得出的模型进行测试;再将训练验证集按照9:1比例划分为训练集和验证集,训练集用于模型训练的训练阶段,调整模型权重,验证集用于验证阶段,判断模型在未知样本上的表现情况;训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集;
2)对YOLOX神经网络模型进行改进,利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换,并保留部分结构,得到改进的YOLOX神经网络模型;改进方法如下:
2-1)将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构,其中YOLOX原网络结构如图2所示,ConvNeXt的网络结构如图3结构①ConvNeXt所示;
2-2)保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层,将其增加到用于替换的ConvNeXt部分结构后,并将改变后的整个网络作为改进网络的主干特征提取网络,如图3结构②Backbone所示;
2-3)在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵,此时输入图像尺寸为H×W×3,其中“H”、“W”分别为输入模型的高、宽像素尺寸,“3”为图像通道数;接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理,得到最终的目标分类和定位结果,即得到改进的YOLOX神经网络模型,该模型的结构如图4所示;
3)利用步骤1)得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练,选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值;
4)将步骤3)得到的PCBA焊点缺陷检测模型部署到SMT产线上,进行PCBA焊点的缺陷检测,收集检测结果,基于此建立新的PCBA焊点缺陷检测数据集,并在此数据集上对上述检测模型进行迁移学习,通过测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型,以避免由于SMT产线生产环境变化带来的新缺陷特征以及部分老旧缺陷特征的淘汰引发的检测错误;
5)根据步骤4)得到的CBA焊点缺陷检测结果的数据,建立新的PCBA焊点缺陷检测数据集,并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练,重复步骤3)至步骤4);通过迁移学习,使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型;
(二)SMT产线贴片机故障预测过程,包括如下步骤:
A)收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果,以及SMT产线上贴片机产生故障的相关信息,并储存到数据库中;
B)利用概率神经网络PNN建立步骤A)所述缺陷检测结果和贴片机故障信息之间的关系,得到SMT产线贴片机故障预测模型;建立SMT产线贴片机故障预测模型的具体方法如下:
B-1)将同一PCBA产品上的焊点缺陷作为输入数据data,将同一时间段上的贴片机故障类型作为data对应的标签label,data和label共同构成PNN的基础输入模型;
B-2)将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录,并作为PNN模型的待预测输入数据,PNN模型基于基础输入模型运算,得到基于PNN模型的贴片机故障预测类型;
B-3)基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型,前者作为后者输入数据的一部分,后者进行最终的贴片机故障预测输出;
C)将步骤B)得到的SMT产线贴片机故障预测模型部署到SMT产线上,进行贴片机的故障预测,获得故障预测结果;
D)对步骤C)获得的故障预测结果进行筛选,将筛选出的结果作为新的基础数据样本,对PNN模型进行增量更新,重复步骤B)-步骤C);PNN模型的增量更新,达到改善模型预测效果的目的,以适应SMT产线变化引发的新故障的出现。
Claims (3)
1.一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,其特征在于,包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程,具体如下:
(一)PCBA焊点缺陷检测过程,包括如下步骤:
1)采集PCBA产品图像,对图像进行筛选,保留带缺陷的PCBA产品图像,对图像缺陷进行分类和位置信息标注,并将图像数据按9:1比例进行数据集的制作与划分;
2)对YOLOX神经网络模型进行改进,利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换,并保留部分结构,得到改进的YOLOX神经网络模型;改进方法如下:
2-1)将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构;
2-2)保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层,将其增加到用于替换的ConvNeXt部分结构后,并将改变后的整个网络作为改进网络的主干特征提取网络;
2-3)在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵,此时输入图像尺寸为H×W×3,其中“H”、“W”分别为输入模型的高、宽像素尺寸,“3”为图像通道数;接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理,得到最终的目标分类和定位结果,即得到改进的YOLOX神经网络模型;
3)利用步骤1)得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练,选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值;
4)将步骤3)得到的PCBA焊点缺陷检测模型部署到SMT产线上,进行PCBA焊点的缺陷检测,得到PCBA焊点缺陷检测结果;
5)根据步骤4)得到的CBA焊点缺陷检测结果的数据,建立新的PCBA焊点缺陷检测数据集,并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练,重复步骤3)至步骤4);通过迁移学习,使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型;
(二)SMT产线贴片机故障预测过程,包括如下步骤:
A)收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果,以及SMT产线上贴片机产生故障的相关信息,并储存到数据库中;
B)利用概率神经网络PNN建立步骤A)所述缺陷检测结果和贴片机故障信息之间的关系,得到SMT产线贴片机故障预测模型;
C)将步骤B)得到的SMT产线贴片机故障预测模型部署到SMT产线上,进行贴片机的故障预测,获得故障预测结果;
D)对步骤C)获得的故障预测结果进行筛选,将筛选出的结果作为新的基础数据样本,对PNN模型进行增量更新,重复步骤B)-步骤C);PNN模型的增量更新,达到改善模型预测效果的目的。
2.根据权利要求1所述的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,其特征在于,步骤1)中,所述的数据集,制作方法如下:
1-1)采集SMT产线上AOI设备储存的PCBA焊点缺陷图像,对图像进行筛选,保留常见缺陷,并使各缺陷数量分布保持均匀;
1-2)使用labelImg图像标注工具对筛选出的图像进行标注,并按VOC数据集的储存格式将标注数据储存在XML文件中,储存的标注信息包括缺陷分类信息和缺陷定位信息;
1-3)将标注后的数据集按照9:1比例划分为训练验证集和测试集,训练验证集用于模型训练,测试集用于对训练得出的模型进行测试;再将训练验证集按照9:1比例划分为训练集和验证集,训练集用于模型训练的训练阶段,调整模型权重,验证集用于验证阶段,判断模型在未知样本上的表现情况;训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集。
3.根据权利要求1所述的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法,其特征在于,步骤B)中,所述的SMT产线贴片机故障预测模型,建立方法如下:
B-1)将同一PCBA产品上的焊点缺陷作为输入数据data,将同一时间段上的贴片机故障类型作为data对应的标签label,data和label共同构成PNN的基础输入模型;
B-2)将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录,并作为PNN模型的待预测输入数据,PNN模型基于基础输入模型运算,得到基于PNN模型的贴片机故障预测类型;
B-3)基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210707932.4A CN115082401B (zh) | 2022-06-22 | 2022-06-22 | 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210707932.4A CN115082401B (zh) | 2022-06-22 | 2022-06-22 | 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082401A CN115082401A (zh) | 2022-09-20 |
CN115082401B true CN115082401B (zh) | 2024-03-19 |
Family
ID=83253072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210707932.4A Active CN115082401B (zh) | 2022-06-22 | 2022-06-22 | 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082401B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620107A (zh) * | 2022-11-07 | 2023-01-17 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法 |
CN115810185A (zh) * | 2022-12-21 | 2023-03-17 | 南通大学 | 基于生成对抗网络数据增强的轻量级车牌识别方法 |
CN116096066B (zh) * | 2023-04-12 | 2023-06-16 | 四川易景智能终端有限公司 | 一种基于物联网的smt贴片质量检测*** |
CN116975604B (zh) * | 2023-09-22 | 2023-12-08 | 张家港市得道电子有限公司 | 贴片机驱动***的故障预测方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114170140A (zh) * | 2021-11-10 | 2022-03-11 | 佛山科学技术学院 | 一种基于Yolov4的隔膜缺陷识别方法 |
CN114240821A (zh) * | 2021-10-25 | 2022-03-25 | 上海电机学院 | 一种基于改进型yolox的焊缝缺陷检测方法 |
CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
-
2022
- 2022-06-22 CN CN202210707932.4A patent/CN115082401B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114240821A (zh) * | 2021-10-25 | 2022-03-25 | 上海电机学院 | 一种基于改进型yolox的焊缝缺陷检测方法 |
CN114170140A (zh) * | 2021-11-10 | 2022-03-11 | 佛山科学技术学院 | 一种基于Yolov4的隔膜缺陷识别方法 |
CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
改进SSD的安全帽佩戴检测方法;肖体刚;蔡乐才;汤科元;高祥;张超洋;;四川轻化工大学学报(自然科学版);20200820(第04期);全文 * |
改进的VGG网络的二极管玻壳图像缺陷检测;杜超;刘桂华;;图学学报;20191215(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115082401A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082401B (zh) | 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 | |
CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
CN110455822A (zh) | 一种pcb板缺陷的检测方法 | |
CN110021005A (zh) | 电路板瑕疵筛选方法及其装置与计算机可读取记录介质 | |
CN111798419A (zh) | 一种金属喷漆表面缺陷检测方法 | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
CN113763312A (zh) | 使用弱标记检测半导体试样中的缺陷 | |
CN112258459A (zh) | 一种基于集成深度学习的锂电池瑕疵检测方法 | |
CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
CN112907561A (zh) | 一种基于深度学习的笔记本外观瑕疵检测方法 | |
CN111199213A (zh) | 一种变电站用设备缺陷检测方法及装置 | |
TWI707299B (zh) | 光學檢測二次圖像分類方法 | |
CN114627082A (zh) | 一种基于改进YOLOv5网络的光伏组件EL缺陷检测方法 | |
CN112184679A (zh) | 一种基于YOLOv3的酒瓶瑕疵自动检测方法 | |
CN117152119A (zh) | 一种基于图像处理的型材瑕疵视觉检测方法 | |
CN115375635A (zh) | 一种晶圆缺陷的识别方法 | |
WO2023113773A1 (en) | Manufacturing defect detection augmented training sets | |
CN112381794B (zh) | 一种基于深度卷积生成网络的印刷缺陷检测方法 | |
CN117689646A (zh) | 一种正负样本融合的高精度缺陷检测方法、***及介质 | |
CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
CN112836724A (zh) | 物体缺陷识别模型训练方法、装置、电子设备和存储介质 | |
CN112819829A (zh) | 一种基于双深度学习模型的视觉缺陷检测方法 | |
CN108763063B (zh) | 一种无需缺陷标注数据的软件缺陷检测方法 | |
CN115249319A (zh) | 一种用于检测全日面图像中太阳暗条的方法 | |
CN113962933A (zh) | 一种基于改进YOLOv3的PCB缺陷图像检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |