CN110992317A - 一种基于语义分割的pcb板缺陷检测方法 - Google Patents

一种基于语义分割的pcb板缺陷检测方法 Download PDF

Info

Publication number
CN110992317A
CN110992317A CN201911134198.1A CN201911134198A CN110992317A CN 110992317 A CN110992317 A CN 110992317A CN 201911134198 A CN201911134198 A CN 201911134198A CN 110992317 A CN110992317 A CN 110992317A
Authority
CN
China
Prior art keywords
layer
pixels
size
pcb
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911134198.1A
Other languages
English (en)
Other versions
CN110992317B (zh
Inventor
罗哲
黄坤山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Original Assignee
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute, Foshan Guangdong University CNC Equipment Technology Development Co. Ltd filed Critical Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority to CN201911134198.1A priority Critical patent/CN110992317B/zh
Publication of CN110992317A publication Critical patent/CN110992317A/zh
Application granted granted Critical
Publication of CN110992317B publication Critical patent/CN110992317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割的PCB板缺陷检测方法，包括如下步骤：步骤S1：数据采集和缺陷定义；步骤S2：数据标注与清洗；步骤S3：图像预处理，数据集制作；步骤S4：构建神经网络模型并进行数据训练；步骤S5：模型测试；步骤S6：缺陷判决。本发明提出基于搭建的语义分割网络的PCB板缺陷检测算法可以将生产现场采集来的PCB板图片数据经预处理后直接送入模型中进行判决而无需人工干预，相比较于传统人工筛选以及后来的基于机器视觉的缺陷检测方法，加入人工智能算法后，减少了大量人力，且其缺陷检测速率和精度都大大提高，性能更加优越。

Description

一种基于语义分割的PCB板缺陷检测方法
技术领域
本发明涉及PCB板缺陷检测领域，尤其涉及一种基于语义分割的PCB板缺陷检测方法。
背景技术
一直以来，生产流程中由于磕碰、污渍等造成的PCB板产品质量问题备受生产商们的关注，PCB缺陷检测工作及其重要，而随着PCB市场需求的不断扩大，其缺陷检测任务也变得更加艰巨起来。
在过去，传统的PCB板缺陷检测方法已经从人工筛选发展到了工业领域的自动化检测阶段，如通过机器视觉和传统的图像处理技术，但这些方法存在需要消耗大量人力、人工误判、自动化检测设备漏判、检测效率低下等问题。
因此，现有技术需要进一步改进和完善。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于语义分割的PCB板缺陷检测方法。
本发明的目的通过下述技术方案实现：
一种基于语义分割的PCB板缺陷检测方法，该缺陷检测方法主要包括如下具体步骤：
步骤S1：数据采集和缺陷定义。
具体的，所述步骤S1具体包括：从工厂生产现场采集大量传统自动化工艺流程下的检测装置下无法判决其缺陷的PCB板图片及相应数量的模板图，定义模板图为其PCB板待检测缺陷标准。
具体的，所述步骤S1还包括：结合厂家需求与其行业专家知识确定PCB板缺陷类型，利用语义分割标记软件作为图像缺陷标记工具进行数据标注工作。
具体的，所述步骤S1还包括：缺陷类型包括：开路、短路、孔坡、毛刺、缺口、铜渣、线幼、针孔。
具体的，所述步骤S1还包括：将采集到的图片进行统一尺寸为572*572(长*宽)，同时准备每张图片的相对应模板图。
步骤S2：数据标注与清洗：将标注好的图片文件生成Mask图片存储下来，作为模型训练过程计算模型预测误差的真实值。
具体的，所述步骤S2的图像数据清洗，是根据厂家及该行业专家对缺陷的定义，对步骤S1中采集到的实际图像进行真缺陷与假缺陷的分类。
步骤S3：图像预处理，数据集制作：统一图像大小，数据增强，扩大图片数量，完成PCB板数据集{原图(train_1)、Mask图(train_2)、测试集(test)}的制作。其中，Mask图是指掩摸图像，一般是被标记为目标区域。用来与原图进行运算的，将目标区域从原图标记出来。
步骤S4：构建神经网络模型并进行数据训练：构建全卷积的语义分割网络模型，设置其初始化参数、损失函数以及优化器，在所构建的语义分割网络中输入训练数据集{train_1、train_2}开始训练，经多次迭代收敛后得到分割模型(Model)。
进一步的，在所述步骤S4中采用基于深度学习的图像语义分割算法，其网络是一个全卷积层的神经网络，具体结构如下：
Part1：特征提取
卷积层，对多通道复合图像进行特征提取；
池化层，降低图像尺寸大小，增大感受野，减小参数，防止过拟合；
第1、2层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第3层，池化层，池化核大小为2像素，步长为2像素；
第4、5层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第6层，池化层，池化核大小为2像素，步长为2像素；
第7、8层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第9层，池化层，池化核大小为2像素，步长为2像素；
第10、11层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第12层，池化层，池化核大小为2像素，步长为2像素；
第13、14层，卷积层，卷积核大小为3像素，步长为1像素，输出1024个特征图；
Part2：上采样
还原图像尺寸为输入图像尺寸大小，使深度学习网络结构模型达到像素级别的语义分割效果；
第15层，反卷积层，卷积核大小为2像素，步长为2像素，并与第14层卷积后的输出联合；
第16、17层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第18层，反卷积层，卷积核大小为2像素，步长为2像素，并与第17层卷积后的输出联合；
第19、20层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第21层，反卷积层，卷积核大小为2像素，步长为2像素，并与第20层卷积后的输出联合；
第22、23层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第24层，反卷积层，卷积核大小为2像素，步长为2像素，并与第23层卷积后的输出联合；
第25、26层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第27层，卷积层，卷积核大小为1像素，步长为1像素，输出2个特征图。
步骤S5：模型测试：将测试数据集{test}输入到语义分割网络中，利用步骤S4所得分割模型(Model)对图片进行语义分割，对比得到的PCB板分割图{Mask}和模板图，判断模型的分割精度，若已达到精度要求，则模型训练完成，否则继续迭代或增加训练数据集(修改参数)。
步骤S6：缺陷判决：导出步骤S5中的模型文件，利用该模型对所需判决缺陷的PCB板图片进行缺陷分类。
本发明的工作过程和原理是：本发明提出基于搭建的语义分割网络的PCB板缺陷检测算法可以将生产现场采集来的PCB板图片数据经预处理后直接送入模型中进行判决而无需人工干预，相比较于传统人工筛选以及后来的基于机器视觉的缺陷检测方法，加入人工智能算法后，减少了大量人力，且其缺陷检测速率和精度都大大提高，性能更加优越。
与现有技术相比，本发明还具有以下优点：
(1)本发明所提供的基于语义分割的PCB板缺陷检测方法充分将深度学习算法的高精确性和快速检测大量图像数据的优势利用于工艺生产中的PCB板缺陷检测中，促进传统工业智能化发展。
(2)本发明所提供的基于语义分割的PCB板缺陷检测方法基于深度学习的PCB板缺陷检测方法，可大大减少人工干预，使工作更加快速而高效的完成。
(3)本发明所提供的基于语义分割的PCB板缺陷检测方法克服了传统图像处理检测方法的不足，结合当下比较成熟的深度学习研究结果，利用语义分割模型进行PCB板的缺陷检测，可高效、批量检测。描述采集的PCB图像被制作为语义分割网络下的训练数据集，通过对图像进行预处理后，得到训练好的网络模型，结合模型后端的预测，从而实现智能、高效率、高精度的缺陷检测，整个缺陷检测工作流程下来可大大减少人工干预。
附图说明
图1是本发明所提供的基于语义分割的PCB板缺陷检测方法的流程示意图。
图2是本发明所提供的实际生产过程中PCB板缺陷类型示意图。
图3是本发明所提供的经语义分割模型进行缺陷分类检测时产生的检测结果图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。
实施例1：
如图1、图2和图3所示，本实施例公开了一种基于语义分割的PCB板缺陷检测方法，该缺陷检测方法主要包括如下具体步骤：
步骤S1：数据采集和缺陷定义。
具体的，所述步骤S1具体包括：从工厂生产现场采集大量传统自动化工艺流程下的检测装置下无法判决其缺陷的PCB板图片及相应数量的模板图，定义模板图为其PCB板待检测缺陷标准。
具体的，所述步骤S1还包括：结合厂家需求与其行业专家知识确定PCB板缺陷类型，利用语义分割标记软件作为图像缺陷标记工具进行数据标注工作。
具体的，所述步骤S1还包括：缺陷类型包括：开路、短路、孔坡、毛刺、缺口、铜渣、线幼、针孔。
具体的，所述步骤S1还包括：将采集到的图片进行统一尺寸为572*572(长*宽)，同时准备每张图片的相对应模板图。
步骤S2：数据标注与清洗：将标注好的图片文件生成Mask图片存储下来，作为模型训练过程计算模型预测误差的真实值。
具体的，所述步骤S2的图像数据清洗，是根据厂家及该行业专家对缺陷的定义，对步骤S1中采集到的实际图像进行真缺陷与假缺陷的分类。
步骤S3：图像预处理，数据集制作：统一图像大小，数据增强，扩大图片数量，完成PCB板数据集{原图(train_1)、Mask图(train_2)、测试集(test)}的制作。
步骤S4：构建神经网络模型并进行数据训练：构建全卷积的语义分割网络模型，设置其初始化参数、损失函数以及优化器，在所构建的语义分割网络中输入训练数据集{train_1、train_2}开始训练，经多次迭代收敛后得到分割模型(Model)。
进一步的，在所述步骤S4中采用基于深度学习的图像语义分割算法，其网络是一个全卷积层的神经网络，具体结构如下：
Part1：特征提取
卷积层，对多通道复合图像进行特征提取；
池化层，降低图像尺寸大小，增大感受野，减小参数，防止过拟合；
第1、2层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第3层，池化层，池化核大小为2像素，步长为2像素；
第4、5层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第6层，池化层，池化核大小为2像素，步长为2像素；
第7、8层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第9层，池化层，池化核大小为2像素，步长为2像素；
第10、11层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第12层，池化层，池化核大小为2像素，步长为2像素；
第13、14层，卷积层，卷积核大小为3像素，步长为1像素，输出1024个特征图；
Part2：上采样
还原图像尺寸为输入图像尺寸大小，使深度学习网络结构模型达到像素级别的语义分割效果；
第15层，反卷积层，卷积核大小为2像素，步长为2像素，并与第14层卷积后的输出联合；
第16、17层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第18层，反卷积层，卷积核大小为2像素，步长为2像素，并与第17层卷积后的输出联合；
第19、20层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第21层，反卷积层，卷积核大小为2像素，步长为2像素，并与第20层卷积后的输出联合；
第22、23层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第24层，反卷积层，卷积核大小为2像素，步长为2像素，并与第23层卷积后的输出联合；
第25、26层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第27层，卷积层，卷积核大小为1像素，步长为1像素，输出2个特征图。
步骤S5：模型测试：将测试数据集{test}输入到语义分割网络中，利用步骤S4所得分割模型(Model)对图片进行语义分割，对比得到的PCB板分割图{Mask}和模板图，判断模型的分割精度，若已达到精度要求，则模型训练完成，否则继续迭代或增加训练数据集(修改参数)。
步骤S6：缺陷判决：导出步骤S5中的模型文件，利用该模型对所需判决缺陷的PCB板图片进行缺陷分类。
本发明的工作过程和原理是：本发明提出基于搭建的语义分割网络的PCB板缺陷检测算法可以将生产现场采集来的PCB板图片数据经预处理后直接送入模型中进行判决而无需人工干预，相比较于传统人工筛选以及后来的基于机器视觉的缺陷检测方法，加入人工智能算法后，减少了大量人力，且其缺陷检测速率和精度都大大提高，性能更加优越。
与现有技术相比，本发明还具有以下优点：
(1)本发明所提供的基于语义分割的PCB板缺陷检测方法充分将深度学习算法的高精确性和快速检测大量图像数据的优势利用于工艺生产中的PCB板缺陷检测中，促进传统工业智能化发展。
(2)本发明所提供的基于语义分割的PCB板缺陷检测方法基于深度学习的PCB板缺陷检测方法，可大大减少人工干预，使工作更加快速而高效的完成。
本发明所提供的基于语义分割的PCB板缺陷检测方法克服了传统图像处理检测方法的不足，结合当下比较成熟的深度学习研究结果，利用语义分割模型进行PCB板的缺陷检测，可高效、批量检测。描述采集的PCB图像被制作为语义分割网络下的训练数据集，通过对图像进行预处理后，得到训练好的网络模型，结合模型后端的预测，从而实现智能、高效率、高精度的缺陷检测，整个缺陷检测工作流程下来可大大减少人工干预。
实施例2：
结合图1至图3所示，本实施例公开了一种基于语义分割的PCB板缺陷检测方法，其特征在于，具体包括以下实施步骤：
步骤1：图像数据采集和缺陷类型定义。
步骤1.1：采集大量PCB板图像，将采集到的图片进行统一尺寸为572*572(长*宽)，同时准备每张图片的相对应模板图；
步骤1.2：结合厂家需求与其行业知识定义PCB板缺陷类型标准，缺陷类型包括：开路、短路、孔坡、毛刺、缺口、铜渣、线幼、针孔。
步骤2：图像数据清洗与标注。
步骤2.1：对步骤1采集到的图像数据清洗、利用语义分割标注软件进行缺陷特征标注，标记后生成json文件保存；
步骤2.2：将json文件转换成Mask图片保存，作为模型训练过程计算模型预测误差的真实值{Y}。
步骤3：图像处理，制作数据集。
将步骤2中清洗后得到的PCB板原图和标记后带标签的Mask图进行图像平移、尺寸变换、旋转变换等预处理，统一图像参数，通过数据增强丰富图像训练集，以防止模型过拟合。最终，将图片分成原始图片、Mask图和测试，完成PCB板数据集{train_1、train_2、test}的制作；
步骤4：语义分割网络模型训练。
构建全卷积的语义分割网络模型，设置其初始化参数、损失函数以及优化器，在所构建的语义分割网络中输入训练数据集{train_1、train_2}进行训练，经多次迭代收敛后得到分割模型(Model)；
步骤5，语义分割网络模型测试。将测试数据集{test}输入到语义分割网络中，利用步骤4所得分割模型(Model)对图片进行语义分割，对比得到的PCB板分割图{Mask}和模板图，判断模型的分割精度，若已达到精度要求，则模型训练完成，否则继续迭代或增加训练数据集(修改参数)；
步骤6，PCB板缺陷判决。导出步骤5中的模型文件，利用该模型对所需判决缺陷的PCB板图片进行缺陷分类。
进一步，步骤2所述的图像数据清洗，是根据厂家及该行业专家对缺陷的定义，对步骤1中采集到的实际图像进行真缺陷与假缺陷的分类。
进一步，步骤4所述构建语义分割网络模型。以PCB厂家实际需求，对其进行建模分析，然后结合深度学习的语义分割算法搭建了全卷积的神经网络模型，具体模型结构如下：
输入原图尺寸大小为224*224。
第1、2层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第3层，池化层，池化核大小为2，步长为2；
第4、5层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第6层，池化层，池化核大小为2，步长为2；
第7、8层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第9层，池化层，池化核大小为2，步长为2；
第10、11层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第12层，池化层，池化核大小为2，步长为2；
第13、14层，卷积层，卷积核大小为3，步长为1，输出1024个特征图；
第15层，反卷积层，卷积核大小为2，步长为2，并与第14层卷积后的输出进行三维度联合；
第16、17层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第18层，反卷积层，卷积核大小为2，步长为2，并与第17层卷积后的输出进行三维度联合；
第19、20层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第21层，反卷积层，卷积核大小为2，步长为2，并与第20层卷积后的输出进行三维度联合；
第22、23层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第24层，反卷积层，卷积核大小为2，步长为2，并与第23层卷积后的输出进行三维度联合；
第25、26层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第27层，卷积层，卷积核大小为3，步长为1，输出2个特征图；
第28层，卷积层(输出层)，卷积核大小为1，步长为1，输出1个特征图。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于语义分割的PCB板缺陷检测方法，其特征在于，包括如下步骤：
步骤S1：数据采集和缺陷定义；
步骤S2：数据标注与清洗：将标注好的图片文件生成Mask图片存储下来，作为模型训练过程计算模型预测误差的真实值；
步骤S3：图像预处理，数据集制作：统一图像大小，数据增强，扩大图片数量，完成PCB板数据集的制作，所述PCB板数据集包括原图、Mask图和测试集；
步骤S4：构建神经网络模型并进行数据训练：构建全卷积的语义分割网络模型，设置其初始化参数、损失函数以及优化器，在所构建的语义分割网络中输入训练数据集开始训练，经多次迭代收敛后得到分割模型；
步骤S5：模型测试：将测试数据集输入到语义分割网络中，利用步骤S4所得分割模型对图片进行语义分割，对比得到的PCB板分割图和模板图，判断模型的分割精度，若已达到精度要求，则模型训练完成，否则继续迭代或增加训练数据集；
步骤S6：缺陷判决：导出步骤S5中的模型文件，利用该模型对所需判决缺陷的PCB板图片进行缺陷分类。
2.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，所述步骤S1具体包括：从工厂生产现场采集大量传统自动化工艺流程下的检测装置下无法判决其缺陷的PCB板图片及相应数量的模板图，定义模板图为其PCB板待检测缺陷标准。
3.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，所述步骤S1还包括：结合厂家需求与其行业专家知识确定PCB板缺陷类型，利用语义分割标记软件作为图像缺陷标记工具进行数据标注工作。
4.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，所述步骤S1还包括：缺陷类型包括：开路、短路、孔坡、毛刺、缺口、铜渣、线幼、针孔。
5.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，所述步骤S1还包括：将采集到的图片进行统一尺寸为572*572，同时准备每张图片的相对应模板图。
6.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，所述步骤S2的图像数据清洗，是根据厂家及该行业专家对缺陷的定义，对步骤S1中采集到的实际图像进行真缺陷与假缺陷的分类。
7.根据权利要求1所述的基于语义分割的PCB板缺陷检测方法，其特征在于，在所述步骤S4中采用基于深度学习的图像语义分割算法，其网络是一个全卷积层的神经网络，具体结构如下：
Part1：特征提取
卷积层，对多通道复合图像进行特征提取；
池化层，降低图像尺寸大小，增大感受野，减小参数，防止过拟合；
第1、2层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第3层，池化层，池化核大小为2像素，步长为2像素；
第4、5层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第6层，池化层，池化核大小为2像素，步长为2像素；
第7、8层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第9层，池化层，池化核大小为2像素，步长为2像素；
第10、11层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第12层，池化层，池化核大小为2像素，步长为2像素；
第13、14层，卷积层，卷积核大小为3像素，步长为1像素，输出1024个特征图；
Part2：上采样
还原图像尺寸为输入图像尺寸大小，使深度学习网络结构模型达到像素级别的语义分割效果；
第15层，反卷积层，卷积核大小为2像素，步长为2像素，并与第14层卷积后的输出联合；
第16、17层，卷积层，卷积核大小为3像素，步长为1像素，输出512个特征图；
第18层，反卷积层，卷积核大小为2像素，步长为2像素，并与第17层卷积后的输出联合；
第19、20层，卷积层，卷积核大小为3像素，步长为1像素，输出256个特征图；
第21层，反卷积层，卷积核大小为2像素，步长为2像素，并与第20层卷积后的输出联合；
第22、23层，卷积层，卷积核大小为3像素，步长为1像素，输出128个特征图；
第24层，反卷积层，卷积核大小为2像素，步长为2像素，并与第23层卷积后的输出联合；
第25、26层，卷积层，卷积核大小为3像素，步长为1像素，输出64个特征图；
第27层，卷积层，卷积核大小为1像素，步长为1像素，输出2个特征图。
CN201911134198.1A 2019-11-19 2019-11-19 一种基于语义分割的pcb板缺陷检测方法 Active CN110992317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911134198.1A CN110992317B (zh) 2019-11-19 2019-11-19 一种基于语义分割的pcb板缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911134198.1A CN110992317B (zh) 2019-11-19 2019-11-19 一种基于语义分割的pcb板缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110992317A true CN110992317A (zh) 2020-04-10
CN110992317B CN110992317B (zh) 2023-09-22

Family

ID=70084985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911134198.1A Active CN110992317B (zh) 2019-11-19 2019-11-19 一种基于语义分割的pcb板缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110992317B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583187A (zh) * 2020-04-14 2020-08-25 佛山市南海区广工大数控装备协同创新研究院 一种基于cnn可视化的pcb电路板缺陷检测方法
CN111709910A (zh) * 2020-05-18 2020-09-25 扬州小纳熊机器人有限公司 一种基于卷积神经网络的pcb板缺陷检测算法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN111812118A (zh) * 2020-06-24 2020-10-23 阿丘机器人科技(苏州)有限公司 Pcb检测方法、装置、设备及计算机可读存储介质
CN111882547A (zh) * 2020-07-30 2020-11-03 佛山市南海区广工大数控装备协同创新研究院 一种基于神经网络的pcb漏件检测方法
CN112164035A (zh) * 2020-09-15 2021-01-01 郑州金惠计算机***工程有限公司 基于图像的缺陷检测方法、装置、电子设备及存储介质
CN112288741A (zh) * 2020-11-23 2021-01-29 四川长虹电器股份有限公司 一种基于语义分割的产品表面缺陷检测方法、***
CN112365478A (zh) * 2020-11-13 2021-02-12 上海海事大学 一种基于语义分割的电机换向器表面缺陷检测模型
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112734703A (zh) * 2020-12-28 2021-04-30 佛山市南海区广工大数控装备协同创新研究院 一种利用ai云端协同检测的pcb缺陷优化方法
CN113112482A (zh) * 2021-04-15 2021-07-13 深圳市玻尔智造科技有限公司 一种基于注意力机制网络的pcb缺陷检测方法
CN113239930A (zh) * 2021-05-14 2021-08-10 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN113379685A (zh) * 2021-05-26 2021-09-10 广东炬森智能装备有限公司 一种基于双通道特征比对模型的pcb板缺陷检测方法及装置
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
CN113763358A (zh) * 2021-09-08 2021-12-07 合肥中科类脑智能技术有限公司 基于语义分割的变电站渗漏油和金属锈蚀检测方法及***
CN113920075A (zh) * 2021-09-29 2022-01-11 广州鲁邦通物联网科技股份有限公司 一种基于物体识别的简易缺陷检测方法和***
CN114331961A (zh) * 2021-11-25 2022-04-12 腾讯科技（深圳）有限公司 用于对象的缺陷检测的方法
CN114529561A (zh) * 2022-02-22 2022-05-24 成都数之联科技股份有限公司 线路图像与背景板图像的分割方法及***及装置及介质
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
CN115713533A (zh) * 2023-01-10 2023-02-24 佰聆数据股份有限公司 基于机器视觉的电力设备表面缺陷检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583187B (zh) * 2020-04-14 2023-11-07 佛山市南海区广工大数控装备协同创新研究院 一种基于cnn可视化的pcb电路板缺陷检测方法
CN111583187A (zh) * 2020-04-14 2020-08-25 佛山市南海区广工大数控装备协同创新研究院 一种基于cnn可视化的pcb电路板缺陷检测方法
CN111709910A (zh) * 2020-05-18 2020-09-25 扬州小纳熊机器人有限公司 一种基于卷积神经网络的pcb板缺陷检测算法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN111812118A (zh) * 2020-06-24 2020-10-23 阿丘机器人科技(苏州)有限公司 Pcb检测方法、装置、设备及计算机可读存储介质
CN111882547A (zh) * 2020-07-30 2020-11-03 佛山市南海区广工大数控装备协同创新研究院 一种基于神经网络的pcb漏件检测方法
CN112686833B (zh) * 2020-08-22 2023-06-06 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112164035A (zh) * 2020-09-15 2021-01-01 郑州金惠计算机***工程有限公司 基于图像的缺陷检测方法、装置、电子设备及存储介质
CN112365478A (zh) * 2020-11-13 2021-02-12 上海海事大学 一种基于语义分割的电机换向器表面缺陷检测模型
CN112288741A (zh) * 2020-11-23 2021-01-29 四川长虹电器股份有限公司 一种基于语义分割的产品表面缺陷检测方法、***
CN112734703A (zh) * 2020-12-28 2021-04-30 佛山市南海区广工大数控装备协同创新研究院 一种利用ai云端协同检测的pcb缺陷优化方法
CN113112482A (zh) * 2021-04-15 2021-07-13 深圳市玻尔智造科技有限公司 一种基于注意力机制网络的pcb缺陷检测方法
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN113239930A (zh) * 2021-05-14 2021-08-10 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN113239930B (zh) * 2021-05-14 2024-04-05 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN113379685A (zh) * 2021-05-26 2021-09-10 广东炬森智能装备有限公司 一种基于双通道特征比对模型的pcb板缺陷检测方法及装置
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
CN113763358A (zh) * 2021-09-08 2021-12-07 合肥中科类脑智能技术有限公司 基于语义分割的变电站渗漏油和金属锈蚀检测方法及***
CN113763358B (zh) * 2021-09-08 2024-01-09 合肥中科类脑智能技术有限公司 基于语义分割的变电站渗漏油和金属锈蚀检测方法及***
CN113920075A (zh) * 2021-09-29 2022-01-11 广州鲁邦通物联网科技股份有限公司 一种基于物体识别的简易缺陷检测方法和***
CN114331961A (zh) * 2021-11-25 2022-04-12 腾讯科技（深圳）有限公司 用于对象的缺陷检测的方法
CN114529561A (zh) * 2022-02-22 2022-05-24 成都数之联科技股份有限公司 线路图像与背景板图像的分割方法及***及装置及介质
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
CN115713533A (zh) * 2023-01-10 2023-02-24 佰聆数据股份有限公司 基于机器视觉的电力设备表面缺陷检测方法及装置

Also Published As

Publication number Publication date
CN110992317B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN110992317A (zh) 一种基于语义分割的pcb板缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN111582294B (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN112613097A (zh) 一种基于计算机视觉的bim快速化建模方法
CN112819756B (zh) Pcb板表面缺陷检测装置及方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN112070712B (zh) 基于自编码器网络的印刷缺陷检测方法
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN112017172A (zh) 一种基于树莓派的深度学习产品缺陷检测***及方法
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN113724223B (zh) 基于光学显微镜的YOLOv3数据集制作方法及***
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN115601610A (zh) 一种基于改进EfficientDet模型的织物瑕疵检测方法
CN112686843B (zh) 一种基于神经网络的木板缺陷检测方法及***
CN113205136A (zh) 一种用于电源适配器外观缺陷的实时高精度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant