CN108830840A - 一种电路板缺陷的主动智能检测方法及其应用 - Google Patents

一种电路板缺陷的主动智能检测方法及其应用 Download PDF

Info

Publication number
CN108830840A
CN108830840A CN201810549271.0A CN201810549271A CN108830840A CN 108830840 A CN108830840 A CN 108830840A CN 201810549271 A CN201810549271 A CN 201810549271A CN 108830840 A CN108830840 A CN 108830840A
Authority
CN
China
Prior art keywords
defect
circuit board
image
detector
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810549271.0A
Other languages
English (en)
Inventor
陈荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huaying Photoelectric Technology Co Ltd
Original Assignee
Jiangsu Huaying Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huaying Photoelectric Technology Co Ltd filed Critical Jiangsu Huaying Photoelectric Technology Co Ltd
Priority to CN201810549271.0A priority Critical patent/CN108830840A/zh
Publication of CN108830840A publication Critical patent/CN108830840A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本发明公开一种电路板缺陷的主动智能检测方法，包括如下步骤：(1)构建复合探测模块；(2)根据电路板类型和检测要求进行电路板缺陷检测，形成缺陷图像；(3)对获取的全部缺陷图像进行复合；(4)对融合定位后的各缺陷图像进行自主判断分析电路板或芯片中的表面和内部的缺陷，形成统一的空间缺陷图像；(5)输出形成的空间缺陷图像。本发明的电路板缺陷检测方法具有多种不同类型的探测传感器，根据电路板的类型不同能够自主选择任意一组外观缺陷探测器和内部缺陷探测器，再将不同的缺陷图像进行融合，计算出缺陷特征，并形成空间缺陷图像输出，达成电路板在线全面体检的目的。

Description

一种电路板缺陷的主动智能检测方法及其应用
技术领域
本发明属于工业无损检测领域，具体涉及一种面向电路板的缺陷检测方法。
背景技术
随着电子设备高可靠需求的日趋提高，以及电路板检测自动化的发展要求，传统的检测手段越来越南满足上述需求，迫切需要高精度体系化在线缺陷检测机器人达到现代化的检测要求。
目前在电路板缺陷检测方面国内外大多仍停留在外观检测(AOI)方面。而电路板缺陷类型包括了肉眼可观察的外观缺陷(如电路板的划痕、毛边、弯曲、短路、断路等)，同样还存在内部缺陷(如电路板内部气泡、过孔、虚焊、空焊、芯片内部缺陷等)、高度缺陷(如拉尖)等，这些缺陷由电路板的外观是难以观察出来的。
在内部检测方面虽然也存在有飞针测试、X射线和主动热成像探测设备等方法，然而不能与外观检测有效结合，且存在即时性能差、不能智能判断等缺点，依赖人工，很难在工业上规模化应用，电路板全面在线式体检目前尚未有有效手段。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种电路板缺陷的主动智能检测方法，自主检测电路板的内部和外部缺陷，并融合为可视化缺陷图像输出，达成电路板在线全面体检的目的；
本发明的另一目的在于，提供一种应用上述检测方法的工业复合探测相机。
技术方案：本发明所述电路板缺陷的主动智能检测方法，包括如下步骤：
(1)构建由若干组外观缺陷探测器和内部缺陷探测器组成的复合探测模块；
(2)根据电路板类型和检测要求选择至少一组外观缺陷探测器和一组内部缺陷探测器进行电路板缺陷检测，分别形成缺陷图像；
(3)对步骤(2)获取的全部缺陷图像进行复合，将多视觉融合定位；
(4)对融合定位后的各缺陷图像进行自主判断分析电路板或芯片中的表面和内部的缺陷，并进行空间缺陷数据融合建模，形成统一的空间缺陷图像；
(5)输出形成的空间缺陷图像，并可视化显示。
本发明进一步优选地技术方案为，步骤(4)中空间缺陷数据融合的具体方法为：
a、对共k类图像特征待训练、待分类缺陷特征信号进行预处理，提取m种不同缺陷特征；
b、将待训练目标的m种不同特征分别输入m组分类器，其中每组分类器包含1个PSVM，并按照树状结构进行训练；当PSVM的输入大于两类时，将这些类别标签尽量均匀的分成两大类进行判决，直到最底层的PSVM输入为两类标签，结束树状结构训练；
c、将待测试目标的m种不同图像特征分别输入m组分类器，得到所有PSVM的概率输出；每组分类器有k个概率输出，m组分类器共有m个概率输出，计算出每个分类器的对应权值；
d、将每组分类器中每种标签的概率输出进行加权处理，加权结果最大的标签作为融合结果输出，该融合算法表示如下：
f(x)＝argmax[∑wjPij(class＝i|input)] ①；
e、然后与特征权值向量W，以矩阵乘的方式进行运算，得到综合权值矩阵，即：
f、将矩阵w与矩阵P相乘，建立WT权重矩阵；
g、PF为k×k矩阵，其对角线元素：
h、表示第j类标签的综合权值概率输出，分类器最终判决结果为：
f(x)＝argmax(PFi，j) ④。
优选地，步骤(1)中外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种。
优选地，步骤(2)中电路板的类型和检测要求一一对应，外观缺陷探测器和内部缺陷探测器的类型根据电路板类型自主选择确定。
优选地，步骤(3)中采用空间异构视觉传感器定位融合算法，对可见光视觉和内部视觉进行融合定位。
一种上述检测方法的应用，用于搭建主动智能工业复合探测相机。
作为优选地，所述相机包括探测模块、主动智能融合处理模块和***接口模块，所述探测模块包括至少一组外观缺陷探测器和一组内部缺陷探测器，所述外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种；
所述主动智能融合处理模块进行缺陷数据自动化综合，并进行空间缺陷数据建模，形成统一3D缺陷图像，并通过所述***接口模块输入到缺陷检测主控***。
有益效果：(1)本发明的电路板缺陷检测方法具有多种不同类型的探测传感器，根据电路板的类型不同能够自主选择任意一组外观缺陷探测器和内部缺陷探测器，再将不同的缺陷图像进行融合，计算出缺陷特征，并形成空间缺陷图像输出，达成电路板在线全面体检的目的；检测过程智能完成，仅需提前输入一定的参数，即能获得电路板的全面缺陷图像，无需人工参与，因此可以实现工业上的规模化使用；
(2)本发明中根据探测器获取的缺陷图像，进行自主融合运算，生成统一的空间缺陷图像，运算迅速，由数据探测到数据融合输出的时延≤500ms，能够实现电路板全面在线式体检；
(3)本发明中复合探测模块的外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种，能够对电路板的外观缺陷、内部缺陷和高度缺陷进行全面检测，并有效融合。
附图说明
图1为本发明电路板缺陷的主动智能检测方法的流程图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施例：一种电路板缺陷的主动智能检测方法，包括如下步骤：
(1)构建由若干组外观缺陷探测器和内部缺陷探测器组成的复合探测模块；
(2)根据电路板类型和检测要求选择至少一组外观缺陷探测器和一组内部缺陷探测器进行电路板缺陷检测，分别形成缺陷图像；电路板的类型和检测要求一一对应，外观缺陷探测器和内部缺陷探测器的类型根据电路板类型自主选择确定；
(3)采用空间异构视觉传感器定位融合算法，对步骤(2)获取的全部缺陷图像进行复合，将可见光视觉和内部视觉进行融合定位；
(4)对融合定位后的各缺陷图像进行自主判断分析电路板或芯片中的表面和内部的缺陷，并进行空间缺陷数据融合建模，形成统一的空间缺陷图像，具体方法为：
a、对共k类图像特征待训练、待分类缺陷特征信号进行预处理，提取m种不同缺陷特征；
b、将待训练目标的m种不同特征分别输入m组分类器，其中每组分类器包含1个PSVM，并按照树状结构进行训练；当PSVM的输入大于两类时，将这些类别标签尽量均匀的分成两大类进行判决，直到最底层的PSVM输入为两类标签，结束树状结构训练；
c、将待测试目标的m种不同图像特征分别输入m组分类器，得到所有PSVM的概率输出；每组分类器有k个概率输出，m组分类器共有m个概率输出，计算出每个分类器的对应权值；
d、将每组分类器中每种标签的概率输出进行加权处理，加权结果最大的标签作为融合结果输出，该融合算法表示如下：
f(x)＝argmax[∑wjPij(class＝i|input)] ①；
e、然后与特征权值向量W，以矩阵乘的方式进行运算，得到综合权值矩阵，即：
f、将矩阵w与矩阵P相乘，建立WT权重矩阵；
g、PF为k×k矩阵，其对角线元素：
h、表示第j类标签的综合权值概率输出，分类器最终判决结果为：
f(x)＝argmax(PFj，j) ④。
(5)输出形成的空间缺陷图像，并可视化显示。
应用上述的检测方法搭建的主动智能工业复合探测相机，包括探测模块、主动智能融合处理模块和***接口模块，所述探测模块包括至少一组外观缺陷探测器和一组内部缺陷探测器，所述外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种；所述主动智能融合处理模块进行缺陷数据自动化综合，并进行空间缺陷数据建模，形成统一3D缺陷图像，并通过所述***接口模块输入到缺陷检测主控***。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (7)

1.一种电路板缺陷的主动智能检测方法，其特征在于，包括如下步骤：
(1)构建由若干组外观缺陷探测器和内部缺陷探测器组成的复合探测模块；
(2)根据电路板类型和检测要求选择至少一组外观缺陷探测器和一组内部缺陷探测器进行电路板缺陷检测，分别形成缺陷图像；
(3)对步骤(2)获取的全部缺陷图像进行复合，将多视觉融合定位；
(4)对融合定位后的各缺陷图像进行自主判断分析电路板或芯片中的表面和内部的缺陷，并进行空间缺陷数据融合建模，形成统一的空间缺陷图像；
(5)输出形成的空间缺陷图像，并可视化显示。
2.根据权利要求1所述的电路板缺陷的主动智能检测方法，其特征在于，步骤(4)中空间缺陷数据融合的具体方法为：
a、对共k类图像特征待训练、待分类缺陷特征信号进行预处理，提取m种不同缺陷特征；
b、将待训练目标的m种不同特征分别输入m组分类器，其中每组分类器包含1个PSVM，并按照树状结构进行训练；当PSVM的输入大于两类时，将这些类别标签尽量均匀的分成两大类进行判决，直到最底层的PSVM输入为两类标签，结束树状结构训练；
c、将待测试目标的m种不同图像特征分别输入m组分类器，得到所有PSVM的概率输出；每组分类器有k个概率输出，m组分类器共有m个概率输出，计算出每个分类器的对应权值；
d、将每组分类器中每种标签的概率输出进行加权处理，加权结果最大的标签作为融合结果输出，该融合算法表示如下：
f(x)＝argmax[∑wjPij(class＝i|input)] ①；
e、然后与特征权值向量W，以矩阵乘的方式进行运算，得到综合权值矩阵，即：
f、将矩阵w与矩阵P相乘，建立WT权重矩阵；
g、PF为k×k矩阵，其对角线元素：
h、表示第j类标签的综合权值概率输出，分类器最终判决结果为：
f(x)＝argmax(PFj，j) ④。
3.根据权利要求1所述的电路板缺陷的主动智能检测方法，其特征在于，步骤(1)中外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种。
4.根据权利要求3所述的电路板缺陷的主动智能检测方法，其特征在于，步骤(2)中电路板的类型和检测要求一一对应，外观缺陷探测器和内部缺陷探测器的类型根据电路板类型自主选择确定。
5.根据权利要求1所述的电路板缺陷的主动智能检测方法，其特征在于，步骤(3)中采用空间异构视觉传感器定位融合算法，对可见光视觉和内部视觉进行融合定位。
6.一种权利要求1～5任意一项所述检测方法的应用，其特征在于，用于搭建主动智能工业复合探测相机。
7.根据权利要求6所述的应用，其特征在于，所述相机包括探测模块、主动智能融合处理模块和***接口模块，所述探测模块包括至少一组外观缺陷探测器和一组内部缺陷探测器，所述外观缺陷探测器包括可见光检测传感器；内部缺陷探测器包括热感视觉检测传感器、激光扫描检测传感器和超声波检测传感器其中的一种或几种；
所述主动智能融合处理模块进行缺陷数据自动化综合，并进行空间缺陷数据建模，形成统一3D缺陷图像，并通过所述***接口模块输入到缺陷检测主控***。
CN201810549271.0A 2018-05-31 2018-05-31 一种电路板缺陷的主动智能检测方法及其应用 Pending CN108830840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810549271.0A CN108830840A (zh) 2018-05-31 2018-05-31 一种电路板缺陷的主动智能检测方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810549271.0A CN108830840A (zh) 2018-05-31 2018-05-31 一种电路板缺陷的主动智能检测方法及其应用

Publications (1)

Publication Number Publication Date
CN108830840A true CN108830840A (zh) 2018-11-16

Family

ID=64145504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810549271.0A Pending CN108830840A (zh) 2018-05-31 2018-05-31 一种电路板缺陷的主动智能检测方法及其应用

Country Status (1)

Country Link
CN (1) CN108830840A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829883A (zh) * 2018-12-19 2019-05-31 歌尔股份有限公司 产品质量检测方法及装置
CN109856167A (zh) * 2018-12-05 2019-06-07 惠州市骏亚数字技术有限公司 一种无损检测装置及其检测方法
WO2020242746A1 (en) * 2019-05-31 2020-12-03 Advanced Micro Devices, Inc. Temperature-based adjustments for in-memory matrix multiplication
CN112345556A (zh) * 2020-11-23 2021-02-09 兰州大学 一种集成电路的故障诊断***及方法
CN112836274A (zh) * 2021-02-02 2021-05-25 南京审计大学 一种隐蔽工程跟踪审计的数据融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576829A (zh) * 2003-07-09 2005-02-09 通用电气公司 分析和识别制造零件中的缺陷的***及方法
CN101661004A (zh) * 2009-07-21 2010-03-03 湖南大学 一种基于支持向量机的电路板焊接质量视觉检测方法
CN105135591A (zh) * 2015-07-01 2015-12-09 西安理工大学 基于多分类策略的列车空调机组故障诊断方法
CN105184793A (zh) * 2015-09-02 2015-12-23 广东电网有限责任公司汕尾供电局 一种电能表样品外观及pcb板元件检测方法
CN106896780A (zh) * 2017-02-27 2017-06-27 西安交通大学 一种材料切削加工性能综合评价方法
US20170318043A1 (en) * 2016-04-27 2017-11-02 Korea Advanced Institute Of Science And Technology Method for detecting network anomaly in distributed software defined networking environment, apparatus therefor, and computer program therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576829A (zh) * 2003-07-09 2005-02-09 通用电气公司 分析和识别制造零件中的缺陷的***及方法
CN101661004A (zh) * 2009-07-21 2010-03-03 湖南大学 一种基于支持向量机的电路板焊接质量视觉检测方法
CN105135591A (zh) * 2015-07-01 2015-12-09 西安理工大学 基于多分类策略的列车空调机组故障诊断方法
CN105184793A (zh) * 2015-09-02 2015-12-23 广东电网有限责任公司汕尾供电局 一种电能表样品外观及pcb板元件检测方法
US20170318043A1 (en) * 2016-04-27 2017-11-02 Korea Advanced Institute Of Science And Technology Method for detecting network anomaly in distributed software defined networking environment, apparatus therefor, and computer program therefor
CN106896780A (zh) * 2017-02-27 2017-06-27 西安交通大学 一种材料切削加工性能综合评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
T. HANUMANTHA REDDY .ETC: ""Proximal SVM for Face Recognition"", 《JOURNAL OF COMPUTATIONAL LINGUISTICS》 *
刘佳乐，等: ""基于近似支持向量机的流体识别方法"", 《辽宁化工》 *
张文博，等: ""一种自适应权值的多特征融合分类方法"", 《***工程与电子技术》 *
殷天石，等: ""基于树型结构的SVM多类组合分类器在文本分类中的应用"", 《情报技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856167A (zh) * 2018-12-05 2019-06-07 惠州市骏亚数字技术有限公司 一种无损检测装置及其检测方法
CN109856167B (zh) * 2018-12-05 2021-06-18 惠州市骏亚数字技术有限公司 一种无损检测装置及其检测方法
CN109829883A (zh) * 2018-12-19 2019-05-31 歌尔股份有限公司 产品质量检测方法及装置
CN109829883B (zh) * 2018-12-19 2020-11-17 歌尔光学科技有限公司 产品质量检测方法及装置
WO2020242746A1 (en) * 2019-05-31 2020-12-03 Advanced Micro Devices, Inc. Temperature-based adjustments for in-memory matrix multiplication
US11507641B2 (en) 2019-05-31 2022-11-22 Advanced Micro Devices, Inc. Temperature-based adjustments for in-memory matrix multiplication
CN112345556A (zh) * 2020-11-23 2021-02-09 兰州大学 一种集成电路的故障诊断***及方法
CN112345556B (zh) * 2020-11-23 2023-07-21 兰州大学 一种集成电路的故障诊断***及方法
CN112836274A (zh) * 2021-02-02 2021-05-25 南京审计大学 一种隐蔽工程跟踪审计的数据融合方法

Similar Documents

Publication Publication Date Title
CN108830840A (zh) 一种电路板缺陷的主动智能检测方法及其应用
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN102253048B (zh) 可用于多种产品检测的机器视觉检测方法及***
CN112766103B (zh) 一种机房巡检方法及装置
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN116879308A (zh) 一种工业机器视觉***图像处理方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN109307675A (zh) 一种产品外观检测方法和***
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
CN103454285A (zh) 基于机器视觉的传动链条质量检测***
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测***及检测方法
CN112304960B (zh) 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN106918306A (zh) 基于光场单相机的工业产品三维形貌实时检测***
CN113030102A (zh) 基于机器视觉的漆面瑕疵检查***
Chalidabhongse et al. 2D/3D vision-based mango's feature extraction and sorting
TW202127014A (zh) 智能產線監測系統及監測方法
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和***
CN110097540A (zh) 多边形工件的视觉检测方法及装置
CN113822882A (zh) 基于深度学习的电路板表面缺陷检测方法与检测装置
CN110097531A (zh) 一种用于无人机电力巡检的异构图像融合检测方法
CN109685038A (zh) 一种物品干净程度监测方法及其装置
CN109557098A (zh) 基于机器视觉的金属表面检测***
CN109622404B (zh) 一种基于机器视觉的微工件自动分拣***及方法
CN108180871B (zh) 一种定量评价复合绝缘子表面粉化粗糙度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116