CN113298793A - 一种基于多视角模板匹配的电路板表面缺陷检测的方法 - Google Patents
一种基于多视角模板匹配的电路板表面缺陷检测的方法 Download PDFInfo
- Publication number
- CN113298793A CN113298793A CN202110619139.4A CN202110619139A CN113298793A CN 113298793 A CN113298793 A CN 113298793A CN 202110619139 A CN202110619139 A CN 202110619139A CN 113298793 A CN113298793 A CN 113298793A
- Authority
- CN
- China
- Prior art keywords
- circuit board
- template
- defect
- matching
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title abstract description 18
- 238000000034 method Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract description 2
- 230000003313 weakening effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视角模板匹配的电路板表面缺陷检测的方法，采集数个不同视角下待测电路板和模板电路板的图像信息，按照相同尺寸和数量分割成数个子区域进行匹配，融合每个匹配结果构造的缺陷指数得到综合缺陷指数，若大于设定的阈值，则判定该综合缺陷指数对应的子区域存在缺陷，累加得到待测电路板的缺陷数量，无需大量的数据样本，有效识别电路板表面的缺陷，削弱元器件受光照条件、装配方式、测试状态、样本数量等因素对检测效果的影响，显著提高识别准确性，有效提高多种类、小批量电路板的缺陷检测效率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种匹配检测技术。
背景技术
在电路板的生产制造过程中,其表面微小元器件易产生缺装、错装、损坏等多种类型的缺陷，影响电子产品的可靠性。
《数字技术与应用》中的《电路板元器件缺陷检测研究》公开了一种基于模板匹配算法的电路板缺陷检测方法，根据采集的器件模板构建器件库，将待检测的电路板与器件库中的图像进行匹配。为达到较高的检测准确率，必须保证待测电路板中所有元器件的种类、状态都与器件库中完全一致，难以适用于光线环境不同、元器件装配方式改变以及多种类电路板的缺陷检测。
《红外技术》中的《基于红外热图的机载电路板故障模式诊断研究》公开了一种通过红外热成像的方法对电路板中元器件进行缺陷识别的方法，通过热成像技术提取元器件的温度特征，基于向量机进行模式分类，识别电路板中元器件工作时的异常状态。该方法在电路板通电的状态下具有适用性，无法在生产及调试过程中对缺陷进行早期检测。
《电子质量》中的《基于亚像素的PCB表面质量检测》公开了一种基于深度学习的电路板缺陷检测方法，采集电路板光板中导线及焊盘的图像信息，训练人工神经网络模型，识别此类型的缺陷。此方法需要大量的数据监督学习，对于多种类、小批量生产或者特殊应用环境下的电路板而言，有效数量较少，某些种类样本缺失，无法获得有效的模型。
对存在两处表面缺陷的电路板进行缺陷检测试验，采用基于单一视角的模板匹配方法进行缺陷检测时，若缺陷判断阈值较小，则产生的误识别数量较多。随着缺陷判断阈值的增大，产生的误识别数逐渐减少，当判断阈值提高到一定程度以后，匹配结果出现漏识别，此时仍然存在少量的误识别。说明在单一视角模板匹配的过程中，由于不可忽略的误差因素，真实缺陷的区域不一定都具有最大的缺陷指数，仅通过增大判断阈值无法准确识别真实缺陷。
发明内容
本发明为了解决现有技术存在的问题，提出了一种基于多视角模板匹配的电路板表面缺陷检测的方法，对电路板表面元器件缺装、错装、损毁等缺陷精确检测，为了实现上述目的，本发明采用了以下技术方案。
采集数个不同视角下待测电路板的图像信息和模板电路板的图像信息，将待测电路板的图像和模板电路板的图像按照相同尺寸和数量分割成数个子区域，将待测电路板的每个子区域和对应的模板电路板的子区域进行匹配，采用单一视角下的模板匹配方法，由每个匹配结果构造对应的缺陷指数，融合多个缺陷指数得到综合缺陷指数，若大于设定的阈值，则判定该综合缺陷指数对应的图像存在缺陷。
选取n个不同的参考视角，n≥2，每个视角固定一个相机
采集n个不同的参考视角的模板电路板的图像T，分别记为T1，T2……Tn
采集n个不同的参考视角的待测电路板的图像S，分别记为S1，S2……Sn
调整模板电路板的图像T与待测电路板的图像S的尺寸，使其相同，分别将每个图像T和S分割为多个相同大小的子区域Tij和Sij
将子区域Tij对应的灰度值Tij(x,y)与子区域Sij对应的灰度值Sij(x,y)匹配，采用标准化相关匹配方法，由公式一计算Tij与Sij之间的相关系数R(i,j)，定义缺陷指数D(i,j)＝1-R(i,j)
公式一
设Dk(x,y)为第k个参考视角匹配得到的缺陷指数，将n个图像S的子区域Sij对应的缺陷指数D(i,j)相加，由公式二计算综合缺陷指数Dt(i,j)
公式二
若综合缺陷指数Dt(i,j)大于设定的阈值，则判定该子区域为缺陷区域，累加所有缺陷子区域的数量，作为待测电路板的缺陷数量。
本发明的有益效果：基于多个不同视角的模板匹配缺陷检测，无需大量的数据样本，有效识别电路板表面的缺陷，削弱元器件受光照条件、装配方式、测试状态、样本数量等因素对检测效果的影响，显著提高识别准确性，有效提高多种类、小批量电路板的缺陷检测效率。在包含两处缺陷的电路板表面缺陷识别试验中，从四个不同的单一视角分别识别电路板表面缺陷，产生的平均误识别数为18，从两个不同视角共同匹配模板，产生的误识别数为1，通过4个不同视角共同匹配模板，没有产生误识别。
附图说明
图1是子区域匹配示意图，图2是相机布局图。
具体实施方式
以下结合附图对本发明的技术方案做具体的说明。
选取4个不同的参考视角，相邻视角的夹角为90°，在每个视角中都固定一个相机，如图2所示，采用CMOS图像传感器，分辨率最大为4032像素*3024像素。
选取2块同样型号的电路板KS103作为研究对象，每块电路板长42mm宽20mm。一块没有缺陷，作为模板电路板。另一块包含两处表面缺陷，分别为R10号位器件错装，封装尺寸为1206，C6号位器件缺装，封装尺寸为1206，作为待测电路板。
用4个不同的参考视角中的相机，分别采集模板电路板的图像T，分别记为T1、T2、T3、T4，与待测电路板的图像S，分别记为S1、S2、S3、S4。
调整模板图像T与待匹配图像S，使其尺寸大小均为1200像素*600像素，并将其分别分割为若干个同样大小为40像素*40像素的子区域Tij、Sij。
将模板图像T中每一个子区域Tij对应的灰度值Tij(x,y)与待匹配图像S中对应位置的子区域Sij对应的灰度值Sij(x,y)进行匹配，如图1所示，以标准化相关匹配方法求出Tij与Sij间的相关系数R(i,j)，同时定义缺陷指数D(i,j)＝1-R(i,j)；
通过单一视角下的模板匹配结果可以得出，当电路板表面存在器件错装、器件缺装等类型的缺陷时，相应区域的缺陷指数都不小于0.15，为兼顾识别的正确性和完整性，将单一视角下损伤识别的缺陷阈值设置为0.15，即当某区域的缺陷指数大于0.15时，可将该区域判断为缺陷区域。
此时，单一视角下的缺陷检测结果中均存在较多误识别，分别为15处与22处。
若将2个不同参考视角下每一个子区域Sij的缺陷指数相加，得到综合缺陷指数Dt(i,j)，将缺陷判断阈值设定为0.3，误识别数明显减少，只存在1处误识别。
若将4个不同参考视角下每一个子区域Sij的缺陷指数相加，得到综合缺陷指数Dt(i,j)，将缺陷判断阈值设定为0.6，匹配结果中没有误识别产生，可以准确识别出真实的缺陷。
由四个不同的单一视角分别进行电路板表面缺陷识别时，产生的平均误识别数为18，由2个不同视角共同进行模板匹配时，产生的误识别数仅为1，由4个不同视角共同进行模板匹配时，没有产生任何误识别，该方法能够有效适用于多种类、小批量的电路板表面缺陷识别。
上述作为本发明的实施例，并不限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (5)
1.一种基于多视角模板匹配的电路板表面缺陷检测的方法，其特征在于，包括：采集数个不同视角下待测电路板的图像信息和模板电路板的图像信息，将待测电路板的图像和模板电路板的图像按照相同尺寸和数量分割成数个子区域，将待测电路板的每个子区域和对应的模板电路板的子区域进行匹配，采用单一视角下的模板匹配方法，由每个匹配结果构造对应的缺陷指数，融合每个缺陷指数得到综合缺陷指数，若大于设定的阈值，则判定该综合缺陷指数对应的子区域存在缺陷，累加所有存在缺陷的子区域的数量得到待测电路板的缺陷数量。
2.根据权利要求1所述的基于多视角模板匹配的电路板表面缺陷检测的方法，其特征在于，所述采集数个不同视角下待测电路板的图像信息和模板电路板的图像信息，包括：选取n个不同的参考视角，n≥2，每个视角固定一个相机；采集n个不同的参考视角的模板电路板的图像T，分别记为T1，T2……Tn；采集n个不同的参考视角的待测电路板的图像S，分别记为S1，S2……Sn。
3.根据权利要求2所述的基于多视角模板匹配的电路板表面缺陷检测的方法，其特征在于，所述将待测电路板的图像和模板电路板的图像按照相同尺寸和数量分割成数个子区域，包括：调整模板电路板的图像T与待测电路板的图像S的尺寸，使其相同，分别将每个图像T和S分割为多个相同大小的子区域Tij和Sij。
4.根据权利要求3所述的基于多视角模板匹配的电路板表面缺陷检测的方法，其特征在于，所述将待测电路板的每个子区域和对应的模板电路板的子区域进行匹配，包括：将子区域Tij对应的灰度值Tij(x,y)与子区域Sij对应的灰度值Sij(x,y)匹配，采用标准化相关匹配方法，由公式一
计算Tij与Sij之间的相关系数R(i,j)，定义缺陷指数D(i,j)＝1-R(i,j)。
5.根据权利要求4所述的基于多视角模板匹配的电路板表面缺陷检测的方法，其特征在于，所述融合每个缺陷指数得到综合缺陷指数，包括：设Dk(x,y)为第k个参考视角匹配得到的缺陷指数，将n个图像S的子区域Sij对应的缺陷指数D(i,j)相加，由公式二
计算综合缺陷指数Dt(i,j)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110619139.4A CN113298793B (zh) | 2021-06-03 | 2021-06-03 | 一种基于多视角模板匹配的电路板表面缺陷检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110619139.4A CN113298793B (zh) | 2021-06-03 | 2021-06-03 | 一种基于多视角模板匹配的电路板表面缺陷检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298793A true CN113298793A (zh) | 2021-08-24 |
| CN113298793B CN113298793B (zh) | 2023-11-24 |
Family
ID=77326858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110619139.4A Active CN113298793B (zh) | 2021-06-03 | 2021-06-03 | 一种基于多视角模板匹配的电路板表面缺陷检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298793B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4809308A (en) * | 1986-02-20 | 1989-02-28 | Irt Corporation | Method and apparatus for performing automated circuit board solder quality inspections |
| CN1431482A (zh) * | 2002-01-10 | 2003-07-23 | 欧姆龙株式会社 | 表面状态检查方法及电路板检查装置 |
| JP2006140279A (ja) * | 2004-11-11 | 2006-06-01 | Omron Corp | はんだ検査方法およびその方法を用いた基板検査装置 |
| CN101251658A (zh) * | 2008-03-12 | 2008-08-27 | 友达光电股份有限公司 | 一种显示质量检测装置及检测方法 |
| TW201035537A (en) * | 2009-03-31 | 2010-10-01 | Lg Display Co Ltd | System and method for testing liquid crystal display device |
| CN104954783A (zh) * | 2015-06-11 | 2015-09-30 | 东莞市升宏智能科技有限公司 | 摄像头模组检测设备的光学*** |
| CN105957059A (zh) * | 2016-04-20 | 2016-09-21 | 广州视源电子科技股份有限公司 | 电子元件漏件检测方法和*** |
| CN106092970A (zh) * | 2016-06-07 | 2016-11-09 | 京东方科技集团股份有限公司 | 一种光学检测***及光学检测设备 |
| CN108982512A (zh) * | 2018-06-28 | 2018-12-11 | 芜湖新尚捷智能信息科技有限公司 | 一种基于机器视觉的电路板检测***及其方法 |
| CN109100370A (zh) * | 2018-06-26 | 2018-12-28 | 武汉科技大学 | 一种基于投影法和连通域分析的pcb板缺陷检测方法 |
| CN109118482A (zh) * | 2018-08-07 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 一种面板缺陷分析方法、装置及存储介质 |
| CN109461149A (zh) * | 2018-10-31 | 2019-03-12 | 泰州市创新电子有限公司 | 喷漆表面缺陷的智能检测***及方法 |
| CN109785294A (zh) * | 2018-12-24 | 2019-05-21 | 苏州江奥光电科技有限公司 | 一种pcb板缺陷位置检测***和方法 |
| CN111814850A (zh) * | 2020-06-22 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型训练方法、缺陷检测方法及相关装置 |
| KR20210016247A (ko) * | 2019-07-31 | 2021-02-15 | 삼성디스플레이 주식회사 | 얼룩 검출 장치, 얼룩 검출 방법 및 표시 장치 |
-
2021
- 2021-06-03 CN CN202110619139.4A patent/CN113298793B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4809308A (en) * | 1986-02-20 | 1989-02-28 | Irt Corporation | Method and apparatus for performing automated circuit board solder quality inspections |
| CN1431482A (zh) * | 2002-01-10 | 2003-07-23 | 欧姆龙株式会社 | 表面状态检查方法及电路板检查装置 |
| JP2006140279A (ja) * | 2004-11-11 | 2006-06-01 | Omron Corp | はんだ検査方法およびその方法を用いた基板検査装置 |
| CN101251658A (zh) * | 2008-03-12 | 2008-08-27 | 友达光电股份有限公司 | 一种显示质量检测装置及检测方法 |
| TW201035537A (en) * | 2009-03-31 | 2010-10-01 | Lg Display Co Ltd | System and method for testing liquid crystal display device |
| CN104954783A (zh) * | 2015-06-11 | 2015-09-30 | 东莞市升宏智能科技有限公司 | 摄像头模组检测设备的光学*** |
| CN105957059A (zh) * | 2016-04-20 | 2016-09-21 | 广州视源电子科技股份有限公司 | 电子元件漏件检测方法和*** |
| CN106092970A (zh) * | 2016-06-07 | 2016-11-09 | 京东方科技集团股份有限公司 | 一种光学检测***及光学检测设备 |
| CN109100370A (zh) * | 2018-06-26 | 2018-12-28 | 武汉科技大学 | 一种基于投影法和连通域分析的pcb板缺陷检测方法 |
| CN108982512A (zh) * | 2018-06-28 | 2018-12-11 | 芜湖新尚捷智能信息科技有限公司 | 一种基于机器视觉的电路板检测***及其方法 |
| CN109118482A (zh) * | 2018-08-07 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 一种面板缺陷分析方法、装置及存储介质 |
| CN109461149A (zh) * | 2018-10-31 | 2019-03-12 | 泰州市创新电子有限公司 | 喷漆表面缺陷的智能检测***及方法 |
| CN109785294A (zh) * | 2018-12-24 | 2019-05-21 | 苏州江奥光电科技有限公司 | 一种pcb板缺陷位置检测***和方法 |
| KR20210016247A (ko) * | 2019-07-31 | 2021-02-15 | 삼성디스플레이 주식회사 | 얼룩 검출 장치, 얼룩 검출 방법 및 표시 장치 |
| CN111814850A (zh) * | 2020-06-22 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型训练方法、缺陷检测方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298793B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6922168B2 (ja) | 表面実装ラインの品質管理システム及びその制御方法 | |
| CN112053318B (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
| US11132786B2 (en) | Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium | |
| CN111656883B (zh) | 元件图像识别用学习完成模型生成***及方法 | |
| JP2004502250A (ja) | 検査システムと共に用いるための画像処理システム | |
| CN103091331A (zh) | 一种rfid天线毛刺和污点缺陷的视觉检测***及方法 | |
| KR20190122550A (ko) | 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법 | |
| JP6645007B2 (ja) | 基板の識別装置、基板の識別方法、及び基板のトレーサビリティシステム | |
| Li et al. | Automatic industry PCB board DIP process defect detection with deep ensemble method | |
| Liao et al. | A flexible PCB inspection system based on statistical learning | |
| CN108445010A (zh) | 自动光学检测方法及装置 | |
| CN113822882A (zh) | 基于深度学习的电路板表面缺陷检测方法与检测装置 | |
| Hezaveh et al. | Roof damage assessment using deep learning | |
| Sarawade et al. | Detection of faulty integrated circuits in PCB with thermal image processing | |
| WO2019146097A1 (ja) | 欠陥のある撮影データの検知装置及び検知システム | |
| Iwahori et al. | Defect classification of electronic board using dense SIFT and CNN | |
| Singh et al. | Image processing based automatic visual inspection system for PCBs | |
| CN113298793A (zh) | 一种基于多视角模板匹配的电路板表面缺陷检测的方法 | |
| CN115947066B (zh) | 皮带撕裂检测方法、装置及*** | |
| Cao | A real-time automated visual inspection system for printed circuit boards missing footprints detection | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其*** | |
| CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| Mogharrebi et al. | Missing component detection on PCB using neural networks | |
| Takacs et al. | Novel outlier filtering method for AOI image databases | |
| Zhang et al. | A Cascaded Zoom-In Method for Defect Detection of Solder Joints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |