CN110675376A - 一种基于模板匹配的pcb缺陷检测方法 - Google Patents

一种基于模板匹配的pcb缺陷检测方法 Download PDF

Info

Publication number
CN110675376A
CN110675376A CN201910892631.1A CN201910892631A CN110675376A CN 110675376 A CN110675376 A CN 110675376A CN 201910892631 A CN201910892631 A CN 201910892631A CN 110675376 A CN110675376 A CN 110675376A
Authority
CN
China
Prior art keywords
image
pcb
point
distortion
template matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910892631.1A
Other languages
English (en)
Inventor
罗堪
刘肖
邹复民
李建兴
马莹
陈炜
黄炳法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University of Technology
Original Assignee
Fujian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University of Technology filed Critical Fujian University of Technology
Priority to CN201910892631.1A priority Critical patent/CN110675376A/zh
Publication of CN110675376A publication Critical patent/CN110675376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于模板匹配的PCB缺陷检测方法，将远程接收到的PCB板图像信息，首先进行摄像头成像的畸变校正，再进行PCB板的位置校正，最后通过模板匹配来判断PCB板是否合格。本发明利用图像处理技术实现了低成本的远程PCB板缺陷检测。解决了高密度、高集成PCB板检测难、效率低的行业难题，适应PCB板实际生产应用需求。

Description

一种基于模板匹配的PCB缺陷检测方法
技术领域
本发明涉及印刷电路板技术领域，尤其涉及一种基于模板匹配的PCB缺陷检测方法。
背景技术
传统的人工检测方法存在着速度慢、时间长和容易漏检等问题。完全无法适应技术和工艺的快速发展，怎样实现精准、高效的PCB板自动缺陷检测，一直是电子工业领域非常重视的一个问题。同时，个人和中小企业对检测PCB板缺陷的需求越来越高，能否达到低成本、高精度是首要考虑的问题。
现有的PCB缺陷检测方法有以下几种方案：(1)人工目检。工人利用经验进行表面故障检测，难度大、耗时长、主观性强、检测精度低，难以满足PCB行业发展需求。(2)设计准则校验法是通过检测待检测PCB板子是否满足预先定义的设计准则来判断其是否有缺陷。这种方法的优点是不需要标准图像的信息,可以降低对存储空间的需求,不需要配准就能进行常见缺陷的检测；缺点是运算复杂,计算量大,还必须根据设计准则设计出相应的图案数据结构,只能检测出不符合设计准则的缺陷。(3)参考比较法是将待检测图像和标准图像逐点进行比较,或者将待检测PCB图像上提取的特征与标准图像所提取的特征进行比较,有差异即认为有缺陷,常见的算法是通过差影、异或运算识别缺陷,通过统计待检测区域的连通域个数及面积识别缺陷等。这种方法速度快,硬件实现容易。本发明光照和定位的要求比较高,若待检测图像和参考图像没有精确配准,将产生虚假警报。
发明内容
本发明的目的在于提供一种基于模板匹配的PCB缺陷检测方法，成本低、速度快。
本发明采用的技术方案是：一种基于模板匹配的PCB缺陷检测方法，将远程接收到的PCB板图像信息，首先进行摄像头成像的畸变校正，再进行PCB板的位置校正，最后通过模板匹配来判断PCB板是否合格,其包括以下步骤：
步骤1，获取PCB板图像信息，
步骤2，对PCB板图像进行摄像头成像的畸变校正，
步骤3，对畸变校正后的PCB板图像通过定位基准点与图形进行数学变换进行位置矫正得到横平竖直的标准的PCB板的图像,
步骤4，计算模板图像和PCB板的基准图像的相似度进行模板匹配，以判断PCB是否匹配；
当匹配成功时，则判定PCB板合格；否则，判定PCB板不合格；
步骤5，将该PCB板归类，并结束检测。
进一步地，步骤2包括以下步骤：
步骤2-1，计算获取畸变校正模型的初始畸变系数k，
步骤2-2，计算初始畸变系数k的期望μ和均方根δ，并在[μ-δ,μ+δ]范围内以设定步长搜索直到径向均方根误差ε满足设定的阈值T，进而得到最佳畸变系数k；径向均方根误差ε的表达函数如下：
Figure BDA0002209238450000021
其中，ε1和ε2分别为校正后水平和垂直均方根误差，ε为径向均方根误差，M为水平方向直线的采样点个数，N为垂直方向直线的采样点个数，(xi,yi)为无畸变的第i个理想点坐标，(xdi,ydi)为原始图像上第i个实际像点坐标；
步骤2-3，利用畸变系数校正畸变图像进行不完全映射的畸变图像，校正公式如下：
Figure BDA0002209238450000022
其中，(xd,yd)为原始图像上实际像点坐标，(x,y)为无畸变的理想点坐标，(cx,cy)表示摄像机镜头的光学中心，
Figure BDA0002209238450000023
步骤2-4，对不完全映射的畸变图像采用后向插值算法-立方卷积插值进行灰度重建，对应的坐标变换公式如下：
Figure BDA0002209238450000024
其中，(xd,yd)为原始图像上实际像点坐标，(x,y)为无畸变的理想点坐标，(cx,cy)表示摄像机镜头的光学中心，
Figure BDA0002209238450000025
r像点到主点的径向距离，
Figure BDA0002209238450000026
进一步地，步骤2-1的具体步骤为：
步骤2-1-1，利用直线截取相等方法获得相对图像几何中心点对称的畸变图像，
步骤2-1-2，选取两条相互垂直并过光心的直线，在水平方向直线上等距离选取M个采样点，在垂直方向直线上等距选取N个采样点；
步骤2-1-3，计算获取水平和垂直方向畸变系数k1和k2；
步骤2-1-4，以k1与k2的平均值作为初始的畸变系数k，
进一步地，步骤2-1-1获得相对图像几何中心点对称的畸变图像的具体方法为：用图像处理技术精确获得畸变图像边沿上圆点的中心坐标，用圆点区域内的质心坐标作为圆点的中心坐标，分别在水平和垂直方向拟合各4条一元三次曲线，求取每个方向的4条曲线拐点均值作为CCD的光学中心(cx,cy)；然后在二维支架上移动标定模板，使得离光学中心最近的圆点质心与CCD的光学中心(cx,cy)重合。
进一步地，步骤3的具体步骤为：
步骤3-1，提取待检测PCB图像中标定点并获得其位置信息，
步骤3-2，通过PCB中左上与右下两个标定点求出整体PCB的偏移角度，根据此偏移角度将PCB的上边缘线归置到水平位置；
步骤3-3，利用旋转和平移的图像几何变换方法校正倾斜的PCB板的角度与位置，将图像中的坐标位置映射到另一图中的新坐标位置；
进一步地，步骤3-1基于三通道图像进行阈值提取得到标定点。
进一步地，步骤3-1利用数字图像处理技术识别出PCB板的定位孔的圆盘形，PCB板中圆的检测采用Hough变换，圆的参数方程表示如下式所示：
|(xi-a)2+(yi-b)2-R2|≤ζ (16)
式中，R为半径，(a,b)为圆心坐标，点x＝[xi,yi]T，q＝[a,b,r]T其参数空间为三维，ζ是图像计算时允许的误差范围。
进一步地，步骤3-3的原始图像围绕中心点旋转的几何变换为：
Figure BDA0002209238450000041
其中，(m,n)为原始图像中心坐标，(x0,y0)为原始图像上的任一点，(x,y)为(x0,y0)几何变换后的点，(p,q)为几何变换后新图像的中心坐标，θ为几何变换的旋转角度。
进一步地，步骤4中模板匹配采用归一化积相关系数算法逐一计算模板图像与基准图像的分块子图的相似度。
进一步地，步骤4的具体步骤为：
步骤4-1，设定基准图像为I(x,y)，模板图像为T(x,y)大小为M×N，则归一化积表示为
Figure BDA0002209238450000042
M,N为模板图像的长度和宽度；
步骤4-2，引入目标子图像和目标图像的像素均值，将归一化函数改写为:
Figure BDA0002209238450000043
其中，
Figure BDA0002209238450000044
Figure BDA0002209238450000045
和
Figure BDA0002209238450000046
分别表示目标子图像和目标图像的像素的均值
步骤4-3，基于C(x,y)的值判断PCB是否匹配；
当C(x,y)的取值大于ThC时表示完全匹配，即为PCB板不缺件；
当C(x,y)的取值小于ThC时表示不匹配，即为PCB板缺件。
本发明实施过程中可以通过实验的方法来确定最佳阈值ThC，如随机选取若干已经人工标注是否存在缺件的图像，通过多次实验在[0,1]区间内每次选出一个阈值，用于步骤4-3判别中，统计发明方法给出的判断正确率，当正确率为100％或取得最大时，该次实验对应的阈值设定为最佳阈值ThC。
本发明采用以上技术方案，将远程接收到的PCB板图像信息，首先进行摄像头成像的畸变校正，再进行PCB板的位置校正，最后通过模板匹配来判断PCB板是否合格。本发明利用图像处理技术实现了低成本的远程PCB板缺陷检测。解决了高密度、高集成PCB板检测难、效率低的行业难题，适应PCB板实际生产应用需求。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于模板匹配的PCB缺陷检测方法的流程示意图；
图2为本发明非线性模型下的坐标转换流程示意图；
图3为本发明摄像机几何成像***示意图；
图4为本发明的源畸变图像；
图5为本发明的特征点采样图；
图6为本发明的畸变图像上的不完全映射示意图；
图7为本发明的畸变图像的加权线性插值校正后示意图；
图8为本发明的图像空间中点对应参数空间的直立圆锥示意图；
图9为本发明的图像空间中圆上的点对应参数空间示意图。
具体实施方式
如图1-9之一所示，本发明，目的是将远程接收到的PCB板图像信息，首先进行摄像头成像的畸变校正，再进行PCB板的位置校正，最后通过模板匹配来判断PCB板是否合格。如图1所示，具体地流程步骤如下：
步骤1，获取PCB板图像信息，
步骤2，对PCB板图像进行摄像头成像的畸变校正，
在PCB板检测过程中考虑摄像头的畸变效应是非常有必要的。在处理摄像头畸变问题时，最重要的是对相机的镜头进行标定，其中不仅要标定出线性模型中摄像头的标定参数，更是要对畸变系数进行标定，如图2所示，非线性成像模型标定的坐标转换流程图：
径向畸变是由镜头产生径向的曲率误差引起的，会造成两种误差：第一种是鼔形畸变，是由于畸变点对于理想点靠近了镜头中心点而造成的；另外一种是枕形畸变，是由于畸变点远离了镜头点中心而造成的。径向畸变的公式：
Figure BDA0002209238450000051
式中，r是像点到主点的径向距离，
Figure BDA0002209238450000061
k1、k2、k3……是径向畸变系数，(xn,yn)是畸变后的实际坐标。
如图3所示，摄像机***的成像模型，包含了4个坐标系，其中xwywzw表示世界坐标系，xcyczc表示摄像机坐标系，xy表示图像平面坐标系，xfyf表示计算机帧存坐标系。在针孔成像模型下，世界坐标系中的一点P(xwywzw)通过摄像机镜头光心成像在图像平面的Pi(x,y)处，P(xw,yw,zw)在摄像机坐标系的坐标为P(xc,yc,zc)，则针孔成像模型可表示为：
Figure BDA0002209238450000062
对于大视场短焦距镜头成像过程并不满足针孔模型，使得图像平面上实际像点Pi(xd,yd)偏离理想位置Pi(x,y)。若给定一组畸变数据点Pi(xd,yd)用畸变校正模型可获得无畸变的理想点Pi(x,y)，即：
Figure BDA0002209238450000063
其中(cx,cy)表示摄像机镜头的光学中心，正如前面提到的，公式(23)忽略了切向畸变，同时只考虑了视场函数的初级畸变系数k1。
为对摄像机镜头径向畸变进行校正，必须求得畸变系数k。从公式(23)可知，该方程是非线性的，为简化求解过程，利用光学成像的几个规律对畸变校正模型进行分析求解。
(1)通过光心的直线成像后仍为直线。
(2)光轴中心附近畸变量最小。
(3)垂直于光轴的物平面上两条长度相等的直线段，在理想光学***(无畸变)条件下成像在像平面上对应的两条线段长度相同。
首先利用直线截取相等的方法获得良好的畸变图像，使图像畸变大致关于图像几何中心点对称。用图像处理技术精确获得畸变图像边沿上圆点的中心坐标，这里用圆点区域内的质心坐标作为圆点的中心坐标。分别在水平和垂直方向拟合各4条一元三次曲线，求取每个方向的4条曲线拐点均值作为CCD的光学中心(cx,cy)；然后在二维支架上移动标定模板，使得离光心最近的圆点质心与CCD光中心(cx,cy)重合。
利用光学成像第一和第二个特性对畸变校正模型进行简化。水平过光心的直线成像后没有失真，则在公式(23)中，yd＝cy；垂直过光心的直线成像后没有失真，则xd＝cx。于是对畸变系数的求取可以在这两条相互垂直并过光心的直线上进行。利用第二和第三条特性，可以分别在水平和垂直方向求出畸变系数k1和k2取它们的平均值k作为初始的畸变系数。即：如果在没有畸变的情况下，两条直线上的圆点间距应该是相等的。如图5所示，在水平方向取7个点，其中第7个点为光心点(cx,cy)，以(x0,y0)代替(cx,cy)，在水平直线上有：x2-x1＝…＝x7-x6，由公式(23)得：
Figure BDA0002209238450000071
由于x7＝x0，故可得：
利用上述计算方法可在水平直线上计算出15个k值，即水平方向直线上的采样点个数M为15，在垂直方向计算出6个k值，即垂直方向直线上的采样点个数N为6。
初始畸变系数为k1与k2的平均值：
Figure BDA0002209238450000074
为求得最佳的畸变系数，设置目标函数
Figure BDA0002209238450000075
进行优化求解，ε1和ε2表示如下：
Figure BDA0002209238450000076
其中ε1和ε2分别为校正后水平和垂直均方根误差，ε为径向均方根误差，N为样本点个数。求出21个初始畸变系数k1后，对这些ki值求出期望μ和均方根δ，在[μ-δ,μ+δ]范围内一定步长进行搜索，直到目标函数ε满足设定的阈值T。
利用求出的畸变系数k代入公式(23)即可对畸变图像进行校正。然而不幸的是公式(23)所表示的坐标变换并不能完全覆盖校正后图像上的点，会在校正后图像上产生一些点的灰度缺失，如图6所示，白色的线条就是灰度缺失点。为获得良好的校正图像，必须对校正后图像进行灰度重建，即灰度插值。双线性插值和立方卷积插值都是后向映射函数，不适用公式(23)从畸变图像到理想图像的坐标变换。为此，对图6用加权线性插值进行灰度重建，得到图7校正的精度大大提高，视觉效果良好。但仔细辨认图7会发现有些圆点经过插值后已经失真，不再是规则的圆形，这为后面的图像高精度测量带来误差。
为利用后向插值算法-立方卷积插值来提高插值精度，详细分析了畸变校正模型，对公式(23)行简单变换得：
Figure BDA0002209238450000081
其中，
Figure BDA0002209238450000082
用卡丹公式解方程得：
Figure BDA0002209238450000083
于是重写公式(23)得：
Figure BDA0002209238450000084
用公式(32)做的坐标变换。
步骤3，对畸变校正后的PCB板图像通过定位基准点与图形进行数学变换进行位置矫正得到横平竖直的标准的PCB板的图像,
由于工人在放置PCB的过程中很难使之保持水平，若想对其进行缺陷检测，首先需要将每一块PCB进行相对位置矫正，即将PCB中特有的标定点作为基准点，通过定位基准点与图形数学变换使PCB图像实现对准。标准的PCB板的图像，没有任何倾斜角度的图像是PCB板的上下边应该是水平的，对应的竖直的直线都是垂直的。
提取待检测PCB图像中标定点并获得其位置信息，以供下一步图像矫正使用。首先基于三通道图像进行阈值提取，最终得到标定点。提取标定点之后，通过PCB中左上与右下两个标定点可以求出整体PCB偏移的角度，根据此角度可以将PCB的上边缘线归置到水平位置。
对于获取的倾斜的PCB板，需要利用旋转、平移等图像几何变换方法实现PCB板的角度、位置的校正，将某图像中的坐标位置映射到另一图中的新坐标位置。其中，几何变换后图像的像素值不发生变化，仅仅是像素的几何位置发生了变化。且图像的旋转是以图像的中心为基点进行的，此时需要经过如下几个步骤：
(1)利用数字图像处理技术，针对PCB板的圆盘形的定位孔，要准确的识别出圆盘。
PCB板中圆的检测采用Hough变换，圆的参数方程表示如下式所示：
(xi-a)2+(yi-b)2＝r2 (33)
式中，r为半径，圆心坐标为(a,b)，此时点x＝[xi,yi]T，q＝[a,b,r]T其参数空间为三维。
从解析式的物理意义可以看出，PCB板图像空间中的任意一个圆对应着参数空间中特定的一个点；反过来看，图像空间的一个点(x,y)对应着参数空间中的一个三维圆锥，如图8所示：
对于相同的r，不同的a,b就会有许多不同的圆锥集合，如图9所示：
显然，参数空间圆锥的交点对应着图像空间圆的与圆心和半径。在这个过程中，先得出每点的梯度幅值信息，再求出边缘上每一点像素距离为r的所有点的a,b值，同时将对应(a,b,r)的在累加器上累加。以此类推，当对全部边缘点都变换后，其最大值的坐标就是圆心坐标。对于PCB板图像，在进行圆的检测时，式(33)可写为式(34)：
|(xi-a)2+(yi-b)2-r2|≤ε (34)
式中，ε是考虑到图像计算时允许的误差范围。
(2)需要将PCB板图像坐标X1O1Y1平移到数学坐标系X2O2Y2处，假设原始图像未旋转之前，图像的宽为2m，高为2n，其中心坐标为(m,n),原图像上任一点(x0,y0)，经平移变换后变为(x,y)。
Figure BDA0002209238450000091
可以得到旋转后的坐标，可以用矩阵表示为：
PCB板图像旋转后，图像的位置发生变化，图像的大小一般也会发生改变。若要保证图像的大小保持不变，需要将超过显示区的图像截去。
(3)经过旋转后的PCB板图像坐标系X1O1Y1以左上角作为原点坐标，输出图像的中心不再是(m,n)。假设旋转后输出PCB板图像的中心为(p,q)，此时原图像上任一点(x0,y0)经坐标变换后变成(x,y)代入上式中可得到：
Figure BDA0002209238450000101
PCB板图像经过一系列的变换之后，围绕中心点旋转的变换矩阵为：
Figure BDA0002209238450000102
令t1＝pcosθ-qsinθ+m，t2＝-psinθ-qcosθ+n可将上式简化为：
Figure BDA0002209238450000103
在经过图像旋转、图像平移等几何变换后，图像中的PCB板能基本上达到“摆正”的状态，进而就可以进行下一步的处理。
步骤4，计算模板图像和PCB板的基准图像的相似度进行模板匹配，以判断PCB是否匹配；
PCB板“摆正”后，利用模板匹配进行PCB板缺陷检测。对于模板匹配的过程，首先要选择基准图像，模板图像。模板图像可以使和基准图像完全一致，也可以是基本一致的。匹配过程就是模板图像在基准图像上平移搜寻，找出相似度函数最大的位置。匹配就是利用相似度函数在基准图像上找到最可能与模板相似的子图的位置。模板匹配最重要的是找到一种对灰度和对比度变化具有较好鲁棒性的相似度测量函数。归一化积相关算法是一种典型的基于灰度相关的算法，具有不受比例因子误差的影响和抗白噪声能力强等优点。该算法以归一化积相关系数作为目标图像和模板图像之间的相似性度量准则，通过逐一比较实时图像与各匹配位置处的基准子图之间的相关系数，得到其中的最大值点即为最佳匹配位置。
设目标图像为I(x,y)，模板图像为T(x,y)大小为M×N，则归一化积表示为
Figure BDA0002209238450000111
当目标子图像的灰度值有所改变时，C(x,y)也会极大地改变。为解决这个问题，可以引入目标子图像和目标图像的像素均值。将归一化函数改写为:
Figure BDA0002209238450000112
其中，
Figure BDA0002209238450000113
由于模板图像与目标图像灰度值都是正数，C(x,y)总是在[0,1]范围内，且取值大于ThC时表示完全匹配，即为PCB板不缺件。取值小于ThC时表示不匹配，***会提醒工作人员PCB板缺件。本发明实施过程中可以通过实验的方法来确定最佳阈值ThC，如随机选取若干已经人工标注是否存在缺件的图像，通过多次实验在[0,1]区间内每次选出一个阈值，用于步骤4-3判别中，统计发明方法给出的判断正确率，当正确率为100％或取得最大时，该次实验对应的阈值设定为最佳阈值ThC。
本发明采用以上技术方案，将远程接收到的PCB板图像信息，首先进行摄像头成像的畸变校正，再进行PCB板的位置校正，最后通过模板匹配来判断PCB板是否合格。本发明利用图像处理技术实现了低成本的远程PCB板缺陷检测。解决了高密度、高集成PCB板检测难、效率低的行业难题，适应PCB板实际生产应用需求。

Claims (10)

1.一种基于模板匹配的PCB缺陷检测方法，其特征在于：其包括以下步骤：
步骤1，获取PCB板图像信息，
步骤2，对PCB板图像进行摄像头成像的畸变校正，
步骤3，对畸变校正后的PCB板图像通过定位基准点与图形进行数学变换进行位置矫正得到横平竖直的标准的PCB板的图像,
步骤4，计算模板图像和PCB板的基准图像的相似度进行模板匹配，以判断PCB是否匹配；当匹配成功时，则判定PCB板合格；否则，判定PCB板不合格；
步骤5，将该PCB板归类，并结束检测。
2.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤2包括以下步骤：
步骤2-1，计算获取畸变校正模型的初始畸变系数k，
步骤2-2，计算初始畸变系数k的期望μ和均方根δ，并在[μ-δ,μ+δ]范围内以设定步长搜索直到径向均方根误差ε满足设定的阈值T，进而得到最佳畸变系数k；径向均方根误差ε的表达函数如下：
Figure FDA0002209238440000011
Figure FDA0002209238440000012
其中，ε1和ε2分别为校正后水平和垂直均方根误差，ε为径向均方根误差，M为水平方向直线的采样点个数，N为垂直方向直线的采样点个数，(xi,yi)为无畸变的第i个理想点坐标，(xdi,ydi)为原始图像上第i个实际像点坐标，同理，(xj,yj)为无畸变的第j个理想点坐标，(xdj,ydj)为原始图像上第j个实际像点坐标；
步骤2-3，利用畸变系数校正畸变图像进行不完全映射的畸变图像，校正公式如下：
Figure FDA0002209238440000013
其中，(xd,yd)为原始图像上实际像点坐标，(x,y)为无畸变的理想点坐标，(cx,cy)表示摄像机镜头的光学中心，r像点到主点的径向距离，
Figure FDA0002209238440000022
步骤2-4，对不完全映射的畸变图像采用后向插值算法-立方卷积插值进行灰度重建，对应的上面公式可以变换为：
Figure FDA0002209238440000023
其中，(xd,yd)为原始图像上实际像点坐标，(x,y)为无畸变的理想点坐标，(cx,cy)表示摄像机镜头的光学中心，
Figure FDA0002209238440000024
r像点到主点的径向距离，
3.根据权利要求2所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤2-1的具体步骤为：
步骤2-1-1，利用直线截取相等方法获得相对图像几何中心点对称的畸变图像，
步骤2-1-2，选取两条相互垂直并过光心的直线，在水平方向直线上等距离选取M个采样点，在垂直方向直线上等距选取N个采样点；
步骤2-1-3，计算获取水平和垂直方向畸变系数k1和k2；
Figure FDA0002209238440000026
步骤2-1-4，以k1与k2的平均值作为初始的畸变系数k，
Figure FDA0002209238440000027
4.根据权利要求3所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤2-1-1获得相对图像几何中心点对称的畸变图像的具体方法为：用图像处理技术精确获得畸变图像边沿上圆点的中心坐标，用圆点区域内的质心坐标作为圆点的中心坐标，分别在水平和垂直方向拟合各4条一元三次曲线，求取每个方向的4条曲线拐点均值作为CCD的光学中心(cx,cy)；然后在二维支架上移动标定模板，使得离光学中心最近的圆点质心与CCD的光学中心(cx,cy)重合。
5.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤3的具体步骤为：
步骤3-1，提取待检测PCB图像中标定点并获得其位置信息，
步骤3-2，通过PCB中左上与右下两个标定点求出整体PCB的偏移角度，根据此偏移角度将PCB的上边缘线归置到水平位置；
步骤3-3，利用旋转和平移的图像几何变换方法校正倾斜的PCB板的角度与位置，将图像中的坐标位置映射到另一图中的新坐标位置。
6.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤3-1基于三通道图像进行阈值提取得到标定点。
7.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤3-1利用数字图像处理技术识别出PCB板的定位孔的圆盘形，PCB板中圆的检测采用Hough变换，圆的参数方程表示如下式所示：
|(xi-a)2+(yi-b)2-R2|≤ζ (6)
式中，R为半径，(a,b)为圆心坐标，点x＝[xi,yi]T，q＝[a,b,r]T其参数空间为三维，ζ是图像计算时允许的误差范围。
8.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤3-3的原始图像围绕中心点旋转的几何变换为：
Figure FDA0002209238440000031
其中，(m,n)为原始图像中心坐标，(x0,y0)为原始图像上的任一点，(x,y)为(x0,y0)几何变换后的点，(p,q)为几何变换后新图像的中心坐标，θ为几何变换的旋转角度。
9.根据权利要求1所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：步骤4中模板匹配采用归一化积相关系数算法逐一计算模板图像与基准图像的分块子图的相似度，步骤4的具体步骤为：
步骤4-1，设定基准图像为I(x,y)，模板图像为T(x,y)大小为M×N，则归一化积表示为
Figure FDA0002209238440000032
M,N为模板图像的长度和宽度，c(x,y)是归一化积表示；
步骤4-2，引入目标子图像和目标图像的像素均值，将归一化函数改写为:
Figure FDA0002209238440000041
其中，
Figure FDA0002209238440000043
和
Figure FDA0002209238440000044
分别表示目标子图像和目标图像的像素的均值
步骤4-3，基于C(x,y)的值判断PCB是否匹配；
当C(x,y)的取值大于最佳阈值ThC时表示完全匹配，即为PCB板不缺件；
当C(x,y)的取值小于最佳阈值ThC时表示不完全匹配，提醒工作人员PCB板缺件；
其中，ThC表示最佳阈值，即该阈值作为判断零界点时，整体的判断正确率为100％或取得最大。
10.根据权利要求9所述的一种基于模板匹配的PCB缺陷检测方法，其特征在于：最佳阈值ThC的确定方法为：随机选取若干已经人工标注是否存在缺件的图像，通过多次实验在[0,1]区间内每次选出一个阈值用于步骤4-3判别中，统计给出的判断正确率，当正确率为100％或取得最大时，该次实验对应的阈值设定为最佳阈值ThC。
CN201910892631.1A 2019-09-20 2019-09-20 一种基于模板匹配的pcb缺陷检测方法 Pending CN110675376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910892631.1A CN110675376A (zh) 2019-09-20 2019-09-20 一种基于模板匹配的pcb缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910892631.1A CN110675376A (zh) 2019-09-20 2019-09-20 一种基于模板匹配的pcb缺陷检测方法

Publications (1)

Publication Number Publication Date
CN110675376A true CN110675376A (zh) 2020-01-10

Family

ID=69078405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910892631.1A Pending CN110675376A (zh) 2019-09-20 2019-09-20 一种基于模板匹配的pcb缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110675376A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899241A (zh) * 2020-07-28 2020-11-06 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及***
CN111929239A (zh) * 2020-07-20 2020-11-13 浙江四点灵机器人股份有限公司 一种pcb板零件缺陷的aoi检测装置及检测方法
CN112598088A (zh) * 2021-03-04 2021-04-02 常州微亿智造科技有限公司 一种工业部件视觉多目标鲁棒模板获取的方法
CN112686894A (zh) * 2021-03-10 2021-04-20 武汉大学 基于生成式对抗网络的fpcb板缺陷检测方法及装置
CN112697062A (zh) * 2021-01-26 2021-04-23 湖南北斗微芯数据科技有限公司 一种铁路路基形变监测***及方法
CN113176279A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种用于面板aoi检测的预定位装置
CN113344931A (zh) * 2021-08-09 2021-09-03 深圳智检慧通科技有限公司 一种插件视觉检测识别方法、可读存储介质及设备
CN113816098A (zh) * 2021-08-25 2021-12-21 南京钢铁股份有限公司 一种实现钢板全自动转钢的方法
CN113870257A (zh) * 2021-12-01 2021-12-31 武汉飞恩微电子有限公司 印刷电路板缺陷检测分类方法、装置及计算机储存介质
TWI761948B (zh) * 2020-09-14 2022-04-21 倍利科技股份有限公司 由檢測影像取得輪廓的定位方法
CN114463186A (zh) * 2022-04-12 2022-05-10 常州铭赛机器人科技股份有限公司 基于校正扫描图像的平铺式拼接方法
CN114677373A (zh) * 2022-05-27 2022-06-28 广州青莲网络科技有限公司 一种印刷品内容检错方法、装置、电子设备及介质
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116385353A (zh) * 2023-02-10 2023-07-04 南通大学 一种摄像头模组异常检测方法
CN116433666A (zh) * 2023-06-14 2023-07-14 江西萤火虫微电子科技有限公司 板卡线路缺陷在线识别方法、***、电子设备及存储介质
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184793A (zh) * 2015-09-02 2015-12-23 广东电网有限责任公司汕尾供电局 一种电能表样品外观及pcb板元件检测方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法
US20180361588A1 (en) * 2016-01-27 2018-12-20 South China University Of Technology Multiple Lens-Based Smart Mechanical Arm and Positioning and Assembly Method Thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184793A (zh) * 2015-09-02 2015-12-23 广东电网有限责任公司汕尾供电局 一种电能表样品外观及pcb板元件检测方法
US20180361588A1 (en) * 2016-01-27 2018-12-20 South China University Of Technology Multiple Lens-Based Smart Mechanical Arm and Positioning and Assembly Method Thereof
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
曾强 等: "基于HALCON的刹车片轮廓缺陷检测方法研究", 《煤矿机械》 *
胡秀亮 等: "基于图像处理技术的PCB缺陷自动检测***", 《微型机与应用》 *
范勇 等: "图像几何畸变校正方法", 《计算机工程与应用》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111929239A (zh) * 2020-07-20 2020-11-13 浙江四点灵机器人股份有限公司 一种pcb板零件缺陷的aoi检测装置及检测方法
CN111899241A (zh) * 2020-07-28 2020-11-06 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及***
TWI761948B (zh) * 2020-09-14 2022-04-21 倍利科技股份有限公司 由檢測影像取得輪廓的定位方法
CN112697062A (zh) * 2021-01-26 2021-04-23 湖南北斗微芯数据科技有限公司 一种铁路路基形变监测***及方法
CN112598088A (zh) * 2021-03-04 2021-04-02 常州微亿智造科技有限公司 一种工业部件视觉多目标鲁棒模板获取的方法
CN112598088B (zh) * 2021-03-04 2021-06-01 常州微亿智造科技有限公司 一种工业部件视觉多目标鲁棒模板获取的方法
CN112686894A (zh) * 2021-03-10 2021-04-20 武汉大学 基于生成式对抗网络的fpcb板缺陷检测方法及装置
CN112686894B (zh) * 2021-03-10 2021-06-04 武汉大学 基于生成式对抗网络的fpcb板缺陷检测方法及装置
CN113176279A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种用于面板aoi检测的预定位装置
CN113344931A (zh) * 2021-08-09 2021-09-03 深圳智检慧通科技有限公司 一种插件视觉检测识别方法、可读存储介质及设备
CN113816098A (zh) * 2021-08-25 2021-12-21 南京钢铁股份有限公司 一种实现钢板全自动转钢的方法
CN113870257A (zh) * 2021-12-01 2021-12-31 武汉飞恩微电子有限公司 印刷电路板缺陷检测分类方法、装置及计算机储存介质
CN114463186A (zh) * 2022-04-12 2022-05-10 常州铭赛机器人科技股份有限公司 基于校正扫描图像的平铺式拼接方法
CN114463186B (zh) * 2022-04-12 2022-06-24 常州铭赛机器人科技股份有限公司 基于校正扫描图像的平铺式拼接方法
CN114677373A (zh) * 2022-05-27 2022-06-28 广州青莲网络科技有限公司 一种印刷品内容检错方法、装置、电子设备及介质
CN116385353A (zh) * 2023-02-10 2023-07-04 南通大学 一种摄像头模组异常检测方法
CN116385353B (zh) * 2023-02-10 2024-01-30 南通大学 一种摄像头模组异常检测方法
CN116385375A (zh) * 2023-03-17 2023-07-04 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116385375B (zh) * 2023-03-17 2023-10-20 银河航天(北京)网络技术有限公司 基于遥感图像的森林缺陷区域检测方法、装置及存储介质
CN116433666A (zh) * 2023-06-14 2023-07-14 江西萤火虫微电子科技有限公司 板卡线路缺陷在线识别方法、***、电子设备及存储介质
CN116433666B (zh) * 2023-06-14 2023-08-15 江西萤火虫微电子科技有限公司 板卡线路缺陷在线识别方法、***、电子设备及存储介质
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法
CN117670887B (zh) * 2024-02-01 2024-04-09 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110675376A (zh) 一种基于模板匹配的pcb缺陷检测方法
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和***
CN111950330B (zh) 一种基于目标检测的指针式仪表示数检测方法
CN110068270B (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN111260731A (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN114549835B (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN115131444B (zh) 一种基于单目视觉点胶平台的标定方法
CN109284718B (zh) 面向巡检机器人的变视角多仪表同时识别方法
CN105574161B (zh) 一种商标图形要素识别方法、装置和***
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和***
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN108629221A (zh) 一种褶皱畸变qr二维码的校正方法
CN112258455A (zh) 基于单目视觉检测零件空间位置的检测方法
CN110146017A (zh) 工业机器人重复定位精度测量方法
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
CN117649404A (zh) 一种基于图像数据分析的药品包装盒质量检测方法及***
JP2003216931A (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN114092448A (zh) 一种基于深度学习的插件电解电容混合检测方法
CN111091121B (zh) 一种基于图像处理的椭圆表盘检测矫正的方法
CN115760860B (zh) 一种基于dxf文件导入的多类型工件尺寸视觉测量方法
CN116908185A (zh) 物品的外观缺陷检测方法、装置、电子设备及存储介质
CN114757880A (zh) 基于机器视觉的钟表走时准确性自动化检测方法
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication