CN115861217A - 一种基于视觉的背光板电路板缺陷检测***及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的背光板电路板缺陷检测***和方法，该检测方法包括以下步骤：采集图像，图像预处理，图像分割：采用基于Laplacian算子边缘信息的改进Ostu图像分割算法进行图像分割，边缘提取：先采用Canny边缘检测算子获取像素精度边缘进行粗定位，然后采用改进的Zernike矩亚像素边缘检测算法进行边缘提取精定位，焊盘位置和特征尺寸测量，焊盘缺陷判断。本发明可实现PCB焊盘位置和尺寸缺陷的自动检测，检测效率和精度高，检测成本低。

Description

一种基于视觉的背光板电路板缺陷检测***及方法

技术领域

本发明属于PCB检测领域，特别涉及一种基于视觉的背光板电路板缺陷检测***及方法。

背景技术

近年来显示产业蓬勃发展，以Mini LED为代表的微米级背光板芯片作为光源的显示技术更是发展迅速，需求也随之增加。目前，Mini LED背光与LCD结合的Mini LED背光技术已实现商业化。但仍面临诸多挑战，背板技术就是其中一个难点。背板材料主要有玻璃基板和印刷电路板(printed circuit board,PCB)，以PCB为主。PCB具有高韧性，但存在尺寸稳定性、基板平整性差等缺点。随着Mini LED产业技术的发展，LED芯片面积越来越小，对PCB焊盘的位置和尺寸精度要求非常高，导致焊盘缺陷检测难度和成本大大提高，严重制约了Mini LED产业的发展。在现有的PCB焊盘检测研究中，如专利CN202111583335.7公开了一种焊盘检测方法、装置、计算机设备及存储介质，通过标注焊盘的位置坐标，然后利用ResNet神经网络模型进行训练检测焊盘位置；但是该方法不能精确标注出焊盘的边缘信息，无法精确的测量出焊盘的特征尺寸和位置坐标，直接影响了焊盘缺陷检测的精度和效率。因此，提高Mini LED背光板PCB焊盘缺陷检测的精度和效率，降低检测成本，成为当前Mini LED产业的迫切需求。

发明内容

本发明的目的在于提供一种基于视觉的背光板电路板缺陷检测***及方法，可实现基于视觉的背光板电路板焊盘位置和尺寸缺陷的自动检测，检测效率和精度高，检测成本低。

本发明的目的通过下述技术方案实现：

一种基于视觉的背光板电路板缺陷检测方法，包括下述步骤：

(1)采集图像：采用相机采集背光板PCB焊盘的图像；

(2)图像预处理：对采集到的PCB焊盘图像进行图像预处理；

(3)图像分割：采用基于Laplacian算子边缘信息的改进Ostu图像分割算法进行图像分割；

(4)边缘提取：先采用Canny边缘检测算子获取像素精度边缘进行粗定位，然后采用改进的Zernike矩亚像素边缘检测算法进行边缘提取精定位；

(5)焊盘位置和特征尺寸测量：测量焊盘特征尺寸以及焊盘中心相对于标记点(即Mark点)的位置；

(6)焊盘缺陷判断：将焊盘测量结果与焊盘设计标准参数进行对比，若焊盘测量结果超出焊盘设计标准参数的误差范围，则判断存在焊盘缺陷。

步骤(1)中，图像采集模式为固定线扫描速度连续模式，采用外部触发模式作为相机曝光模式，其触发信号为光栅尺发出的脉冲信号。

步骤(2)中，所述图像预处理包括平滑滤波去除噪声，是采用中值滤波方法进行图像预处理，以有效解决采集到的图像受到椒盐噪声干扰的问题。

步骤(3)中，所述基于Laplacian算子边缘信息的改进Ostu图像分割算法，是先通过计算Laplacian算子的绝对值获取图像的边缘信息，然后再强化边缘信息，在此基础上再利用Ostu图像分割算法进行图像分割。

所述通过计算Laplacian算子的绝对值获取图像的边缘信息，然后再强化边缘信息，包括下述步骤：

(3-1)输入图像I(x,y)，计算其Laplacian算子的绝对值，得到输入图像的边缘图像；

(3-2)指定一个高值阈值T_L，为了只保留边缘图像中较大的值，使用阈值T_L对在步骤(3-1)中获取的边缘进行阈值处理，产生二值图像g(x,y),g(x,y)用作标记图像；

(3-3)将原图像I(x,y)与标记图像g(x,y)相乘，从I(x,y)选取强像素边缘(灰度值较大)的像素，得到图像

(3-4)计算出图像

非零像素的直方图，并用Ostu图像分割算法选取阈值对图像I(x,y)进行分割。

所述Ostu图像分割算法，是通过选择一个阈值T将具有L个(L为灰度级，范围为0到255)不同灰度级像素分为目标C₀和背景C₁类；其中C₀的像素灰度值在[0,T]范围内，C₁的像素灰度值在[T+1,L-1]范围内；阈值T的最优值计算包括下述步骤：

(3-5)各灰度级的概率p_i：

式中：n_i为灰度级为i的像素个数，N为像素总数；

(3-6)C₀类的概率ω₀和C₁类的概率ω₁为：

(3-7)C₀类的概率级均值u₀和C₁类的概率级均值u₁分别为：

(3-8)总体均值u_T为：

(3-9)类间方差σ²为：

σ²＝ω₀(u₀-u_T)²+ω₁(u₁-u_T)² (7)

当σ²达到最大时，即类间方差最大时，此时的T为所选取的最优阈值。

步骤(4)中，先利用形态学操作来腐蚀和膨胀去除毛刺和细化边缘。

步骤(4)中，所述改进的Zernike矩亚像素边缘检测算法，包括下述步骤：如图5所示为Zernike矩理想边缘示意图，L为对象的理想边缘，通过计算边缘参数h、t、d、α得到，其中h为图像背景部分的灰度值；t为目标和背景部分的灰度差，即目标部分的灰度值为h+t；；d为从原点到边缘的垂直距离；α为d与x轴间的夹角；通过3个不同阶Zernike矩计算出上述边缘参数，包括下述步骤：

(4-1)图像的n阶m次Zernike矩定义为：

式中：f(x,y)为点(x,y)处的灰度值，

为极坐标系单位圆内的Zernike正交多项式V_nm(ρ,θ)的共轭复数；

在单位圆中，Z_nm可以表示为

(4-2)Zernike矩具有旋转不变性，即旋转后模不变，仅相位角变化，在顺时针旋转α后，图像的初始Zernike矩Z_nm与旋转后的Zernike矩Z′_nm的关系为：

Z′_nm＝Z_nme^-jmα (10)

(4-3)为了对边缘进行定位，通过计算的3个不同阶Zernike矩来实现，分别表示为Z₀₀、Z₁₁、Z₂₀，与这3个矩对应的积分核函数为V₀₀＝1、V₁₁＝x+iy、V₂₀＝2x²+2y²-1；根据Zernike矩的定义和式(11)可计算Z₀₀、Z₁₁、Z₂₀，再联立求得理想阶跃边缘模型的4个参数为：

(4-4)Zernike矩通过模板和图像的卷积计算，当尺寸为N×N的模板在图像上移动并与像素卷积时，模板中心周围覆盖有N2个像素，单位圆的半径变为N/2；单位圆上的距离d需放大N/2倍，亚像素边缘坐标公式修改为：

基于Zernike矩的阈值条件为

t≥t_z∩d≤d_z (16)

式中：t_z为阶跃灰度的阈值；d_z为从中心到边缘的垂直距离阈值，2d_z应小于像素长度，考虑到模板效应，d≤2d_z/N；

采用Ostu算法，计算目标区域和背景区域的像素阶跃灰度值的类间方差，各像素点的阶跃灰度值取该像素点与其8邻域像素点灰度值之差的最大值，当类间方差最大时，取此时的t_z为阶跃灰度阈值。

步骤(5)中，先进行像素当量标定，通过标定板标定，将像素坐标转换为实际物理坐标下的像素当量。

一种基于视觉的背光板电路板缺陷检测装置，包括下述单元：

(1)采集图像单元：用于采集背光板PCB焊盘的图像；

(2)图像预处理单元：用于对采集到的PCB焊盘图像进行图像预处理；

(3)图像分割单元：用于采用基于Laplacian算子边缘信息的改进Ostu图像分割算法进行图像分割；

(4)边缘提取单元：用于先采用Canny边缘检测算子获取像素精度边缘进行粗定位，然后采用改进的Zernike矩亚像素边缘检测算法进行边缘提取精定位；

(5)位置和尺寸测量单元：用于PCB焊盘位置和特征尺寸测量，测量焊盘特征尺寸以及焊盘中心相对于标记点(Mark点)的位置；

(6)焊盘缺陷判断单元：用于将焊盘测量结果与焊盘设计标准参数进行对比，若焊盘测量结果超出焊盘设计标准参数的误差范围，则判断存在焊盘缺陷。

一种基于视觉的背光板电路板缺陷检测***，包括图像采集单元、运动控制单元、图像处理单元和人机交互单元。

所述图像采集单元，包括光源、光源控制器、线阵相机、远心镜头、图像传感器。

所述运动控制单元，包括运动控制卡、板卡、伺服电机、伺服驱动器、滚轴丝杆、光栅尺、机械平台、抽真空机组。运动控制卡和板卡用于控制整个***的每一个动作；伺服驱动器和伺服电机用于完成各轴的精确位置矫正；滚轴丝杆作为传动机构带动放置工件的机械平台到达指定位置；光栅尺用于对各轴位移进行检测，补偿运动误差；抽真空机组用于吸附工件，防止工件在运动过程中发生偏移。

所述图像处理单元，用于执行上述基于视觉的背光板电路板缺陷检测方法。

所述人机交互单元，包括相机参数设置、运动控制参数设置、检测精度设置(精度即误差范围)、图像处理结果显示界面、检测结果存储和查询等。

上述基于视觉的背光板电路板缺陷检测***的应用，包括下述步骤：

(1)导入Gerber文件，装夹PCB；Gerber文件作为标准参考图像，其包含焊盘的尺寸、外形、位置等线路板的基本参数，视觉测量结果将与该Gerber文件参数进行对比来判定产品合格与否；

(2)相机参数和运动参数设置运动初始化；

(3)PC端发送指令让相机运动到检测位置；

(4)当相机到达检测位置之后开始采集图像；

(5)对采集到的图像进行图像处理，执行上述背光板PCB缺陷检测方法，进行自动缺陷检测，将检测结果显示并保存下来；

(6)结果分析，对检测结果进行合格判定并记录缺陷信息，将测量结果与产品设计参数要求进行对比来判定合格与否，然后将不合格焊盘标记出来。

一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述基于视觉的背光板电路板缺陷检测方法。

本发明与现有技术相比具有如下优点和效果：

(1)本发明通过视觉测量整板PCB焊盘的位置和特征尺寸来检测PCB的缺陷，极大地提高了检测的精度和效率；

(2)本发明采用基于Laplacian算子边缘信息的改进Ostu图像分割算法，通过计算确定最优的阈值T，然后进行自适应阈值分割，既兼顾图像的整体信息，同时强化了感光趣区域的边缘信息，提高了焊盘的分割效果；

(3)传统Zernike算法需要人工凭借经验选取阶跃灰度阈值t_z，容易受到环境等各种因素的影响，需要反复调整阈值才能达到比较好的效果，效率低且精度难以保证；而本发明通过改进Zernike矩的阶跃灰度阈值选取方法，采用Ostu算法计算得到最优的t_z，避免人工凭借经验反复调整阈值，提高了检测的精度和稳定性，可以将精度从像素级提升至亚像素级，获得更高的测量精度。

(4)本发明结构简单，成本低，***执行效率和可靠性高，检测时间短，能大大提高检测效率，减少成本。

附图说明

图1为本发明检测***的结构示意图。

图2为本发明检测***的框架示意图。

图3为本发明检测***的运行流程示意图。

图4为本发明检测方法的流程示意图。

图5为Zernike矩的理想模型示意图。

图6为实施例Mini LED背光板PCB焊盘缺陷检测示意图。

具体实施方式

为使本发明实现的技术手段、目的和优点更加清楚，下面将结合具体实施方法对本发明的方案进行阐述。以下实施例有助于本领域地技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例

一种基于视觉的背光板电路板缺陷检测***，如图1、2所示，包括图像采集单元、运动控制单元、图像处理单元、人机交互单元。所述图像采集单元，包括光源、光源控制器、线阵相机、远心镜头、图像传感器。所述运动控制单元，包括运动控制卡、板卡、伺服电机、伺服驱动器、滚轴丝杆、光栅尺、机械平台、抽真空机组。所述图像处理单元，包括图像预处理、图像分割、边缘提取、位置尺寸测量。所述人机交互单元，包括相机参数设置、运动控制参数设置、检测精度设置、图像处理结果显示界面、检测结果存储和查询等。

如图3所示，为检测***的运行流程示意图，其步骤为：

(1)导入Gerber文件，装夹PCB。Gerber文件作为标准参考图像，其包含焊盘的尺寸、外形、位置等线路板的基本参数，视觉测量结果将与该Gerber文件参数进行对比来判定产品合格与否。

(2)相机参数和运动参数设置，运动初始化；

(3)PC端发送指令让相机运动到检测位置；

(4)当相机到达检测位置之后开始采集图像。图像采集模式为固定线扫描速度连续模式，采用外部触发模式作为相机曝光模式，其触发信号来自光栅尺发出的脉冲信号；

(5)对采集到的图像进行图像处理，采用本发明的背光板PCB缺陷检测方法进行自动缺陷检测，将检测结果显示并保存下来；

(6)结果分析。对检测结果进行合格判定并记录缺陷信息，将测量结果与产品设计参数要求进行对比来判定合格与否，然后将不合格焊盘标记出来便于后续的返修。

如图4所示，基于视觉的背光板电路板缺陷检测方法的流程示意图，主要包括如下步骤：

(1)由于采集到的图像多受椒盐噪声干扰，故采用中值滤波进行预处理。

(2)基于Laplacian算子边缘信息改进的Ostu算法分割图像。先通过计算Laplacian算子的绝对值获取图像的边缘信息，然后再强化边缘信息，在此基础上再利用Ostu分割算法进行图像分割。所述Ostu分割算法是通过选择一个阈值T将具有L个不同灰度级像素分为目标C₀和背景C₁类；其中C₀的像素灰度值在[0,T]范围内，C₁的像素灰度值在[T+1,L-1]范围内；本发明对阈值T的最优值计算是通过计算类间方差σ²，当σ²达到最大时，即类间方差最大时，此时的T为所选取的最优阈值。

(3)利用形态学操作腐蚀和膨胀去除毛刺和细化边缘；

(4)采用Canny边缘检测算子获取像素精度边缘来进行粗定位；

(5)为了获得更高的测量精度，通过改进的Zernike矩亚像素边缘检测将精度从像素级提升至亚像素级。本发明采用改进的Zernike矩亚像素边缘检测算法，具体是采用Ostu算法，计算目标区域和背景区域的像素阶跃灰度值的类间方差，各像素点的阶跃灰度值取该像素点与其8邻域像素点灰度值之差的最大值，当类间方差最大时，取此时的t_z为阶跃灰度阈值。

(6)像素当量标定。通过标定板标定，将像素坐标转换为实际物理坐标下的像素当量；

(7)PCB焊盘位置和尺寸测量。测量焊盘尺寸以及焊盘中心相对于标记点(Mark点)的位置；

(8)焊盘缺陷判断：将焊盘测量结果与焊盘设计标准参数进行对比，若焊盘测量结果超出焊盘设计标准参数的误差范围，则判断存在焊盘缺陷。

图6为实施例Mini LED背光板PCB焊盘缺陷检测示意图，通过测量PCB焊盘几何中心与标记点的相对位置以及焊盘的特征尺寸(如宽、高和面积等)，将测量结果与标准设计参数进行对比，可以根据产品精度要求设定误差范围，在设定误差允许范围内则判定为合格品，在误差允许范围外则判定为不良品。

Claims (10)

1.一种基于视觉的背光板电路板缺陷检测方法，其特征在于包括下述步骤：

(1)采集图像：采用相机采集背光板PCB焊盘的图像；

(2)图像预处理：对采集到的PCB焊盘图像进行图像预处理；

(3)图像分割：采用基于Laplacian算子边缘信息的改进Ostu图像分割算法进行图像分割；

(4)边缘提取：先采用Canny边缘检测算子获取像素精度边缘进行粗定位，然后采用改进的Zernike矩亚像素边缘检测算法进行边缘提取精定位；

(5)焊盘位置和特征尺寸测量：测量焊盘特征尺寸以及焊盘中心相对于标记点的位置；

(6)焊盘缺陷判断：将焊盘测量结果与焊盘设计标准参数进行对比，若焊盘测量结果超出焊盘设计标准参数的误差范围，则判断存在焊盘缺陷。

2.根据权利要求1所述的背光板电路板缺陷检测方法，其特征在于：步骤(1)中，图像采集模式为固定线扫描速度连续模式，采用外部触发模式作为相机曝光模式，其触发信号为光栅尺发出的脉冲信号。

3.根据权利要求1所述的背光板电路板缺陷检测方法，其特征在于：步骤(2)中，所述图像预处理包括平滑滤波去除噪声，是采用中值滤波方法进行图像预处理。

4.根据权利要求1所述的背光板电路板缺陷检测方法，其特征在于：步骤(3)中，所述基于Laplacian算子边缘信息的改进Ostu图像分割算法，是先通过计算Laplacian算子的绝对值获取图像的边缘信息，然后再强化边缘信息，在此基础上再利用Ostu图像分割算法进行图像分割。

5.根据权利要求4所述的背光板电路板缺陷检测方法，其特征在于：所述Ostu图像分割算法，是通过选择一个阈值T将具有L个不同灰度级像素分为目标C₀和背景C₁类；其中C₀的像素灰度值在[0,T]范围内，C₁的像素灰度值在[T+1,L-1]范围内；阈值T的最优值计算包括下述步骤：

(3-5)各灰度级的概率p_i：

式中：n_i为灰度级为i的像素个数，N为像素总数；

(3-6)C₀类的概率ω₀和C₁类的概率ω₁为：

(3-7)C₀类的概率级均值u₀和C₁类的概率级均值u₁分别为：

/>

(3-8)总体均值u_T为：

(3-9)类间方差σ²为：

σ²＝ω₀(u₀-u_T)²+ω₁(u₁-u_T)²(7)当σ²达到最大时，即类间方差最大时，此时的T为所选取的最优阈值。

6.根据权利要求1所述的背光板电路板缺陷检测方法，其特征在于：步骤(4)中，所述改进的Zernike矩亚像素边缘检测算法，L为对象的理想边缘，通过计算边缘参数h、t、d、α得到，h为图像背景部分的灰度值；t为目标和背景部分的灰度差，即目标部分的灰度值为h+t；d为从原点到边缘的垂直距离；α为d与x轴间的夹角；通过3个不同阶Zernike矩计算出上述边缘参数，包括下述步骤：

(4-1)图像的n阶m次Zernike矩定义为：

式中：f(x,y)为点(x,y)处的灰度值，

为极坐标系单位圆内的Zernike正交多项式V_nm(ρ,θ)的共轭复数；

在单位圆中，Z_nm可以表示为

(4-2)Zernike矩具有旋转不变性，即旋转后模不变，仅相位角变化，在顺时针旋转α后，图像的初始Zernike矩Z_nm与旋转后的Zernike矩Z′_nm的关系为：

Z′_nm＝Z_nme^-jmα(10)

(4-3)为了对边缘进行定位，通过计算的3个不同阶Zernike矩来实现，分别表示为Z₀₀、Z₁₁、Z₂₀，与这3个矩对应的积分核函数为V₀₀＝1、V₁₁＝x+iy、V₂₀＝2x²+2y²-1；根据Zernike矩的定义和式(11)可计算Z₀₀、Z₁₁、Z₂₀，再联立求得理想阶跃边缘模型的4个参数为：

/>

(4-4)Zernike矩通过模板和图像的卷积计算，当尺寸为N×N的模板在图像上移动并与像素卷积时，模板中心周围覆盖有N2个像素，单位圆的半径变为N/2；单位圆上的距离d需放大N/2倍，亚像素边缘坐标公式修改为：

基于Zernike矩的阈值条件为

t≥t_z∩d≤d_z(16)

式中：t_z为阶跃灰度的阈值；d_z为从中心到边缘的垂直距离阈值，2d_z应小于像素长度，考虑到模板效应，d≤2d_z/N；

采用Ostu算法，计算目标区域和背景区域的像素阶跃灰度值的类间方差，各像素点的阶跃灰度值取该像素点与其8邻域像素点灰度值之差的最大值，当类间方差最大时，取此时的t_z为阶跃灰度阈值。

7.一种基于视觉的背光板电路板缺陷检测装置，其特征在于包括下述单元：

(1)采集图像单元：用于采集背光板PCB焊盘的图像；

(2)图像预处理单元：用于对采集到的PCB焊盘图像进行图像预处理；

(3)图像分割单元：用于采用基于Laplacian算子边缘信息的改进Ostu图像分割算法进行图像分割；

(4)边缘提取单元：用于先采用Canny边缘检测算子获取像素精度边缘进行粗定位，然后采用改进的Zernike矩亚像素边缘检测算法进行边缘提取精定位；

(5)位置和尺寸测量单元：用于PCB焊盘位置和特征尺寸测量，测量焊盘特征尺寸以及焊盘中心相对于标记点的位置；

(6)焊盘缺陷判断单元：用于将焊盘测量结果与焊盘设计标准参数进行对比，若焊盘测量结果超出焊盘设计标准参数的误差范围，则判断存在焊盘缺陷。

8.一种基于视觉的背光板电路板缺陷检测***，其特征在于：包括图像采集单元、运动控制单元、图像处理单元和人机交互单元；所述图像处理单元，用于执行权利要求1～6中任一项所述的基于视觉的背光板电路板缺陷检测方法。

9.一种权利要求8所述的基于视觉的背光板电路板缺陷检测***的应用，其特征在于包括下述步骤：

(1)导入Gerber文件，装夹PCB；Gerber文件作为标准参考图像，其包含线路板的基本参数，视觉测量结果将与该Gerber文件的基本参数进行对比来判定产品合格与否；

(2)相机参数和运动参数设置运动初始化；

(3)PC端发送指令让相机运动到检测位置；

(4)当相机到达检测位置之后开始采集图像；

(5)对采集到的图像进行图像处理，执行权利要求1～6中任一项所述的基于视觉的背光板电路板缺陷检测方法，进行自动缺陷检测，将检测结果显示并保存下来；

(6)结果分析，对检测结果进行合格判定并记录缺陷信息，将测量结果与产品设计参数要求进行对比来判定合格与否，然后将不合格焊盘标记出来。

10.一种计算机可读存储介质，其特征在地：存储有程序，所述程序被处理器执行时，实现权利要求1～6中任一项所述的基于视觉的背光板电路板缺陷检测方法。

Images