CN107945184A - 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 - Google Patents

一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 Download PDF

Info

Publication number
CN107945184A
CN107945184A CN201711161398.7A CN201711161398A CN107945184A CN 107945184 A CN107945184 A CN 107945184A CN 201711161398 A CN201711161398 A CN 201711161398A CN 107945184 A CN107945184 A CN 107945184A
Authority
CN
China
Prior art keywords
image
color
positioning
segmentation
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711161398.7A
Other languages
English (en)
Other versions
CN107945184B (zh
Inventor
吴浩
欧阳柯
姚战鳌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN201711161398.7A priority Critical patent/CN107945184B/zh
Publication of CN107945184A publication Critical patent/CN107945184A/zh
Application granted granted Critical
Publication of CN107945184B publication Critical patent/CN107945184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

本发明公开了一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，属于贴装元件自动光学检测技术领域。本发明首先通过设计的图像采集***采集彩色图像，然后将红绿蓝三色图像转换到的由色调H(Hue)、饱和度S(Saturation)和强度I(Intensity)三个参数组成的HSI色彩模型，由于HSI模型在提取颜色信息时直接用与亮度无关的色调和饱和度即可，该方法具有分割准确且高效的特点，在此基础上进行元件的定位和检测，定位主要采用颜色和几何特征，并提出基于梯度投影的定位方法，以及基于区域的主成分特征值检测方法，所提出的方法具有定位精度高，检测高效准确的优点。

Description

一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
技术领域
本发明涉及贴装元件检测技术领域，更具体地说，涉及一种基于彩色图像分割和梯度投影定位的贴装元件检测方法。
背景技术
电子产品被广泛应用于工业各领域，表面贴装电子元件作为电子产品的核心部件，其功能好坏直接影响电子产品的使用性能。当前电子元件主要采用表面贴装技术通过焊锡贴装在电子产品的电路板上，因此，对焊点的质量检测显得十分关键。常见的焊点缺陷类型有假焊、焊锡不足、元件偏移、错件和立碑。传统都是依靠人工目检的方式对焊点质量进行检测，但是随着电子元件尺寸变小，相互之间密度变高，人眼很难做出准确判断，并且人工目检依赖主观经验，容易产生视觉疲劳等导致检测效率不高。实施无铅化的生产方式后，焊点的表面色泽更暗，更不利于人工检测，缺陷也更多。因此，采用自动化的方式来检测焊点的质量越来越显得必不可少。
自动光学检测采用图像采集***获取电路板上焊点的图像，经过对图像进行特征提取、处理和分析来判定焊点质量是否合格。能对贴装密度高的电路板和微小的电子元件焊点进行检测。由于具有检测标准规范，产品质量管理有效、效率高等特点，自动光学检测被越来越多用于表面贴装生产线上。
自动光学检测用于检测印刷电路板的贴装元件常用的办法有参考比对法和非参考比对法两大类，参考比对法将待测图像与一个被称为“金样本”的参考图像进行比对，由于有标准图像提供比对，原理上看上去很简单，找到与标准图像不相同的地方就可算为缺陷。如中国专利号CN201510174839.1，申请日为2015年4月14日，发明创造名称为：一种检测电子元件贴装精度的方法；该申请案即是通过转化摄取的预检测电路板的图像与计算机处理***内预设的理想图像进行对比，通过分析预检测电路板的图像，来确定预检测电路板中的电子元件的定位坐标与计算机处理***内预设的标准坐标参数对比，从而得出电路板上电子元件的角点定位准确、不准确以及角点检测有误的结果。参考比对法与传统的封装人工检测相比较，减少了人工成本，大大降低了检测的出错率。但是该方法的主要缺点是定位一定要准确，还有就是照明要一致，对于与“金样本”不完全一致但是又合格的图像存在误报的情况。
非参考比对法不需要参考标准图像就能实现缺陷检测的目的。其判定是否有缺陷主要是根据设计的规则或自定的规则进行判定，此方法最大的优点是无需精准定位，也不需要使用占用大量存储空间的标准图像，如专利号CN 201510357803.7，申请日为2015年6月25日，发明创造名称为：一种基于视觉的TR元件定位和缺陷检测方法；该申请案即是一种采用非参考比对法进行缺陷检测的方案，其通过二值化区域图像，提取外边界点集，寻找有效边界点集，寻找最小外接矩形，有效边界点集分类，二值图像仿射变换，TR元件类型检查，有效边界点集再次分类并编号，拟合引脚直线，拟合引脚足部直线，确定TR元件细节信息，检查TR元件引脚的缺陷。该申请案能够解决贴装元件检测人为误差、精度低、实时性差以及计算结果对光照敏感的问题，但该申请案检测过程复杂，使用了4领域快速轮廓跟踪，双轴旋转法寻找最小外接矩形等技术，不易实现。
发明内容
1.发明要解决的技术问题
本发明的目的在于解决现有贴装元件缺陷检测方案存在的定位精度不高，导致误检率高的问题，提供了一种基于彩色图像分割和梯度投影定位的贴装元件检测方法；本发明是一种对贴装电子元件分区域提取特征的规则检测法，该方法不易受噪声干扰，对于不同光照条件都有很好的鲁棒性。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其步骤为：
步骤一、采用相机加环形红绿蓝LED结构光源对电路板上的焊点进行图像采集；
步骤二、将步骤一所得图像由RGB颜色模型转换为HSI彩色模型，并在此基础上进行彩色图像分割；
步骤三、对步骤二所得图像设置MARK点，并利用所设置的MARK点对PCB板图像中xy两个方向的误差进行补偿；
步骤四、进行焊盘主体区和贴装文字区的定位；
步骤五、对焊盘和主体区焊点进行检测。
更进一步的，所述贴装元件缺陷检测包括训练阶段和测试阶段，训练阶段和测试阶段均包括图像采集、颜色模型转换、MARK点匹配、彩色图像分割、焊点定位及特征参数检测过程；其中，训练阶段对电路板上的焊点进行图像采集，并制作MARK点，进行彩色图像分割，预先确定好焊点图像特征参数，并保存；测试阶段先采用识别MARK点方式对电路板的定位误差进行补偿，再实时采集电路板的焊点图像，进行彩色图像分割，提取检测区域的焊点图像特征参数，并与在训练阶段已保存好的焊点图像特征参数进行对比，判断焊点是否合格。
更进一步的，将图像由RGB颜色模型转换为HSI彩色模型后，以色调和饱和度两个特征指标作为颜色分割的依据，采用下式进行分割：
式中，H(i，j)和S(i，j)是像素点(i,j)的色调和饱和度，img(i,j)为二值化处理结果，通过设定色调H、饱和度S的最高值Hh和Sh以及最低值Hl和Sl即能作基于HSI彩色模型的颜色分割，分割出指定颜色。
更进一步的，整个电路板的xy两个方向的误差由两个MARK点来补偿，在搜索区域内提取MARK点的面积形状特征，首先对标志MARK点进行阈值分割，然后将图像二值化，具体如下：
一幅长宽分别为M×N的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理，r(x,y)即是其处理的结果
计算MARK点的面积
根据面积计算的结果与设定进行比较，就可以完成MARK点的设置。
更进一步的，焊盘主体区的定位中依次抽取焊盘区红绿蓝三色，计算公式如下：
Xk是一个三维特征向量，Tr(x,y)是第r颜色框颜色图像的百分比，r＝1、2或3，1代表红色，2代表绿色，3代表蓝色，M×N是在焊盘区域的像素的数量。
更进一步的，贴装文字区定位采用基于梯度积分投影的方法，首先采用Sobel算子梯度化图像，对梯度图像进行投影定位；其中，对图像进行梯度处理之后，f(x,y)表示在点(x,y)的梯度值，w和h表示贴装文字区的宽和高，通过函数f(x,y)投影到x轴和y轴上得到密度函数fx(x,y)和fy(x,y)，再进行定位；
更进一步的，焊盘区与主体区的检测通过提取此区域内红绿蓝三色下的面积、重心特征以及主成分特征值，并将焊盘区细化为多个子区域。
更进一步的，提取主成分特征值时，在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值，这两个特征值代表在二维空间中的两个互为正交的最大方差量，利用正常图像与异常图像在特征值上的差异作为检测指标。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
(1)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，由于采用HSI彩色模型进行图像分割，该模型的色调H(Hue)、饱和度S(Saturation)和强度I(Intensity)三个基本特征量中，HS两个特征是与亮度无关的因素，用色调和饱和度两个特征指标作为颜色分割的依据，以色调和饱和度组合成的彩色图像分割方法，由于该方法与亮度因素无关，所以相比基于RGB模型的彩色分割更适合于常碰到的光源亮度多变的情形；
(2)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，采用梯度图像投影定位的方法，该方法不易受噪声干扰，对于不同光照条件都有很好的鲁棒性；
(3)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，采用以主成分分析法(Principal Component Analysis,PCA)为基础之特征值检测方法，在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，便可形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值(Eigenvalue)，这两个特征值代表在二维空间中的两个互为正交的最大方差量，能利用正常图像与异常图像在特征值上的差异来设计一致性之特征指标，具备计算效率高、鲁棒性好的特点。
附图说明
图1是本发明的表面贴装元件检测流程的示意图；
图2是本发明的MARK点定位示意图；
图3是本发明进行焊盘抽取颜色的示意图；
图4是本发明焊盘区域的子窗口示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
针对表面贴装电子元件作为电路板的部件进行检测，其焊点的贴装质量直接影响电路板的性能，由于传统的人工目检具有很高的误报以及效率低下的缺点，所以采用自动光学检测来对贴装元件的焊点进行自动检测是当前的主要趋势，本实施例提供了一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，结合图1，其具体包括以下处理过程：
元件缺陷检测
(一)训练阶段：获取PCB板图片，采用3CCD相机加环形红绿蓝LED结构光源以及镜头的装置对电路板上的焊点进行图像采集。接着制作出MARK点，并根据彩色图像分割原理预先确定好焊点图像特征参数，并保存。
(二)测试阶段：首先进行定位补偿，采用识别MARK点方式对电路板的定位误差进行补偿。再实时采集电路板的焊点图像，根据所提出的彩色图像分割原理分割，提取检测区域的焊点图像特征参数，并与在训练阶段已保存好的焊点图像特征参数进行对比，判断焊点是否合格。
由此可见，在训练阶段和测试阶段的步骤中都包含有图像采集，MARK点匹配，彩色图像分割及焊点的定位及特征参数检测。
本实施例进行图像采集，焊点表面保持平面镜属性，其遵循反射的规律。光照射到焊点表面后，其被反射到相机的红色，绿色，蓝色光分别代表了平的，缓慢倾斜的和迅速倾斜部分。根据3色的照明和彩色照相机***中，焊点的三维形状信息可以由一个二维彩色图像所描绘。
图像获取后，在印刷电路板检查的过程中，图像的颜色必须设置好，并且RGB颜色模型往往容易受到干扰。由于无铅，焊点饱和降低，需要考虑使用使得亮度因素减至最低的颜色模型，本实施例采用HSI彩色模型。
转换RGB模型到HSI模型：
对于范围RGB值[0，1]，对应的H，S和I在HSI模型分量计算：
公式(1)中如果G≥B，计算出H值在区间[0°,180°]，如果G<B，则令H＝360-H，即可将H转换到[180°,360°]。
由于HSI彩色模型中，色调H(Hue)、饱和度S(Saturation)和强度I(Intensity)三个基本特征量中，HS两个特征是与亮度无关的因素，因此用色调和饱和度两个特征指标作为颜色分割的依据，以色调和饱和度组合成的彩色图像分割方法如公式4所示，(i,j)为图像中对应的像素点，H(i，j)和S(i，j)是像素点(i,j)的色调和饱和度，img(i,j)为二值化处理结果。由于该方法与亮度因素无关，所以相比基于RGB模型的彩色分割更适合于常碰到的光源亮度多变的情形。
通过设定色调H、饱和度S的最高值Hh和Sh以及最低值Hl和Sl就能作基于HSI彩色模型的颜色分割，分割出指定颜色。
贴装电子元件的定位
表面贴装电子元件的定位是进行检测的前提，定位的效果将直接影响到检测的好坏，本实施例在元件检测中主要包括有电路板的标志点(MARK点)定位，元件本身的定位(焊盘定位)以及贴装文字定位。
MARK点定位如图2所示，整个电路板的xy两个方向的误差可以由两个MARK点来补偿。该方式进行定位补偿采用搜索区域内提取MARK点的面积形状特征，首先对标志MARK点进行阈值分割，然后将图像二值化。具体如下：
一幅长宽分别为M×N的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理，r(x,y)即是其处理的结果
计算MARK点的面积
根据面积计算的结果与设定进行比较，就可以完成MARK点的设置，定位原理如图2所示。
焊盘主体区的定位采用依次抽取焊盘区红绿蓝三色，焊盘定位颜色抽取示意图如图3所示，其中：A为自动抽出窗口，B为焊盘窗口，C为贴装窗口，D为主体窗口。计算公式如下式(7)所示
Xk是一个三维特征向量，Tr(x,y)是第r颜色框(1＝红，2＝绿色，3＝蓝色)颜色图像的百分比，M×N是在焊盘区域的像素的数量。
贴装文字区定位由于很容易受到外界的干扰，因此本实施例提出基于梯度积分投影的方法，具体如下：
1)Sobel算子求梯度图像
Sobel算子是一种基于一阶微分的边缘检测算子，它对图像内的每一个像素f(i,j)，考察它上下左右邻点的灰度值的加权差，与它接近的邻点权重大小，Sobel算子定义如下：
Sobel(i,j)＝|Δxf|+|Δyf|
＝|f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)+f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)|+|f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)+f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)|
其卷积算子为：
采用上面的卷积算子与图像进行卷积求和运算就能得到基于Sobel算子的梯度图像。
2)对梯度图像进行投影定位
对图像进行梯度处理之后，文字区域的特征可以由函数f(x,y)表示，f(x,y)表示在点(x,y)的梯度值，w和h对应于文字区域的宽和高，通过函数f(x,y)投影到x轴和y轴上得到密度函数fx(x,y)和fy(x,y)，再进行定位。
焊盘区和主体区的检测
焊盘区与主体区的检测主要是通过提取此区域内红绿蓝三色下的形状、颜色等特征，而焊盘区可以细化为多个子区域，区域示意图如图4和表1所示。
表1检测窗口
所提取的特征有：
1)归一化面积
r(x,y)为一幅长宽分别为M×N的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理的结果，与上述MARK点特征提取方法一样。
2)归一化重心
设对象的颜色重心为(xm,ym)，归一化重心为(GR,X,GR,Y)，则GR,X＝xm/M,GR,Y＝ym/N。因此，GR,X和GR,Y定义如下：
3)主成分特征值
主成分分析法是一种从特征值分析中提取数据集结构的有力工具。对应于二维的情况，两特征值的平方根在几何上与一个椭圆的长轴和短轴的长度有关。它们在统计学上的对应为正交主方向上的两个最大方差。
将主成分分析应用于一个灰度图像，F是(2w+1)×(2w+1)大小图像中的所有灰度值的总和，
图像的所有像素重心，由下式给出
图像的加权协方差矩阵的定义是
其中，
特征值λ的加权协方差矩阵M由下式得到
M-λ·I＝0 (17)
协方差矩阵是2×2、对称半正定矩阵。因此，两个特征值的协方差矩阵M由下式给出，且λ2≤λ1
本实施例在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，便可形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值(Eigenvalue)，这两个特征值代表在二维空间中的两个互为正交的最大方差量，能利用正常图像与异常图像在特征值上的差异来设计一致性之特征指标，具备计算效率高、鲁棒性好的特点。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其步骤为：
步骤一、采用相机加环形红绿蓝LED结构光源对电路板上的焊点进行图像采集；
步骤二、将步骤一所得图像由RGB颜色模型转换为HSI彩色模型，并在此基础上进行彩色图像分割；
步骤三、对步骤二所得图像设置MARK点，并利用所设置的MARK点对PCB板图像中xy两个方向的误差进行补偿；
步骤四、进行焊盘主体区和贴装文字区的定位；
步骤五、对焊盘和主体区焊点进行检测。
2.根据权利要求1所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：所述贴装元件缺陷检测包括训练阶段和测试阶段，训练阶段和测试阶段均包括图像采集、颜色模型转换、MARK点匹配、彩色图像分割、焊点定位及特征参数检测过程；其中，训练阶段对电路板上的焊点进行图像采集，并制作MARK点，进行彩色图像分割，预先确定好焊点图像特征参数，并保存；测试阶段先采用识别MARK点方式对电路板的定位误差进行补偿，再实时采集电路板的焊点图像，进行彩色图像分割，提取检测区域的焊点图像特征参数，并与在训练阶段已保存好的焊点图像特征参数进行对比，判断焊点是否合格。
3.根据权利要求2所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：将图像由RGB颜色模型转换为HSI彩色模型后，以色调和饱和度两个特征指标作为颜色分割的依据，采用下式进行分割：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>m</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>ifH</mi> <mi>l</mi> </msub> <mo>&amp;le;</mo> <mi>H</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>H</mi> <mi>h</mi> </msub> <msub> <mi>andS</mi> <mi>l</mi> </msub> <mo>&amp;le;</mo> <mi>S</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>S</mi> <mi>h</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>i</mi> <mi>m</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中，H(i，j)和S(i，j)是像素点(i,j)的色调和饱和度，img(i,j)为二值化处理结果，通过设定色调H、饱和度S的最高值Hh和Sh以及最低值Hl和Sl即能作基于HSI彩色模型的颜色分割，分割出指定颜色。
4.根据权利要求3所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：整个电路板的xy两个方向的误差由两个MARK点来补偿，在搜索区域内提取MARK点的面积形状特征，首先对标志MARK点进行阈值分割，然后将图像二值化，具体如下：
一幅长宽分别为M×N的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理，r(x,y)即是其处理的结果
<mrow> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mi>min</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>max</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;NotElement;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mi>min</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>max</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
计算MARK点的面积
<mrow> <mi>S</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
根据面积计算的结果与设定进行比较，就可以完成MARK点的设置。
5.根据权利要求4所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：焊盘主体区的定位中依次抽取焊盘区红绿蓝三色，计算公式如下：
<mrow> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mo>&amp;times;</mo> <mi>N</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>T</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mn>100</mn> </mrow>
Xk是一个三维特征向量，Tr(x,y)是第r颜色框颜色图像的百分比，r＝1、2或3，1代表红色，2代表绿色，3代表蓝色，M×N是在焊盘区域的像素的数量。
6.根据权利要求4或5所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：贴装文字区定位采用基于梯度积分投影的方法，首先采用Sobel算子梯度化图像，对梯度图像进行投影定位；其中，对图像进行梯度处理之后，f(x,y)表示在点(x,y)的梯度值，w和h表示贴装文字区的宽和高，通过函数f(x,y)投影到x轴和y轴上得到密度函数fx(x,y)和fy(x,y)，再进行定位；
<mrow> <msub> <mi>f</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>h</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>f</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>w</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
7.根据权利要求6所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：焊盘区与主体区的检测通过提取此区域内红绿蓝三色下的面积、重心特征以及主成分特征值，并将焊盘区细化为多个子区域。
8.根据权利要求7所述的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其特征在于：提取主成分特征值时，在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值，这两个特征值代表在二维空间中的两个互为正交的最大方差量，利用正常图像与异常图像在特征值上的差异作为检测指标。
CN201711161398.7A 2017-11-21 2017-11-21 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 Active CN107945184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711161398.7A CN107945184B (zh) 2017-11-21 2017-11-21 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711161398.7A CN107945184B (zh) 2017-11-21 2017-11-21 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法

Publications (2)

Publication Number Publication Date
CN107945184A true CN107945184A (zh) 2018-04-20
CN107945184B CN107945184B (zh) 2020-10-09

Family

ID=61929301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711161398.7A Active CN107945184B (zh) 2017-11-21 2017-11-21 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法

Country Status (1)

Country Link
CN (1) CN107945184B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283182A (zh) * 2018-08-03 2019-01-29 江苏理工学院 一种电池焊点缺陷的检测方法、装置及***
CN109410212A (zh) * 2018-10-11 2019-03-01 陕西师范大学 一种交互式图像分割方法
CN109406519A (zh) * 2018-11-28 2019-03-01 广州番禺职业技术学院 一种电感元件引脚异型不规则焊点的检测装置及方法
CN109697732A (zh) * 2018-11-27 2019-04-30 惠州市德赛电池有限公司 一种用于电阻焊接区域定位的方法
CN109725002A (zh) * 2019-01-23 2019-05-07 深圳市华星光电技术有限公司 一种基于aoi的基板缺陷类别判别方法
CN109785324A (zh) * 2019-02-01 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109961067A (zh) * 2019-03-19 2019-07-02 上海望友信息科技有限公司 光学基准点的选取方法、***、计算机存储介质及设备
CN110929795A (zh) * 2019-11-28 2020-03-27 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
CN112884838A (zh) * 2021-03-16 2021-06-01 重庆大学 一种机器人自主定位方法
CN112991340A (zh) * 2020-05-08 2021-06-18 视睿（杭州）信息科技有限公司 基于多通道特征的工业颗粒连片制品图像切割方法、装置
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及***
CN114299086A (zh) * 2021-12-24 2022-04-08 深圳明锐理想科技有限公司 一种低对比度成像的图像分割处理方法、电子设备及***
CN114418899A (zh) * 2022-03-28 2022-04-29 深圳市嘉年印务有限公司 一种自彩印的自适应修复方法、***及可读存储介质
CN116774135A (zh) * 2023-08-22 2023-09-19 山东国研自动化有限公司 一种远程抄表异常监测方法及***
CN116797446A (zh) * 2022-03-17 2023-09-22 ***通信有限公司研究院 一种数据处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322044A (ja) * 2004-05-10 2005-11-17 Sharp Manufacturing System Corp 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体
US20060018534A1 (en) * 2004-07-26 2006-01-26 Dainippon Screen Mfg. Co., Ltd. Technique for detecting a defect of an object by area segmentation of a color image of the object
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法
CN104899871A (zh) * 2015-05-15 2015-09-09 广东工业大学 一种ic元件焊点空焊检测方法
CN106093074A (zh) * 2016-06-16 2016-11-09 广东工业大学 一种基于鲁棒主成分分析的ic元件焊点检测方法
CN106651857A (zh) * 2017-01-04 2017-05-10 中国农业大学 一种印刷电路板贴片缺陷检测方法
CN106780440A (zh) * 2016-11-29 2017-05-31 北京邮电大学 ***电路板残片图像自动比对识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322044A (ja) * 2004-05-10 2005-11-17 Sharp Manufacturing System Corp 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体
US20060018534A1 (en) * 2004-07-26 2006-01-26 Dainippon Screen Mfg. Co., Ltd. Technique for detecting a defect of an object by area segmentation of a color image of the object
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法
CN104899871A (zh) * 2015-05-15 2015-09-09 广东工业大学 一种ic元件焊点空焊检测方法
CN106093074A (zh) * 2016-06-16 2016-11-09 广东工业大学 一种基于鲁棒主成分分析的ic元件焊点检测方法
CN106780440A (zh) * 2016-11-29 2017-05-31 北京邮电大学 ***电路板残片图像自动比对识别方法
CN106651857A (zh) * 2017-01-04 2017-05-10 中国农业大学 一种印刷电路板贴片缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAO WU: "Solder joint defect classification based on ensemble learning", 《SOLDERING AND SURFACE MOUNT TECHNOLOGY》 *
吴晖辉 等: "综合边缘和颜色特征的IC类贴装器件的检测", 《光学精密工程》 *
吴浩: "基于模式识别技术的焊点自动光学检测算法研究", 《中国博士学位论文全文数据库信息科技辑》 *
洪始良: "印刷电路板自动光学检测***性能分析与优化", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283182A (zh) * 2018-08-03 2019-01-29 江苏理工学院 一种电池焊点缺陷的检测方法、装置及***
CN109410212A (zh) * 2018-10-11 2019-03-01 陕西师范大学 一种交互式图像分割方法
CN109410212B (zh) * 2018-10-11 2021-06-22 陕西师范大学 一种交互式图像分割方法
CN109697732A (zh) * 2018-11-27 2019-04-30 惠州市德赛电池有限公司 一种用于电阻焊接区域定位的方法
CN109697732B (zh) * 2018-11-27 2023-10-13 惠州市德赛电池有限公司 一种用于电阻焊接区域定位的方法
CN109406519A (zh) * 2018-11-28 2019-03-01 广州番禺职业技术学院 一种电感元件引脚异型不规则焊点的检测装置及方法
CN109725002A (zh) * 2019-01-23 2019-05-07 深圳市华星光电技术有限公司 一种基于aoi的基板缺陷类别判别方法
CN109785324A (zh) * 2019-02-01 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109785324B (zh) * 2019-02-01 2020-11-27 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109961067A (zh) * 2019-03-19 2019-07-02 上海望友信息科技有限公司 光学基准点的选取方法、***、计算机存储介质及设备
CN110929795B (zh) * 2019-11-28 2022-09-13 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
CN110929795A (zh) * 2019-11-28 2020-03-27 桂林电子科技大学 高速焊线机焊点快速识别与定位方法
CN112991340A (zh) * 2020-05-08 2021-06-18 视睿（杭州）信息科技有限公司 基于多通道特征的工业颗粒连片制品图像切割方法、装置
CN112884838A (zh) * 2021-03-16 2021-06-01 重庆大学 一种机器人自主定位方法
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及***
CN113724216B (zh) * 2021-08-24 2023-03-21 广东工业大学 一种波峰焊点缺陷检测方法及***
CN114299086A (zh) * 2021-12-24 2022-04-08 深圳明锐理想科技有限公司 一种低对比度成像的图像分割处理方法、电子设备及***
CN114299086B (zh) * 2021-12-24 2023-05-26 深圳明锐理想科技有限公司 一种低对比度成像的图像分割处理方法、电子设备及***
CN116797446A (zh) * 2022-03-17 2023-09-22 ***通信有限公司研究院 一种数据处理方法、装置及设备
CN114418899A (zh) * 2022-03-28 2022-04-29 深圳市嘉年印务有限公司 一种自彩印的自适应修复方法、***及可读存储介质
CN114418899B (zh) * 2022-03-28 2022-08-16 深圳市嘉年印务有限公司 一种自彩印的自适应修复方法、***及可读存储介质
CN116774135A (zh) * 2023-08-22 2023-09-19 山东国研自动化有限公司 一种远程抄表异常监测方法及***
CN116774135B (zh) * 2023-08-22 2023-11-17 山东国研自动化有限公司 一种远程抄表异常监测方法及***

Also Published As

Publication number Publication date
CN107945184B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107945184B (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
US7680320B2 (en) Image processing method, substrate inspection method, substrate inspection apparatus and method of generating substrate inspection data
CN106501272B (zh) 机器视觉焊锡定位检测***
CN106651857B (zh) 一种印刷电路板贴片缺陷检测方法
CN108802046B (zh) 一种混合集成电路组件缺陷光学检测装置及其检测方法
WO2013136591A1 (ja) 画像検査方法および検査領域設定方法
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
CN113724216B (zh) 一种波峰焊点缺陷检测方法及***
CN106651802B (zh) 机器视觉焊锡定位检测方法
CN110473184A (zh) 一种pcb板缺陷检测方法
CN114136975A (zh) 一种微波裸芯片表面缺陷智能检测***和方法
CN107895362A (zh) 一种微型接线端子质量检测的机器视觉方法
JP2004340832A (ja) 回路基板の外観検査方法及び回路基板の外観検査装置
CN115170497A (zh) 一种基于ai视觉检测技术的pcba在线检测平台
JP5045591B2 (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
CN114092448B (zh) 一种基于深度学习的插件电解电容混合检测方法
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
Cao A real-time automated visual inspection system for printed circuit boards missing footprints detection
CA2446259A1 (en) Inspection system using dynamically obtained values and related techniques
JP4814116B2 (ja) 実装基板外観検査方法
CN206470210U (zh) 机器视觉焊锡定位检测***
KR20150114614A (ko) 표면실장부품 패키지의 분류 시스템 및 방법
CN114638792A (zh) 一种用于插件电路板电解电容极性缺陷检测的方法
CN113409251B (zh) 一种用于集成电路制造的数据处理方法
CN106996911B (zh) 二维检测锡膏印刷的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant