CN113034418B - 面向电子行业的电路板识别与焊盘/芯片快速定位方法 - Google Patents

Abstract

本发明面向电子行业领域，具体涉及电路板识别与焊盘/芯片精密快速定位方法。本发明包括以下步骤：将待识别原始图像经噪声过滤及阈值分割，得到ROI区域；将ROI区域经仿射变换后，得到水平姿态的图像；将水平姿态的图像进行自适应阈值处理，得到识别目标；将识别目标与模型数据库进行基于轮廓曲率角点特征的可变形组件图像匹配(DPM)以及金字塔模型搜索，完成匹配即完成芯片的快速定位。本发明可以实现多种印刷线路板的快速识别分类。本发明可以精确定位焊盘组点的区域位置，鲁棒性较强，可以克服焊盘或芯片组区域由于图像形变带来的负面影响，且算法执行效率较高。本发明可以满足电子行业的智能防错漏、线路板混线生产等特殊需求。

Description

面向电子行业的电路板识别与焊盘/芯片快速定位方法

技术领域

本发明面向电子行业领域，具体涉及电路板识别与焊盘/芯片精密快速定位方法。

背景技术

目前电子制造行业在部件制造和总装环节存在劳动密集实现自动化难、人工成本高招人难、工艺复杂更新换代快、人工效率和成品率低而交货期短等四方面需求端共性问题。机器视觉是协作小型装配机器人领域研究的重要内容，尤其是电路板识别与焊盘/芯片快速定位技术，是实现电子制造行业小批量定制、个性化制造和柔性制造的关键。在机器视觉的研究领域中，通过分析图像完成对物体的识别是一个重要的研究方向，新的识别理论和方法不断的被提出以处理工程实际问题。视觉定位具有非接触、动态响应快、高效率、全自动等优点，在电子产品制造中有很好的实用性，因而成为机器视觉的一个应用研究热点。目前，目标检测、定位与识别算法的研究虽然取得了一定的进展，但仍面临着许多工程实际问题与挑战。

本发明紧扣实际需求，并针对机器人视觉引导与快速精密定位等难题，采用基于多层轮廓特征模型的建模和匹配算法，实现了多种印刷线路板的快速识别分类，并针对现有方法定位效率低，目标点密集和易受外部环境干扰的问题，提出一种基于多层可变形组件模型的建模和匹配算法，实现了印刷线路板目标焊点组的快速精密定位，并拟合多目标中心坐标，将焊盘与芯片组的位置信息传送至机器人控制与运动执行***，从而为实现基于智能化机器人技术的电子元器件贴附、组装、分拣、打磨、点胶、检测、焊接等工艺提供必要的关键技术。

发明内容

本发明目的是提供一种面向电子行业的电路板识别与焊盘/芯片快速定位方法。

本发明为实现上述目的所采用的技术方案是：

面向电子行业的电路板识别与芯片快速定位方法，包括以下步骤：

1)将待识别电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即ROI区域；

2)将精确识别后的电路板位置经仿射变换，得到水平姿态的电路板；

3)将设定姿态的电路板进行自适应阈值处理，得到识别目标；

4)将识别目标与标准模型数据库进行基于轮廓曲率角点特征的可变形组件图像匹配即DPM以及金字塔模型搜索，完成匹配即完成芯片的快速定位。

所述轮廓曲率角点特征的可变形组态图像匹配即利用图像轮廓的曲率角点分布拓扑结构特性，选择轮廓上曲率绝对值的局部极大值点作为角点，将图像匹配转换为轮廓的角点拓扑结构匹配。

所述金字塔模型搜索过程为：

将识别目标的轮廓角点特征优先与模型数据库中某个型号电路板的轮廓角点特征的最低分辨率层进行匹配，若匹配度高于阈值，则进行下一层该型号电路板的轮廓角点特征匹配，直至最高分辨率层；若低分辨率层匹配度不高于阈值，则进行下一个型号电路板的轮廓角点特征匹配；

遍历所有型号的电路板的轮廓角点特征，找到与待识别目标图像轮廓曲率角点特征匹配度最高的型号，即为待识别印刷电路板的型号。

所述标准模型数据库的建立流程为：

1)将每个型号的电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即图像ROI区域；

2)精确识别后的图像ROI区域经过仿射变换，得到水平姿态的电路板；

3)将水平姿态的电路板进行自适应阈值处理，得到识别目标；

4)将识别目标进行基于轮廓曲率角点特征的可变形模组匹配提取，得到识别目标的图像特征；

5)循环步骤1)～4)，得到多组电路板的轮廓角点特征，建立标准模型数据库。

面向电子行业的电路板识别与焊盘快速定位方法，包括以下步骤：

1)将待焊接电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即图像ROI区域；

2)检测电路板的姿态并进行仿射变换，得到水平姿态的电路板区域图像；

3)对水平姿态的电路板区域图像进行区域分割，得到待焊接焊盘组所在的小区域图像；

4)对小区域图像基于正交曲线的多层可变组件的模型匹配算法匹配，完成待焊接焊盘组定位；

5)获取待焊接焊盘组中心位置，完成焊盘的快速定位。

采用基于正交曲线的多层可变形组件的模型匹配算法，在分割出的包含焊盘组点的待检测图像区域内，找到与可变形组件模型相匹配度最高的目标区域，以及目标区域的中心点坐标，即可实现焊盘或芯片组的精确定位。

本发明具有以下有益效果及优点：

1.本发明提出一种基于曲率角点与多层轮廓特征模型的建模和匹配算法，可以实现多种印刷线路板的快速识别分类，与现有的方法相比，具有如下优势：

(1)算法效率高，实时性强，其识别效率优于200ms，可以满足电子制造行业的生产速度。

(2)算法鲁棒性强、不易受外部环境干扰，根据实际使用情况，识别率优于99％。

(3)目标识别库建立简单、方便，可根据识别结果调用相应的工艺库，是实现线路板混线生产的必要条件。

2.本发明提出一种基于正交曲线的可变形组件模型图像匹配算法，可以精确定位焊盘组点的区域位置，鲁棒性较强，可以克服焊盘或芯片组区域由于图像形变带来的负面影响，且算法执行效率高，可以满足电子行业的应用需求。与现有的方法相比，具有如下优势：

(1)可识别焊盘或芯片的错漏装，实现多种线路板的智能防错漏功能，识别率优于99％。

(2)算法鲁棒性强、不易受外部环境干扰，根据实际使用情况，其识别效率优于200ms。

(3)具有较高的定位精度，经实际应用验证，其绝对定位精度为0.05mm，重复定位精度为0.01mm。该精度水平可以充分满足电子制造行业的相关应用要求。

附图说明

图1为本发明的芯片定位方法图；

图2为基于图像金字塔的多级轮廓曲率角点形状图；

图3为印刷线路板原始图像；

图4为印刷线路板识别效果图；

图5为本发明的焊盘定位方法图；

图6为焊盘组点的可变模型图；

图7为焊盘及芯片组的快速精密定位效果图；

图8为模型数据库的建立流程图。

具体实施方式

本发明具体的功能目标可分为两个部分：一是实现多种印刷线路板的快速识别与分类，并建立标准识别库，使得识别成功率高于99％；二是实时获取自由姿态下印刷线路板的焊盘或芯片组的位置信息，从而实现被测目标的快速精密定位，并确保算法效率优于200ms。

下面结合附图及实施例对本发明做进一步的详细说明。

本发明的技术方案分为两个部分：一是自由姿态下多型印刷线路板的快速识别与分类技术；二是自由姿态背景下的焊接点与芯片组的快速精密定位技术。

1.自由姿态下多型印刷线路板的快速识别与分类技术

多型印刷线路板的快速识别与分类技术的核心内容是研究一种特征匹配算法，通过建立包含识别目标特征的标准数据库，建立过程如图8所示，并利用相关算法将待识别对象的相关特征与标注库信息特征进行匹配，从而达到目标对象的快速识别与分类的目的。针对印刷线路板姿态任意、且特征轮廓复杂等特点，本项目采用基于轮廓的曲率角点特征的图像匹配算法。

基于轮廓的曲率角点特征的图像匹配算法的原理是利用图像轮廓的曲率特性，选择轮廓上曲率绝对值的局部极大值点作为角点，将图像匹配转换为轮廓的角点匹配。其算法流程如图1所示：

提取目标图像的轮廓角点特征，并建立印刷线路板的特征模型数据库。基于角点间的相对距离关系和角点的曲率特性，构建角点的特征描述子，实现待识别印刷线路板图像与数据库中特征模型的轮廓角点匹配。由于距离和曲率均具有平移、旋转不变性，因此基于轮廓曲率角点的图像匹配算法能够克服待识别印刷线路板因摆放位置和角度所带来的影响。基于轮廓曲率角点的图像匹配算法能够有效实现图像的精准匹配。然而，焊盘及芯片组较多的印刷线路板轮廓角点数量较多，过多的匹配特征将导致算法效率降低，从而影响识别分类的实时性。

为此，引入启发式图像金字塔算法优化算法效率。如图2所示，通过计算得到较低分辨率的各级模板图像和搜索空间，这种由欠采样得到的较低分辨率图像序列称为分辨率金字塔，搜索过程从具有最低分辨率的那一层开始，最终结束于分辨率最高的那一层并获得准确的搜索结果。金字塔搜索过程中只有第一层搜索为全局遍历式搜索匹配，其他层则是以第一层搜索结果为中心进行小范围搜索，从而能够有效降低算法运算量。采用金字塔算法与基于轮廓曲率角点特征相结合的图像匹配算法，首先提取目标线路板的轮廓角点特征，然后利用角点匹配算法，将提取的轮廓轮廓角点特征优先与印刷线路板数据库中每个型号轮廓角点特征模型的低分辨率层进行匹配，若匹配度较高，则进行下一层的角点匹配，直至最高分辨率层；若低分辨率层匹配度较低，则进行下一个型号的角点特征匹配。遍历所有型号的电路模型，找到与待识别目标图像轮廓曲率角点特征匹配度最高的型号，即为待识别印刷电路板的型号。

为验证算法的有效性，本项目选取了多种类型的电路板作为待识别目标，其中包括未焊接的原始线路板、多种规格的带芯片组的印刷线路板及异形电路板。原始图像如图3所示。识别结果如图4所示，可实现多型线路板的准确识别，准确率为100％，且识别效率优于200ms。经过实验验证，基于金字塔算法与基于轮廓曲率角点匹配相结合的图像匹配算法，具有算法运行速度快，识别准确率高，抗环境干扰能力强的优势，可以满足实际项目需求。

2.自由姿态背景下的焊接点与芯片组的快速精密定位技术

自由姿态复杂背景下的焊接点与芯片组的快速精密定位技术的主要工作是研究相关模型匹配算法，在线路板摆放姿态任意且识别背景复杂的前提下，获取目标焊接点与芯片组的准确区域，并进行精密定位。算法主要流程如图5所示。

精密快速定位算法的核心是目标匹配算法，即在图像区域内找到与目标模型匹配度较高的区域，进而获取目标区域中目标对象的坐标信息。目前，本领域的相关匹配算法多是基于滑动块匹配方式实现的，将焊盘或芯片组作为整体，提取形状特征，建立多角度、多尺度特征模型，在待检图像上依次滑动特征模型，找到匹配度最高的区域。这类算法原理简单，运算时间较低，但是算法鲁棒性较低。若印刷电路板在制作过程中焊盘轻微形变或因外部环境光线干扰导致图像中焊盘形状特征变化，滑动块匹配算法的准确率将受到极大影响。针对上述算法的不足，我们采用了一种基于正交曲线的可变形组件模型的图像匹配算法，可实现任意姿态复杂背景下的印刷线路板焊盘或芯片组的快速精密定位。

可变形模板可描述为图像模板边缘的参数化曲线C：t→(x(t),y(t))，定义约束该曲线变形的外部和内部能量函数，通过计算使得内部和外部能量函数的加权和最小的解x₀(t),y₀(t)，即实现与目标图像的匹配。基于正交曲线的可变形组件模型图像匹配方法通过预先计算出可变形曲线沿着模板边缘的曲线，以控制可变形曲线进行大范围的变形，并避免出现奇异点，由于这些曲线与模板垂直，称之谓正交曲线。给定正交曲线，通过限制在模板上的每个点只能沿着它的正交曲线进行移动来控制模板变形。利用基于正交曲线的可变形组件模型图像匹配算法，首先提取焊盘组点的形状特征，结合金字塔算法，建立多层模板，然后针对形状特征定义约束变形正交曲线，建立基于正交曲线的焊盘及芯片组可变形模板，建立模板如图6所示。

利用建立的焊盘或芯片组点的可变形模型，采用基于正交曲线的可变形组件模型的图像匹配算法，在分割出的包含焊盘组点的待检测图像区域内，找到与可变形组件模型相匹配度最高的目标区域，并计算目标区域的中心点坐标，即可实现焊盘或芯片组的精确定位。算法对电子器件对应焊盘组点区域的定位结果和算法的运行时间如图7所示。将坐标信息发送到运动机构，即可以指引运动机构移动至焊盘或芯片组区域位置，进行自动化贴附、组装、分拣、打磨、点胶、检测、焊接等操作。

经过实验验证，利用轮廓特征匹配算法能够准确对电子器件进行快速精密定位，算法执行效率优于200ms，算法效率较高。将获取的电子器件位置信息与对应焊盘组点区域的位置信息相比较，即可以验证电子器件的贴附、组装或焊接位置是否准确。利用基于正交曲线的可变形组件模型的图像匹配算法可以精确定位焊盘组点的区域位置，鲁棒性较强，可以克服焊盘或芯片组区域由于图像形变带来的负面影响，且算法执行效率高，可以满足电子行业的应用需求。

本发明已在自主研发的“Eye-in-hand机器人视觉测量”软件上验证，软件应用平台为Windows7 64位，软件开发环境为Microsoft Visual Studio 2010，开发语言为C#。在硬件方面，主要要求有：CPU i3以上，内存2G以上，硬盘40G以上。图像采集设备采用映美精33GX249型工业相机，像素为200万像素，数据传输接口为GIGE。

首先，建立标准信息库，而后，采集待识别目标图像，并通过GIGE接口获取原始图像，在上位机完成电路板识别与焊盘/芯片精密快速定位。

Claims (4)

1.面向电子行业的电路板识别与芯片快速定位方法，其特征在于，包括以下步骤：

1)将待识别电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即ROI区域；

2)将精确识别后的电路板位置经仿射变换，得到水平姿态的电路板；

3)将设定姿态的电路板进行自适应阈值处理，得到识别目标；

4)将识别目标与标准模型数据库进行基于轮廓曲率角点特征的可变形组件图像匹配即DPM以及金字塔模型搜索，完成匹配即完成芯片的快速定位；

所述金字塔模型搜索过程为：

将识别目标的轮廓角点特征优先与模型数据库中某个型号电路板的轮廓角点特征的最低分辨率层进行匹配，若匹配度高于阈值，则进行下一层该型号电路板的轮廓角点特征匹配，直至最高分辨率层；若低分辨率层匹配度不高于阈值，则进行下一个型号电路板的轮廓角点特征匹配；

遍历所有型号的电路板的轮廓角点特征，找到与待识别目标图像轮廓曲率角点特征匹配度最高的型号，即为待识别印刷电路板的型号。

2.根据权利要求1所述的面向电子行业的电路板识别与芯片快速定位方法，其特征在于，所述轮廓曲率角点特征的可变形组态图像匹配即利用图像轮廓的曲率角点分布拓扑结构特性，选择轮廓上曲率绝对值的局部极大值点作为角点，将图像匹配转换为轮廓的角点拓扑结构匹配。

3.根据权利要求1所述的面向电子行业的电路板识别与芯片快速定位方法，其特征在于，所述标准模型数据库的建立流程为：

1)将每个型号的电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即图像ROI区域；

2)精确识别后的图像ROI区域经过仿射变换，得到水平姿态的电路板；

3)将水平姿态的电路板进行自适应阈值处理，得到识别目标；

4)将识别目标进行基于轮廓曲率角点特征的可变形模组匹配提取，得到识别目标的图像特征；

5)循环步骤1)～4)，得到多组电路板的轮廓角点特征，建立标准模型数据库。

4.面向电子行业的电路板识别与焊盘快速定位方法，其特征在于，包括以下步骤：

1)将待焊接电路板的原始图像经过噪声过滤以及阈值分割，得到精确识别后的电路板位置，即图像ROI区域；

2)检测电路板的姿态并进行仿射变换，得到水平姿态的电路板区域图像；

3)对水平姿态的电路板区域图像进行区域分割，得到待焊接焊盘组所在的小区域图像；

4)对小区域图像基于正交曲线的多层可变组件的模型匹配算法匹配，完成待焊接焊盘组定位；

5)获取待焊接焊盘组中心位置，完成焊盘的快速定位；

采用基于正交曲线的多层可变形组件的模型匹配算法，在分割出的包含焊盘组点的待检测图像区域内，找到与可变形组件模型相匹配度最高的目标区域，以及目标区域的中心点坐标，即可实现焊盘或芯片组的精确定位。