CN103140049A - 一种基于fpga的贴片机快速定位***及方法 - Google Patents

Abstract

一种基于FPGA的贴片机快速定位***及方法，由成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***六个部分组成，以SOPC控制***为中心，将各***联系在一起，照明***为贴片机自适应光源***，成像***利用图像传感器直接采集物体表面图像，图像采集***读取图像数据输出连接至图像处理***，图像处理***对图像数据进行处理后，输出连接至目标识别***。本发明建立了一套面对贴片机自适应光源的图像采集***和数字处理平台，图像采集处理***以FPGA为核心实现数字图像的高速处理和目标识别，提高了***的运行速度和定位精度，降低了设备的成本和复杂程度。

Description

一种基于FPGA的贴片机快速定位***及方法

技术领域：

本发明涉及一种数字图像处理和自动控制技术领域，具体涉及一种基于FPGA的贴片机快速定位***及方法。

背景技术

贴片机是SMT生产线上的关键生产设备，研究和开发高速高精度的贴装设备近年来一直是国外有关科研单位及大型电子设备制造厂商的重点目标。在贴片机控制***中，对拾取的芯片进行视觉检测是其中最重要的一环。由于多功能贴片机要处理的元器件封装形式多样化，考虑到各种元器件在外形和大小上的差异，对贴片机图像处理技术提出了新的要求。

贴片机控制***中，需要对扫描的芯片进行视觉检测，需要配置有图像采集和处理分析***，简称视觉***。图像处理***是贴片机视觉***中的重要组成部分，它直接影响贴片机的工作质量。图像处理***引起的误差，会影响整个***的识别精度。多功能贴片机要处理的元器件封装形式多样，有CHIP、SOP、SOIC、QFP、BGA、CSP、PLCC等。这些封装形式之间外观差异很大，有基本上是立方体的CHIP型，有带凹管脚的QFP型，也有带球状突起的BGA型。就算是同种封装，在芯片截面积的大小上也有很大的差异，跨度从0.254ms×0.58ms到50ms×50ms。各种元器件在外形和大小上的差异，对图像处理技术提出了较高的要求。在图像处理领域，经过多年的摸索，人们总结出了一系列经验性的原则，以对不同特征的数字图像进行恰当的算法处理使识别目标更加清晰。将这些经验原则灵活运用于贴片机定位***中，可以在实验室环境下使用相应的照明光源组合对各种外形的元器件适当图像采集和目标识别。

发明内容：

本发明所要解决的技术问题是：解决上述现有技术存在的问题，而研制一种基于FPGA的贴片机快速定位***及方法，建立一套面对贴片机自适应光源的图像采集***和数字处理平台，通过采集元器件当前图像，并实时进行图像处理。图像采集处理***以FPGA为核心实现数字图像的高速处理和目标识别，提高***的运行速度，提高***的定位精度，降低设备的成本和复杂程度。

本发明采用的技术方案是：这种基于FPGA的贴片机快速定位***，由成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***六个部分组成，以SOPC控制***为中心，将各***联系在一起，照明***为贴片机自适应光源***，成像***利用图像传感器直接采集物体表面图像，输出图像数据连接至图像采集***，图像采集***读取图像数据输出连接至图像处理***，图像处理***对图像数据进行处理后，输出连接至目标识别***。

上述技术方案中，所述的成像***由CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号线，CPLD与图像采集***之间的接口包括扩存储数据总线、控制信号线、电源线、地线和输入输出端口。

上述技术方案中，所述照明***的贴片机自适应光源***为环形光源、条形光源和同轴光源三种LED光源的组合。

本发明的基于FPGA的贴片机快速定位方法，具有成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***，以SOPC控制***为中心，将各***联系在一起；照明子***由各类光源、光源控制器和照明方案组成，负责接收图像处理***发出的指令，并根据指令调速光源组合形式；成像***利用图像传感器直接采集物体表面图像，然后对图像数据进行处理并传输给图像采集***；图像采集***完成对图像数据缓存器FIFO的读取，通过获得图像同步信号向DSP***发出中断信号；图像处理***对图像进行降噪与增强的同步流水线处理；然后输出连接至目标识别***，目标识别***以图像匹配为基础，把目标识别定位转化为图像匹配。

上述技术方案中，所述的照明***为贴片机自适应光源，采用环形光源、条形光源和同轴光源三种LED光源组合方式，所述的LED光源采用可编程控制的LED光源。

上述技术方案中，所述的图像处理***对图像进行降噪处理为：采用统计排序滤波器对图像进行中值滤波，中值滤波器由FPGA来实现；所述的对图像进行增强处理为：采用基于微分的细节锐化滤波器对图像进行锐化处理，并采用Sobel算子对图像进行边沿检测。

上述技术方案中，所述的目标识别***包含三大核心部分：样本图像数据库的建立、待识别图像的规格化处理和匹配处理；建立样本图像数据库主要是特征提取，将待识别的图像变换成与样本图像相匹配的规格；匹配处理是比较样本图像与待识别图像之间的特征相似度、完成匹配算法的过程。

上述技术方案中，所述的SOPC控制***，以ARM为基础对各部分进行集中管理，不依赖计算机，独立完成全***的程序同步控制。

下面对本发明的各***分别作进一步的详细说明：

成像***

视觉成像***主要完成图像传感器的成像和图像数据传输功能，形成清晰且数据量小的图像，实现可靠传输以满足下一阶段图像处理的需要。利用图像传感器直接采集物体表面图像，然后对图像数据进行处理。图像数据是整个***处理分析的依据，是后期进行图像处理的关键。

在视觉成像***中，主要CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号等。CPLD与图像采集***之间的接口主要包括外据为扩存储数据总线、控制信号线、电源线、地线和输入输出端口等。

照明***

照明***主要由各类光源、光源控制器和照明方案组成，其功能主要负责接收图像处理***发出的指令，并根据指令调速光源组合形式。在机器视觉应用***中，需要良好的光源与照明方案，是整个***设计成败的关键，并不是简单的照亮物体。光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部分之间应尽可能地增加对比度。同时还应保证足够的整体亮度，物***置的变化不影响成像的质量。贴片机自适应光源***对光源的形状也采用多元化的组合方式，主要采用环形光源、条形光源和同轴光源等三种LED光源组合方式。根据元件封装形式的不同，采用不同的照射条件。贴片自适应光源***中采用可编程控制的LED光源，也就是根据不同的目标物选择不同的照明方式，相当于同时有几个光源可以照射到目标，这样可以达到对每种元件都能够采集到足够对比度和清晰的图像。主要用到的方式有背面照射、正面照射和侧面照射三种。

图像采集***

图像采集***主要完成对图像数据缓存器FIFO的读操作，通过获得图像的同步信号向DSP***发出中断信号，以上操作主要由CPLD来完成。

图像处理***首先进行图像的降噪处理。数字图像来源于现实的影像，在图像的获取过程中受各种噪声的影响，同时噪声对图像质量的影响也十分复杂。数字图像处理过程中，去除噪声的主要方法之一是进行图像滤波。典型的滤波方法是统计排序滤波器的中值滤波，一种非线性的空间滤波器。

本***设计的中值滤波器由FPGA来实现，中值滤波既能消除图像中的噪声，而且还能较好地保持图像的边缘。首先借构建一个三值排序的方法，作为后端图像处理排序的基础。根据实际处理速度、处理效果和器件资源要求，本***选用的是3×3邻域窗口。本***所使用的排序方法对传统方法进行了改进，它基于三输入排序单元，每个三输入单元由若干二输入单元构成，排序过程如图1～4所示。

图像处理***其次进行图像的增强处理。图像增强的处理目的是使图像更适合特定的应用，本***图像处理的最终是目标识别。而待识别的图像边界越清晰，识别的成功率就越高。锐化处理主要是突出图像中的细节或者增强被模糊了的细节，这些模糊是图像采集时不可避免的。基于微分的细节锐化滤波器是应用很广而又相对容易实现的锐化滤波器，其中二阶微分处理对细节有较强的响应，对线的响应阶梯性强，非常适合识别图像的锐化处理。

本***采用的是Sobel算子对图像进行边沿检测，并在应用时做了适当的修改。Sobel算子得到的结果是对水平和垂直方向的响应最大。由于图像在边缘附近会出现灰度上的突变，本***利用Sobel边缘检测方法，通过考察图像某像素在其领域内水平和垂直方向上的灰度变化，然后利用一阶导数来检测边缘。如图5～7所示，其水平、垂直梯度值的计算

$\▿f\≈|(z_7+2z_8+z_9)-(z_1+{2z}_2+z_3)|+|(z_3+{2z}_6+z_9)-$ $(z_1+{2z}_4+z_{73})|$ 算法的实现过程由FPGA完成，首先采用4个4输入8位加法器实现(z₇+2z₈+z₉)等4个求和运算，此处运算没有采用乘法器，而用加法实现2倍运算，保证运算的同步性。然后使用4个10位减法器和4个三态选通模块，实现两个减法和绝对值运算。最后用一个2输入10加法器完成最后结果。Sobel算法在FPGA中只需一个时钟周期完成，能够与前面设计的中值滤波同步完成。

图像处理最后一部分是目标识别***，本***针对高速贴片机的需要提出了一种新型的目标高速识别***，以图像匹配为基础，把目标识别定位问题转化成图像匹配的问题。本***的基本思路是从原图像中抽取图像的特征，用户以此作为识别的依据，建立样本图像数据库，再将待识别的图像变换成与模板相匹配的规格，待查询图像通过与样本库之间的匹配，从而实现图像的识别。

本***主要包含三大核心部分：样本图像数据库的建立、待识别图像的规格化处理和匹配处理。建立样本图像数据库主要是特征提取，特征提取是要求有足够的区分度和执行性。特征提取可以是提取图像全局的特征，也可以是图像中局部的特征。匹配处理是比较模板图像与待识别图像之间的特征相似度，完成匹配算法的过程。

本***是针对性很强的识别***，同时对***有着特别的要求，特别是在识别速度方面要求很高。而特征提取的原理，关键性的决定了整个***的识别精度和识别速度的高低。图像特征表述是以颜色、形状、纹理和空间关系等为主要的特征，还有统计特征和结构特征。

匹配标准模板特征提取，首先经过必要的图像处理，强化图像特征，再进行标准化，标准化的目的是使待的图像和标准模板的匹配特征相适应。本***因样本较少，因此在标准化时，并不考虑图像的缩放，以更好的保证***的运行速率和识别的准确度。标准模板都为二值图像模板(字符为1像素，背景为0像素)，同时待识别的图像也是字符像素为1，背景像素为0的二值图像，相似度作为判据准则。

识别***的具体的***框架结构如图8所示。识别***样本特征库，通过样本采集与特征提取建立后，作为***的一个稳定的匹配模板库。待识别的图像，首先判断目标的基本信息，不同的对象调用不同的匹配模板，并确定相似度的计算位数。图像匹配是点与点匹配的过程，***采用FPGA的异或门实现点与点的匹配，建立一个与图片像素大小相同的异或门矩阵，便可一次性完成图像的匹配过程，本***称该矩阵为匹配矩阵。相似度计算模块的主要组成部分是位加法器，将匹配矩阵的输出累加起来，既为模板与待识别图像的相似度。

匹配矩阵结构如图8所示，图像匹配矩阵由待识别图像FIFO、模板图像FIFO、待识别图像累加器、模板图例累加器、与门矩阵、异或门矩阵、匹配结果有效判定模块、匹配结果累加模块组成。先将待识别图像和模板图像数据写入FIFO，然后分别求出待识别图像和模板图像的有效像素个数。

本发明建立了一套面对贴片机自适应光源的图像采集***和数字处理平台，通过采集元器件当前图像，并实时进行图像处理。图像采集处理***以FPGA为核心实现数字图像的高速处理和目标识别，提高***的运行速度，提高***的定位精度，降低设备的成本和复杂程度，具有很强的实用性。

附图说明：

图1～4为三输入排序过程图，其中图1为3×3邻域图，图2为行排序图，图3为列排序图，图4为对角排序图；

图5～7为Sobel算子图，其中图5为3×3掩模图，图6为Sobel算子垂直梯度图，图7为Sobel算子水平梯度图；

图8为匹配矩阵结构图；

图9为自动对准***机构示意图；

图10为自动对准流程框图。

具体实施方式

1、基于FPGA的贴片机快速定位***总体实施方式

基于FPGA的贴片机快速定位***，由成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***6个部分组成。由成像***、照明***和图像采集***3个部分完成对目标图像的采集，由图像处理***和目标识别***2个部分完成对目标图像的定位。本发明以SOPC控制为中心，利用图像传感器技术、数据采集技术、信息传输借口技术、数字图像处理技术、FPGA的时序控制技术和基于FPGA的图像匹配技术，综合集成，实现贴片机的目标快速定位，如图9所示，图中，1-芯片，2-基底，3-对准***工作台。

2、成像***

在视觉成像子***中，主要CPLD与图像传感器组成，***利用图像传感器进行图像采集，采用ALTERA的低成本CPLD为时序控制与图像传感器驱动核心，使用硬件描述语言在QUARTUSII6.5开发环境中对图像传感器及模拟前端驱动时序，对模数转换进行同步行采样控制。本发明可使图像数据实时采集***在FPGA技术的支持下可实现硬件实现图像处理和识别，并行处理程度高。可实现识别***的高速处理，集成度高，硬件电路简单，避免了传统设计中使用大量分立元件的繁琐方式。为保证调试的方便和设计的可靠性，图像采集部分的相对独立模块式设计，为各***的研究创建了的实验研发平台和方便***分组升级。

3、照明***

光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部分之间应尽可能地增加对比度。同时还应保证足够的整体亮度，物***置的变化不影响成像的质量。贴片机自适应光源***对光源的形状也采用多元化的组合方式，主要采用环形光源、条形光源和同轴光源等三种LED光源组合方式。根据元件封装形式的不同，采用不同的照射条件。贴片自适应光源***中采用可编程控制的LED光源，也就是根据不同的目标物选择不同的照明方式，相当于同时有几个光源可以照射到目标，这样可以达到对每种元件都能够采集到足够对比度和清晰的图像。主要用到的方式有背面照射、正面照射和侧面照射三种。

4、图像处理***

图像处理***首先进行图像的降噪处理。本发明图像处理***设计的中值滤波器由FPGA来实现，中值滤波既能消除图像中的噪声，而且还能较好地保持图像的边缘。首先借构建一个三值排序的方法，作为后端图像处理排序的基础。根据实际处理速度、处理效果和器件资源要求，本发明选用的是3×3邻域窗口。

图像处理***其次进行图像的增强处理。本发明采用的是Sobel算子对图像进行边沿检测，并在应用时做了适当的修改。Sobel算子得到的结果是对水平和垂直方向的响应最大。由于图像在边缘附近会出现灰度上的突变，本***利用Sobel边缘检测方法，通过考察图像某像素在其领域内水平和垂直方向上的灰度变化，然后利用一阶导数来检测边缘。

5、目标识别***

图像处理最后依一部分是目标识别***，本***主要包含三大核心部分：建立样本图像数据库、待识别图像的规格化和匹配处理。本***是针对性很强的识别***，同时对***有着特别的要求，特别是在识别速度方面要求很高。图像特征表述是以颜色、形状、纹理和空间关系等为主要的特征，还有统计特征和结构特征。

匹配标准模板特征提取，首先经过必要的图像处理，强化图像特征，再进行标准化，标准化的目的是使待识别的图像和标准模板的匹配特征相适应。标准模板都为二值图像模板(字符为1像素，背景为0像素)，同时待识别的图像也是字符像素为1，背景像素为0的二值图像，相似度作为判据准则。

识别***样本特征库，通过样本采集与特征提取建立后，作为***的一个稳定的匹配模板库。待识别的图像，首先判断目标的基本信息，不同的对象调用不同的匹配模板，并确定相似度的计算位数。图像匹配是点与点匹配的过程，***采用FPGA的异或门实现点与点的匹配，建立一个与图片像素大小相同的异或门矩阵，便可一次性完成图像的匹配过程，本***称该矩阵为匹配矩阵。相似度计算模块的主要组成部分是位加法器，将匹配矩阵的输出累加起来，既为模板与待识别图像的相似度，其自动对准***如图10所示。

Claims (8)

1.一种基于FPGA的贴片机快速定位***，其特征在于：由成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***六个部分组成，以SOPC控制***为中心，将各***联系在一起，照明***为贴片机自适应光源***，成像***利用图像传感器直接采集物体表面图像，输出图像数据连接至图像采集***，图像采集***读取图像数据输出连接至图像处理***，图像处理***对图像数据进行处理后，输出连接至目标识别***。

2.根据权利要求1所述的基于FPGA的贴片机快速定位***，其特征在于：所述的成像***由CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号线，CPLD与图像采集***之间的接口包括扩存储数据总线、控制信号线、电源线、地线和输入输出端口。

3.根据权利要求1所述的基于FPGA的贴片机快速定位***，其特征在于：所述照明***的贴片机自适应光源***为环形光源、条形光源和同轴光源三种LED光源的组合。

4.一种基于FPGA的贴片机快速定位方法，其特征在于：具有成像***、照明***、图像采集***、图像处理***、目标识别***和SOPC控制***，以SOPC控制***为中心，将各***联系在一起；照明子***由各类光源、光源控制器和照明方案组成，负责接收图像处理***发出的指令，并根据指令调速光源组合形式；成像***利用图像传感器直接采集物体表面图像，然后对图像数据进行处理并传输给图像采集***；图像采集***完成对图像数据缓存器FIFO的读取，通过获得图像同步信号向DSP***发出中断信号；图像处理***对图像进行降噪与增强的同步流水线处理；然后输出连接至目标识别***，目标识别***以图像匹配为基础，把目标识别定位转化为图像匹配。

5.根据权利要求4所述的基于FPGA的贴片机快速定位方法，其特征在于：所述的照明***为贴片机自适应光源，采用环形光源、条形光源和同轴光源三种LED光源组合方式，所述的LED光源采用可编程控制的LED光源。

6.根据权利要求4所述的基于FPGA的贴片机快速定位方法，其特征在于：所述的图像处理***对图像进行降噪处理为：采用统计排序滤波器对图像进行中值滤波，中值滤波器由FPGA来实现；所述的对图像进行增强处理为：采用基于微分的细节锐化滤波器对图像进行锐化处理，并采用Sobel算子对图像进行边沿检测。

7.根据权利要求4所述的基于FPGA的贴片机快速定位方法，其特征在于：所述的目标识别***包含三大核心部分：样本图像数据库的建立、待识别图像的规格化处理和匹配处理；建立样本图像数据库主要是特征提取，将待识别的图像变换成与样本图像相匹配的规格；匹配处理是比较样本图像与待识别图像之间的特征相似度、完成匹配算法的过程。

8.根据权利要求4所述的基于FPGA的贴片机快速定位方法，其特征在于：所述的SOPC控制***，以ARM为基础对各部分进行集中管理，不依赖计算机，独立完成全***的程序同步控制。

Images