CN102156978A - 基于机器视觉的工业器件快速定位方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的工业器件快速定位方法，是一种运行在由工业镜头、工业相机、图像采集卡和工控机搭建的硬件环境上运行的机器视觉软件所采用的器件定位方法。本发明的方法采用多分辨率分析和小波变换特征相接合的方法，首先利用小波变换的水平和垂直方向系数的投影变换矢量进行粗定位，然后在低分辨率图像中进行模板匹配，最后在原图像的粗定位领域内进行精确定位。该方法在半导体、电子制造业中的应用效果极佳，通过采用多分辨率分析定位准备，尤其是显著地提高了定位速度，可以在10毫秒左右完成一个晶元的定位过程。

Description

基于机器视觉的工业器件快速定位方法

技术领域

本发明涉及工业器件定位方法，尤其涉及一种基于机器视觉的工业器件快速定位方法。

背景技术

近几年随着我国工业自动化水平的不断提高，采用主动机器视觉定位***，利用摄像机、图像采集卡和工业计算机进行零件工位的精确定位的企事业越来越多。例如，视觉传感技术和机器视觉在半导体工业上的应用早在二十年前就已开始，半导体、电子设备市场是机器视觉技术发源地并一直成为机器视觉赖以生存的巨大市场之一。半导体、电子制造业每一次技术上的飞跃，如：晶元越做越大，而内部线路越做越细，目前正向超细间距式器件发展；连接器体积越来越小，每分钟生产线上需要检测、测量器件的数量越来越多，这都将要求开发新的半导体、电子生产装备。在这些新的机器装备中，机器视觉对设备的生产效率有最大的作用，是提高生产线上每分钟完成的检测和定位的器件数量的关键步骤。但目前采用核心方法大多是国外的技术，其价格之高常令我们望而却步。

发明内容

鉴于现有技术所存在的上述问题，本发明针对如何提高半导体生产设备-粘片机中的机器视觉定位速度的问题，提供一种基于机器视觉的工业器件快速定位方法，它采用多级灰度图像识别处理***，采用基于图像的小波分析的多分辨率分析和投影方法，通过快速定位方法对晶元进行识别和检测，包括墨点，缺边，缺角，裂缝等。

本发明利用多分辨率分析对信号具有连续逼近的能力来构造图像的塔式分解，基于正交小波变换的多分辨率分析在每个尺度上都将这一尺度的低频平滑图像分解为新的低频平滑图像和高频细节图像，每部分图像的面积为上一尺度的1/4，而且在每一分解尺度，低频平滑图像集中了原始图像的大部分能量，反映了图像的绝大部分结构信息，完全可以利用这些不同尺度上的低频图像进行分层匹配。在各层中的匹配运算中，可以采用误差累加的方法快速寻找可能的匹配点集合。

另一方面，在晶元定位过程中，我们在对目标图像和相应的模板进行图像分析后，可以发现匹配位置的分布特点，在图像的垂直和水平的图像像素值较高位置的交汇点附近就是我们所要确定的匹配的最佳点，由此我们可以极大程度的排除大量非匹配点，留下少数候选点，从而减少运行时间，而精确度不会减弱，这一方法极大地提高了运算速度，达到了设备的实时性要求，并且准确性比国外设备有了进一步的提高。

基于上述分析，本发明的技术解决方案是这样实现的：

一种基于机器视觉的工业器件快速定位方法，包括下述步骤：

(1)选择模板图像T：用归一化的二维相关性对目标图S进行分析，以确定模板的大概位置，继而从目标图S中手动选择模板图像T；

(2)确定邻域图像R：按照目标图S的大小，搜索的起点和模板图像T的大小因素在目标图S中自动计算邻域大小，得到邻域图像R；

(3)目标图S的二级定位，包括利用小波变换的水平和垂直方向系数的投影变换矢量进行粗定位，然后在低分辨率图像中进行模板匹配：

首先对邻域图像R和模板图像T进行小波变换；然后对邻域图像R的小波系数的水平分量LH进行垂直方向的投影，对其垂直分量HL进行水平方向的投影；找到投影图像中的极大值和极小值位置，将这些极值作为粗定位的邻域中心位置；然后利用邻域图像R和模板图像T小波变换后的低分辨率模板即LL分量在粗定位的邻域内进行模板匹配运算，得到目标图S的二级位置；

(4)目标图像的精确定位，是在原图像的粗定位邻域内进行精确定位：

对模板图像T进行边缘检测处理，找到模板轮廓的全局不变化边缘图像，对邻域图R进行同样的边缘检测处理；利用模板图像T的边缘图和邻域图像R的边缘图进行模板匹配算法，最后得到晶元的精确位置。

进一步的，所述步骤(3)目标图S的二级定位包括下述过程：

(3.1)对取得的邻域图像R进行L级小波分解，并保存各级分解后的低分辨率图像R_LL，第L级小波分解后的水平分量LH和垂直分量HL，其中L表示第L级小波分解；

(3.2)对模板图像T进行L级小波分解，并保存分解后的低分辨率图像T_LL，；

(3.3)对邻域图像R的水平分量LH和垂直分量HL进行投影变换，分别求各行元素之和与各列元素之和，得到一维数组h_L和v_L，再将h_L，v_L合成二维矩阵hv_L，则h_L，v_L和hv_L的极大值处就是匹配点；根据误差的性质，设置一个合适的阈值，取极大值周围的点，h_L和v_L分别为横坐标和纵坐标，得到候选点集合P_L；

(3.4)根据候选点集合P_L设定一个搜索区域，在此区域内，对模板图像的低分辨率图像T_LL和邻域图像R的低分辨率图像R_LL进行模板匹配；

(3.5)使用

误差累加式，式中

表示位置(i，j)的匹配度量，其值越小，说明匹配程度越好，同样设置一个合适的阈值，在点集P_L区域内找到匹配程度最好的候选点集合P_H；其中，L表示第L级小波分解，k表示多分辨模板第L层的大小，R(m，n)和T(i，j)分别表示邻域图像和模板图像的第L层的小波变换系数；

所述步骤(4)目标图像的精确定位包括下述过程：

(4.1)对模板图像T和邻域图像R进行边缘检测处理；

(4.2)根据候选点集合P_H设定一个搜索区域，在此区域内，对模板图像T的边缘图和邻域图像R的边缘图进行模板匹配，求得在邻域图像中的最佳匹配点；

(4.3)根据邻域图像R在目标图S中的位置，在目标图S中确定最佳匹配位置点的坐标，并作为最终结果。

本发明的工业器件定位方法与传统的匹配方法不同，传统的匹配方法是基于图像灰度的相关匹配，或称之为直接匹配，就是通过模板与目标图的灰度相关性逐点计算，因而计算量过大，速度慢，不适用于快速定位。基于高斯金字塔的模板匹配就是通过对目标图进行多分辨率的由粗到细的匹配，最终获得最佳匹配位置，但是高斯金字塔的模板匹配质量受到了背景因素的严重影响，在工业应用中达不到准确度的要求。为了提高匹配质量，必须：①进行背景因素的修正；②不使用简单的模板与搜索区域的差来度量它们之间的匹配，而使用一种全局不变量进行匹配度计算。本发明在半导体、电子制造业等领域中显示了极佳的应用效果，通过采用多分辨率分析定位快速、准确，尤其显著提高了定位速度，可在10毫秒左右完成一个晶元的定位过程；较之直接匹配法，其定位速度提高150倍左右；较之高斯金字塔的模板匹配方法和小波金字塔的模板匹配方法，其定位速度提高了5-7倍。

附图说明

图1(a)是一种Wafer的图像，Wafer中排列的是第一种晶元，(b)为其晶元模板；

图2(a)是另一种Wafer的图像，Wafer中排列的是第二种晶元，(b)为其晶元模板；

图3是Wafer图像中晶元的归一化二维相关性分析图；

图4是目标图像在空间域的投影，其中(a)目标图像的水平投影图，(b)目标图像的垂直投影图；

图5是目标图像进行小波变换后的投影，其中(a)小波系数的水平分量投影；(b)小波系数的垂直分量投影；(c)小波系数水平和垂直投影的二维矩阵；

图6是实施例所述基于机器视觉的工业器件的快速定位方法的流程图。

具体实施方式

一种基于机器视觉的工业器件的快速定位方法，是一种由工业镜头、工业相机、图像采集卡和工控机搭建的硬件环境上运行的机器视觉软件所采用的器件定位方法。

其硬件和软件环境如下：

其硬件部分包括工业用光源、工业镜头、工业相机、图像采集卡和工业计算机。其中：光源为摄像机提供稳定均匀的光照条件，可以有效地提高图像质量；工业镜头是精确定位的基础，是光学器件，可以提供清晰的图像；工业相机是图像感应部件，是高分辨率的图像传感器，采用该摄像机可以得到高分辨率的图像；图像采集卡安装在工业计算机中，是对图像进行快速采集的核心部分，如果摄像机采用I1394接口，图像采集卡则可以不用，摄像机通过I1394接口与计算机直接连接。

机器视觉软件部分，安装在工业计算机中，本发明所述的基于机器视觉的工业器件的快速定位方法就应用在该部分中。

基于小波金字塔的模板匹配是通过对目标图进行多分辨率的由粗到细的匹配，最终获得最佳匹配位置；而基于小波的多分辨率匹配在无须对有关背景因素进行修正的情况下，基于小波变换域的模板匹配仍具有良好的准确性，而且仅在最低分辨率层就能获得几乎100％的准确率，即使在较大的预计可能位置数目的情况下，还是能够通过在较高分辨率层的精选过程，容易地获得100％的准确率，并且这是一种基于象素级特征的匹配，边缘特征的能量越大，它对模板匹配起的作用也越大，这非常符合本发明中的晶元的特征。本发明的匹配方法就是在基于小波金字塔的匹配的基础之上，先对可能的目标图和模板的特征进行分析，而晶元的目标图和模板水平和垂直特征明显，可以从图像中提取出可能的最佳匹配点，对提取出的点进行匹配从而减少了计算量。

本发明的技术解决方案基础：

半导体工业中的晶元的形状是规则的，主要是标准的正方形和长方形，如图1、图2所示。首先用归一化的二维相关性对目标图S和模板分析，以对图1所示的Wafer的图像的分析为例，分析结果如图3所示，从分析结果可以看出模板在目标图中的分布很均匀，规律，基本呈现水平和垂直分布，因此再对目标图求各行元素之和和各列元素之和，并将得到的一维数组，对得到的一维数组分析，如图4、图5所示，我们可以很清楚的看到像素的分布情况与模板在目标图中的位置的关系，以确定模板的大概位置。

本发明的技术解决方案的具体实现过程包括：

一、目标图像的二级定位

首先对目标图像和模板图像进行小波变换，然后对小波系数的LL分量进行水平方向的投影，对小波系数的HH分量进行垂直方向的投影；找到投影图像中的极大值和极小值位置，将这些极值作为粗定位的邻域中心位置。然后利用小波变换后的LL分量在粗定位的邻域内进行模板匹配运算，得到目标图像的二级位置。

二、目标图像的精确定位

对模板图像进行边缘检测处理，找到模板轮廓的全局不变化边缘图像，利用边缘检测算法对目标图像进行同样的边缘检测处理。利用模板图像的边缘图和目标图像的边缘图进行模板匹配，最后得到晶元的精确位置。

本发明所述的基于机器视觉的工业器件快速定位方法的具体步骤，如图6所示，包括：

1、手动在目标图S中选取一个晶元图像作为模板图像T；

2、按照目标图S的大小，搜索的起点和模板图T的大小等因素在目标图中自动计算邻域大小，可以为三个模板图像的大小，从而得到邻域图像R；

3、对取得的邻域图像R进行L级小波分解，在此我们用一级小波变换，即L＝1，并保存各级分解后的低分辨率图像R_LL，第L级小波分解后的水平分量LH_L和垂直分量HL_L；

4、对模板图T进行L级小波分解，在此我们用一级小波，即L＝1，并保存分解后的低分辨率图像T_LL；

5、对邻域图像的水平分量LH和垂直分量HL进行投影变换，分别求各行元素之和与各列元素之和，得到一维数组h_L和v_L，再将h_L，v_L合成二维矩阵hv_L。对h_L，v_L和hv_L分析，如图5所示，可知在其极大值处就是匹配点。根据误差的性质，为了结果更精确，我们设置一个合适的阈值，取极大值周围的点，h_L和v_L分别为横坐标和纵坐标，得到候选点集合P_L；

6、根据候选点集合P_L设定一个搜索区域。在此区域内，对模板图像的低分辨率图像T_LL和邻域图像R的低分辨率图像R_LL进行模板匹配；

7、使用

误差累加式，式中

表示位置(i，j)的匹配度量，其值越小，说明匹配程度越好，同样设置一个合适的阈值，在点集P_L区域内找到匹配程度最好的候选点集合P_H；其中，L表示第L级小波分解，k表示多分辨模板第L层的大小，R(m，n)和T(i，j)分别表示邻域图像和模板图像的第L层的小波变换系数；

8、对模板图像T和邻域图像R进行边缘检测处理；

9、根据候选点集合P_H设定一个搜索区域；在此区域内，对模板图像T边缘图和邻域图像R的边缘图进行模板匹配，求得在邻域图像中的最佳匹配点。

10、根据邻域图像在目标图S中的位置，在目标图S中确定最佳匹配位置点的坐标，并作为最终结果。

利用本发明的方法，我们实现了对二种晶元进行定位，并将其定位时间与传统方法进行比较，其对比结果见下表：

表1为如图1所示第一种晶元采用不同方法定位的结果对比

第一种晶元	直接匹配	高斯金字塔的模板匹配	小波金字塔的模板匹配	本发明的匹配方法
					位置	(738，86)	(737，85)	(738，86)	(738，86)
定位时间	1.638s	0.0678s	0.0514s	0.0095s

表2为如图2所示的第二种晶元采用不同方法定位的结果对比

第二种晶元	直接匹配	高斯金字塔的模板匹配	小波金字塔的模板匹配	本文的匹配方法
					位置	(721，43)	(723，40)	(720，43)	(720，42)
定位时间	1.467s	0.0613s	0.0496s	0.0082s

本发明所述快速定位方法应用于机器视觉软件部分，安装在工业计算机中；也可能运行在嵌入式***中，嵌入式***代替工控机可以达到相同的效果。

所述快速定位方法是针对利用机器视觉技术对半导体工业领域设备的Wafer上的晶元进行定位而开发的，也可以应用于其它的工业器件的定位中，获得快速定位的效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于机器视觉的工业器件快速定位方法，包括下述步骤：

(1)选择模板图像T：用归一化的二维相关性对目标图S进行分析，以确定模板的大概位置，继而从目标图S中手动选择模板图像T；

(2)确定邻域图像R：按照目标图S的大小，搜索的起点和模板图像T的大小因素在目标图S中自动计算邻域大小，得到邻域图像R；

(3)目标图S的二级定位，包括利用小波变换的水平和垂直方向系数的投影变换矢量进行粗定位，然后在低分辨率图像中进行模板匹配：

首先对邻域图像R和模板图像T进行小波变换；然后对邻域图像R的小波系数的水平分量LH进行垂直方向的投影，对其垂直分量HL分量进行水平方向的投影；找到投影图像中的极大值和极小值位置，将这些极值作为粗定位的邻域中心位置；然后利用邻域图像R和模板图像T小波变换后的低分辨率模板即LL分量在粗定位的邻域内进行模板匹配运算，得到目标图S的二级位置；

(4)目标图像的精确定位，是在原图像的粗定位邻域内进行精确定位：

对模板图像T进行边缘检测处理，找到模板轮廓的全局不变化边缘图像，对邻域图R进行同样的边缘检测处理；利用模板图像T的边缘图和邻域图像R的边缘图进行模板匹配算法，最后得到晶元的精确位置。

2.根据权利要求1所述的基于机器视觉的工业器件快速定位方法，其特征在于：

所述步骤(3)目标图S的二级定位包括下述过程：

(3.1)对取得的邻域图像R进行L级小波分解，并保存各级分解后的低分辨率图像R_LL，第L级小波分解后的水平分量LH_L和垂直分量HL_L，其中L表示第L级小波分解；

(3.2)对模板图像T进行L级小波分解，并保存分解后的低分辨率图像T_LL，；

(3.3)对邻域图像R的水平分量LH和垂直分量HL进行投影变换，分别求各行元素之和与各列元素之和，得到一维数组h_L和v_L，再将h_L，v_L合成二维矩阵hv_L，则h_L，v_L和hv_L的极大值处就是匹配点；根据误差的性质，设置一个合适的阈值，取极大值周围的点集，h_L和v_L分别为横坐标和纵坐标，得到候选点集合P_L；

(3.4)根据候选点集合P_L设定一个搜索区域，在此区域内，对模板图像的低分辨率图像T_LL和邻域图像R的低分辨率图像R_LL进行模板匹配；

(3.5)使用

误差累加式，式中

表示位置(i，j)的匹配度量，其值越小，说明匹配程度越好，同样设置一个合适的阈值，在点集P_L区域内找到匹配程度最好的候选点集合P_H；其中，L表示第L级小波分解，k表示多分辨模板第L层的大小，R(m，n)和T(i，j)分别表示邻域图像和模板图像的第L层的小波变换系数；

所述步骤(4)目标图像的精确定位包括下述过程：

(4.1)对模板图像T和邻域图像R进行边缘检测处理；

(4.2)根据候选点集合P_H设定一个搜索区域，在此区域内，对模板图像T的边缘图和邻域图像R的边缘图进行模板匹配，求得在邻域图像中的最佳匹配点；

(4.3)根据邻域图像R在目标图S中的位置，在目标图S中确定最佳匹配位置点的坐标，并作为最终结果。

Images