CN106485699A - 一种基于点匹配的基准标志定位方法 - Google Patents

Abstract

本发明提供一种定位精度高、实时性好及对光照具有较高鲁棒性的基于点匹配的基准标志定位方法，属于图像处理技术领域。包括如下步骤：步骤一：离线获取表征Mark点形状的关键顶点；步骤二：在线获取待定位Mark点的图片，进行角点或中心点检测，得到Mark点的角点或中心点；步骤三：对步骤二检测到的角点，进行聚合，并提取亚像素角点；步骤四：建立从步骤三中提取的亚像素角点或步骤二得到的中心点变换至步骤一得到的相应关键顶点的空间变换函数，利用配准方法，求取建立的空间变换函数的参数，即：获得待定位Mark点的图片的Mark点定位信息。本发明用于SMT对PCB板的Mark点的定位。

Description

一种基于点匹配的基准标志定位方法

技术领域

本发明涉及一种定位方法，特别涉及一种基于点匹配的基准标志定位方法，属于图像处理技术领域。

背景技术

SMT(表面贴装技术，Surface Mount Technology)的广泛应用，极大的提升了电子产业的自动化程度，降低劳工成本，增加生产效率。SMT技术的成熟度标志着电子产业的竞争力。而贴装精度和速度作为两项重要指标，决定这项技术的先进程度。在SMT中的定位中大部分基于Mark点的，因此Mark点的视觉定位精度和速度在SMT技术中具有决定性作用。

现有的Mark点定位方法主要集中在利用基于二值图像的和基于边缘的。但是现有这种Mark点定位方法的通用性不高，且定位实时性、定位精度和对光照的鲁棒性均不理想。

发明内容

针对上述不足，本发明提供一种定位精度高、实时性好及对光照具有较高鲁棒性的基于点匹配的基准标志定位方法。

本发明的一种基于点匹配的基准标志定位方法，包括如下步骤：

步骤一：离线获取表征Mark点形状的关键顶点；

步骤二：在线获取待定位Mark点的图片，进行角点或中心点检测，得到Mark点的角点或中心点；

步骤三：对步骤二检测到的角点，进行聚合，并提取亚像素角点；

步骤四：建立从步骤三中提取的亚像素角点或步骤二得到的中心点变换至步骤一得到的相应关键顶点的空间变换函数，利用配准方法，求取建立的空间变换函数的参数，即：获得待定位Mark点的图片的Mark点定位信息。

优选的是，所述步骤一包括：

步骤一一：设定SMT的Mark点模板，确定Mark点模板的关键顶点；

步骤一二：对照设定的Mark点模板，离线获取相应的Mark点的信息及对应关键顶点的信息。

优选的是，所述步骤一一为：

设定SMT的Mark点模板包括圆形、三角形、矩形、菱形、蝶形、双矩形、十字形和井形Mark点模板；

关键顶点的寻找方式为：对于圆形Mark点模板，关键顶点为圆形Mark点的中心；对于其他Mark点模板，关键顶点为Mark点的顶点。

优选的是，所述步骤二包括：

步骤二一：当待定位Mark点的图片为圆形Mark点时，对待定位Mark点的图片进行边缘提取，再采用霍夫圆检测方法获取待定位Mark点的图片的Mark点的中心；

当待定位Mark点的图片为非圆形Mark点时，将离线提取的Mark点的信息引入到角点检测算子中，再采用角点检测算子进角点检测，获取待定位Mark点的图片的Mark点的角点；

步骤二二：将获取的Mark点的中心或角点从图像坐标系转换至模板坐标系；

所述图像坐标系为待定位Mark点的图片的左上顶点为原点、水平向右为x轴、垂直向下为y轴的坐标系；

所述模板坐标系为以图像中心为原点、水平向右为x轴、垂直向下为y轴的坐标系。

优选的是，所述步骤三包括：

步骤三一：利用离线获取的Mark点的参数作为阈值，对步骤二得到的角点进行聚合：若存在角点间的距离小于阈值，则将这些角点聚合，利用均值的方法求取聚合后的角点位置；

步骤三二：根据离线获取的Mark点的参数设置检测窗口，利用检测窗口对步骤三一聚合后的角点位置进行检测，得到各角点所在区域的图像；

步骤三三：对步骤三二得到的各角点所在区域的图像提取边缘图像；

步骤三四：对步骤三三提取的边缘图像进行直线拟合，经筛选得到两条直线，两条直线的交点即为亚像素角点。

优选的是，所述步骤四，建立从步骤三中提取的亚像素角点变换至步骤一得到的相应关键顶点的空间变换函数为：

f(X)＝XR^T+T

其中，X为步骤三中提取的亚像素角点集，R为D×D维以旋转角度θ为参数的旋转矩阵，满足R^TR＝I和|R|＝1，T＝1_Mt^T，t为平移向量。

优选的是，所述步骤四，利用配准方法，求取建立的空间变换函数的参数包括：

利用配准能量函数E对参数θ和t进行求导：

其中，X＝[x₁,…,x_i,…,x_M]^T，x_i表示亚像素角点集中的元素，i＝1,2,…,M，M表示亚像素角点集中元素的数量，1_D为所有元素均为1的D维向量，1_M为所有元素均为1的M维向量，表示点乘；配准能量函数E对变换点集U的导数写为M×D维矩阵形式G＝[G₁,…,G_i,…,G_M]；变换点集U＝[u₁,…,u_i,…,u_M]^T，u_i＝f(x_i)；

求得参数θ和t。

优选的是，所述配准能量函数E：

其中，E()为配准能量函数，Σ为亚像素角点集与关键顶点集的匹配矩阵，N()表示以u_i为均值，以σ²I为协方差的高斯函数，I为单位阵，σ²为正数，y_j表示相应关键顶点集中的元素，j＝1,2,…,N，N表示相应关键顶点集中元素的数量。

优选的是，所述G_i为：

本发明的有益效果在于，本发明利用对光照具有较高鲁棒性的角点，利用角点来进行Mark点定位，相对于基于区域的和基于边缘的计算量有明显的下降。本发明在实现了PCB板的Mark点的视觉定位功能的同时，更是在运行速度和重复精度上达到一个比较高的水平。根据重复测试结果显示，本发明对所选取实例计算一次所需时间平均为20ms，相同外界条件下100次重复测试的重复精度也达到±0.001mm内，可见这一种基于视觉的Mark点定位方法无论精度，实时性，稳定性都很高性能。

附图说明

图1为本发明具体实施方式所述的一种基于点匹配的基准标志定位方法的原理示意图；

图2为圆形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图3为三角形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图4为矩形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图5为菱形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图6为蝶形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图7为双矩形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图8为十字形Mark点模板的示意图，图中数字表示关键顶点的个数及位置；

图9为井形Mark点模板的示意图，图中数字表示关键顶点的个数及位置。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述的一种基于点匹配的基准标志定位方法，包括：

步骤一：离线获取表征Mark点形状的关键顶点；

步骤二：在线获取待定位Mark点的图片，进行角点或中心点检测，得到Mark点的角点或中心点；

步骤三：对步骤二检测到的角点，进行聚合，并提取亚像素角点；

步骤四：建立从步骤三中提取的亚像素角点或步骤二得到的中心点变换至步骤一得到的相应关键顶点的空间变换函数，利用配准方法，求取建立的空间变换函数的参数，即：获得待定位Mark点的图片的Mark点定位信息。

本实施方式利用检测到的亚像素角点或圆形中心点与相应模板的关键顶点进行配准，得到位置信息，实现PCB板Mark点的视觉定位功能，通用性高，且对光照的要求低，鲁棒性好。

步骤一是离线获取表征Mark点形状的关键顶点，优选实施例中，步骤一包括：

步骤一一：设定SMT的Mark点模板，确定Mark点模板的关键顶点；

本实施方式的关键顶点是可以表征Mark点形状的顶点；

步骤一二：对照设定的Mark点模板，离线获取相应的Mark点的信息及对应关键顶点的信息；

离线获取Mark点的信息时，可利用图像处理方法或者人工调整，得到Mark点的各种参数，例如：圆形Mark点的半径，三角形Mark点的各边长等。

本实施方式是通过SMT的Mark点模板的方式，寻找Mark点模板的关键顶点，为后续步骤使用。SMT的Mark点模板是常用的，所以通用性很好。

在确定Mark点模板的关键顶点的优选实施例中，如图2至图9所示，步骤一二为：

设定SMT的Mark点模板包括圆形、三角形、矩形、菱形、蝶形、双矩形、十字形和井形Mark点模板；模板坐标系的原点为元件中心，x轴为水平向右，y轴为垂直向下。

关键顶点的寻找方式为：对于圆形Mark点模板，关键顶点为圆形Mark点的中心；

对于其他Mark点模板，关键顶点为Mark点的顶点。

确定关键顶点后，记下关键顶点的位置。

步骤二是对待定位Mark点的图片进行角点或中心点检测，优选实施例中，步骤二包括：

步骤二一：当待定位Mark点的图片为圆形Mark点时，对待定位Mark点的图片进行边缘提取，再采用霍夫圆检测方法获取待定位Mark点的图片的Mark点的中心；

本实施方式的边缘提取可以采用Canny边缘提取方法；

当待定位Mark点的图片为非圆形Mark点时，为了减少干扰点的引入，将离线提取的Mark点的信息引入到角点检测算子中，再采用角点检测算子进角点检测，获取待定位Mark点的图片的Mark点的角点；

本实施方式的角点检测算子可以为Harris算子或Shi-tomasi算子等；

步骤二二：将获取的Mark点的中心或角点从图像坐标系转换至模板坐标系；

所述图像坐标系为待定位Mark点的图片的左上顶点为原点、水平向右为x轴、垂直向下为y轴的坐标系；

步骤三目的是针对非圆形Mark点，对步骤二检测到的角点，提取亚像素角点，优选实施例中，所述步骤三包括：

步骤三一：利用离线获取的Mark点的参数作为阈值，对步骤二得到的角点进行聚合：若存在角点间的距离小于阈值，则将这些角点聚合，利用均值的方法求取聚合后的角点位置；

本实施方式的阈值是指，针对圆形Mark点时，阈值则为离线获取的圆形Mark点的半径；针对三角形Mark点时，阈值则为三角形Mark点各边长。

聚合使，若角点间的距离小于阈值，则认为这些角点属于同一顶点，可以进行聚合，当角点间距离大于阈值时，则认为这些角点不属于同一顶点，则不需聚合；

步骤三二：根据离线获取的Mark点的参数设置检测窗口，利用检测窗口对步骤三一聚合后的角点位置进行检测，得到各角点所在区域的图像；

步骤三三：对步骤三二得到的各角点所在区域的图像提取边缘图像；

本实施方式中，边缘提取方法可以采用Canny算子或Sobel算子等；

步骤三四：对步骤三三提取的边缘图像进行直线拟合，经筛选得到两条直线，两条直线的交点即为亚像素角点。

步骤四是获得待定位Mark点的图片的Mark点定位信息，优选的实施例中，建立从步骤三中提取的亚像素角点变换至步骤一得到的相应关键顶点的空间变换函数为：

f(X)＝XR^T+T

其中，X为步骤三中提取的亚像素角点集，R为D×D维以旋转角度θ为参数的旋转矩阵，满足R^TR＝I和|R|＝1，T＝1_Mt^T，t为平移向量。

建立从步骤二得到的中心点变换至步骤一得到的相应关键顶点的空间变换函数为：

f(X)＝X+T

其中，X为步骤三中提取的亚像素角点集，T＝1_Mt^T，t为平移向量。

针对非圆形Mark点定位时，步骤四利用配准方法，求取建立的空间变换函数的参数，优选实施例中，包括：

利用配准能量函数E对参数θ和t进行求导：

其中，X＝[x₁,…,x_i,…,x_M]^T，x_i表示亚像素角点集中的元素，i＝1,2,…,M，M表示亚像素角点集中元素的数量，1_D为所有元素均为1的D维向量，1_M为所有元素均为1的M维向量，表示点乘；配准能量函数E对变换点集U的导数写为M×D维矩阵形式G＝[G₁,…,G_i,…,G_M]；变换点集U＝[u₁,…,u_i,…,u_M]^T，u_i＝f(x_i)；

求得参数θ和t。

针对圆形Mark点定位时，上述求取过程只需求取t，即获得定位信息；

本实施方式的配准能量函数E是基于使得L2距离最小建立，建立过程包括：

建立基于L2距离的配准能量函数：

其中，E()为配准能量函数，Σ为亚像素角点集与关键顶点集的匹配矩阵，d_L2(u_i,y_j)表示u_i和y_j的L2距离；y_j表示关键顶点集中的元素，j＝1,2,…,N，N表示关键顶点集中元素的数量；

利用高斯函数性质，且忽略常数项，对配准能量函数进行简化：

本实施方式中，配准能量函数E对变换点集U的导数写为M×D维矩阵形式G＝[G₁,…,G_i,…,G_M]，其中

在配准过程中，还包括：

利用降火方法对δ²进行更新，设降火速率为κ，则δ²＝κδ²。

本发明求取建立的空间变换函数的参数的配准方法还可以采用TPS-RPM(Thethin plate spline robust point matching，薄板样条鲁棒点匹配方法)或者CPD(Coherent Point Drift，相干点漂移方法)。

最后可以对获得的定位信息进行验证。如圆形Mark点需要验证其半径，对其他类型Mark点验证其各边边长。

Claims (9)

1.一种基于点匹配的基准标志定位方法，其特征在于，包括如下步骤：

步骤一：离线获取表征Mark点形状的关键顶点；

步骤二：在线获取待定位Mark点的图片，进行角点或中心点检测，得到Mark点的角点或中心点；

步骤三：对步骤二检测到的角点，进行聚合，并提取亚像素角点；

步骤四：建立从步骤三中提取的亚像素角点或步骤二得到的中心点变换至步骤一得到的相应关键顶点的空间变换函数，利用配准方法，求取建立的空间变换函数的参数，即：获得待定位Mark点的图片的Mark点定位信息。

2.根据权利要求1所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤一包括：

步骤一一：设定SMT的Mark点模板，确定Mark点模板的关键顶点；

步骤一二：对照设定的Mark点模板，离线获取相应的Mark点的信息及对应关键顶点的信息。

3.根据权利要求2所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤一一为：

设定SMT的Mark点模板包括圆形、三角形、矩形、菱形、蝶形、双矩形、十字形和井形Mark点模板；

关键顶点的寻找方式为：对于圆形Mark点模板，关键顶点为圆形Mark点的中心；对于其他Mark点模板，关键顶点为Mark点的顶点。

4.根据权利要求1或3所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤二包括：

步骤二一：当待定位Mark点的图片为圆形Mark点时，对待定位Mark点的图片进行边缘提取，再采用霍夫圆检测方法获取待定位Mark点的图片的Mark点的中心；

当待定位Mark点的图片为非圆形Mark点时，将离线提取的Mark点的信息引入到角点检测算子中，再采用角点检测算子进角点检测，获取待定位Mark点的图片的Mark点的角点；

步骤二二：将获取的Mark点的中心或角点从图像坐标系转换至模板坐标系；

所述图像坐标系为待定位Mark点的图片的左上顶点为原点、水平向右为x轴、垂直向下为y轴的坐标系；

所述模板坐标系为以图像中心为原点、水平向右为x轴、垂直向下为y轴的坐标系。

5.根据权利要求4所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤三包括：

步骤三一：利用离线获取的Mark点的参数作为阈值，对步骤二得到的角点进行聚合：若存在角点间的距离小于阈值，则将这些角点聚合，利用均值的方法求取聚合后的角点位置；

步骤三二：根据离线获取的Mark点的参数设置检测窗口，利用检测窗口对步骤三一聚合后的角点位置进行检测，得到各角点所在区域的图像；

步骤三三：对步骤三二得到的各角点所在区域的图像提取边缘图像；

步骤三四：对步骤三三提取的边缘图像进行直线拟合，经筛选得到两条直线，两条直线的交点即为亚像素角点。

6.根据权利要求5所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤四，建立从步骤三中提取的亚像素角点变换至步骤一得到的相应关键顶点的空间变换函数为：

f(X)＝XR^T+T

其中，X为步骤三中提取的亚像素角点集，R为D×D维以旋转角度θ为参数的旋转矩阵，满足R^TR＝I和|R|＝1，T＝1_Mt^T，t为平移向量。

7.根据权利要求6所述的一种基于点匹配的基准标志定位方法，其特征在于，所述步骤四，利用配准方法，求取建立的空间变换函数的参数包括：

利用配准能量函数E对参数θ和t进行求导：

$\begin{array}{c}\frac{\∂E}{\∂\mathrm{\θ}}=1_D^T\left(\right(G^{T}X)\⊗(\frac{\∂R}{\∂\mathrm{\θ}}\left)\right)1_D\\ \frac{\∂E}{\∂t}=G^T{1}_M\end{array};$

其中，X＝[x₁,…,x_i,…,x_M]^T，x_i表示亚像素角点集中的元素，i＝1,2,…,M，M表示亚像素角点集中元素的数量，1_D为所有元素均为1的D维向量，1_M为所有元素均为1的M维向量，表示点乘；配准能量函数E对变换点集U的导数写为M×D维矩阵形式G＝[G₁,…,G_i,…,G_M]；变换点集U＝[u₁,…,u_i,…,u_M]^T，u_i＝f(x_i)；

求得参数θ和t。

8.根据权利要求7所述的一种基于点匹配的基准标志定位方法，其特征在于，所述配准能量函数E：

$E(\mathrm{\Σ},f)=-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}2{\mathrm{\Σ}}_{ij}N\left(u_i\right|y_j,2{\mathrm{\σ}}^{2}I)$

其中，E()为配准能量函数，Σ为亚像素角点集与关键顶点集的匹配矩阵，N()表示以u_i为均值，以σ²I为协方差的高斯函数，I为单位阵，σ²为正数，y_j表示相应关键顶点集中的元素，j＝1,2,…,N，N表示相应关键顶点集中元素的数量。

9.根据权利要求8所述的一种基于点匹配的基准标志定位方法，其特征在于，所述G_i为：

$G_i=\frac{1}{{\mathrm{\σ}}^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}2{\mathrm{\Σ}}_{ij}N\left(u_i\right|y_j,2{\mathrm{\σ}}^{2}I)(u_i-y_j).$