CN111340701B - 一种基于聚类法筛选匹配点的电路板图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于聚类法筛选匹配点的电路板图像拼接方法，通过高清摄像机获取大量具有重叠区域的电路板局部图像；提取电路板灰度图像上的SIFT特征点，并利用快速最近邻匹配算法匹配特征点；利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点；计算每对电路板匹配点之间的斜率和距离，并利用K均值聚类法对电路板匹配点进行筛选；利用RANSAC算法获取变换矩阵；将输入图像变形并融合到输出图像中，完成拼接，获得超高分辨率的全局电路板图像。本发明通过K均值聚类算法筛选出较好的匹配点，减小了不好的匹配点对仿射变换的影响，提高了电路板图像拼接的准确度。

Description

一种基于聚类法筛选匹配点的电路板图像拼接方法

技术领域

本发明属于图像拼接技术领域，具体涉及大量电路板高分辨率图像的拼接技术。

背景技术

图像拼接技术在实际场景中的应用十分广泛，比如遥感图像、无人机航拍等，图像拼接是进一步了解图像的先驱步骤，拼接效果的好坏直接影响了接下来的工作。目前应用广泛的图像拼接步骤分为以下几步：首先对每幅图像进行预处理；再对每幅图像进行特征点提取并对特征点进行匹配；然后进行图像配准；接着进行图像拷贝；最后进行图像融合获取到最终的图像。

图像预处理对接下来的图像拼接过程影响十分重要，图像的预处理的好坏直接影响着图像拼接的结果，目前常用的的图像预处理方法一般包括抑制图像的噪声、灰度化处理、平滑处理、图像校正等。

常见的特征点提取方法包括：SIFT算法，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，在每个关键点周围的邻域内，在选定的尺度行测量图像局部的梯度，将这些梯度变换成对关键点的描述，SIFT算法的实质是在不同的尺度空间上查找关键点，并计算出关键点的方向。SURF算法，构建Hessian矩阵构造高斯金字塔尺度空间，每个像素点都可以求出来一个海森矩阵，并利用非极大值抑制初步确定关键点，精确定位极点值，选取特征点的主方向，构造特征点描述子。

常见的特征匹配方法包括：互信息法，通过比较两幅图像互相包含对方信息量的熵值来进行特征匹配的方法，信息量的熵值是对图像概率分布的一种表述。聚类法特征匹配，通过聚类计算对特征点对的相对主角进行统计分析，寻找多个局部极大值，然后根据每个中心对初始匹配点集重新聚类得到关联像素点对集合，选出平均距离最小的像素点集合并据此进行特征点匹配。相关系数法，通过计算匹配图像与搜索模板之间的相互关值，确定图像匹配度。

大量局部高清电路板图像具有背景信息相似度高、数量大等特点，采用目前的方法，为了保证能够提取到足够多的特征点用于特征匹配，通常设置较低的兴趣阈值，在相似度高的电路板图像中容易出现无效特征点比重远远高于有效特征点的情况，从而导致特征点匹配时容易出现匹配混乱的问题，增加了排除错误匹配点的难度，最终造成拼接混乱，无法保证拼接的准确性。只有克服这一难题，才能完成高清电路板图像的精确拼接。

发明内容

发明目的：针对上述现有技术，提出一种基于聚类法筛选匹配点的电路板图像拼接方法，解决现有技术对电路板图像拼接效果差的问题。

技术方案：一种基于聚类法筛选匹配点的电路板图像拼接方法，包括如下步骤：

步骤1：通过高清摄像机获取若干具有重叠区域的电路板局部图像；

步骤2：提取电路板灰度图像上的SIFT特征点，并利用快速最近邻匹配算法匹配特征点；

步骤3：利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点；

步骤4：计算每对电路板匹配点之间的斜率和距离，并利用K均值聚类法对电路板匹配点进行筛选；

步骤5：利用RANSAC算法获取变换矩阵；

步骤6：将输入图像变形并融合到输出图像中，完成拼接，获得超高分辨率的全局电路板图像。

进一步的，所述步骤1中，图像尺寸为2048×2048，一个电路板包括30-120幅局部图像，图像命名顺序依次从左往右，从上往下，记为x行y列，重叠区域占每张图片宽度的1/3。

进一步的，所述步骤2包括如下具体步骤：

步骤2-1：将三通道的彩色电路板图像转化成单通道的灰度电路板图像；

步骤2-2：截取灰度电路板左侧拼接图像的右边1/2部分和右侧拼接图像的左边1/2部分；

步骤2-3：利用SIFT算法分别提取截取出来的两部分电路板图像上的特征点，数量上限为M；

步骤2-4：利用快速最近邻匹配算法匹配两张电路板图像上的特征点。

进一步的，所述步骤3包括如下具体步骤：

利用快速最近邻匹配算法获取到电路板匹配点之间的距离D＝{d₁,d₂,L,d_m}后，采用快速排序法将匹配距离D＝{d₁,d₂,L,d_m}按照从小到大排序，选取前N个距离较小的匹配点P＝{p₁,p₂,L,p_n}。

进一步的，所述步骤4包括如下具体步骤：

步骤4-1：利用K均值聚类法对斜率进行聚类，找出数量最多的一类电路板匹配点，抛弃其他的电路板匹配点，将这类数量最多的电路板匹配点作为优秀电路板匹配点；

步骤4-2：对所述的优秀电路板匹配点进行二次筛选，利用K均值聚类法对电路板匹配点的距离进行聚类，将数量最多的一类电路板匹配点作为最终的优秀电路板匹配点，排除其他电路板匹配点。

进一步的，所述步骤4-1中利用K均值聚类法对斜率进行聚类包括：利用两点连线的斜率计算公式计算出每对匹配点连线的斜率，记录下来作为K均值聚类的数据集，随机选择k₀个数据作为质心，计算每个数据点到各个质心的距离，将数据集中的每个点分配到距其最近的质心所对应的簇，每个簇的质心更新为该簇所有点的平均值，判断每个簇的质心是否在精度θ₀范围内未发生改变或者是否达到迭代次数，若是，则算法结束，若否，则返回随机选择k₀个数据作为质心，并继续迭代下去。

进一步的，所述步骤4-2中利用K均值聚类法对匹配点的距离进行聚类包括：利用两点之间的距离计算公式计算出每对匹配点之间的距离，记录下来作为K均值聚类的数据集，随机选择k₁个数据作为质心，计算每个数据点到各个质心的距离，将数据集中的每个点分配到距其最近的质心所对应的簇，每个簇的质心更新为该簇所有点的平均值，判断每个簇的质心是否在精度θ₁范围内未发生改变或者是否达到迭代次数，若是，则算法结束，若否，则返回随机选择k₁个数据作为质心，并继续迭代下去。

进一步的，所述步骤5包括如下具体步骤：

步骤5-1：首先随机从数据集中选择4对匹配点，确定变换矩阵H_i；

步骤5-2：然后计算每个匹配点p_j经过变换矩阵Hi后的匹配点p_j′，变换公式：

p_j′＝Hp_j

步骤5-3：计算每个匹配点经过变换矩阵后到对应匹配点的距离；

步骤5-4：再通过阈值μ将匹配点集分为内点和外点，如果内点数量足够大，则H_i合理，再用所有内点估计矩阵H，并退出迭代，否则不合理，继续1-4步；

步骤5-5：最后若是迭代次数超过预先设置的最大迭代次数L，则退出。

进一步的，所述步骤6包括如下具体步骤：

利用矩阵H将输入图像变形并融合到一个符合的输出图像上中，再取图像重叠区域的1/2作为平滑区域X_s，使用加权平均值融合平滑区域X_s的像素点，用以平滑拼接缝隙和避免图像大面积模糊，平滑公式：

其中w_i为当前点的横坐标与平滑区域X_s宽度的商，

为平滑区域左侧拼接图像各个通道的像素值，

为平滑区域右侧拼接图像各个通道的像素值；

先拼接电路板图像的行，再拼接电路板图像的列，获取最终的超高分辨率的全局电路板图像。

有益效果：本发明采用高清摄像机获取大量高分辨率的电路板局部图像，增加了图像的精细度，有效增加了提取的电路板特征点数量，分别在电路板匹配点欧氏距离和斜率上采用K均值聚类算法筛选匹配较好的电路板特征点对，改善了电路板图像信息相似度高造成的特征点匹配混乱的问题，从而精确地实现了大量高清电路板图像的拼接。该发明可以为电路板缺陷检测提供超高分辨率的全局电路板图像，减少了大量电路板图像拼接错位、变形等问题。

附图说明

图1是本发明方法的流程图；

图2是本发明电路板图像特征匹配的效果图；

图3是本发明电路板图像经过快速排序法初步筛选特征匹配效果图；

图4是本发明电路板图像经过K均值聚类法筛选后的特征匹配效果图；

图5是本发明拼接的完整电路板图像；

图6是本发明完整电路板拼接缝隙处的放大细节效果图；

具体实施方式

下面结合附图对本发明做更进一步的解释。

如图1所示，一种基于聚类法筛选匹配点的电路板图像拼接方法包括以下步骤：

S101：通过高清摄像机获取大量具有重叠区域的电路板局部图像；

S102：提取电路板灰度图像上的SIFT特征点，并利用快速最近邻匹配算法匹配特征点；

S103：利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点；

S104：计算每对电路板匹配点之间的斜率和距离，并利用K均值聚类法对电路板匹配点进行筛选；

S105：利用RANSAC算法获取变换矩阵；

S106：将输入图像变形并融合到输出图像中，完成拼接，获得超高分辨率的全局电路板图像。

如图2所示，是步骤S102中的提取电路板灰度图像上的SIFT特征点，并利用快速最近邻匹配算法匹配特征点效果图，步骤是：

步骤2-1，将三通道的彩色电路板图像转化成单通道的灰度电路板图像；

步骤2-2，截取灰度电路板左侧拼接图像的右边1/2部分和右侧拼接图像的左边1/2部分；

步骤2-3，利用SIFT算法分别提取截取出来的两部分电路板图像上的特征点，数量上限为M；

步骤2-4，利用快速最近邻匹配算法匹配两张电路板图像上的特征点。

如图3所示，是步骤S103中利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点包括：利用快速最近邻匹配算法获取到匹配点之间的距离D＝{d₁,d₂,L,d_m}后，采用快速排序法将匹配距离D＝{d₁,d₂,L,d_m}从小到大排序，选取前500个距离较小的匹配点P＝{p₁,p₂,L,p_n}，匹配距离越小，说明匹配程度越高，初步筛选出匹配度较好的电路板匹配点的效果图。

如图4所示，是步骤S104中计算每对电路板匹配点之间的斜率和距离，并利用K均值聚类法对电路板匹配点进行筛选的效果图，包括：

步骤4-1，利用K均值聚类法对斜率进行聚类，找出数量最多的一类电路板匹配点，抛弃其他的电路板匹配点，将这类数量最多的电路板匹配点作为优秀电路板匹配点；

步骤4-2，对所述的优秀电路板匹配点进行二次筛选，利用K均值聚类法对电路板匹配点的距离进行聚类，将数量最多的一类电路板匹配点作为最终的优秀电路板匹配点，排除其他电路板匹配点。

在本发明的优选实例中，步骤S105中利用RANSAC算法获取变换矩阵，包括：

步骤5-1，首先随机从数据集中选择4对匹配点，确定变换矩阵H_i；

步骤5-2，然后计算每个匹配点p_j经过变换矩阵Hi后的匹配点p′_j，变换公式：

p′_j＝Hp_j

步骤5-3，计算每个匹配点经过变换矩阵后到对应匹配点的距离；

步骤5-4，再通过阈值μ将匹配点集分为内点和外点，如果内点数量足够大，则H_i合理，再用所有内点估计矩阵H，并退出迭代，否则不合理，继续1-4步；

步骤5-5，最后若是迭代次数超过预先设置的最大迭代次数L，则退出。

如图5所示，是步骤S106中将输入图像变形并融合到输出图像中，完成拼接，获得超高分辨率的全局电路板图像，包括：

利用矩阵H将输入图像变形并融合到一个符合的输出图像上中，在取图像重叠区域的1/2作为平滑区域X_s，使用加权平均值融合平滑区域X_s的像素点，用以平滑拼接缝隙和避免图像大面积模糊，平滑公式：

其中w_i为当前点的横坐标与平滑区域X_s宽度的商，

为平滑区域左侧拼接图像各个通道的像素值，

为平滑区域右侧拼接图像各个通道的像素值；

先拼接电路板图像的行，再拼接电路板图像的列，获取最终的超高分辨率的全局电路板图像。

如图6所示，是电路板图像拼接缝隙处的细节展示图。

下面结合具体实施例对本发明的技术方案作进一步的描述。

本发明实施例中，采用72幅高清电路板局部图像进行拼接，其为6行12列。

步骤S102中提取电路板灰度图像上的SIFT特征点,数量上限M＝2000，并利用快速最近邻匹配算法匹配特征点。

步骤S103中利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点包括：利用快速最近邻匹配算法获取到电路板匹配点之间的距离D＝{d₁,d₂,L,d_m}后，采用快速排序法将匹配距离D＝{d₁,d₂,L,d_m}从小到大排序，选取前N＝500个距离较小的匹配点P＝{p₁,p₂,L,p_n}，匹配距离越小，说明匹配程度越高，初步筛选出匹配度较好的电路板匹配点。

步骤S104中利用K均值聚类法分别对计算过斜率和距离的电路板匹配点进行聚类，排除匹配较差的匹配点，在对斜率进行K均值聚类中随机选取k₀＝15个数据作为质心，精度范围θ₀＝0.005；在对距离进行K均值聚类中随机选取k₁＝15个数据作为质心，精度范围θ₁＝5。

步骤S106中利用变换矩阵H将输入图像变形并融合到一个符合的输出图像上中，再取图像重叠区域的1/2作为平滑区域X_s，使用加权平均值融合平滑区域X_s的像素点，用以平滑拼接缝隙和避免图像大面积模糊，分别从左至右、从上至下的顺序，拼接x＝6行，y＝12列高清电路板图像，获取最终的完整电路板图像。

本发明采用高清摄像机获取大量高分辨率的电路板局部图像，增加了图像的精细度，改善了电路板图像特征点匹配混乱造成的优秀匹配点难以筛选的问题，从而精确地实现了大量高清电路板图像的拼接，为后续的工作奠定了良好的基础。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于聚类法筛选匹配点的电路板图像拼接方法，其特征在于，包括如下步骤：

步骤1：通过高清摄像机获取若干具有重叠区域的电路板局部图像；

步骤2：提取电路板灰度图像上的SIFT特征点，并利用快速最近邻匹配算法匹配特征点；

步骤3：利用快速排序对电路板匹配点进行排序，初步筛选出匹配度较好的电路板匹配点；

步骤4：计算每对电路板匹配点之间的斜率和距离，并利用K均值聚类法对电路板匹配点进行筛选；

步骤5：利用RANSAC算法获取变换矩阵；

步骤6：将输入图像变形并融合到输出图像中，完成拼接，获得超高分辨率的全局电路板图像；

所述步骤4包括如下具体步骤：

步骤4-1：利用K均值聚类法对斜率进行聚类，找出数量最多的一类电路板匹配点，抛弃其他的电路板匹配点，将这类数量最多的电路板匹配点作为优秀电路板匹配点；

步骤4-2：对所述的优秀电路板匹配点进行二次筛选，利用K均值聚类法对电路板匹配点的距离进行聚类，将数量最多的一类电路板匹配点作为最终的优秀电路板匹配点，排除其他电路板匹配点；

所述步骤4-1中利用K均值聚类法对斜率进行聚类包括：利用两点连线的斜率计算公式计算出每对匹配点连线的斜率，记录下来作为K均值聚类的数据集，随机选择k₀个数据作为质心，计算每个数据点到各个质心的距离，将数据集中的每个点分配到距其最近的质心所对应的簇，每个簇的质心更新为该簇所有点的平均值，判断每个簇的质心是否在精度θ₀范围内未发生改变或者是否达到迭代次数，若是，则算法结束，若否，则返回随机选择k₀个数据作为质心，并继续迭代下去；

所述步骤4-2中利用K均值聚类法对匹配点的距离进行聚类包括：利用两点之间的距离计算公式计算出每对匹配点之间的距离，记录下来作为K均值聚类的数据集，随机选择k₁个数据作为质心，计算每个数据点到各个质心的距离，将数据集中的每个点分配到距其最近的质心所对应的簇，每个簇的质心更新为该簇所有点的平均值，判断每个簇的质心是否在精度θ₁范围内未发生改变或者是否达到迭代次数，若是，则算法结束，若否，则返回随机选择k₁个数据作为质心，并继续迭代下去；

所述步骤5包括如下具体步骤：

步骤5-1：首先随机从数据集中选择4对匹配点，确定变换矩阵H_i；

步骤5-2：然后计算每个匹配点p_j经过变换矩阵Hi后的匹配点p′_j，变换公式：

p′_j＝Hp_j

步骤5-3：计算每个匹配点经过变换矩阵后到对应匹配点的距离；

步骤5-4：再通过阈值μ将匹配点集分为内点和外点，如果内点数量足够大，则H_i合理，再用所有内点估计矩阵H，并退出迭代，否则不合理，继续1-4步；

步骤5-5：最后若是迭代次数超过预先设置的最大迭代次数L，则退出；

所述步骤6包括如下具体步骤：

利用矩阵H将输入图像变形并融合到一个符合的输出图像上中，再取图像重叠区域的1/2作为平滑区域X_s，使用加权平均值融合平滑区域X_s的像素点，用以平滑拼接缝隙和避免图像大面积模糊，平滑公式：

其中w_i为当前点的横坐标与平滑区域X_s宽度的商，

为平滑区域左侧拼接图像各个通道的像素值，

为平滑区域右侧拼接图像各个通道的像素值；

先拼接电路板图像的行，再拼接电路板图像的列，获取最终的超高分辨率的全局电路板图像。

2.根据权利要求1所述的基于聚类法筛选匹配点的电路板图像拼接方法，其特征在于，所述步骤1中，图像尺寸为2048×2048，一个电路板包括30-120幅局部图像，图像命名顺序依次从左往右，从上往下，记为x行y列，重叠区域占每张图片宽度的1/3。

3.根据权利要求1所述的基于聚类法筛选匹配点的电路板图像拼接方法，其特征在于，所述步骤2包括如下具体步骤：

步骤2-1：将三通道的彩色电路板图像转化成单通道的灰度电路板图像；

步骤2-2：截取灰度电路板左侧拼接图像的右边1/2部分和右侧拼接图像的左边1/2部分；

步骤2-3：利用SIFT算法分别提取截取出来的两部分电路板图像上的特征点，数量上限为M；

步骤2-4：利用快速最近邻匹配算法匹配两张电路板图像上的特征点。

4.根据权利要求1所述的基于聚类法筛选匹配点的电路板图像拼接方法，其特征在于，所述步骤3包括如下具体步骤：

利用快速最近邻匹配算法获取到电路板匹配点之间的距离D＝{d₁,d₂,…,d_m}后，采用快速排序法将匹配距离D＝{d₁,d₂,…,d_m}按照从小到大排序，选取前N个距离较小的匹配点P＝{p₁,p₂,…,p_n}。

Images