CN109711457A - 一种基于改进hu不变矩的快速图像匹配方法及其应用 - Google Patents

Abstract

本发明公开了一种基于改进HU不变矩的快速图像匹配方法及其应用，属于图像处理技术领域。通过利用金字塔模型，成比例降低模板图像和待匹配图像的分辨率，优化起始匹配位置和搜索路径，减少模板遍历计算量；提出一种构造多尺度模板的方法，并利用相似度度量和连通域算法最终实现目标准确定位与标记，使得该算法对灰度变化、平移、大幅度旋转和缩放具有一定的不变性，且对大分辨率图像，匹配速度大大提高，取得了良好的匹配效果；在灰度畸变、图像失焦、目标平移、旋转和缩放的匹配上更加稳定和鲁棒，同时，因为本发明克服了大分辨率图像全局遍历匹配计算量大的缺点，极大提高了匹配效率，基本满足了高精密机械加工和检测行业实时匹配要求。

Description

一种基于改进HU不变矩的快速图像匹配方法及其应用

技术领域

本发明涉及一种基于改进HU不变矩的快速图像匹配方法及其应用，属于图像处理技术领域。

背景技术

图像匹配是图像处理和计算机视觉领域中的热点问题，广泛应用于诸多领域，如目标识别、图像检索、文字识别、人脸识别、医学图像分析、机器人导航等。图像匹配方法大致可以分为两类：一是基于频率域的匹配，如Fourier变换和小波变换等；二是基于空间域的匹配，主要包括基于区域的匹配算法和基于特征的匹配算法。

随着一些良好特征提取算子的出现，基于特征的匹配方法应用更加广泛，对图像发生平移、旋转、缩放、灰度变化等因素具有较好的鲁棒性，成为近年来研究的重点。

随着应用的深入，在对高精密机械加工和半导体检测等领域中的高分辨率目标工件匹配时，传统的特征匹配算法存在计算量大、计算周期较长、无法实时匹配的问题；并且在一副图像中存在多个干扰目标时，无法达到精确匹配的要求。

发明内容

为了解决目前存在的上述问题，本发明提供了一种基于改进HU不变矩的快速图像匹配方法及其应用。

本发明的第一个目的在于提供一种基于改进HU不变矩的快速图像匹配方法，所述方法包括以下步骤：

S1，输入模板图像T和待匹配图像S；

S2，对模板图像T和待匹配图像S分别进行图像预处理；

S3，利用图像金字塔算法对预处理后的两幅图像进行降采样，得到可辨识目标特征的最低分辨率的两幅图像T′和S′，并利用图像金字塔算法根据模板图像T的不同尺度大小生成不同尺度大小的模板；

S4，使用改进的图像匹配搜索策略进行匹配度计算；

S5，利用相似性度量法查找最佳匹配点，实现最终目标定位和标记。

可选的，所述利用图像金字塔算法对预处理后的两幅图像进行降采样，包括：

将高分辨率的模板图像T和待匹配图像S分别作为金字塔的底层建立对应的图像金字塔；每个图像金字塔的倒数第二层图像的分辨率为底层图像的分辨率的倒数第n层图像的分辨率为底层图像的分辨率的每个图像金字塔的层数越高、图像越小、分辨率越低；每个图像金字塔的最高层为可辨识目标特征的最低分辨率的图像，分别记作图像T′和S′。

可选的，所述改进的图像匹配搜索策略包括：

步骤1：计算图像T′和S′的质心(x₁,y₁)和(x₂,y₂)；

步骤2：以待图像S′的质心(x₂,y₂)作为搜索起始点，将图像T′叠放在图像S′上使(x₁,y₁)与(x₂,y₂)重合；

步骤3：以(x₂,y₂)为中心，在(p*p,半径为R)的邻域内创建搜索子图(S,a,b)(-R≤a≤R,-R≤b≤R)，并且在邻域内逐像素匹配计算各像素的相似性度量值，记作d_ab；其中，p为邻域的宽和高；d_ab表示图像T′和S′的匹配程度；d_ab值越小，表明图像T′和搜索子图(S,a,b)匹配度越高；

步骤4：将d_ab和d_ab对应的像素点(a,b)保存在一个二维数组中，记作B[r,c](1≤r≤p，1≤c≤p)；

步骤5：重复步骤3和步骤4，直至邻域内全部遍历结束，找出步骤4最小的相似性度量值d_min，将d_min对应的像素点(a,b)作为最佳匹配位置图像的质心在图像S′上的坐标。

可选的，所述图像预处理包括：

Step1：对图像进行灰度化，将彩色图转化为灰度图；

Step2：对灰度图进行高斯滤波，去除由于环境造成的噪声点，得到边缘保存完整对比度高的图像；

Step3：将Step2得到的图像二值化，使目标与背景分开，增加有用信息的比重，降低干扰信息比重；

Step4：对Step3得到的二值化后的图像进行连通域分析处理。

可选的，所述相似性度量法的相似性度量值计算公式为式(1)

其中，Hu1(k)(k＝1～7)表示模板图像的7个不变矩，Hu2(k)(k＝1～7)表示搜索子图的7个不变矩。

本发明的第二个目的在于提供一种上述基于改进HU不变矩的快速图像匹配方法在高精密机械工件加工检测中的应用方法。

可选的，所述高精密机械工件包括：半导体芯片、PCB线路板、齿轮定转子、触摸显示屏、传感器。

可选的，所述方法包括：

利用工业相机拍摄获取高精密机械工件的图像作为待匹配图像S；

从实际生产过程中选择没有缺陷、特征明显、尺寸合格的工件产品拍摄图片作为模板图像T；

利用上述基于改进HU不变矩的快速图像匹配方法对高精密机械工件进行检测。

可选的，所述方法还包括：在进行检测之前，利用模板图像T对高精密机械工件进行定位和跟踪。

可选的，所述方法还包括：在进行检测之后，对高精密机械工件进行尺寸检测和/或缺陷识别。

本发明有益效果是：

通过利用金字塔模型，成比例降低模板图像和待匹配图像的分辨率，提出了一种改进的匹配搜索策略，优化起始匹配位置和搜索路径，减少模板遍历计算量；针对传统HU不变矩匹配算法精度低的问题，该算法提出了一种构造多尺度模板的方法，并利用相似度度量和连通域算法最终实现目标准确定位与标记。试验结果表明，该算法对灰度变化、平移、大幅度旋转和缩放具有一定的不变性，且对大分辨率图像，匹配速度大大提高，取得了良好的匹配效果；在灰度畸变、图像失焦、目标平移、旋转和缩放的匹配上更加稳定和鲁棒，特别是目标发生大幅度的旋转和尺度变化时，拥有更加优秀的匹配效果，匹配精度达到像素级。同时，因为本发明提出的图像匹配方法克服了大分辨率图像全局遍历匹配计算量大的缺点，极大提高了匹配效率，基本满足了高精密机械加工和检测行业实时匹配要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为半导体芯片实验图像。

图2为齿轮定子实验图像。

图3为大分辨率PCB板图像。

图4为改进的搜索策略示意图。

图5为改进的HU不变矩快速匹配算法流程图。

图6为改进的HU不变矩快速匹配算法对PCB板的检测结果。

图7为改进的HU不变矩快速匹配算法对齿轮定子的检测结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种基于改进HU不变矩的快速图像匹配方法，所述方法包括：

S1，输入模板图像T和待匹配图像S；

S2，对模板图像T和待匹配图像S分别进行图像预处理；

S3，利用图像金字塔算法对预处理后的两幅图像进行降采样，得到可辨识目标特征的最低分辨率的两幅图像T′和S′，并利用图像金字塔算法为可辨识目标特征的最低分辨率的每幅图像生成不同尺度大小的模板；

S4，使用改进的图像匹配搜索策略进行匹配度计算；

S5，利用相似性度量法查找最佳匹配点，实现最终目标定位和标记。

其中，步骤S3中的利用图像金字塔算法降采样，包括：将高分辨率的模板图像T和待匹配图像S分别作为金字塔的底层建立对应的图像金字塔；每个图像金字塔的倒数第二层图像的分辨率为底层图像的分辨率的倒数第n层图像的分辨率为底层图像的分辨率的每个图像金字塔的层数越高、图像越小、分辨率越低；每个图像金字塔的最高层为可辨识目标特征的最低分辨率的图像，分别记作图像T′和S′。

步骤S4中的改进的图像匹配搜索策略包括：

步骤1：计算图像T′和S′的质心(x₁,y₁)和(x₂,y₂)；

步骤2：以待图像S′的质心(x₂,y₂)作为搜索起始点，将图像T′叠放在图像S′上使(x₁,y₁)与(x₂,y₂)重合；

步骤3：以(x₂,y₂)为中心，在(p*p,半径为R)的邻域内创建搜索子图(S,a,b)(-R≤a≤R,-R≤b≤R)，并且在邻域内逐像素匹配计算各像素的相似性度量值，记作d_ab；其中，p为邻域的宽和高；d_ab表示图像T′和S′的匹配程度；d_ab值越小，表明图像T′和搜索子图(S,a,b)匹配度越高；

相似性度量法的相似性度量值计算公式为式(1)

其中，Hu1(k)(k＝1～7)表示模板图像的7个不变矩，Hu2(k)(k＝1～7)表示搜索子图的7个不变矩。

步骤4：将d_ab和d_ab对应的像素点(a,b)保存在一个二维数组中，记作B[r,c](1≤r≤p，1≤c≤p)；

步骤5：重复步骤3和步骤4，直至邻域内全部遍历结束，找出步骤4最小的相似性度量值d_min，将d_min对应的像素点(a,b)作为最佳匹配位置图像的质心在图像S′上的坐标。

步骤S2中的图像预处理包括：

Step1：对图像进行灰度化，将彩色图转化为灰度图；

Step2：对灰度图进行高斯滤波，去除由于环境造成的噪声点，得到边缘保存完整对比度高的图像；

Step3：将Step2得到的图像二值化，使目标与背景分开，增加有用信息的比重，降低干扰信息比重；

Step4：对Step3得到的二值化后的图像进行连通域分析处理。

本实施例提供的基于改进HU不变矩的快速图像匹配方法，通过利用金字塔模型，成比例降低模板图像和待匹配图像的分辨率，优化起始匹配位置和搜索路径，减少了模板遍历计算量；通过构造多尺度模板的方法，并利用相似度度量和连通域算法最终实现目标准确定位与标记，对灰度变化、平移、大幅度旋转和缩放具有一定的不变性，且对大分辨率图像，匹配速度大大提高，取得了良好的匹配效果。

实施例二

本实施例提供一种基于改进HU不变矩的快速图像匹配方法在高精密机械工件加工检测中的应用方法，所述高精密机械工件包括：半导体芯片、PCB线路板、齿轮定转子、触摸显示屏、传感器等，本实施例以半导体芯片、齿轮定子和PCB板为例进行说明：

因待匹配图像的灰度分布不均匀、多目标、目标发生大角度旋转、平移、缩放的特点使目标对象的匹配定位困难。并且由于待匹配图像的分辨率较大，目标对象的匹配计算量大，匹配定位时间长。本实例分别选取灰度不均匀、灰度发生变化、目标对象失焦的半导体芯片图像，目标发生平移、旋转、缩放的齿轮定子图像和具有大分辨率的PCB板图像进行目标匹配定位实验。如图1、图2、图3所示。

本实施例中的图像采用工业相机拍摄即可，在应用本发明提供的基于改进HU不变矩的快速图像匹配方法对高精密机械工件进行检测之前，需要从实际生产过程中选择没有缺陷、特征明显、尺寸合格的工件产品拍摄图片作为模板图像T；采用工业相机获取高精密机械工件的图像作为待匹配图像S；

第一步，输入模板图像T和待匹配图像S。

第二步，对两幅图像T和S进行图像预处理。

所述的图像预处理，具体是：首先对图像进行灰度化，将彩色图转化为灰度图；其次进行高斯滤波，去除由于环境造成的噪声点，得到边缘保存完整对比度高的图像；然后将图像二值化，使目标与背景分开，增加有用信息的比重，降低干扰信息比重。最后对二值化后的图像进行连通域分析，处理后，图像目标区域更加清晰，轮廓信息更加明显。

第三步，利用图像金字塔算法降采样，得到可辨识目标特征的最低分辨率的两幅图像T′和S′，并利用图像金字塔生成4种不同尺度大小的模板。

所述的图像金字塔算法降采样，具体是：以金字塔的底层为待处理图像的高分辨率表示，倒数第二层图像为原分辨率的1/4，倒数第三层图像为原分辨率的1/16，以此类推，倒数第n层图像的分辨率为底层图像的分辨率的每个图像金字塔的层数越高、图像越小、分辨率越低；每个图像金字塔的最高层为可辨识目标特征的最低分辨率的图像，分别记作图像T′和S′。

所述不同尺度大小的模板，具体是：根据金字塔算法的多尺度表达特性，提供一种多尺度模板，验证HU不变矩匹配算法在图像尺度发生变化时的匹配精度。即每次进行HU矩匹配时，根据待匹配图像尺度变化大小，利用图像金字塔生成4种不同尺度的模板，再分别与待匹配图像匹配。

第四步，使用改进的图像匹配搜索策略进行匹配度计算。

传统图像匹配搜索策略都是以待匹配图像的左上角(0,0)点作为起始点，然后全局逐像素遍历。当起始点距离最佳匹配位置较远，逐像素移动模板时在非可能匹配位置计算时间占用总体的匹配时间过多，导致算法效率变低。

而本发明提出了一种改进的图像匹配搜索策略方法，示意图如图4所示。该方法的具体实现步骤如下：

(1)计算图像T′和S′的质心(x₁,y₁)和(x₂,y₂)；

(2)以待图像S′的质心(x₂,y₂)作为搜索起始点，将图像T′叠放在图像S′上使(x₁,y₁)与(x₂,y₂)重合；(3)以(x₂,y₂)为中心，在(p*p,半径为R)的邻域内创建搜索子图(S,a,b)(-R≤a≤R,-R≤b≤R)，并且在邻域内逐像素匹配计算各像素的相似性度量值，记作d_ab；其中，p为邻域的宽和高；d_ab表示图像T′和S′的匹配程度；d_ab值越小，表明图像T′和搜索子图(S,a,b)匹配度越高；

(4)将d_ab和该匹配值对应的像素点(a,b)保存在一个二维数组中，记作B[r,c](1≤r≤p，1≤c≤p)；

(5)重复第3步和第4步，直到邻域内全部遍历结束，找出第四步中最小的d_min，对应的(a,b)为最佳匹配位置图像的质心在图像S′上的坐标。

所述的R的取值可以根据具体的情况来确定。

所述的d_min的求解，具体为：开始遍历邻域内像素点时，将B[r,c]中每行计算出的匹配值的极小值取出保存在极小值序列B_min[r]中；最后将极小值序列中的匹配值进行排序，找出极小值中的最小值d_min和对应的(a,b)。由于图像S′是已知的，搜索出目标的质心(a,b)在S′上的坐标已知，质心在图像T′上的坐标已知，综合上述信息即可准确定位目标在S′上的位置。

第五步，利用相似性度量法查找最佳匹配点，实现最终目标定位和标记。

所述的相似性度量法，具体是：

式中，Hu1(k)(k＝1～7)表示模板图像的7个不变矩；Hu2(k)(k＝1～7)表示搜索子图的7个不变矩；d_ab表示匹配值，d_ab值越小，表明模板图像T和搜索子图(S,a,b)匹配越接近。

如图5所示，为算法流程图，按照该流程，输入待匹配图像和模板图像，便可以得到匹配定位结果。

图6给出了本发明提供的匹配方法的匹配结果，由图6可知，本发明提供的匹配方法具有很强的适应性，对于灰度分布不均匀、多目标、目标发生大角度旋转、平移、缩放的图像的匹配都有较好的结果。

表1给出了大分辨PCB板图像匹配运行时间结果。根据表1中数据可知本发明提供的匹配方法的匹配时间短，速度快、效率高。

表1：算法改进前后对大分辨PCB板图像匹配运行时间结果比较

本实施例针对HU不变矩算法进行图像匹配时，鲁棒性差计算量大，速度慢等问题，提出了一种改进HU不变矩的快速图像匹配算法。试验表明，在灰度不均、图像失焦、目标平移、旋转和缩放的匹配上本文匹配算法更加稳定和鲁棒，特别是目标发生大幅度的旋转和尺度变化时，拥有更加优秀的匹配效果。同时，针对传统HU不变矩匹配算法耗时较长的问题，本申请提出的算法克服了大分辨率图像全局遍历匹配计算量大的缺点，极大提高了匹配效率，基本满足了高精密机械加工和检测行业实时匹配要求。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于改进HU不变矩的快速图像匹配方法，其特征在于，所述方法包括以下步骤：

S1，输入模板图像T和待匹配图像S；

S2，对模板图像T和待匹配图像S分别进行图像预处理；

S3，利用图像金字塔算法对预处理后的两幅图像进行降采样，得到可辨识目标特征的最低分辨率的两幅图像T′和S′，并利用图像金字塔算法根据模板图像T的不同尺度大小生成不同尺度大小的模板；

S4，使用改进的图像匹配搜索策略进行匹配度计算；

S5，利用相似性度量法查找最佳匹配点，实现最终目标定位和标记。

2.根据权利要求1所述的方法，其特征在于，所述利用图像金字塔算法对预处理后的两幅图像进行降采样，包括：

将高分辨率的模板图像T和待匹配图像S分别作为金字塔的底层建立对应的图像金字塔；每个图像金字塔的倒数第二层图像的分辨率为底层图像的分辨率的倒数第n层图像的分辨率为底层图像的分辨率的每个图像金字塔的层数越高、图像越小、分辨率越低；每个图像金字塔的最高层为可辨识目标特征的最低分辨率的图像，分别记作图像T′和S′。

3.根据权利要求1或2所述的方法，其特征在于，所述改进的图像匹配搜索策略包括：

步骤1：计算图像T′和S′的质心(x₁,y₁)和(x₂,y₂)；

步骤2：以待图像S′的质心(x₂,y₂)作为搜索起始点，将图像T′叠放在图像S′上使(x₁,y₁)与(x₂,y₂)重合；

步骤3：以(x₂,y₂)为中心，在(p*p,半径为R)的邻域内创建搜索子图(S,a,b)(-R≤a≤R,-R≤b≤R)，并且在邻域内逐像素匹配计算各像素的相似性度量值，记作d_ab；其中，p为邻域的宽和高；d_ab表示图像T′和S′的匹配程度；d_ab值越小，表明图像T′和搜索子图(S,a,b)匹配度越高；

步骤4：将d_ab和d_ab对应的像素点(a,b)保存在一个二维数组中，记作B[r,c](1≤r≤p，1≤c≤p)；

步骤5：重复步骤3和步骤4，直至邻域内全部遍历结束，找出步骤4最小的相似性度量值d_min，将d_mih对应的像素点(a,b)作为最佳匹配位置图像的质心在图像S′上的坐标。

4.根据权利要求1-3任一所述的方法，其特征在于，所述图像预处理包括：

Step1：对图像进行灰度化，将彩色图转化为灰度图；

Step2：对灰度图进行高斯滤波，去除由于环境造成的噪声点，得到边缘保存完整对比度高的图像；

Step3：将Step2得到的图像二值化，使目标与背景分开，增加有用信息的比重，降低干扰信息比重；

Step4：对Step3得到的二值化后的图像进行连通域分析处理。

5.根据权利要求1-4任一所述的方法，其特征在于，所述相似性度量法的相似性度量值计算公式为式(1)

其中，Hu1(k)(k＝1～7)表示模板图像的7个不变矩，Hu2(k)(k＝1～7)表示搜索子图的7个不变矩。

6.一种权利要求1-5任一所述的基于改进HU不变矩的快速图像匹配方法在高精密机械工件加工检测中的应用方法。

7.根据权利要求6所述的应用方法，其特征在于，所述高精密机械工件包括：半导体芯片、PCB线路板、齿轮定转子、触摸显示屏、传感器。

8.根据权利要求7所述的应用方法，其特征在于，所述方法包括：

利用工业相机拍摄获取高精密机械工件的图像作为待匹配图像S；

从实际生产过程中选择没有缺陷、特征明显、尺寸合格的工件产品拍摄图片作为模板图像T；

利用上述基于改进HU不变矩的快速图像匹配方法对高精密机械工件进行检测。

9.根据权利要求8所述的应用方法，其特征在于，所述方法还包括：在进行检测之前，利用模板图像T对高精密机械工件进行定位和跟踪。

10.根据权利要求9所述的应用方法，其特征在于，所述方法还包括：在进行检测之后，对高精密机械工件进行尺寸检测和/或缺陷识别。