CN109800787A - 基于相对特征距离误差度量的图像模板匹配方法 - Google Patents

Abstract

基于相对特征距离误差度量的图像模板匹配方法，具体步骤如下：第一步，在模板图像与当前窗口的目标图像中，以像素块特征为单位，分别提取互为最近邻的特征对；第二步，分别计算两两特征对的相对特征距离差和相对距离差的均值；第三步，基于相对特征距离差和相对距离差的均值，计算相似性度量值；第四步，按单位距离移动滑动窗，重复上述第一到第三步直至窗口滑动到目标图像右下角；第五步，选出最大的相似性度量结果，对应的候选窗口位置作为匹配输出结果；本发明提出了一种新的基于相对特征距离误差的相似性度量方法，并将其应用于图像模板匹配中，能够有效地提高在不同噪声干扰下的匹配精度。

Description

基于相对特征距离误差度量的图像模板匹配方法

技术领域

本发明涉及图像匹配领域，具体涉及一种基于相对特征距离误差度量的图像模板匹配方法。

背景技术

模板匹配算法是计算机视觉领域的一个基本的研究问题，它在目标追踪、场景重建、图像拼接等问题中都有实际应用。目前已提出了许多模板匹配算法，但如何克服噪声干扰、背景遮挡以及目标的非刚性形变等情况，依旧是一个具有挑战性的工作。

基于像素或图像特征之间的相似性度量是模板匹配的核心，在早期主要应用如Sum-of-Squared Differences(SSD)、Sum of Absolute Differences(SAD)、NormalizedCross-Correlation(NCC)等全局相似性方法进行匹配，这些算法由于平均地考虑了所有的像素，易受背景噪声和较小形变的干扰。鲁棒的局部特征提取方法为模板匹配增加了局部匹配特征的约束，如Scale-Invariant Feature Transform(SIFT)[1]和Speeded UpRobust Features(SURF)[2]算法，对目标局部关键点具有旋转、尺度和平移的不变性。另外基于局部特征线的提取方法[3]能够保证在匹配过程中对线结构的保持。但这些算法大多数依赖于先检测到一组关键点或线，不适用于较光滑的或较小的图像。近年来，一些采用滑动窗的搜索策略，同时基于局部块匹配的方法，在模板匹配问题上取得了突破。其中，Best-Buddies Similarity(BBS)[4]算法通过比较模板图像与目标图像中互为最近邻的像素块数目，来选定匹配区域。Deformable Diversity Similarity(DDIS)[5]方法统计匹配特征的变形散度的估计相似性。这两种方法的匹配效果虽然在鲁棒性有所提升，但依旧是独立地计算局部块的匹配性，忽略了特征间的关系。Co-occurrence based template matching(CoTM)[6]方法进一步地将两两特征共同出现的概率作为先验信息，提高算法的精度，但依然忽略了特征间原有的结构特征，易受到局部相近噪声的干扰。

[1]Lowe D,Distinctive image features from scale-invariantkeypoints.International Journal of Computer Vision,2004:60(2),91-110.

[2]Bay H,Tuytelaars T,et al.SURF:speeded up robust features.InProceedings of European Conference on Computer Vision,2006:404–417.

[3]Zhang Y,Qu H,Rotation invariant feature Lines transform for imagematching.Journal of Electronic Imaging,2014:23(5),053002.

[4]Dekel T,Oron S,et al.Best-buddies similarity for robust templatematching.In Proceedings of IEEE Conference on Computer Vision and PatternRecognition,2015:2021–2029.

[5]Talmi R,Mechrez R,et al.Template matching with deformablediversity similarity.In Proceedings of IEEE Conference on Computer Vision andPattern Recognition,2017:1311-1319.

[6]Kat R,Jevnisek R,et al.Matching pixels using co-occurrencestatistics.In Proceedings of IEEE Conference on Computer Vision and PatternRecognition,2018:1751-1759.

发明内容

为了解决上述现有技术存在的问题，本发明提出了一种新的相似性度量方法，计算相对特征距离误差并基于该相对距离误差计算相似性度量值，选出其最大值，该值所对应的候选窗口的位置即为模板匹配的结果，有效地提高了模板匹配的精确度。

为达到以上目的，本发明采用如下技术方案：

基于相对特征距离误差度量的图像模板匹配方法，第一步，在模板图像与当前窗口的目标图像中，以像素块特征为单位，分别提取互为最近邻的特征对；第二步，分别计算两两特征对的相对特征距离差，并计算相对距离差的均值；第三步，基于相对特征距离差和相对距离差的均值，计算相似性度量值；第四步，按单位距离移动滑动窗，重复上述第一到第三步直至窗口滑动到目标图像右下角；第五步，选出最大的相似性度量值结果，对应的候选窗口位置作为匹配输出结果。

所述的分别计算两两特征对的相对特征距离差，并计算相对距离方差，具体方法为：设当前特征对集合为其中，N为当前窗口下特征对的总数，表示模板图像中提取的特征的坐标值，表示目标图像当前窗口中提取的特征的坐标值，则两对特征对之间的相对特征距离差定义为：

Δd_ij＝||Δx_ij-Δy_ij||² (1)

其中，i,j∈{1,2,...N}，和

此外，统计所有特征对之间的两两相对距离差，计算相对距离差的均值，具体数学公式为：

所述的基于相对特征距离差和相对距离差的均值，计算相似性度量值，具体方法为：计算当前所有特征对之间两两相对高斯距离差的总和，数学定义为：

其中，exp(·)为指数函数，S即为模板与当前窗口图像的相似性。

本发明与现有技术相比创新点如下：

传统的图像匹配方法通过计算模板图像和目标图像对应像素之间的距离，评估相似性度量。由于图像中存在背景变化的干扰，综合所有像素之间的距离度量结果，受背景干扰的影响很大。并且当目标自身进行形变时，对应像素的位置会发生改变，不利于进行相似性计算。基于特征提取的部分特征匹配的方法，仅考虑图像中较为明显的局部特征的对应关系，能够有效地克服无关点的干扰，具有特征选取灵活，受背景影响小的特点。但基于局部特征方法忽略了特征之间的结构关系，对局部相近特征的影响敏感。本发明定义了一种新的基于相对特征距离误差的相似性度量方法，在提取的局部特征基础上，通过衡量两两特征之间，相对空间距离的相似性进行匹配。相比于传统的分别***部特征的度量匹配方法，本发明的结果能够的度量目标间的结构变化，从而具有更精确的匹配结果。

附图说明

图1为本发明基于相对特征距离误差度量的图像模板匹配方法流程图。

图2一个对比了模板匹配的实验结果，其中：图2(a)中标出的内容为模板图像，图2(b)为匹配结果的真值，图2(c)和图2(d)分别给出了BBS方法的匹配结果和本发明方法的匹配结果。

图3另一个对比了模板匹配的实验结果，其中：图3(a)中标出的内容为模板图像，图3(b)为匹配结果的真值，图3(c)和图3(d)分别给出了BBS方法的匹配结果和本发明方法的匹配结果。

具体实施方式

以下结合附图及具体实施对本发明作进一步的详细描述：

如图1所示，本发明基于相对特征距离误差度量的图像模板匹配方法，第一步，在模板图像与当前窗口的目标图像中，以像素块特征为单位，分别提取互为最近邻的特征对；第二步，分别计算两两特征对的相对特征距离差，并计算相对距离差的均值；第三步，基于相对特征距离差和相对距离差的均值，计算相似性度量值；第四步，按单位距离移动滑动窗，重复上述第一到第三步直至窗口滑动到目标图像右下角；第五步，选出最大的相似性度量值结果，对应的候选窗口位置作为匹配输出结果。

步骤1：特征对的提取

在模板图像与当前窗口的目标图像中，进行3×3大小的像素块均匀网格划分。定义像素块的特征矢量由两部分组成，一是像素块中平均的颜色矢量(r,g,b)，一是像素块的中心坐标(x,y)。对应的模板图像的像素块特征集合表示为目标图像当前窗口下像素块特征集合表示为

分别计算两集合间两两像素块之间的特征距离，

提取在两个集合中互为最近邻的特征对，即当时，同时满足的特征对。其中，表示特征在集合Q中的最近邻特征。

步骤2：两两特征相对距离差的计算

设步骤1中求取的互近邻特征对的坐标集合为其中，N为当前窗口下特征对的总数，表示模板图像中提取的特征的坐标值，表示目标图像当前窗口中提取的特征的坐标值，则第i对与第j对特征之间的相对特征距离差定义为：

Δd_ij＝||Δx_ij-Δy_ij||² (4)

其中，i,j∈{1,2,...N}，和表示两对特征对在模板图像和目标图像上对应的相对特征距离。

此外，统计所有特征对之间的两两相对距离差，计算相对距离差的均值，具体数学公式为：

步骤3：计算相似性度量值

基于步骤2中所得的相对特征距离差和相对距离差均值，计算模板图像与当前窗口下目标图像的相对距离差的高斯值，并求取所有两两特征对高斯距离差的总和，具体数学公式为：

其中，exp(·)为指数函数。S即为模板与当前窗口图像的相似性。

步骤4：按单位距离移动滑动窗，重复上述第一到第三步，分别计算所有窗口下的相似性{S₁,S₂,...,S_M}，其中，M为滑动窗个数，直至窗口滑动到目标图像右下角。

步骤5：在{S₁,S₂,...,S_M}中选出最大值，该最大值对应的滑动窗口的位置即为模板在目标图中的位置，输出最终的模板匹配结果。

图2和图3对比了模板匹配的实验结果。图2(a)和图3(a)中标出的内容为模板图像，图2(b)和图3(b)为匹配结果的真值，图2(c)和图3(c)给出了BBS方法的匹配结果,图2(d)和图3(d)为本发明方法的匹配结果。可以看出相比于BBS算法，本发明提出的方法精确度更高。

Claims (3)

1.基于相对特征距离误差度量的图像模板匹配方法，其特征在于：第一步，在模板图像与当前窗口的目标图像中，以像素块特征为单位，分别提取互为最近邻的特征对；第二步，分别计算两两特征对的相对特征距离差，并计算相对距离差的均值；第三步，基于相对特征距离差和相对距离差的均值，计算相似性度量值；第四步，按单位距离移动滑动窗，重复上述第一到第三步直至窗口滑动到目标图像右下角；第五步，选出最大的相似性度量值结果，对应的候选窗口位置作为匹配输出结果。

2.根据权利要求1所述的基于相对特征距离误差度量的图像模板匹配方法，其特征在于：所述的分别计算两两特征对的相对特征距离差，并计算相对距离方差，具体方法为：设当前特征对集合为其中，N为当前窗口下特征对的总数，表示模板图像中提取的特征的坐标值，表示目标图像当前窗口中提取的特征的坐标值，则两对特征对之间的相对特征距离差定义为：

Δd_ij＝||Δx_ij-Δy_ij||² (1)

其中，i,j∈{1,2,...N}，和表示第i对与第j对特征对在模板图像和目标图像上对应的相对特征距离；

此外，统计所有特征对之间的两两相对距离差，计算相对距离差的均值，具体数学公式为：

。

3.根据权利要求1所述的基于相对特征距离误差度量的图像模板匹配方法，其特征在于：所述的基于相对特征距离差和相对距离差的均值，计算相似性度量值，具体方法为：计算当前所有特征对之间两两相对高斯距离差的总和，数学定义为：

其中，exp(·)为指数函数，S即为模板与当前窗口图像的相似性。