CN104077770B - 一种植物叶片图像局部自适应树形结构特征匹配方法 - Google Patents

Abstract

本发明涉及一种植物叶片图像局部自适应树形结构特征匹配方法，构建了DOG特征点匹配基底，利用基底在已匹配的和未匹配的特征点之间抽取特征线结构，通过特征线结构可以自适应的结合局部描述子信息和特征点的空间分布约束，形成动态的参考关系树。有效避免了现有方法在植物叶片发生不规则形变、高噪声点下的缩放和旋转组合、局部高重复模式等情况下难以取得良好匹配结果的问题，实现了高鲁棒性的植物叶部图像特征匹配方法，其适应性和准确度已达到了实际应用的要求。同时，本发明易于与现有的大量基于图片的特征描述子进行结合，扩展出各类具有不同特性的基于图像的特征匹配方法，对于计算机视觉中的经典问题有着重要的意义。

Description

一种植物叶片图像局部自适应树形结构特征匹配方法

技术领域

本发明属于模式识别领域，涉及计算机图形技术领域，尤其涉及一种植物叶片图像局部自适应树形结构特征匹配方法。

背景技术

图像特征匹配是建立两个图片中的特征点集合的对应关系，是图像拼接、场景识别、图像检索、三维建模等应用领域必不可少的基础支撑部分。与具有较规则几何形状的工业零件相比，自然状态下植物的表面轮廓和外形特征都更为复杂。在处理特征匹配时，上述难点的表现也更加突出。作为重要的植物器官之一的叶片，对其进行基于图像特征匹配，具体可以概括为如下几个难点：(1)植物叶片表面具有明显的局部相似特征，例如纹理、叶片颜色和空间分布的对称性等。这样的高局部重复模式一直是现有的特征匹配算法中的难点；(2)自然拍摄情况下，植物叶片本身具有明显的不规则绕卷、扭曲等形变。由于形变的不规则性，给匹配模型的统一约束和具体的特征描述带来了困难；(3)自然状态下，植物叶部图像的实际拍摄环境容易受到焦距、拍摄角度等因素的影响，所以在实际进行特征匹配时，往往要处理的是大量混杂的噪声点和旋转、缩放变换的组合问题，这同样给匹配工作带来困难。如上的几类难点导致植物叶部图像特征匹配不仅需要好的特征点选取方法，还需要更具鲁棒性和准确度的特征匹配方法。

综上所述，现有植物叶部图像特征匹配方法由于针对大多都是特定拍摄条件下的对象，具有光照均匀、噪点干扰小、空间位置变换简单、叶片表面形变相对规则等特点，因此还存在一些不足，主要表现在：(1)面对植物叶片的局部不规则绕卷、扭曲形变，现有方法难以构建统一的模型来描述它，无法引入有效的空间几何约束规则来提高特征匹配精度；(2)在无法引入规则几何约束的情况下，单纯的使用局部描述子的相似性处理匹配问题，难以获得满意的匹配结果；(3)在处理大量噪声点混杂和旋转缩放变换的组合时，匹配的精度难以提高。

发明内容

为解决现有技术中存在的实际拍摄过程中引入的高噪声点干扰和图像旋转、缩放组合变换等问题，本发明的目的在于提供一种植物叶片图像局部自适应树形结构特征匹配方法，能够灵活的进行特征匹配，从而解决实际的特征匹配应用中，现有方法在这些问题上难以取得良好匹配的问题。

为了实现上述目的，本发明提供的植物叶片图像局部自适应树形结构特征匹配方法，构建了DOG特征点匹配基底，利用基底在已匹配的和未匹配的特征点之间抽取特征线结构，通过特征线结构可以自适应的结合局部描述子信息和特征点的空间分布约束，形成动态的参考关系树，具体包括以下步骤：

步骤S1：构建植物叶片图像的多分辨率高斯差值金字塔基底，将已经抽取的特征点映射到高斯差基底中；

步骤S2：在步骤S1完成特征点映射的情况下，结合空间信息，在特征点集合中建立出一个参考三角形结构；

步骤S3：利用步骤S2的参考三角形结构，计算出叶片的局部尺度信息和旋转信息，根据此信息构建局部变换模型，完成对特征点的空间划分；

步骤S4：从步骤S3的参考三角形上某点出发进行特征树的生长匹配，从已知点出发不断自适应的向未知点扩展。通过结合局部特征描述、基底上构建的特征点间线特征和空间分布进行筛选，直到完成整棵树形结构匹配；

步骤S5：重复执行S2-S4的过程，直至无法从未匹配的特征点中筛选出参考三角形结构，匹配完成。

其中，步骤S1的具体步骤如下：

步骤S11：通过公式：

计算高斯尺度空间图像，其中表示对x和y方向上的卷积操作，G(x,y,δ)是一个变尺度的高斯函数。

步骤S12：将相邻两个不同尺度的高斯核卷积图像相减，得到高斯差值图像D(x,y,δ)。

步骤S13：引入相邻两个尺度空间倍数常数k对相邻图片进行近似采样，通过公式：

得到金字塔式高斯差值图像，其中用图像降采样倍率k为1.5或2。

其中，步骤S2的具体步骤如下：

步骤S21：获取原图的特征点集合和目标图的特征点集合，从原图的特征点集合中随机的抽取连续的一段特征点子集，利用局部特征描述子，依次与目标特征点集合中随机抽取的连续特征点子集进行匹配。

步骤S22：利用比值筛选法形成小规模候选匹配集合，从中随机抽取三对特征点，通过形成的三对特征边的相似性进一步验证匹配的正确性。若三角形上有两条特征边都验证失败，则删除两条边所夹的特征点，从候选匹配特征点集合中再次随机选则点对继续匹配，直至三对特征边均通过验证，从而形成参考三角形结构。

其中，步骤S3的具体步骤如下：

步骤S31：利用参考三角形的约束，将待匹配的特征点依据空间分布情况进行划分。

步骤S32：假设图中待匹配特征点分布相对均匀，根据参考三角形计算出最佳的网格分割参数，然后完成特征点分布位置到粗粒度的网格空间的映射。

其中，步骤S4的具体步骤如下：

步骤S41：设A^S为原图特征点集合中参考三角形上一点，令为整个匹配树的树根。

步骤S42：从A^S出发，在以半径r^branch范围内任意选择一个点D^S，利用原图中的距离向量和特征线在目标图中找出一条符合条件的匹配点D^T。

步骤S43：以原图中D^S为中心，在其不包括D^S所在的方格范围的八邻域内找出下一点E^S，相对的在目标图中求出对应匹配位置E^vir，以E^vir为中心提取相邻网格，取出网格中的所有特征点为备选特征点。

步骤S44:利用局部特征和动态构建的特征线策略筛选出选出最佳匹配点，如E₁ ^T。接着，以新匹配的特征点E₁ ^T为新始发点继续匹配，扩展搜索和匹配新的特征点，直至完成整棵匹配树的匹配工作。

本发明有效避免了现有方法在植物叶片发生不规则形变、高噪声点下的缩放和旋转组合、局部高重复模式等情况下难以取得良好匹配结果的问题，实现了高鲁棒性的植物叶部图像特征匹配方法，其灵活的适应性和较高的准确度已达到了实际应用的要求。同时，本发明易于与现有的大量基于图片的特征描述子结合，扩展出各类具有不同特性的基于图像的特征匹配方法，对于目标跟踪，场景建模，图像拼接，图像检索等计算机视觉中的经典问题有着重要的意义。

附图说明

图1为植物叶片图像局部自适应树形结构特征匹配方法的方法流程图。

图2为具有不规则卷曲形变的梧桐叶片。

图3为梧桐树叶片的第1、3、5、7层特征基底层级图。

图4为梧桐树叶片的特征点提取和标注图。

图5为梧桐树叶片的特征点剖分和参考三角形构建。

图6为梧桐树叶片的不规则形变和旋转下的树形匹配。

图7为梧桐树叶片的特征点匹配连线图。

图8为枫树叶片高重复模式和旋转下的匹配。

具体实施方式

以下结合附图详细说明本发明技术方法中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

一种植物叶片图像局部自适应树形结构特征匹配方法，其流程如图1所示。该特征匹配方法构建了DOG特征点匹配基底，利用基底在已匹配的和未匹配的特征点之间抽取特征线结构，通过特征线结构可以自适应的结合局部描述子信息和特征点的空间分布约束，形成动态的参考关系树。

具体包括以下步骤：

步骤S1：构建叶部图像的多分辨率高斯差金字塔基底。

以如图2所示的具有不规则卷曲形变的梧桐叶片为例，将已经抽取的特征点映射到基底空间中：首先计算高斯尺度空间图像其中表示对x和y方向上的卷积操作，G(x,y,δ)是一个变尺度的高斯函数。通过相邻的两个不同尺度的高斯核卷积的图像相减，得出高斯差值图像D(x,y,δ)，再引入相邻两个尺度空间倍数常数k对相邻图片进行近似采样，通过根据具体需要满足的缩放和变形要求，选择合适的金字塔层级。最终得到的金字塔式响应值图像。其中，图像降采样倍率常数k取值为1.5或2。

如图3所示的选用7层高斯降采样金字塔，k＝1.5时，梧桐叶片第1、3、5、7层的基底。

步骤S2：从未匹配特征点中筛选建立参考三角形结构。

完成特征点映射的情况下，获取原图的特征点集合和目标图的特征点集合，从原图的特征点集合中随机的抽取连续的一段特征点子集，利用局部特征描述子，依次与目标特征点集合中随机抽取的连续特征点子集进行匹配。如图4所示的梧桐树叶片的特征点提取和标注图。

将待匹配特征点集合分成粒度更小的子集，在子集合间通过简单的比值法的快速筛选出候选匹配点，随机抽取3个空间相对接近并且特征描述子成功匹配的候选点。最后，使用高斯差金字塔基底上构建的路径特征对三角形的三条边进行判定和筛选，若三角形上有两条特征边都验证失败，则删除两条边所夹的特征点，从候选匹配特征点集合中再次随机选则点对继续匹配，直至三对特征边均通过验证，从而形成参考三角形结构。最终得到一个稳定的局部参考三角形结构。

如图5所示的梧桐树叶片的特征点剖分和参考三角形构建。

步骤S3：利用特征三角形构建局部缩放和旋转匹配模型，完成对空间特征点的剖分。

利用参考三角形对应的三对顶点(A^S,B^S,C^S)→(A^T,B^T,C^T)计算出原图到目标图的局部缩放比例，根据局部缩放参数获得特征匹配中最佳的匹配基底层对，后续的特征线提取皆从此特征基底层抽取，以克服了缩放情况下的匹配问题。

计算出参考三角形各自的形心O^S和O^T,进一步得到局部的特征生长参考方向和在结合局部空间的点搜索匹配过程中，当遇到搜索方向判定时，均通过比较各自的生长参考方向进行判定和筛选，以有效克服匹配中的旋转问题。

初始化缩放比和旋转参考方向，假设特征点分布相对均匀，通过规则格网对特征点分布区域进行均匀剖分。通过设置一个二维网格结构将所有的特征点编号映射到对应的网格中，方便后续快速的空间查询和搜索比较。对特征点的空间进行划分原则为：尽量减少每个单元格中的特征点数，提高匹配速度；适当的保留足够的单元格尺寸以增加特征边的区分度，增加单次匹配的区分程度。通过网格映射，特征点在后续的空间搜索匹配中将更容易进行局部搜索和查询，同时避免了大量的错误匹配。如图6所示的梧桐树叶片的不规则形变和旋转下的树形匹配。

步骤S4，从参考三角形上某点出发，利用树形生长匹配策略进行特征树的生长匹配。

设A^S为从原图中提取的参考三角形上一点，令其为整个匹配树的树根。从A^S出发，在以半径r^branch范围内任意选择一个点D^S，利用原图中的特征点向量和特征点间在基底上形成的特征线筛选出目标图中符合条件的匹配点D^T。

以原图中D^S为中心，在其不包括D^S所在的方格范围的八邻域内找出下一点E^S，相对的在目标图中求出对应匹配位置E^vir，以E^vir为中心提取相邻网格，取出网格中的所有特征点为备选特征点。

以规则格网边长的一半r^leaf为半径画圆，提取与圆相交的网格，取出网格中的所有特征点为备选的待匹配特征点E_n ^T，利用局部特征描述子和动态的特征线约束筛选出最佳匹配点E₁ ^T，以新匹配的特征点E₁ ^T为新的始发点，继续向下匹配。以此增量式扩张的动态搜索策略搜索整个区域，直到整棵匹配树完成所有可以扩展的匹配为止。

如图7所示的梧桐树叶片的特征点匹配连线图。

步骤S5，迭代匹配。

重复执行步骤S2～S4，剔除已完成匹配的特征点，在剩下的点中继续寻找参考三角形结构，建立新的局部搜索匹配模型进行搜索，直至无法提取出新的参考三角形结构为止，此时匹配最终完成。如图8所示的枫树叶片高重复模式和旋转下的匹配。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理想得到的变换和改型，也应视为被涵盖在本发明的保护范围之内。

Claims (5)

1.一种植物叶片图像局部自适应树形结构特征匹配方法，其特征在于首先构建了DOG特征点匹配基底，利用基底在已匹配的和未匹配的特征点之间抽取特征线结构，通过特征线结构可以自适应的结合局部描述子信息和特征点的空间分布约束，形成动态的参考关系树，具体包括以下步骤：

步骤S1：构建植物叶片图像的多分辨率高斯差值金字塔基底，将已经抽取的特征点映射到高斯差基底中；

步骤S2：在步骤S1完成特征点映射的情况下，结合空间信息，在特征点集合中建立出一个参考三角形结构；

步骤S3：利用步骤S2的参考三角形结构，计算出叶片的局部尺度信息和旋转信息，根据此信息构建局部变换模型，完成对特征点的空间划分；

步骤S4：从步骤S3的参考三角形上某点出发进行特征树的生长匹配，从已知点出发不断自适应的向未知点扩展，通过结合局部特征描述、基底上构建的特征点间线特征和空间分布进行筛选，直到完成整棵树形结构匹配；

步骤S5：重复执行S2-S4的过程，直至无法从未匹配的特征点中筛选出参考三角形结构，匹配完成。

2.根据权利要求1所述的植物叶片图像局部自适应树形结构特征匹配方法，其特征在于：所述步骤S1具体步骤如下：

步骤S11：通过公式：

$L(x,y,\mathrm{\δ})=G(x,y,\mathrm{\δ})\⊗I(x,y)$

计算高斯尺度空间图像，其中表示对x和y方向上的卷积操作，G(x,y,δ)是一个变尺度的高斯函数；

步骤S12：将相邻两个不同尺度的高斯核卷积图像相减，得到高斯差值图像D(x,y,δ)；

步骤S13：引入相邻两个尺度空间倍数常数k对相邻图片进行近似采样，通过公式：

$D(x,y,\mathrm{\δ})=\left(G\right(x,y,k\mathrm{\δ})-G(x,y,\mathrm{\δ}))\⊗I(x,y)$

得到金字塔式高斯差值图像，其中用图像降采样倍率k为1.5或2。

3.根据权利要求1所述的植物叶片图像局部自适应树形结构特征匹配方法，其特征在于：所述步骤S2具体步骤如下：

步骤S21：获取原图的特征点集合和目标图的特征点集合，从原图的特征点集合中随机的抽取连续的一段特征点子集，利用局部特征描述子，依次与目标特征点集合中随机抽取的连续特征点子集进行匹配；

步骤S22：利用比值筛选法形成小规模候选匹配集合，从中随机抽取三对特征点，通过形成的三对特征边的相似性进一步验证匹配的正确性，若三角形上有两条特征边都验证失败，则删除两条边所夹的特征点，从候选匹配特征点集合中再次随机选择点对继续匹配，直至三对特征边均通过验证，从而形成参考三角形结构。

4.根据权利要求1所述的植物叶片图像局部自适应树形结构特征匹配方法，其特征在于：所述步骤S3的具体步骤如下：

步骤S31：利用参考三角形的约束，将待匹配的特征点依据空间分布情况进行划分；

步骤S32：假设图中待匹配特征点分布相对均匀，根据参考三角形计算出最佳的网格分割参数，然后完成特征点分布位置到粗粒度的网格空间的映射。

5.根据权利要求1所述的植物叶片图像局部自适应树形结构特征匹配方法，其特征在于：所述步骤S4的具体步骤如下：

步骤S41：设A^S为原图特征点集合中参考三角形上一点，令为整个匹配树的树根；

步骤S42：从A^S出发，在以半径r^branch范围内任意选择一个点D^S，利用原图中的距离向量和特征线在目标图中找出一条符合条件的匹配点D^T；

步骤S43：以原图中D^S为中心，在其不包括D^S所在的方格范围的八邻域内找出下一点E^S，相对的在目标图中求出对应匹配位置E^vir，以E^vir为中心提取相邻网格，取出网格中的所有特征点为备选特征点；

步骤S44:利用局部特征和动态构建的特征线策略筛选出最佳匹配点，如E₁ ^T，接着，以新匹配的特征点E₁ ^T为新始发点继续匹配，扩展搜索和匹配新的特征点，直至完成整棵匹配树的匹配工作。