CN110399931B - 一种鱼眼图像匹配方法及*** - Google Patents

Abstract

本发明公开了一种鱼眼图像匹配方法及***。所述方法包括：获取采用鱼眼相机得到的待匹配鱼眼图像；在鱼眼成像半球模型内构建内切三角格网多面体；将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对第一鱼眼图像和第二鱼眼图像进行匹配，得到鱼眼匹配图；将三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；采用动态统计的方法，将三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果。本发明能够快速准确的实现鱼眼图像匹配。

Description

一种鱼眼图像匹配方法及***

技术领域

本发明涉及图像处理技术领域，特别是涉及一种鱼眼图像匹配方法及***。

背景技术

近年来鱼眼相机被广泛应用于定位识别、视觉监控、机器人视觉、虚拟现实等领域，其主要原因是鱼眼图像具有大广角特征，视角可以达到180°，甚至更大的优点。但是与普通投射图像相比，鱼眼图像在获得超大广角的同时也引入了非线性畸变，采用SURF、DAISY等匹配算法并不能在对鱼眼图像匹配上取得好的效果。

目前，对于鱼眼图像的稀疏匹配也提出了好多算法，Hansen在SIFT算法的基础上引入半球成像模型的方法进行了改进，提出了两种新的基于球面的描述符：parabolicSIFT(P-SIFT)和spherical sift(S-SIFT)。然而，这两个描述符只适用于畸变较小的图像。如果图像失真较大，一般只能保证中心区域匹配正确，需要进行大规模的插值，势必会降低关键点匹配精度。由Cruz-Mota提出的SIFT on the Sphere(SIFT-Sphere)试图利用球面图像模型或特定的非线性失真模型来填补SIFT算法在畸变严重区域的匹配准确率低的不足。但是在SIFT-Sphere中不能检测到小尺度的关键点，导致SIFT-Sphere检测的关键点较少。YUHAO SHAN提出了一种利用卷积神经网络从离散球面图像中提取特征描述符的方法，这种算法在鱼眼图像上畸变较大区域和中心区域都可以做到较高准确性的匹配，但这种算法匹配速度太慢，并且此算法不能有效去除误匹配。综上所述，现在鱼眼图像稀疏匹配技术并没有一个切实可行、快速精准的解决方案。

因此，亟待一种既要保证匹配精度，又要保证匹配快速性的鱼眼图像稀疏匹配方法。

发明内容

基于此，有必要提供一种鱼眼图像匹配方法及***，以快速准确的实现鱼眼图像匹配。

为实现上述目的，本发明提供了如下方案：

一种鱼眼图像匹配方法，包括：

获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的；所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像；

在鱼眼成像半球模型内构建内切三角格网多面体；所述三角格网多面体是由多个三角形格网构成的；

对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点；

将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图；

将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像；

采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

可选的，所述将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图，具体包括：

将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角；

依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角；

依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。

可选的，所述采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果，具体包括：

采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第一匹配结果；

将所述第一三角形网格鱼眼图像对应的三角形网格旋转预设角度，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格内部；

采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果；

将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

可选的，所述采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像的错误匹配点对，得到第一匹配结果，具体包括：

确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格；

若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

可选的，所述采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果，具体包括：

确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于所述第一预设阈值的三角形网格；

确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格；

若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

本发明还提供了一种鱼眼图像匹配***，包括：

图像获取模块，用于获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的；所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像；

多面体构建模块，用于在鱼眼成像半球模型内构建内切三角格网多面体；所述三角格网多面体是由多个三角形格网构成的；

特征点提取模块，用于对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点；

匹配模块，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图；

投影模块，用于将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像；

匹配点剔除模块，用于采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

可选的，所述匹配模块，具体包括：

纬度角确定单元，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角；

矩阵构建单元，用于依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角；

匹配单元，用于依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。

可选的，所述匹配点剔除模块，具体包括：

第一匹配点剔除单元，用于采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第一匹配结果；

网格旋转单元，用于将所述第一三角形网格鱼眼图像对应的三角形网格旋转预设角度，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格内部；

第二匹配点剔除单元，用于采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果；

融合单元，用于将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

可选的，所述第一匹配点剔除单元，具体包括：

第一确定子单元，用于确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

第二确定子单元，用于确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格；

第三确定子单元，用于若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

可选的，所述第二匹配点剔除单元，具体包括：

第四确定子单元，用于确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于所述第一预设阈值的三角形网格；

第五确定子单元，用于确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格；

第六确定子单元，用于若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

与现有技术相比，本发明的有益效果是：

本发明提出了一种鱼眼图像匹配方法及***，基于三角格网结构，将三角格网多面体中三角形的法线与鱼眼图像法线的方向角作为经纬角，采用ASIFT算法对三角形网格鱼眼图像进行匹配，得到鱼眼匹配图，优化了ASIFT的特征描述，提高了匹配速度和匹配精度；采用动态统计的方法，将鱼眼匹配图中的错误匹配点对删除，最终得到鱼眼图像稀疏匹配结果，其中错误匹配点对为错误三角形网格对中的匹配点，错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对，这样通过在两个匹配点所在的三角网格对中设置匹配数的阈值来确定三角网格内的匹配是真还是假，通过统计方法去除错误的匹配，进一步提高了匹配速度和匹配精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种鱼眼图像匹配方法的流程图；

图2为本发明实施例鱼眼图像成像示意图；

图3为本发明实施例三角格网多面体与多面体的三角形法线的结构示意图；

图4为本发明实施例三角形网格的结构示意图；

图5为本发明实施例鱼眼图像左图像；

图6为本发明实施例鱼眼图像右图像；

图7为本发明实施例鱼眼图像稀疏匹配结果图；

图8为本发明实施例一种鱼眼图像匹配***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例一种鱼眼图像匹配方法的流程图。

参见图1，实施例的鱼眼图像匹配方法，包括：

步骤S1：获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的。

所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像。本实施例中，第一鱼眼图像为左图像，第二鱼眼图像为右图像。由于待匹配鱼眼图像存在非线性畸变，因此，接下来采用成像半球模型的内切三角格网多面体拟合半球模型。

步骤S2：在鱼眼成像半球模型内构建内切三角格网多面体。

所述鱼眼成像模型如图2所示，鱼眼成像模型多项式为

r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷，其中，r(θ)是在鱼眼图像上点到世界坐标系原点的距离；k₁、k₂、k₃、k₄为鱼眼畸变参数；θ表示在鱼眼半球模型上投影点与z轴对应的角度。

本实施例中，三角格网多面体为正320面体的一半，也就是鱼眼半球模型的内切多面体为160面体，且每个面均为等腰三角形，顶角为72°，三角格网多面体如图3所示。

步骤S3：对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点。

步骤S4：将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图。

所述步骤S4具体包括：

41)将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角。图3中的A表示三角形网格法线，Z_c表示鱼眼图像法线。

42)由于ASIFT算法对畸变图像匹配时需要模拟仿射矩阵的两个参数，因此，依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角。纬度角、经度角。

43)依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。具体的，采用ASIFT对多面体的每个三角形区域进行匹配，每个三角形网格的法线与图像法线的倾斜角就是这个三角形ASIFT中的纬度角，每个三角形网格的法线与图像法线的旋转角就是这个三角形ASIFT中的经度角，这样就可以使用ASIFT完成鱼眼图像特征匹配。

步骤S5：将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像。

所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像。

该步骤在鱼眼匹配图像上构造动态统计三角网格，在鱼眼匹配图像上的三角形网格是通过鱼眼成像半球模型中的三角格网多面体投影到鱼眼图像上得到的，本实施例中将步骤S2中的160面体投影到鱼眼图像上可以得到一个三角形构成的网格，三角形网格内部包含有160个等腰三角形，三角形网格中距离鱼眼图像中心越远的三角形其顶角越大，所在区域的鱼眼图像畸变越大。三角形网格如图4所示。

步骤S6：采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

所述步骤S6，具体包括：

1)采用动态统计的方法确定所述鱼眼匹配图中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述鱼眼匹配图中的错误匹配点对，得到第一匹配结果。具体的：

确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像(左图像)中匹配点数目大于或等于第一预设阈值的三角形网格。匹配点数目小于第一预设阈值，说明数据量过小可信度低，不对这些区域进行处理。

确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像(右图像)中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格。

若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

上述步骤1)是对三角形网格内部的匹配点进行错误匹配点的去除，而对于三角形网格边缘匹配点划分的问题，提出了将两幅图像中任意一幅图像对应的三角形网格进行旋转的思路，使得三角形网格边缘上的匹配点在旋转后落在三角形网格内部，以解决网格边缘匹配点划分问题。本实施例中，将所述鱼眼匹配图像中第一三角形网格鱼眼图像(左图像)对应的三角形网格旋转36°，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格的中心区域。对三角形网格边缘上的匹配点进行错误匹配点的去除的具体方式如步骤2)所示。

2)采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的鱼眼匹配图(左图像)中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述鱼眼匹配图中的错误匹配点对，得到第二匹配结果。具体的：

确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于所述第一预设阈值的三角形网格。

确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像(右图像)中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格。

若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

3)将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

下面采用实验的方法对上述实施例的鱼眼图像匹配方法进行了验证。

1)采用鱼眼相机获取待匹配的鱼眼图像，其中图5为鱼眼图像左图像，图6为鱼眼图像右图像。

2)通过FAST算法在鱼眼图像上提取特征点，并在鱼眼成像半球模型内部构造内切三角格网多面体，将三角格网多面体的网格投影到鱼眼图像上，并使用格网中的三角形的法线方向角作为ASIFT中的经纬角，再通过ASIFT算法进行特征点匹配。

3)对左图像右图像均构造出相同的三角形网格，接下来统计左图像中每个三角形区域内包含匹配点数目，如果三角形区域内部匹配点小于阈值，说明数据量过小可信度低，不对这些区域进行处理。

4)对左图像满足阈值的三角形区域的匹配点进行统计，统计这些匹配点在右图像中分布最多的三角形区域内的匹配点数目，在两个匹配点所在的网格对中匹配点数目超过设置匹配数的阈值，则匹配正确，保留匹配结果。

5)对待网格边缘匹配点划分问题，我们对右图像采用两种网格，第一种是与左图像相同的划分网格，将左图像的划分网格旋转36°作为右图像的第二种划分网格，然后对左图像与带有第二种网格的右图像的三角形区域的匹配点进行统计，统计这些匹配点在右图像中分布最多的三角形区域内的匹配点数目，在两个匹配点所在的网格对中匹配点数目超过设置匹配数的阈值，则匹配正确，保留匹配结果。

6)最后将两种网格中统计的匹配数目满足阈值的匹配结果融合得到最后的去除误匹配的鱼眼图像稀疏匹配结果。鱼眼图像稀疏匹配结果如图7所示，,通过直观的观察，可以看出本实施例的鱼眼图像匹配方法对鱼眼图像的稀疏匹配可以做到匹配效率高，去除误匹配速度快等特点。

本实施例的鱼眼图像匹配方法具有高鲁棒性、快速去除误匹配的鱼眼图像特征点的优点。该方法解决了鱼眼图像在畸变情况下的特征点匹配速度慢，鲁棒性差问题；通过引入三角格网多面体解决了ASIFT在鱼眼图像上进行稀疏匹配问题；通过引入三角格网动态统计方法解决了鱼眼图像剔除误匹配速度慢的问题。

图8为本发明实施例一种鱼眼图像匹配***的结构示意图。

参见图8，实施例的鱼眼图像匹配***，包括：

图像获取模块801，用于获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的；所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像。

多面体构建模块802，用于在鱼眼成像半球模型内构建内切三角格网多面体；所述三角格网多面体是由多个三角形格网构成的。

特征点提取模块803，用于对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点。

匹配模块804，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图。

投影模块805，用于将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像。

匹配点剔除模块806，用于采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

作为一种可选的实施方式，所述匹配模块804，具体包括：

纬度角确定单元，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角。

矩阵构建单元，用于依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角。

匹配单元，用于依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。

作为一种可选的实施方式，所述匹配点剔除模块806，具体包括：

第一匹配点剔除单元，用于采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第一匹配结果。

网格旋转单元，用于将所述第一三角形网格鱼眼图像对应的三角形网格旋转预设角度，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格内部。

第二匹配点剔除单元，用于采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果。

融合单元，用于将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

作为一种可选的实施方式，所述第一匹配点剔除单元，具体包括：

第一确定子单元，用于确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格。

第二确定子单元，用于确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格。

第三确定子单元，用于若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

作为一种可选的实施方式，所述第二匹配点剔除单元，具体包括：

第四确定子单元，用于确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于所述第一预设阈值的三角形网格；

第五确定子单元，用于确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格；

第六确定子单元，用于若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

本实施例的鱼眼图像匹配***，实现了鱼眼图像的快速准确匹配。

对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种鱼眼图像匹配方法，其特征在于，包括：

获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的；所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像；

在鱼眼成像半球模型内构建内切三角格网多面体；所述三角格网多面体是由多个三角形格网构成的；

对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点；

将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图；

将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像；

采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

2.根据权利要求1所述的一种鱼眼图像匹配方法，其特征在于，所述将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图，具体包括：

将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角；

依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角；

依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。

3.根据权利要求1所述的一种鱼眼图像匹配方法，其特征在于，所述采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果，具体包括：

采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第一匹配结果；

将所述第一三角形网格鱼眼图像对应的三角形网格旋转预设角度，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格内部；

采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果；

将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

4.根据权利要求3所述的一种鱼眼图像匹配方法，其特征在于，所述采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像的错误匹配点对，得到第一匹配结果，具体包括：

确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格；

若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

5.根据权利要求3所述的一种鱼眼图像匹配方法，其特征在于，所述采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果，具体包括：

确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格；

若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

6.一种鱼眼图像匹配***，其特征在于，包括：

图像获取模块，用于获取待匹配鱼眼图像；所述待匹配鱼眼图像是采用鱼眼相机拍摄得到的；所述待匹配鱼眼图像包括第一鱼眼图像和第二鱼眼图像；

多面体构建模块，用于在鱼眼成像半球模型内构建内切三角格网多面体；所述三角格网多面体是由多个三角形格网构成的；

特征点提取模块，用于对所述待匹配鱼眼图像进行特征点提取，得到鱼眼图像特征点；

匹配模块，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，并将三角形格网法线与鱼眼图像法线的方向角作为ASIFT算法中的经纬角，采用ASIFT算法对所述第一鱼眼图像和所述第二鱼眼图像进行匹配，得到鱼眼匹配图；

投影模块，用于将所述三角格网多面体分别投影到第一鱼眼匹配图像和第二鱼眼匹配图像中，得到三角形网格鱼眼匹配图像；所述三角形网格鱼眼匹配图像为被三角形网格覆盖后的鱼眼图像；所述三角形网格是所述三角格网多面体投影得到的；所述三角形网格鱼眼匹配图像包括第一三角形网格鱼眼图像和第二三角形网格鱼眼图像；所述第一三角形网格鱼眼图像为所述鱼眼匹配图中对应的第一鱼眼图像；所述第二三角形网格鱼眼图像为所述鱼眼匹配图中对应的第二鱼眼图像；

匹配点剔除模块，用于采用动态统计的方法，将所述三角形网格鱼眼匹配图像中的错误匹配点对删除，得到鱼眼图像稀疏匹配结果；所述错误匹配点对为错误三角形网格对中的匹配点；所述错误三角形网格对为三角形网格中匹配点数目小于预设阈值的三角形网格对。

7.根据权利要求6所述的一种鱼眼图像匹配***，其特征在于，所述匹配模块，具体包括：

纬度角确定单元，用于将所述鱼眼图像特征点投影到所述三角格网多面体上，将所述三角形格网法线与鱼眼图像法线的倾斜角确定为纬度角，所述三角形格网法线与鱼眼图像法线的旋转角确定为经度角；

矩阵构建单元，用于依据所述纬度角、所述经度角、鱼眼相机焦距和鱼眼相机旋转角度，构建仿射变换矩阵；所述仿射变换矩阵

其中，λ表示鱼眼相机焦距，λ＞0，γ表示鱼眼相机旋转角度，θ表示纬度角，φ为经度角；

匹配单元，用于依据所述仿射变换矩阵，采用ASIFT算法对所述三角形网格鱼眼图像进行匹配，得到鱼眼匹配图。

8.根据权利要求6所述的一种鱼眼图像匹配***，其特征在于，所述匹配点剔除模块，具体包括：

第一匹配点剔除单元，用于采用动态统计的方法确定所述三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第一匹配结果；

网格旋转单元，用于将所述第一三角形网格鱼眼图像对应的三角形网格旋转预设角度，得到旋转后的第一三角形网格鱼眼图像，使得在旋转前位于三角形网格边缘上的匹配点落入三角形网格内部；

第二匹配点剔除单元，用于采用动态统计的方法确定旋转后的第一三角形网格鱼眼图像对应的三角形网格鱼眼匹配图像中三角形网格内部的匹配点的数目，将旋转后的内部匹配点的数目与预设阈值进行比较，删除所述三角形网格鱼眼匹配图像中的错误匹配点对，得到第二匹配结果；

融合单元，用于将所述第一匹配结果和所述第二匹配结果融合，得到鱼眼图像稀疏匹配结果。

9.根据权利要求8所述的一种鱼眼图像匹配***，其特征在于，所述第一匹配点剔除单元，具体包括：

第一确定子单元，用于确定优选三角形网格；所述优选三角形网格为所述第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

第二确定子单元，用于确定第一对应区域；所述第一对应区域为所述第二三角形网格鱼眼图像中的第一对应三角形网格；所述第一对应三角形网格为所述第二三角形网格鱼眼图像中与所述优选三角形网格对应的包含匹配点数目最多的三角形网格；

第三确定子单元，用于若所述优选三角形网格与所述第一对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述优选三角形网格与所述第一对应区域确定为第一匹配结果。

10.根据权利要求8所述的一种鱼眼图像匹配***，其特征在于，所述第二匹配点剔除单元，具体包括：

第四确定子单元，用于确定旋转后优选三角形网格；所述旋转后优选三角形网格为旋转后的第一三角形网格鱼眼图像中匹配点数目大于或等于第一预设阈值的三角形网格；

第五确定子单元，用于确定第二对应区域；所述第二对应区域为所述第二三角形网格鱼眼图像中的第二对应三角形网格；所述第二对应三角形网格为所述第二三角形网格鱼眼图像中与所述旋转后优选三角形网格对应的包含匹配点数目最多的三角形网格；

第六确定子单元，用于若所述旋转后优选三角形网格与所述第二对应区域中的匹配点对的数目大于或等于第二预设阈值，则将所述旋转后优选三角形网格与所述第二对应区域确定为第二匹配结果。

Images