CN113033578B - 基于多尺度特征匹配的图像校准方法、***、终端及介质 - Google Patents

Abstract

本发明提供了一种基于多尺度特征匹配的图像校准方法及***，对目标图像进行处理，生成目标图像的特征点及特征向量；对待识别图像进行处理，生成待识别图像的特征点及特征向量组队列；基于待识别图像的特征点及特征向量组队列以及目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；对特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；过滤变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。同时提供了一种终端及介质。本发明对特征点检测速度快，自适应强，数据以及时间成本低，可操作性强。

Description

基于多尺度特征匹配的图像校准方法、***、终端及介质

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于GPU多尺度特征匹配的图像校准方法。

背景技术

高质量的图像是计算机视觉的基础，利用图像矫正技术可以将识别图像还原成与目标图像一致的空间分布，便于定位图像识别关键点以及提高最终的识别质量。常用的图像矫正流程为利用一定的策略获取识别图像与目标图像的透视变换矩阵，通过逆变换将识别图像还原成类目标图像。现有的获取透视变换矩阵的方法，主要包括如下两种：

1、利用SIFT，SURF，ORB等特征点检测方法，然后得出透视变换矩阵。这一类方法往往需要依赖于匹配算法参数的选择，并且基于CPU算法的时间复杂度较高。

2、使用深度学习的方法，训练得出变换矩阵网络。但是该方法数据以及时间成本较大。

经过检索发现：

公开号为CN110197185A的中国发明专利申请《一种基于尺度不变特征变换算法监测桥下空间的方法和***》，基于尺度不变特征变换算法框架，对桥下空间自动拍摄上传的图片进行调整，使之与原始图像匹配，再结合图像对比算法，生成校准图像，以及标注上传图像和原始图像不同的区域，最后计算原始图像和校准图像的SSIM结构相似度并设定报警阈值，从而实现对桥下空间的监控。该技术可检测任意大小的物体变化，如垃圾、稻草等堆放，以及商贩的占道经营行为，而且对于非固定摄像头或近似固定角度拍摄的带有尺度变形、拍摄角度不一致的图像可以旋转、放缩、剪裁后再进行对比，降低了直接对比的误报率。该技术使用基于尺度不变特征变换算法，实现特征点检测，然后进行特征点匹配，生成透视变换矩阵，生成校准图像。但是该技术仍然存在如下缺陷：

尺度不变特征变换算法时间复杂度高；如果使用统一阈值进行特征点匹配，导致特征点少的图像无法进行该文章中的校准；对最终校准图像没有校准评价标准，无法确定是否准确校准了拍摄图像。

公开号为CN112150359A的中国发明专利申请《基于机器学习和特征点识别的无人机图像快速拼接方法》，首先选定一张基准影像，使其与其周围9张临近影像使用基于GPU并行加速优化的改进SURF算法进行特征点的提取，减少了基准影像多次提取特征点所耗费的时间，并减少了影像连乘累积误差，再使用机器学习计算的描述特征向量改进SURF算法的描述特征向量，大幅度提高特征点匹配的精度，实现影像配准。本发明基于SURF算法+机器学习+GPU+PROSAC算法+图像分块拼接技术，构建了一种无人机遥感影像快速高效的处理方法，速度比传统SURF算法运行更快，精度得到了大幅度提高，在实时性方面的发挥更突出。但是该技术是一种使用基于GPU并行加速优化的改进SURF算法，但是SURF算法的尺度不变性和旋转不变性较差，无法真正满足图像校准的需求。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于GPU多尺度特征匹配的图像校准方法、***、终端及介质。

根据本发明的一个方面，提供了一种基于多尺度特征匹配的图像校准方法，包括：

对目标图像进行处理，生成表示目标图像的特征点及特征向量；

对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，所述待识别图像与所述目标图像拍摄于同一实体目标；

基于所述待识别图像的特征点及特征向量组队列以及所述目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；

对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

过滤所述变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。

优选地，所述对目标图像进行处理，生成表示目标图像的特征向量，包括：

选择目标图像，依次使用多种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成多组特征点及特征点的特征向量；

比较获取的多种浮点精度下的特征点数量，保证特征点数量在预先设定的特征点数量以上的情况下，获得最小浮点精度下的特征点及特征点的特征向量；

将所述最小浮点精度下的特征点及特征点的特征向量作为一组目标图像的特征点及特征向量存入目标特征库。

优选地，依次使用int8、fp16、fp32三种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成三组特征点及特征点的特征向量。

优选地，所述特征点的存储形式为记录图点坐标的二维向量；所述特征点的特征向量的存储形式为128维向量。

优选地，所述对待识别图像进行处理，生成待识别图像的特征点及特征向量组队列，包括：

对待识别图像进行预处理；

获取生成所述目标图像的特征向量时所采用的基于GPU实现的SIFT特征点检测算法的浮点精度；

基于所述浮点精度，对待识别图像采用基于GPU实现的SIFT特征点检测算法进行特征点检测，获得每一个尺度下的一组待识别图像的特征点及特征向量，生成待识别图像的特征点及特征向量组队列。

优选地，所述对待识别图像进行预处理，包括：

如果目标图像的尺度与待识别图像的尺度相差不大时，不进行尺度变换，生成只包含一张图像的图像队列；否则，使用多个尺度将待识别图像进行尺度变换，生成包含多个尺度图像的图像队列；其中：

所述目标图像的尺度与待识别图像的尺度相差不大，通过以下方式确定：

记目标图像的尺度为h1，待识别图像的尺度为h2；若|h1-h2|/h1<10％，则认为目标图像的尺度与待识别图像的尺度相差不大。

优选地，所述基于所述待识别图像的特征点及特征向量组队列以及所述目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列，包括：

获取所述待识别图像的特征向量组队列中的每一组特征向量，使用多个距离标准阈值对每一组特征向量与所述目标图像的特征向量进行距离计算，得到在不同距离标准阈值下的不同特征点对，生成多组特征点对；

将所述多组特征点对进行合并，生成基于多尺度变换和多阈值匹配的特征点对组队列。

优选地，所述对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列，包括：

获取所述多组特征点对组队列中的每一组特征点对，利用基于GPU实现的RANSAC特征点匹配算法进行特征点对匹配，获取匹配度大于设定阈值的多组匹配特征点对；

对所述多组匹配特征点对中每一组匹配特征点对进行变换矩阵计算，生成透视变换矩阵；

对每一个所述透视变换矩阵，生成透视变换逆矩阵；利用所述透视变换逆矩阵，合成变换图像，最终生成基于多尺度变换和多阈值匹配的变换图像队列。

优选地，所述过滤所述变换图像队列中的变换图像，获取最佳矫正图像，包括：

获取所述变换图像队列中的每一幅图像，利用基于GPU实现的SIFT特征点检测算法进行变换图像的特征点检测；

利用基于GPU实现的RANSAC算法获取每一幅所述变换图像的特征点与所述目标图像的特征点的匹配点对，并使用欧拉距离计算匹配点对之间的距离；

对比所述匹配点对之间的距离，其中距离最小的变换图像即为最佳矫正图像。

根据本发明的另一个方面，提供了一种基于多尺度特征匹配的图像校准***，包括：

目标图像处理模块，该模块对目标图像进行处理，生成表示目标图像的特征点及特征向量；

待识别图像处理模块，该模块对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，所述待识别图像与所述目标图像拍摄于同一实体目标；

特征点对生成模块，该模块基于所述待识别图像的特征点及特征向量组队列以及所述目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；

变换图像生成模块，该模块对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

图像校准模块，该模块过滤所述变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。

根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法。

根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

本发明解决了SIFT特征点检测算法速度慢的问题。

本发明解决了深度学习中需要大量的数据成本以及时间成本的问题。

本发明解决了现有技术中无法自适应参数选择以及无法自动化，需要人工确定矫正图像是否真正被矫正的问题。

本发明对特征点检测速度快：本发明基于GPU实现的SIFT特征点检测算法，相对于传统的CPU实现，速度更快。针对复杂度不同图像，使用不同的浮点精度，达到更佳的检测结果。

本发明自适应强：本发明基于特征匹配算法不需要进行人工参数配选，通过自适应比对即可获得最佳参数，获得最好的校准效果。在图像特征点较少的时候也能得到很好的校准效果。

本发明预处理成本低：本发明相较于深度学习方法，无需大量的数据成本以及时间成本，可操作性强。

本发明步骤1利用GPU实现尺度不变特征变换算法，加快特征点检测速度；步骤3利用多距离阈值解决了特征点少的图像依然可以获得很好的并且在步骤5中，包含校准评价标准，能够确保校准图像为准确的校准图像。

本发明使用基于GPU加速优化的改进SIFT算法，SIFT具有更高的尺度不变性以及旋转不变性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于多尺度特征匹配的图像校准方法的流程图；

图2为本发明一优选实施例中基于多尺度特征匹配的图像校准方法的流程图；

图3为本发明一实施例中基于多尺度特征匹配的图像校准***的组成示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

图1为本发明一实施例提供的基于多尺度特征匹配的图像校准方法的流程图。该方法是一种基于GPU多尺度特征自适应匹配的图像校准技术。

如图1所示，该实施例提供的基于多尺度特征匹配的图像校准方法，可以包括如下步骤：

S100，对目标图像进行处理，生成表示目标图像的特征点及特征向量；

S200，对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，待识别图像与目标图像拍摄于同一实体目标；

S300，基于待识别图像的特征点及特征向量组队列以及目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；

S400，对特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

S500，过滤变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。

在该实施例的S100中，作为一优选实施例，对目标图像进行处理，生成表示目标图像的特征向量，可以包括如下步骤：

S101，选择目标图像，依次使用多种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成多组特征点及特征点的特征向量；

S102，比较获取的多种浮点精度下的特征点数量，保证特征点数量在预先设定的特征点数量以上的情况下，获得最小浮点精度下的特征点及特征点的特征向量；

S103，将最小浮点精度下的特征点及特征点的特征向量作为一组目标图像的特征点及特征向量存入目标特征库。

在该实施例的S101中，作为一具体应用实例，可以依次使用int8、fp16、fp32三种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成三组特征点及特征点的特征向量。

在该实施例的S101中，作为一具体应用实例，特征点的存储形式可以为记录图点坐标的二维向量；特征点的特征向量的存储形式可以为128维向量。

在该实施例的S200中，作为一优选实施例，对待识别图像进行处理，生成待识别图像的特征点及特征向量组队列，可以包括如下步骤：

S201，对待识别图像进行预处理；

S202，获取生成目标图像的特征向量时所采用的基于GPU实现的SIFT特征点检测算法的浮点精度；

S203，基于浮点精度，对待识别图像采用基于GPU实现的SIFT特征点检测算法进行特征点检测，获得每一个尺度下的一组待识别图像的特征点及特征向量，生成待识别图像的特征点及特征向量组队列。

在该实施例的S201中，作为一优选实施例，对待识别图像进行预处理，可以包括如下步骤：

如果目标图像的尺度与待识别图像的尺度相差不大时，不进行尺度变换，生成只包含一张图像的图像队列；否则，使用多个尺度将待识别图像进行尺度变换(缩放)，生成包含多个尺度图像的图像队列；其中：

目标图像的尺度与待识别图像的尺度相差不大，通过以下方式确定：

记目标图像的尺度为h1，待识别图像的尺度为h2；若|h1-h2|/h1<10％，则认为目标图像的尺度与待识别图像的尺度相差不大。

在该实施例的S300中，作为一优选实施例，基于待识别图像的特征点及特征向量组队列以及目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列，可以包括如下步骤：

S301，获取待识别图像的特征向量组队列中的每一组特征向量，使用多个距离标准阈值对每一组特征向量与目标图像的特征向量进行距离计算，得到在不同距离标准阈值下的不同特征点对，生成多组特征点对；

S302，将多组特征点对进行合并，生成基于多尺度变换和多阈值匹配的特征点对组队列。

在该实施例的S400中，作为一优选实施例，对特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列，可以包括如下步骤：

S401，获取多组特征点对组队列中的每一组特征点对，利用基于GPU实现的RANSAC特征点匹配算法进行特征点对匹配，获取匹配度大于设定阈值的多组匹配特征点对；

S402，对多组匹配特征点对中每一组匹配特征点对进行变换矩阵计算，生成透视变换矩阵；

S403，对每一个透视变换矩阵，生成透视变换逆矩阵；利用透视变换逆矩阵，合成变换图像，最终生成基于多尺度变换和多阈值匹配的变换图像队列。

在该实施例的S500中，作为一优选实施例，过滤变换图像队列中的变换图像，获取最佳矫正图像，可以包括如下步骤：

S501，获取变换图像队列中的每一幅图像，利用基于GPU实现的SIFT特征点检测算法进行变换图像的特征点检测；

S502，利用基于GPU实现的RANSAC算法获取每一幅变换图像的特征点与目标图像的特征点的匹配点对，并使用欧拉距离计算匹配点对之间的距离；

S503，对比匹配点对之间的距离，其中距离最小的变换图像即为最佳矫正图像。

图2为本发明一优选实施例提供的基于多尺度特征匹配的图像校准方法的流程图。

如图2所示，该优选实施例提供的基于多尺度特征匹配的图像校准方法，可以包括如下步骤：

步骤1：处理目标图像。生成表示目标图像的特征点及特征向量，存入目标特征库。

作为一优选实施例，步骤1包括如下步骤：

步骤1.1：选择目标图像，依次使用int8，fp16，fp32三种从小到大的浮点精度的GPUSIFT进行特征点检测，记录特征点及特征点的特征向量，此步骤中共生成三组特征点及特征向量；

步骤1.2：比较步骤1.1中获取的三种浮点精度下的特征点数量，保证特征点数量在预先设定的特征点数量以上的情况下，记录最小浮点精度下的特征点及特征点的特征向量；

步骤1.3：将步骤1.2中生成的最小浮点精度下的特征点及特征点的特征向量作为步骤1.1中的一组目标图像的特征点及特征向量存入目标特征库。

在本发明部分实施例中，步骤1.1中GPUSIFT是基于GPU实现的SIFT特征点检测算法，算法原理根据SIFT特征点算法实现，运行环境为Nvidia Jetson Xavier NX的GPU及CUDA10.2。

在本发明部分实施例中，步骤1.2中对与特征点少的图像使用更大的浮点精度，能够获取更准确的特征信息。

在本发明部分实施例中，步骤1.3中的特征点存储形式为记录图点坐标的二维向量，特征点的特征向量的存储形式为128维向量。

步骤2：处理待识别图像。生成表示待识别图像的特征点及特征向量组队列。其中，待识别图像的内容和目标图像的内容应拍摄于同一实体目标。

作为一优选实施例，步骤2包括如下步骤：

步骤2.1：图像预处理。如果目标图尺度与待识别图尺度相差不大时，无需尺度变换，生成只包含一张图像的图像队列，否则使用多个尺度将图像进行缩放，生成包含多个尺度图像的图像队列；

步骤2.2：从步骤1.3中的目标图像的特征信息中获取基于GPU实现的SIFT特征点检测算法的浮点精度；

步骤2.3：基于步骤2.2中获取的浮点精度，对步骤2.1中预处理后的图像队列使用GPUSIFT进行特侦点检测，对多尺度缩放图像队列中的每一张图像进行特征点检测，获得每个尺度下的一组特征点及特征向量，生成待识别图像的特征点及特征向量组队列。

在本发明部分实施例中，步骤2.1中的尺度变换，记目标图像尺度为h1，待识别图像尺度为h2。若|h1-h2|/h1<10％,则认为目标图像尺度与待识别图像尺度相差不大，无需进行尺度变换；否则更具目标图像尺度与待识别图像尺度的差分为多个尺度梯度，记

delta_h＝(h1-h2)/5

h＝h2+n*delta_h，n＝0，1，2，3，4，5

将待识别图像利用opencv中的库函数cv2.resize()进行h1->h的6个尺度大小的变换。

在本发明部分实施例中，根据上述步骤2.1可得，步骤2.3中待识别图像的特征点及特征向量组队列为6个尺度下的特征点及特征向量组。

步骤3：基于步骤2.3中的待识别图像的特征点及特征向量组队列与步骤1.3中目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列。

作为一优选实施例，步骤3包括如下步骤：

步骤3.1：取出步骤2.3中待识别图像的特征向量组队列的一组特征向量，使用多个距离标准阈值对该特征向量与步骤1.3中目标图像的特征向量进行距离计算，用不同的距离标准阈值，得在不同阈值下的不同特征点对；

步骤3.2：对步骤2.3中待识别图像的特征向量组队列中的每组特征向量，进行步骤3.1的相关操作，生成多组特征点对；

步骤3.3：对步骤3.2中生成的多组特征点对进行合并，生成基于多尺度变换和多阈值匹配的特征点对组队列。

在本发明的部分实施例中，对于步骤3.1中不同距离的标准阈值，一般距离认为在0.4-0.8之间即为可信任的匹配结果，其中距离越小，特征点对匹配越值得信任。

在本发明的部分实施例中，对于特征点少的图像，阈值设的过低，特征点匹配质量要求过高，导致无法找出特征点对，最终不能进行特征点对匹配，

在本发明的部分实施例中红，根据步骤3.1和步骤3.2，利用设置0.4-0.8多个阈值的方法，得出不同的匹配结果，过滤掉少于4个特征点对的匹配结果。本优选实施例中设定了0.4，0.5，0.6，0.7，0.8共5个阈值。

在本发明的部分实施例中，根据步骤3.3以及步骤3.2，在不过滤少于4个特征点对的匹配结果的前提下，步骤3.3中多尺度变换及多阈值匹配的特征点对组队列共有6*5共30组特征点对组。

步骤4：对特征向量组队列中的每组特征点对的特征向量与目标图像的特征向量进行特征点匹配，获取能够匹配的特征点对，并计算变换矩阵，生成变换图像队列。

作为一优选实施例，步骤4包括如下步骤：

步骤4.1：取出基于步骤3.3中的特征点对组队列中的一组特征点对，利用基于GPU_RANSAC特征点匹配算法进行算法匹配，获取最佳4个匹配特征点对；

步骤4.2：对步骤3.3中识别图像的特征点对组队列中的每组特征点对，进行步骤4.1的相关操作，生成多组匹配特征点对；

步骤4.3：对步骤4.2中的生成的每组最佳4个匹配特征点对，生成透视变换矩阵；

步骤4.4：对步骤4.3中的每个透视变换矩阵，生成透视变换逆矩阵，利用透视变换逆矩阵，合成变换图像，最终生成基于多尺度变换和多阈值匹配的变换图像队列。

在本发明的部分实施例中，步骤4.1中GPU_RANSAC是基于GPU实现的RANSAC算法，算法原理根据RANSAC算法实现，运行环境为Nvidia Jetson Xavier NX的GPU及CUDA10.2。

在本发明的部分实施例中，步骤4.3中，为生成透视变换矩阵，至少需要4个特征点，所以在步骤3.2中，过滤掉少于4个特征点的匹配结果。

在本发明的部分实施例中，根据步骤4以及步骤3.4，在不过滤少于4个特征点的匹配结果的前提下，最终多尺度变换、多阈值的变换图像队列中包含30幅变换图像。

步骤5：过滤步骤4.4中变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准的过程。

作为一优选实施例，步骤5包括如下步骤：

步骤5.1：取出从步骤4.4中变换图像队列中的一幅图像，利用基于GPUSIFT特征点检测算法对进行特征点检测。

步骤5.2：将步骤5.1中的变换图像特征点，与步骤1.3中的目标特征库中的目标图像的特征点，利用步骤4中的基于GPU_RANSAC算法获取匹配点对；使用欧拉距离计算匹配点对距离。

步骤5.3：对比步骤5.2中求得的所有变换图像的特征点对与步骤1.3中的目标特征库中的目标图像的特征点的距离，其中变换图像特征点对与目标图像特征点距离为最小距离的变换图像，即为最佳矫正图像。

图3为本发明一实施例提供的基于多尺度特征匹配的图像校准***的组成示意图。

如图3所示，该实施例提供的基于多尺度特征匹配的图像校准***，可以包括：目标图像处理模块、待识别图像处理模块、特征点对生成模块、变换图像生成模块和图像校准模块；其中：

目标图像处理模块，该模块对目标图像进行处理，生成表示目标图像的特征点及特征向量；

待识别图像处理模块，该模块对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，待识别图像与目标图像拍摄于同一实体目标；

特征点对生成模块，该模块基于待识别图像的特征点及特征向量组队列以及目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；

变换图像生成模块，该模块对特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

图像校准模块，该模块过滤变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。

本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述实施例中任一项的方法。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法。

本发明上述实施例提供的基于多尺度特征匹配的图像校准方法、***、终端及介质，解决了SIFT特征点检测算法速度慢的问题；解决了深度学习中需要大量的数据成本以及时间成本的问题；解决了现有技术中无法自适应参数选择以及无法自动化，需要人工确定矫正图像是否真正被矫正的问题。本发明上述实施例提供的基于多尺度特征匹配的图像校准方法、***、终端及介质，基于GPU实现的SIFT特征点检测算法，相对于传统的CPU实现，速度更快。针对复杂度不同图像，使用不同的浮点精度，达到更佳的检测结果；基于特征匹配算法不需要进行人工参数配选，通过自适应比对即可获得最佳参数，获得最好的校准效果。在图像特征点较少的时候也能得到很好的校准效果；相较于深度学习方法，无需大量的数据成本以及时间成本，可操作性强。本发明上述实施例提供的基于多尺度特征匹配的图像校准方法、***、终端及介质，步骤1利用GPU实现尺度不变特征变换算法，加快特征点检测速度；步骤3利用多距离阈值解决了特征点少的图像依然可以获得很好的并且在步骤5中，包含校准评价标准，能够确保校准图像为准确的校准图像；使用基于GPU加速优化的改进SIFT算法，SIFT具有更高的尺度不变性以及旋转不变性。

需要说明的是，本发明提供的方法中的步骤，可以利用***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现***的组成，即，方法中的实施例可理解为构建***的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于多尺度特征匹配的图像校准方法，其特征在于，包括：

对目标图像进行处理，生成表示目标图像的特征点及特征向量；包括：

选择目标图像，依次使用多种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成多组特征点及特征点的特征向量；

比较获取的多种浮点精度下的特征点数量，保证特征点数量在预先设定的特征点数量以上的情况下，获得最小浮点精度下的特征点及特征点的特征向量；

将所述最小浮点精度下的特征点及特征点的特征向量作为一组目标图像的特征点及特征向量存入目标特征库；

对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，所述待识别图像与所述目标图像拍摄于同一实体目标；

基于所述待识别图像的特征点及特征向量组队列以及所述目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；包括：

获取所述待识别图像的特征向量组队列中的每一组特征向量，使用多个距离标准阈值对每一组特征向量与所述目标图像的特征向量进行距离计算，得到在不同距离标准阈值下的不同特征点对，生成多组特征点对；

将所述多组特征点对进行合并，生成基于多尺度变换和多阈值匹配的特征点对组队列；

对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

过滤所述变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准；包括：

获取所述变换图像队列中的每一幅图像，利用基于GPU实现的SIFT特征点检测算法进行变换图像的特征点检测；

利用基于GPU实现的RANSAC算法获取每一幅所述变换图像的特征点与所述目标图像的特征点的匹配点对，并使用欧拉距离计算匹配点对之间的距离；

对比所述匹配点对之间的距离，其中距离最小的变换图像即为最佳矫正图像。

2.根据权利要求1所述的基于多尺度特征匹配的图像校准方法，其特征在于，依次使用int8、fp16、fp32三种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成三组特征点及特征点的特征向量；和/或

所述特征点的存储形式为记录图点坐标的二维向量；所述特征点的特征向量的存储形式为128维向量。

3.根据权利要求1所述的基于多尺度特征匹配的图像校准方法，其特征在于，所述对待识别图像进行处理，生成待识别图像的特征点及特征向量组队列，包括：

对待识别图像进行预处理；

获取生成所述目标图像的特征向量时所采用的基于GPU实现的SIFT特征点检测算法的浮点精度；

基于所述浮点精度，对待识别图像采用基于GPU实现的SIFT特征点检测算法进行特征点检测，获得每一个尺度下的一组待识别图像的特征点及特征向量，生成待识别图像的特征点及特征向量组队列。

4.根据权利要求3所述的基于多尺度特征匹配的图像校准方法，其特征在于，所述对待识别图像进行预处理，包括：

如果目标图像的尺度与待识别图像的尺度相差不大，不进行尺度变换，生成只包含一张图像的图像队列；否则，使用多个尺度将待识别图像进行尺度变换，生成包含多个尺度图像的图像队列；其中：

所述目标图像的尺度与待识别图像的尺度相差不大，通过以下方式确定：

记目标图像的尺度为h1，待识别图像的尺度为h2；若|h1-h2|/h1<10％，则认为目标图像的尺度与待识别图像的尺度相差不大。

5.根据权利要求1所述的基于多尺度特征匹配的图像校准方法，其特征在于，所述对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列，包括：

获取所述多组特征点对组队列中的每一组特征点对，利用基于GPU实现的RANSAC特征点匹配算法进行特征点对匹配，获取匹配度大于设定阈值的多组匹配特征点对；

对所述多组匹配特征点对中每一组匹配特征点对进行变换矩阵计算，生成透视变换矩阵；

对每一个所述透视变换矩阵，生成透视变换逆矩阵；利用所述透视变换逆矩阵，合成变换图像，最终生成基于多尺度变换和多阈值匹配的变换图像队列。

6.一种基于多尺度特征匹配的图像校准***，其特征在于，包括：

目标图像处理模块，该模块对目标图像进行处理，生成表示目标图像的特征点及特征向量；其中，选择目标图像，依次使用多种从小到大的浮点精度的基于GPU实现的SIFT特征点检测算法进行特征点检测，生成多组特征点及特征点的特征向量；比较获取的多种浮点精度下的特征点数量，保证特征点数量在预先设定的特征点数量以上的情况下，获得最小浮点精度下的特征点及特征点的特征向量；将所述最小浮点精度下的特征点及特征点的特征向量作为一组目标图像的特征点及特征向量存入目标特征库；

待识别图像处理模块，该模块对待识别图像进行处理，生成表示待识别图像的特征点及特征向量组队列；其中，所述待识别图像与所述目标图像拍摄于同一实体目标；

特征点对生成模块，该模块基于所述待识别图像的特征点及特征向量组队列以及所述目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；其中，获取所述待识别图像的特征向量组队列中的每一组特征向量，使用多个距离标准阈值对每一组特征向量与所述目标图像的特征向量进行距离计算，得到在不同距离标准阈值下的不同特征点对，生成多组特征点对；将所述多组特征点对进行合并，生成基于多尺度变换和多阈值匹配的特征点对组队列；

变换图像生成模块，该模块对所述特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；

图像校准模块，该模块过滤所述变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准；其中，获取所述变换图像队列中的每一幅图像，利用基于GPU实现的SIFT特征点检测算法进行变换图像的特征点检测；利用基于GPU实现的RANSAC算法获取每一幅所述变换图像的特征点与所述目标图像的特征点的匹配点对，并使用欧拉距离计算匹配点对之间的距离；对比所述匹配点对之间的距离，其中距离最小的变换图像即为最佳矫正图像。

7.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-5中任一项所述的方法。

Images