CN112070813A - 一种基于连线特征一致性的特征匹配方法 - Google Patents

Abstract

本发明公开了一种基于连线特征一致性的特征匹配方法，包括，输入配准图像之间的尺度、一组候选匹配特征点和各特征点的主方向参数；对所述特征点的主方向集合作差并进行区间划分；定义候选旋转角个数最多的区间对应的角度为可见光图像相对红外图像的旋转角，计算匹配特征点连线对应的倾斜角和长度集合；利用连线一致性特征匹配策略去除所述匹配特征点中的显著外点后结合RANSAC筛选剩余外点，得到正确匹配的所述特征点，完成一致性匹配。本发明通过提供一种快速剔除图像特征匹配外点的方法，相比现有的RANSAC方法，其精度得到提升，可用于各类特征匹配领域。

Description

一种基于连线特征一致性的特征匹配方法

技术领域

本发明涉及电气设备图像配准的技术领域，尤其涉及一种基于连线特征一致性的特征匹配方法。

背景技术

为满足用户日益增长的用电需求和电力***的安全可靠运行，研究与开发电力设备智能监测方法和自主诊断***日益凸显其迫切性，并且已经成为泛在电力物联网建设的关键环节。随着各类变电站巡检机器人和输电线运维无人机设备的发展，基于红外和可见光图像处理技术的电力设备自主诊断***在高效性和自主性上展现了极大的潜力，同时是减少人力资源需求与解决工作人员结构性缺编的有效方法。

图像配准的目的在于获取不同图像的空间映射关系，对齐相同目标在不同图像中的空间位置。图像配准是图像融合必需的预处理步骤，并且结合电力设备深度学习图像识别技术能将设备的多状态信息(如温度，机械结构)融合到单幅图像中，以提高设备信息直观化程度和诊断效率；此外，图像配准结合三维重建等技术可以建立设备的数字孪生体，实现设备三维信息监测等更为复杂的功能。然而人工处理海量图像数据会占用大量人力资源，导致设备诊断***运行效率和资源利用率低。因此，对电力设备的红外和可见光图像进行自动配准，对于提高自主诊断***的准确性与高效性具有重要意义。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于连线特征一致性的特征匹配方法，能够解决图像存在视角和尺度差异时无法配准的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，输入配准图像之间的尺度、一组候选匹配特征点和各特征点的主方向参数；对所述特征点的主方向集合作差并进行区间划分；定义候选旋转角个数最多的区间对应的角度为可见光图像相对红外图像的旋转角，计算匹配特征点连线对应的倾斜角和长度集合；利用连线一致性特征匹配策略去除所述匹配特征点中的显著外点后结合RANSAC筛选剩余外点，得到正确匹配的所述特征点，完成一致性匹配。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述候选匹配特征点包括，采集所述红外图像和所述可见光图像的描述符，利用最近邻比率策略和双边匹配策略初步匹配所述描述符，得到所述候选匹配特征点；所述主方向集合包括，利用投票策略对所述候选匹配特征点进行尺度定义，得到所述主方向集合。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述尺度定义包括，利用所述投票策略将所述候选匹配特征点数量最多的尺度作为旋转变换处理后所述可见光图像相对所述红外图像的所述尺度。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述主方向集合包括，定义ξ为所述尺度，则所述尺度对应的所述候选匹配特征点集合如下，

其中，P₁和P₂分别为红外和可见光图像匹配点，n_p为匹配点对数；则所述红外图像匹配点与所述可见光图像匹配点对应的两组所述主方向集合如下，

Φ₁＝{φ(p_1i)}n_{p i＝1}

Φ₂＝{φ(p_2i)}n_{p i＝1}

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述作差处理包括，对两组所述主方向集合进行差和求值，得到图像候选旋转角集合，如下，

其中，Δφ_i为角度制。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述区间划分包括，将区间[0,360°)等分为72个长度为5°的小区间，统计所述角度制内各元素分布在每个所述小区间中的个数；将候选旋转角个数最多的区间对应的角度定义为所述可见光图像相对所述红外图像的旋转角。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：计算所述倾斜角集合和所述长度集合，包括，计算对应匹配所述特征点连线的所述倾斜角集合和所述长度集合，如下，

其中，N为红外图像横向分辨率。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：还包括，若所述倾斜角集合和所述长度集合内正确匹配点各自对应的倾斜角与长度相等，则全部的所述正确匹配点p_1i和p_1j对应的

d_i＝d_j。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：所述一致性匹配包括，利用旋转角变换统计策略得到正确匹配点间的连线倾斜角实际值并定义所述倾斜角误差与所述长度误差的比值；根据连线一致性理论将所述倾斜角集合中数值处于区间外的角度对应的点定义为错误匹配点。

作为本发明所述的一种基于连线特征一致性的特征匹配方法的一种优选方案，其中：还包括，计算剩余匹配点连线长度的平均值，将所述长度集合中数值处于区间外的连线对应的点定义为所述错误匹配点；结合误配点剔除处理，利用RANSAC策略迭代剔除剩余误配点。

本发明的有益效果：本发明通过连线特征一致性匹配策略，快速剔除图像特征的错误匹配点(即外点)，只保留正确匹配点(即内点)，提高了图像配准的精度，可适用于各类特征匹配领域，增加了其适用性和实用性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明所述的一种基于连线特征一致性的特征匹配方法的流程示意图；

图2为本发明所述的一种基于连线特征一致性的特征匹配方法的连线一致性理论示意图；

图3为本发明所述的一种基于连线特征一致性的特征匹配方法的候选旋转角统计直方示意图；

图4为本发明所述的一种基于连线特征一致性的特征匹配方法的原始输入匹配点示意图；

图5为本发明所述的一种基于连线特征一致性的特征匹配方法的经过尺度和旋转变换后的匹配点示意图；

图6为本发明所述的一种基于连线特征一致性的特征匹配方法的经过连线一致性理论剔除显著外点后的匹配点示意图；

图7为本发明所述的一种基于连线特征一致性的特征匹配方法的RANSAC剔除残留外点后的正确匹配点示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

特征点描述符匹配方法的匹配精度决定了最终计算的图像映射参数的精度，传统的随机采样一致性算法在候选匹配点外点(即错误匹配点)较多的情况下需要大量的迭代计算，简而言之，在同样的迭代次数下，外点比例越低，则匹配效果越好，因此我方发明提出了一种连线一致性特征匹配方法去除大量的显著外点，结合RANSAC筛选匹配点达到更优的匹配效果。

参照图1、图2和图3，为本发明的第一个实施例，该实施例提供了一种基于连线特征一致性的特征匹配方法，包括：

S1：输入配准图像之间的尺度、一组候选匹配特征点(即包含待剔除的错误匹配点)和各特征点的主方向参数。其中需要说明的是，候选匹配特征点包括：

采集红外图像和可见光图像的描述符，利用最近邻比率策略和双边匹配策略初步匹配描述符，得到候选匹配特征点。

具体的，最近邻匹配策略(即最近邻比率策略和双边匹配策略)包括：

给定一个点A和点集合F，分别计算点A和集合F中每个元素的欧式距离并进行排序；

设定阈值t，若最小距离小于上述阈值乘以次最小距离，则定义最小距离对应的F中的元素与A是匹配的。

S2：对特征点的主方向集合作差并进行区间划分。参照图3，本步骤需要说明的是，主方向集合包括：

利用投票策略对候选匹配特征点进行尺度定义，得到主方向集合。

尺度定义包括：

利用投票策略将候选匹配特征点数量最多的尺度作为旋转变换处理后可见光图像相对红外图像的尺度。

具体的，主方向集合包括：

定义ξ为尺度，则尺度对应的候选匹配特征点集合如下，

其中，P₁和P₂分别为红外和可见光图像匹配点，n_p为匹配点对数；

则红外图像匹配点与可见光图像匹配点对应的两组主方向集合如下，

Φ₁＝{φ(p_1i)}n_{p i＝1}

Φ₂＝{φ(p_2i)}n_{p i＝1}。

进一步的，作差处理包括：

对两组主方向集合进行差和求值，得到图像候选旋转角集合，如下，

其中，Δφ_i为角度制。

再进一步的是，区间划分(即对候选匹配点的主方向进行等距直方图统计，以获取两幅配准图像之间的视野旋转角)包括：

将区间[0,360°)等分为72个长度为5°的小区间，统计角度制内各元素分布在每个小区间中的个数；

将候选旋转角个数最多的区间对应的角度定义为可见光图像相对红外图像的旋转角。

S3：定义候选旋转角个数最多的区间对应的角度为可见光图像相对红外图像的旋转角(若有多个相等最大值，则取区间对应角度的平均值)，计算匹配特征点连线对应的倾斜角和长度集合。其中还需要说明的是，计算倾斜角集合和长度集合，包括：

计算对应匹配特征点连线的倾斜角集合和长度集合，如下，

其中，N为红外图像横向分辨率；

若倾斜角集合和长度集合内正确匹配点各自对应的倾斜角与长度相等，则全部的正确匹配点p_1i和p_1j对应的

d_i＝d_j。

S4：利用连线一致性特征匹配策略去除匹配特征点中的显著外点后结合RANSAC筛选剩余外点，得到正确匹配的特征点，完成一致性匹配。参照图2，本步骤还需要说明的是，一致性匹配包括：

利用旋转角变换统计策略得到正确匹配点间的连线倾斜角实际值并定义倾斜角误差与长度误差的比值；

根据连线一致性理论将倾斜角集合中数值处于区间外的角度对应的点定义为错误匹配点；

计算剩余匹配点连线长度的平均值，将长度集合中数值处于区间外的连线对应的点定义为错误匹配点；

结合误配点剔除处理，利用RANSAC策略迭代剔除剩余误配点。

实施例2

参照图4～图7，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于连线特征一致性的特征匹配方法的测试对比方法。

本实施例需要说明的是，现有基于特征的图像配准方法包括，提取特征、描述特征、匹配特征、图像变换，例如SIFT、SURF、ORB-BRIEF、PIIFD广泛用于计算机视觉、遥感和医学图像处理的方法都属于基于特征的图像配准方法，而图像特征匹配是指获取一组配准图像中正确匹配点对的过程，且在对电力设备图像进行配准时，大多采用基于特征的图像配准方法提高配准精度。

较佳的是，本实施例为了便于非本领域人员对本发明方法的理解，还做出如下说明：

(1)参照图4，为原始输入匹配点的图像，在不增加任何配准处理的前提下，能够看出图中特征匹配点不仅繁多且杂乱，极易造成配准误差；

(2)参照图5，为经过尺度和旋转变换后的匹配点图像，其相较于原始图像(图4)而言，改变了特征匹配的尺度和旋转角度，划分了区间，便于查找匹配正确点；

(3)参照图6，为经过连线一致性理论剔除显著外点后的匹配点图像，能够直观的看出其相较于图5而言，删除了影响配准精度的错误匹配点，只保留了正确匹配点，在去除杂乱匹配特征后，能够明显、清晰的看到待配准的特征匹配点所在位置；

(4)参照图7，为结合RANSAC剔除残留外点后的正确匹配点图像，其在结合图6的处理基础上，利用RANSAC再次剔除剩余错误的匹配点，最终，只留下了正确的匹配点，根据图7的示意，能够直观地看出本发明方法最后得到的图像针对于图像配准而已是较为清晰直观且准确的。

优选的，本实施例还需要说明的是，现有的RANSAC图像特征匹配方法是利用随机采样一致性对SIFT算子提取的特征进行选择匹配，其利用张正友棋盘标定策略获取图像的两个摄像头的标定数据，并结合标定数据进行图像畸变矫正，利用SIFT算子检测、提取图像的特征，基于RANSAC对匹配点进行选择匹配，该方法主要解决的技术问题是如何提高立体匹配的鲁棒性，但是其仅仅适用于图像数量较少、精度要求不高的配准应用，因此，单一的使用RANSAC图像特征匹配方法并不具有很好的适用性和实用性。

优选的是，为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的RANSAC图像特征匹配方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的真实效果；传统的RANSAC图像特征匹配方法配准效率较低、精度不高，为验证本发明方法相较于传统方法具有较高的配准精度和效率，本实施例中将采用传统RANSAC方法与本发明方法分别对某一变电站的源图像进行实时测量对比。

测试条件：(1)基于Intel(R)Core(TM)i7-8550U [email protected]硬件平台和MATLABR2017b软件平台，MATLAB编程代码执行，迭代次数相同；

(2)源图像采用自建的电力设备红外和可见光图像数据库，其中红外图像分辨率为768×576，可见光图像分辨率为1920×1080，配准时将可见光图像图分辨率按图像原比例调整为768×576；

(3)参数设定如下：倾斜角角度误差

长度误差比ε_D＝0.5，可见光采样尺度为0.5、1.0和2.0。

表1：两种方法对比测试结果数据表。

参照表1，能够直观地看出传统的RANSAC方法的运行时间是大于本发明方法的运行时间的，即传统方法的效率过低，且传统方法的准确率均低于本发明方法的准确率，均方根误差是衡量匹配点定位精度及整个配准算法精度的重要指标，其误差值越大，则表示配准精度越低，根据表1的数据显示，能够看出本发明方法的均方根误差远小于传统方法的均方根误差，基于三个指标(准确度、均方根误差、运行时间)的对比，验证了本发明方法所具有的有效性。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于连线特征一致性的特征匹配方法，其特征在于：包括，

输入配准图像之间的尺度、一组候选匹配特征点和各特征点的主方向参数；

对所述特征点的主方向集合作差并进行区间划分；

定义候选旋转角个数最多的区间对应的角度为可见光图像相对红外图像的旋转角，计算匹配特征点连线对应的倾斜角和长度集合；

利用连线一致性特征匹配策略去除所述匹配特征点中的显著外点后结合RANSAC筛选剩余外点，得到正确匹配的所述特征点，完成一致性匹配。

2.根据权利要求1所述的基于连线特征一致性的特征匹配方法，其特征在于：所述候选匹配特征点包括，采集所述红外图像和所述可见光图像的描述符，利用最近邻比率策略和双边匹配策略初步匹配所述描述符，得到所述候选匹配特征点；

所述主方向集合包括，利用投票策略对所述候选匹配特征点进行尺度定义，得到所述主方向集合。

3.根据权利要求2所述的基于连线特征一致性的特征匹配方法，其特征在于：所述尺度定义包括，

利用所述投票策略将所述候选匹配特征点数量最多的尺度作为旋转变换处理后所述可见光图像相对所述红外图像的所述尺度。

4.根据权利要求1或3所述的基于连线特征一致性的特征匹配方法，其特征在于：所述主方向集合包括，

定义ξ为所述尺度，则所述尺度对应的所述候选匹配特征点集合如下，

其中，P₁和P₂分别为红外和可见光图像匹配点，n_p为匹配点对数；

则所述红外图像匹配点与所述可见光图像匹配点对应的两组所述主方向集合如下，

Φ₁＝{φ(p_1i)}n_{p i＝1}

Φ₂＝{φ(p_2i)}n_{p i＝1}。

5.根据权利要求4所述的基于连线特征一致性的特征匹配方法，其特征在于：所述作差处理包括，

对两组所述主方向集合进行差和求值，得到图像候选旋转角集合，如下，

其中，Δφ_i为角度制。

6.根据权利要求5所述的基于连线特征一致性的特征匹配方法，其特征在于：所述区间划分包括，

将区间[0,360°)等分为72个长度为5°的小区间，统计所述角度制内各元素分布在每个所述小区间中的个数；

将候选旋转角个数最多的区间对应的角度定义为所述可见光图像相对所述红外图像的旋转角。

7.根据权利要求6所述的基于连线特征一致性的特征匹配方法，其特征在于：计算所述倾斜角集合和所述长度集合，包括，

计算对应匹配所述特征点连线的所述倾斜角集合和所述长度集合，如下，

其中，N为红外图像横向分辨率。

8.根据权利要求7所述的基于连线特征一致性的特征匹配方法，其特征在于：还包括，

若所述倾斜角集合和所述长度集合内正确匹配点各自对应的倾斜角与长度相等，则全部的所述正确匹配点p_1i和p_1j对应的

d_i＝d_j。

9.根据权利要求8所述的基于连线特征一致性的特征匹配方法，其特征在于：所述一致性匹配包括，

利用旋转角变换统计策略得到正确匹配点间的连线倾斜角实际值并定义所述倾斜角误差与所述长度误差的比值；

根据连线一致性理论将所述倾斜角集合中数值处于区间外的角度对应的点定义为错误匹配点。

10.根据权利要求9所述的基于连线特征一致性的特征匹配方法，其特征在于：还包括，

计算剩余匹配点连线长度的平均值，将所述长度集合中数值处于区间外的连线对应的点定义为所述错误匹配点；

结合误配点剔除处理，利用RANSAC策略迭代剔除剩余误配点。

Images