CN102855649B - 基于orb特征点的高压杆塔高清图像全景拼接方法 - Google Patents

Abstract

本发明公开了一种基于ORB特征点的高压杆塔高清图像全景拼接方法：一：读取超高分辨率高压杆塔图像，尺寸为W×H，利用双线性插值法将待拼接超高分辨率图像进行采样缩小，得到w×h图像，其中W，H，w，h为大于0的整数，k为大于0整数；二：利用ORB算法对所有采样后图像进行特征提取；三：对第二步中所提取的ORB特征进行粗匹配；四：利用上步提取的匹配点对，在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；五：通过上面所求的匹配点对，计算相邻图像间的变换矩阵H₀；六：利用渐入渐出法对超高分辨率相邻图像进行融合。它实现了超高分辨率图像的无缝拼接，减少了拼接所需时间，提高了拼接效率，特别是对高清图像有很好的有益效果。

Description

基于ORB特征点的高压杆塔高清图像全景拼接方法

技术领域

本发明涉及一种高压杆塔高清图像全景拼接方法，尤其涉及一种基于ORB特征点的高压杆塔高清图像全景拼接方法。

背景技术

近年来，我国国民经济的持续快速发展对我国电力工业提出了越来越高的要求。由于我国国土辽阔，输电线路走廊地形复杂，传统人工巡线作业模式的局限性日益凸显，采用无人飞行器搭载数字成像设备对架空输电线路进行细致化巡检已成为可能，现有数字成像设备分辨率虽然已达到细致看清高压输电线路金具的要求，但是由于成像设备视场较小，所采集的高清图像不能包含高压杆塔全部设备。

全景图像拼接技术在卫星遥感探测、气象、医学、军事、航空航天、大面积文化遗产保护以及虚拟场景实现方面有广泛的应用价值。架空输电线路高压杆塔具有大幅面的图像特征，采用普通的数字成像设备无法一次拍摄全景且超高分辨率的图像。利用图像拼接技术可以顺利解决上述问题，成功实现超高分辨率高压杆塔图像的合成。

全景图像拼接技术可以将数字成像设备所采集多幅图像拼接成一幅视场较大的全景图像，且最后得到的全景图像失真较小，感兴趣区域都集中显示在一张全景图像上。全景图像拼接技术主要涉及特征点提取、特征点匹配和图像融合技术三方面，其中特征点的提取效果直接影响后期图像拼接效果。

目前，SIFT和SURF是比较流行的特征点提取方法，虽然上述两种特征点提取方法，在图像拼接以及其他很多方面都已有较为成熟应用。但对高分辨率图像的特征点提取时，就会有大量的时间用于特征点提取上。

发明内容

为解决上述图像拼接中出现的问题，本发明提出了一种时间复杂度低且拼接效果很好的基于ORB特征点的高压杆塔高清图像全景拼接方法。它利用粗匹配与精确匹配相结合的特征点匹配算法，实现了超高分辨率图像的无缝拼接，减少了拼接所需时间，提高了拼接效率，特别是对高清图像有很好的有益效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于ORB特征点的高压杆塔高清图像全景拼接方法，具体步骤为:

第一步：读取超高分辨率高压杆塔图像，并对图像进行采样缩小；

第二步：对采样缩小后的所有图像利用ORB算法进行特征提取；

第三步：利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；

第四步：利用上步提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；

第五步：计算相邻图像间的变换矩阵H₀；

第六步：利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像，拼接结束。

所述第一步中，采样缩小的方法为：利用双线性插值法将待拼接超高分辨率图像进行采样缩小，原图像尺寸为W×H，得到的图像尺寸为w×h，其中W，H，w，h为大于0的整数，k为大于0整数。

所述第二步中的特征提取的具体步骤为：

(2-1)进行Oriented FAST特征点检测：

(2-2)生成Rotated BRIEF特征描述子；

在特征点附近随机选取若干点对，将这些点对的灰度值的大小组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。

所述步骤(2-2)的具体过程为：

a生成BRIEF特征描述子；

b生成Rotated BRIEF特征描述子；

将Oriented FAST算法中提取出来的方向向量加入到BRIEF特征中，进行旋转，得到有向的BRIEF，称之为Steered BRIEF；用贪婪学习算法筛选具有高variance和高不相关的steered brief，结果称之为rBRIEF；计算每个SBRIEF和0.5的距离，并创建容器T；把第一个SBRIEF放入结果容器R中，并从容器T中移除；从容器T中取出下一个SBRIEF，并且和结果容器R中所有SBRIEF进行比较，如果其相关性小于某阈值，则加入结果容器R中，否则丢弃；

重复步骤b直到结果容器R中有256个SBRIEF，如果结果容器R中少于256个SBRIEF，则改变阈值，并重复以上步骤。

所述第三步的具体步骤如下：

(3-1)选择LSH作为最邻近匹配点对计算；

(3-2)利用RASANC算法将步骤(3-1)生成的粗匹配点对进行筛选，选出达到要求的匹配点对即内点，删除错误匹配点对。

所述步骤(3-2)的具体过程为：

(a)内点初始化：在给定匹配点对中随机抽取4对匹配点对；

(b)通过内点计算出变换矩阵H₀；

(c)对匹配点对中剩余的匹配点对，计算出它们与变换矩阵H₀的距离，如果结果小于某阈值，则将其加入到内点集合中，并根据新的内点集合，运用最小二乘法更新变换矩阵H₀，否则继续判断剩下的匹配点对；

(d)重复执行步骤(c)，直到内点个数不再增加。

所述第四步的具体步骤如下：

(4-1)令M_l和M_r为超高分辨率原始两相邻图像，m_l和m_r分别为采样缩小后的两相邻图像，第三步计算得出的粗匹配点对坐标分别为(x_li，y_li)和(x_rj，y_rj)其中0≤i，j≤n，n为所求匹配点对数；

(4-2)分别以(X_li，Y_yli)和(X_rj，Y_rj)为中心，以γ为半径的范围图像块分别为I_l和I_r，其中：

(4-3)在图像块I_l、I_r中分别提取ORB特征；

(4-4)求出I_l和I_r的匹配点对；

(4-5)对所有的匹配点对，重复以上步骤，生成精确匹配的匹配点对。

所述第六步的具体步骤如下：

(6-1)根据图像间的变换矩阵H₀，对相应的图像进行变换，确定图像间的重合区域；

(6-2)令I_l和I_r分别为相邻的两图像,I为融合后的图像：

I(x，y)＝(1-τ(k))×I_l(x，y)+τ(k)×I_r(x，y)+d   (1)

其中0≤d≤1为微调系数，0≤τ(k)≤1为加权函数，

$\mathrm{\τ}\left(k\right)=\frac{k}{m}---\left(2\right)$

其中m为重叠区域宽度，k为离重叠区域最左边的像素数，这样重叠区域越大，τ(k)就会越平缓，使得图像间能平滑过渡。

本发明的有益效果：

1、利用ORB算法所提取特征点，在图像拼接应用中有很好的效果，且其运算时间比SIFT算法快两数量级，比SURF算法快一数量级；

2、通过在降采用图像中进行ORB特征点提取，解决了超高分辨率图像中特征点过多导致的耗时严重以及内存不足的问题；

3、在超高分辨率图像中，利用ORB算法在匹配点对所在图像块中进行特征点提取，并进行精确匹配，解决了采样后图像拼接中的误差；

4、利用粗匹配与精确匹配相结合的方法，其匹配时间有了明显的减少，且匹配精度也有不少的提高；

5、从整个超高分辨率图像拼接方面看，其拼接速度有了非常大的提高。

附图说明

图1为本发明的算法流程图；

图2、3为拼接前图像；

图4、5为拼接后效果展示图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明的方法步骤如下：

第一步、读取超高分辨率高压杆塔图像，尺寸为W×H，利用双线性插值法将待拼接超高分辨率图像进行采样缩小，得到w×h图像，其中W，H，w，h为大于0的整数，k为大于0整数；

第二步、利用ORB算法对所有采样后图像进行特征提取：

ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少，使得ORB算法在高清图像拼接以及实时视频图像拼接方面有了很大的应用前景。

具体包括以下步骤：

2-1)Oriented FAST特征点检测：

本发明通过在FAST特征点检测的基础上，加入方向向量，使其具有方向性。

a)利用FAST特征点检测算法快速检测关键点；

b)求关键点所在块的质心及方向：

块质心的提取如下：

m_pq＝∑_x，yx^py^qI(x，y)   (1)

$C=(\frac{m_{10}}{m_{00}},\frac{m_{01}}{m_{00}})---\left(2\right)$

其中m_pq为块的矩，p，q∈(0，1),x，y∈块，C即为所求的块质心；块方向的提取：

θ＝atan2(m₀₁，m₁₀)   (3)

这样带方向的FAST关键点就已提取出来。但是FAST特征点检测不能处理多尺度图像，不过可以将原来的图像做金字塔，然后对每个图都进行以上步骤，这样Oriented FAST就支持多尺度变化了。

2-2)生成Rotated BRIEF特征描述子

BRIEF的主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。它的优点是运算速度很快。

a)生成BRIEF特征描述子：

给定一幅图；

对图像进行平滑处理，降低图像噪声；

在图像上选择一块SXS像素的区域块p，其中5≤S≤15，在p上提取BRIEF特征：

定义τ测试，τ测试计算公式如下：

$\mathrm{\&tau;}(p;x,y)=\left\{\begin{array}{cc}1& \mathrm{if\; p}\left(x\right)<p\left(y\right)\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

x,y是p内的两像素位置，也就是x和y是形如[u,v]的二维坐标，p(x)和p(y)是x和y像素的亮度值；

一个BRIEF特征就是若干个τ测试组成的二进制串，构造特定的[x,y]对，按照以下公式，得到BRIEF特征

$f_{n_d}\left(p\right):={\mathrm{\&Sigma;}}_{1\&le;i\&le;n_d}{2}^{i-1}\mathrm{\&tau;}(p;x_i;y_i)---\left(2\right)$

b)生成Rotated BRIEF特征描述子：

将Oriented FAST算法中提取出来的方向向量加入到BRIEF特征中，进行旋转，得到有向的BRIEF，称之为Steered BRIEF；

用一种贪婪学习算法筛选具有高variance和高不相关的steered brief，结果称之为rBRIEF，算法如下：

计算每个SBRIEF和0.5的距离，并创建容器T；

其中，贪婪算法：

把第一个SBRIEF放入结果容器R中，并从容器T中移除；

从容器T中取出下一个SBRIEF，并且和结果容器R中所有SBRIEF进行比较，如果其相关性小于某阈值，则加入结果容器R中，否则丢弃；

重复步骤b)直到结果容器R中有256个SBRIEF，如果结果容器R中少于256个SBRIEF，则改变(变大)阈值，并重复以上步骤；

第三步、对第二步中所提取的ORB特征进行粗匹配，具体步骤如下：

3-1)rBRIEF特征是二进制形式特征，选择Locality Sensitive Hashing(LSH)作为最邻近匹配点对计算；

3-2)利用RASANC算法将上步生成的匹配点对进行筛选：

RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写，是一种鲁棒性估计方法，于1981年由Fischler和Bolles提出，其能从大量外点的数据集中估计出高精度的参数。其基本思想是，在进行参数估计时，设计一个搜索引擎，利用此搜索引擎迭代筛选出与所估计的参数一致的输入数据，然后利用这些数据进行参数估计。

本发明运用RANSAC算法对所有匹配点对进行筛选，选出达到参数模型要求的匹配点对，即内点，删除错误匹配点对，具体算法如下：

内点初始化：在给定匹配点对中随机抽取4对匹配点对；

通过内点计算出变换矩阵H₀；

对匹配点对中剩余的匹配点对，计算出它们与变换矩阵H₀的距离，如果结果小于某阈值，则将其加入到内点集合中，并根据新的内点集合，运用最小二乘法更新变换矩阵H₀,否则继续判断剩下的匹配点对；

重复执行上一步骤，直到内点个数不再增加。

第四步、通过上述三个步骤，可以计算出采样后相邻图像间的变换矩阵H₀，并且可通过某种融合方法进行图像的拼接，但是当前变换矩阵H₀是在采样后图像中计算出来的，如果直接用于超高分辨率原始图像，拼接后图像重叠区域不一定会很准确，会有采样量级别像素坐标的误差。本发明利用上步提取的匹配点对，在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，再进行精确匹配，解决了上面出现的问题。具体步骤如下：

4-1)令M_l和M_r为超高分辨率原始两相邻图像，m_l和m_r分别为采样缩小后的两相邻图像，第三步计算得出的匹配点对坐标分别为(x_li，y_li)和(x_rj，y_rj)，其中0≤i，j≤n，n为所求匹配点对数；

4-2)分别以(X_li，Yy_li)和(X_rj，Y_rj)为中心，以γ为半径的范围图像块分别为I_l和I_r，这里γ为任意9≤γ≤100范围的整数，其中：

4-3)在图像块I_l、I_r中分别提取ORB特征；

4-4)求出I_l和I_r的匹配点对；

4-5)对所有的匹配点对，重复以上步骤，生成精确匹配的匹配点对。

第五步、通过上面所求的匹配点对，计算相邻图像间的变换矩阵H₀；

第六步、利用渐入渐出法对超高分辨率相邻图像进行融合，具体步骤如下：

6-1)根据图像间的变换矩阵H₀，可以对相应的图像进行变换，确定图像间的重合区域；

6-2)令I_l和I_r分别为相邻的两图像,I为融合后的图像：

I(x，y)＝(1-τ(k))×I_l(x，y)+τ(k)×I_r(x，y)+d   (1)

其中0≤d≤1为微调系数，0≤τ(k)≤1为加权函数，

$\mathrm{\&tau;}\left(k\right)=\frac{k}{m}---\left(2\right)$

其中m为重叠区域宽度，k为离重叠区域最左边的像素数，这样重叠区域越大，τ(k)就会越平缓，使得图像间能平滑过渡。

为了检验本发明在超高分辨率中的有益效果，在实验中，本发明对5组超高分辨率高压杆塔图像进行拼接效果测试，实验条件如下：CPU为Intel Core i32.27GHz，2G内存。表1是ORB与现今比较流行的特征点检测方法在时间复杂度上进行比较，所用图像尺寸大小为5184X3456，从表1中可以看出，ORB特征点检测算法时间复杂度明显优于SURF和SIFT特征检测算法，比SURF快近一数量级，比SIFT快了近两数量级；表2是在原始超高分辨率图像上直接利用ORB算法进行拼接与先粗后精的分块拼接算法在时间复杂度上的比较，从表中可以看出，本发明的拼接方法比在原始超高分辨率图像上直接利用ORB算法进行拼接的方法要快近150％。结合以上两实验结果，本发明不仅在特征点检查阶段提高了检测效率，以及大大降低时间复杂度，且在整体拼接方面，本发明利用先粗后精的分块图像拼接方法，同样大大降低拼接的时间复杂度，为超高分辨率图像的拼接大大提高拼接效率。

表1.各特征点检测算法检测时间对比

表2.直接拼接与分块拼接时间对比

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于ORB特征点的高压杆塔高清图像全景拼接方法，其特征是，具体步骤为:

第一步：读取超高分辨率高压杆塔图像，并对图像进行采样缩小；

第二步：对采样缩小后的所有图像利用ORB算法进行特征提取；

所述第二步中的特征提取的具体步骤为：

(2-1)进行Oriented FAST特征点检测：

(2-2)生成Rotated BRIEF特征描述子；

在特征点附近随机选取若干点对，将这些点对的灰度值的大小组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子；

第三步：利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；

所述第三步的具体步骤如下：

(3-1)选择LSH计算最邻近匹配点对；

(3-2)利用RASANC算法将步骤(3-1)生成的匹配点对进行筛选，选出达到要求的匹配点对即内点，删除错误匹配点对；

第四步：利用上步提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；

所述第四步的具体步骤如下：

(4-1)令M_l和M_r为超高分辨率原始两相邻图像，m_l和m_r分别为采样缩小后的两相邻图像，第三步计算得出的粗匹配点对坐标分别为(x_li，y_li)和(x_rj，y_rj)其中0≤i，j≤n，n为所求匹配点对数；

(4-2)分别以(X_li,Y_li)和(X_rj，Y_rj)为中心，以γ为半径的范围图像块分别为I_l和I_r，其中：

(4-3)在图像块I_l、I_r中分别提取ORB特征；

(4-4)求出I_l和I_r的匹配点对；

(4-5)对所有的匹配点对，重复以上步骤，生成精确匹配的匹配点对；

第五步：计算相邻图像间的变换矩阵H₀；

第六步：利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像，拼接结束。

2.如权利要求1所述一种基于ORB特征点的高压杆塔高清图像全景拼接方法，其特征是，所述第一步中，采样缩小的方法为：利用双线性插值法将待拼接超高分辨率图像进行采样缩小，原图像尺寸为W×H，得到的图像尺寸为w×h，其中W，H，w，h为大于0的整数，q为大于0整数。

3.如权利要求1所述一种基于ORB特征点的高压杆塔高清图像全景拼接方法，其特征是，所述步骤(2-2)的具体过程为：

a生成BRIEF特征描述子；

b生成Rotated BRIEF特征描述子；

将Oriented FAST算法中提取出来的方向向量加入到BRIEF特征中，进行旋转，得到有向的BRIEF，称之为Steered BRIEF；用贪婪学习算法筛选具有高方差和高不相关的Steered BRIEF，结果称之为rBRIEF；计算每个SBRIEF和0.5的距离，并创建容器T；把第一个SBRIEF放入结果容器R中，并从容器T中移除；从容器T中取出下一个SBRIEF，并且和结果容器R中所有SBRIEF进行比较，如果其相关性小于某阈值，则加入结果容器R中，否则丢弃；

重复步骤b直到结果容器R中有256个SBRIEF，如果结果容器R中少于256个SBRIEF，则改变阈值，并重复以上步骤。

4.如权利要求1所述一种基于ORB特征点的高压杆塔高清图像全景拼接方法，其特征是，所述步骤(3-2)的具体过程为：

(a)内点初始化：在给定匹配点对中随机抽取4对匹配点对；

(b)通过内点计算出变换矩阵H₀；

(c)对匹配点对中剩余的匹配点对，计算出它们与变换矩阵H₀的距离，如果结果小于某阈值，则将其加入到内点集合中，并根据新的内点集合，运用最小二乘法更新变换矩阵H₀，否则继续判断剩下的匹配点对；

(d)重复执行步骤(c)，直到内点个数不再增加。

5.如权利要求1所述一种基于ORB特征点的高压杆塔高清图像全景拼接方法，其特征是，所述第六步的具体步骤如下：

(6-1)根据图像间的变换矩阵H₀，对相应的图像进行变换，确定图像间的重合区域；

(6-2)令I_l和I_r分别为相邻的两图像,I为融合后的图像：

I(x，y)＝(1-τ(k))×I_l(x，y)+τ(k)×I_r(x，y)+d     (1)

其中0≤d≤1为微调系数，0≤τ(k)≤1为加权函数，

$\mathrm{\&tau;}\left(k\right)=\frac{k}{m}---\left(2\right)$

其中m为重叠区域宽度，k为离重叠区域最左边的像素数，这样重叠区域越大，τ(k)就会越平缓，使得图像间能平滑过渡。