CN106204507A - 一种无人机图像拼接方法 - Google Patents

一种无人机图像拼接方法 Download PDF

Info

Publication number
CN106204507A
CN106204507A CN201510282170.8A CN201510282170A CN106204507A CN 106204507 A CN106204507 A CN 106204507A CN 201510282170 A CN201510282170 A CN 201510282170A CN 106204507 A CN106204507 A CN 106204507A
Authority
CN
China
Prior art keywords
image
coupling
matched
transformation parameter
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510282170.8A
Other languages
English (en)
Other versions
CN106204507B (zh
Inventor
徐玉华
邓庆华
欧建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Fangtian Technology Co ltd
Original Assignee
Changsha Venus Gram Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Venus Gram Information Technology Co Ltd filed Critical Changsha Venus Gram Information Technology Co Ltd
Priority to CN201510282170.8A priority Critical patent/CN106204507B/zh
Publication of CN106204507A publication Critical patent/CN106204507A/zh
Application granted granted Critical
Publication of CN106204507B publication Critical patent/CN106204507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种无人机图像拼接方法,包括:获取无人机拍摄的待匹配图像的SIFT特征匹配对,得到其它待匹配图像的初始变换参数;假设图像的变换参数设为xi,xi表示由单应矩阵的8个独立参数组成的列向量,Ti为由xi表示的变换,令定义目标函数:E(X)=cE(oXr)+ω(EX)r;其中,ω为常数权重;Ecor(x)为基于特征点对应的能量项,Erig(x)为变换参数x的约束项;将SIFT特征匹配对的特征对应代入目标函数,采用LM算法进行优化;对变换后的图像进行融合处理。本发明的无人机图像拼接方法,可以使得各个变换参数尽量保持为刚性变换,使得拼接的结果不发生全局变形,使得每幅图像试图保持原来的形状,使得输出的拼接图像的全局变形得到有效的控制,并且无需相机的参数和姿态信息,即可获得很好的拼接效果。

Description

一种无人机图像拼接方法
技术领域
本发明涉及无人机图像处理技术领域,特别是指一种无人机图像拼接方法。
背景技术
无人机侦察技术属于遥感技术的一种,相对卫星侦察具有其自身优点,如成本低、侦察地域控制灵活、不存在访问时间和周期限制、地面目标分辨率高等;相对有人侦察机来说,有昼夜可持续工作、不考虑飞行员疲劳和伤亡等方面的优越性。近年来,无人机因其低空遥感数据具有高分辨率、高灵活性、高效率和低成本的优势而被广泛应用于自然灾害区域评估、战场侦察、环境监测等领域。无人机侦察技术虽然在自然灾害区域评估、战场侦察等领域起到了重要的作用,但是由于无人机获得的侦察图像具有数据量大、重叠率高的特点,很难用一帧图像将感兴趣区域的信息全部展现出来,使得感兴趣区域目标的获取和精确定位存在巨大困难,从而给地面站指挥人员带来繁重的工作。
为了从无人机局部区域侦察图像中获得更加有效、全面、精准的信息,需要对侦察图像进行一系列合理的处理,实现无人机侦察图像的重建工作。通过无人机侦察图像的重建,能够得到高分辨率、大视角、宽视野的全景图像,从而为地面站指挥人员提供一种有效且完整的场景表示方法,使其能够更好地统一处理、解译、分析和研究图像信息。
目前,图像拼接作为图像重建的重要研究方向,已广泛应用于实际生活当中。2004年,Lowe提出一种尺度不变特征提取SIFT(Scale Invariant Feature Transform)算法,是目前来说应用最多的图像配准算法。该算法虽然给图像配准带来良好的配准效果,但是在提高图像拼接速度方面并没有太大改善,对于大数据量的无人机侦察图像来说,想要采用改变SIFT算法参数的方法来达到图像实时处理的效果难度更大,并且,无人机图像拼接通常 需要GPS/IMU等传感器提供相机的姿态信息,或者利用基于图像的三维重建方法(如structure-from-motion)恢复相机的姿态,计算效率比较低,拼接后的图像效果不好。
发明内容
有鉴于此,本发明的目的在于提出一种无人机图像拼接方法,提出一种新的适用于无人机图像拼接的目标函数。
基于上述目的本发明提供一种无人机图像拼接方法,包括:获取无人机拍摄的待匹配图像的SIFT特征匹配对;随机选取一幅待匹配图像作为参考图像,以此图像所在的图像平面作为最终拼接图像的参考平面,此图像的单应矩阵为单位阵,以此图像为基准,通过两两配准关系得到其它待匹配图像的初始变换参数;假设图像的变换参数设为Xi,Xi表示由单应矩阵的8个独立参数组成的列向量,Ti为由Xi表示的变换,令定义目标函数
E(X)=Ecor(X)+ωErig(X);
其中,ω为常数权重;Ecor(X)为基于特征点对应的能量项,Erig(X)为变换参数X的约束项;将所述SIFT特征匹配对的特征对应代入所述目标函数,并以待匹配图像的初始变换参数作为初值,采用LM算法进行优化;对变换后的图像进行融合处理,消除拼接缝隙。
根据本发明的实施例,进一步的,所述获取无人机拍摄的待匹配图像的SIFT特征匹配对包括:从每张待匹配图像中提取图像SIFT特征点,采用FLANN算法进行SIFT特征匹配,对SIFT特征匹配对采用RANSAC算法剔除误匹配。
根据本发明的实施例,进一步的,采用基于特征的方法对待匹配图像进行配准,用8自由度的单应矩阵Hi表示第i幅待匹配的变换参数,Hi为:
H i = a i b i e i c i d i f i g i h i 1 ;
对于图像上的某个点x来说,用单应矩阵对其进行变换,变换后的坐标x′为:x′=Hx。
根据本发明的实施例,进一步的,所述目标函数中的Ecor(X)定义为:
E cor ( X ) = Σ i = 1 N e i T e i + Σ i = 1 N ~ e ~ i T e ~ i ;
其中,ei=Tm(pi,m)-Tn(pi,n),1≤m,n≤M;(pi,m,pi,n)表示第i个SIFT匹配对;n_ref为参考图像的标号,为参考图像中的匹配对数。
根据本发明的实施例,进一步的,所述Erig(X)的定义为:
E rig ( X ) = Σ i = 1 N p i E rig ( X i ) ;
其中:
Erig(Xi)=(aibi+cidi)2
+(ai 2+ci 2-1)2
+(bi 2+di 2-1)2
+(gi 2+hi 2)2
其中,pi为第i幅图像中的点对应的个数。
根据本发明的实施例,进一步的,所述对SIFT特征匹配对采用RANSAC算法剔除误匹配包括:步骤a:随机抽取m对SIFT特征匹配对的特征,用SIFT特征匹配对的特征计算出一个8自由度的单应变换HR;步骤b:计算其它SIFT匹配对的特征对HR的支持度;其中,对于某一对匹配对(xA,xB),xA、xB为齐次坐标,如果||xA-x′A||小于预先设定的阈值,则所述(xA,xB)支持变换参数HR;其中,x′A=HRxB;重复步骤a和步骤b预设的次数,计算获得最大支持度的HR,设为Hbest;用所有支持Hbest的匹配对重新计算一个变换参数,设为Hout;把所有支持Hout的匹配对作为正确的匹配对。
根据本发明的实施例,进一步的,所述待匹配的SIFT特征匹配对采用RANSAC算法剔除误匹配后,如果正确的匹配对小于预先设定的阈值,则认为待匹配图像之间没有重叠的公共区域。
根据本发明的实施例,进一步的,所述对变换后的图像进行融合处理包括:在某个像素点(x,y)处对来自多幅待匹配图像的图像灰度值进行加权叠加,权重W(x,y)=w(x)w(y);其中,w(x)的取值范围为[0,1],在图像中心处为1,越靠近图像边缘w(x)越小;
线性加权用公式表示为:
I linear ( x , y ) = Σ i = 1 n W i ( x , y ) I i ( x , y ) Σ i = 1 n W i ( x , y )
根据本发明的实施例,进一步的,所述对变换后的图像进行融合处理方法采用多频段图像融合进行图像方法进行融合:得到最终的拼接结果;其中,对于待融合的图像,建立拉普拉斯图像金字塔;在拉普拉斯图像金字塔的每一层,采用线性加权融合方法进行融合。
根据本发明的实施例,进一步的,权重的计算方法如下:先用所述线性加权用公式得到每幅图像的权重Wi(x,y);
再计算Wi max(x,y);
W i max ( x , y ) = 1 if W i ( x , y ) = ar g j W j ( x , y ) 0 otherwise ;
对于拉普拉斯图像金字塔最底层的图像,权重为Wi σ(x,y)为:
Wi σ(x,y)=Wi max(x,y)*gσ(x,y);
其中,gσ(x,y)为高斯函数;对于拉普拉斯图像金字塔其他层,权重Wi (k+1) σ(x,y)为:
Wi (k+1) σ(x,y)=Wi k σ*gσ′
其中,用线性融合后的拉普拉斯金字塔进行重建,得到最终的融合图像。
从上面所述可以看出,本发明的无人机图像拼接方法,可以使得各个变换参数尽量保持为刚性变换,使得拼接的结果不发生全局变形,使得每幅图像试图保持原来的形状,使得输出的拼接图像的全局变形得到有效的控制,并且无需相机的参数和姿态信息,即可获得很好的拼接效果。
附图说明
图1为本发明的无人机图像拼接方法的一个实施例的流程图;
图2为本发明的利用图像匹配关系获取图像初始变换参数;
图3为本发明的无人机图像拼接方法的另一个实施例的流程图;
图4为本发明的无人机图像拼接方法对一个数据集进行处理的拼接结果示意图;
图5为本发明的无人机图像拼接方法对另一个数据集进行处理的拼接结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1为本发明的无人机图像拼接方法的一个实施例的流程图,如图1所示:
步骤101,获取无人机拍摄的待匹配图像的SIFT特征匹配对。
步骤102,随机选取一幅待匹配图像作为参考图像,以此图像所在的图像平面作为最终拼接图像的参考平面,此图像的单应矩阵为单位阵,以此图像为基准,通过两两配准关系得到其它待匹配图像的初始变换参数。
假设图像的变换参数设为Xi,Xi表示由单应矩阵的8个独立参数组成的列向量,Ti为由Xi表示的变换,令定义目标函数
E(X)=Ecor(X)+ωErig(X);
其中,ω为常数权重;Ecor(X)为基于特征点对应的能量项,Erig(X)为变换参数X的约束项。
步骤103,将SIFT特征匹配对的特征对应代入目标函数,并以待匹配图像的初始变换参数作为初值,采用LM算法进行优化。
步骤104,对变换后的图像进行融合处理,消除拼接缝隙。
本发明的无人机图像拼接方法所做的假设为:
(1)相机的镜头没有明显的畸变;
(2)地面为平面或近似平面。
发明的无人机图像拼接方法,提出一种新的适用于无人机图像拼接的目标函数。该目标函数由两部分组成。其中,第一部分为基于点对应的能量项,它的目标是使得变换后的匹配的特征点之间的距离平方和最小化,实现图像在几何上的配准;第二部分为图像变换参数的约束项,它使得各个变换参数尽量保持为刚性变换,其目的是使得拼接的结果不发生全局变形。采用这个目标函数,无需相机的参数和姿态信息,即可获得很好的拼接效果。
本发明的无人机图像拼接方法,基于嵌入变形模型,在网格非刚性变形模型中加入局部的刚性变形约束,以保持网格的局部特征。本发明的无人机图像拼接方法,使得每幅图像试图保持原来的形状,从而使得输出的拼接图像的全局变形得到有效的控制。
在一个实施例中,采用基于特征的方法对图像进行配准,用8自由度的单应矩阵Hi表示第i幅图像的变换参数,Hi为:
H i = a i b i e i c i d i f i g i h i 1 - - - ( 1 )
对于图像上的某个点x(齐次坐标)来说,用单应矩阵对其进行变换,变换后的坐标x′为:
x′=Hx (2)
假设在全部M幅图像之间共找到N对特征点,图像的变换参数设为Xi(Xi表示由单应矩阵的8个独立参数组成的列向量),Ti为由Xi表示的变换。令为了获得各幅图像的变换参数,定义一个目标函数E(X):
E(X)=Ecor(X)+ωErig(X) (3)
其中,ω为常数权重。
Ecor(X)为基于特征点对应的能量项,其目的是使得所有变换后的匹配点之间的距离的平方和最小化,其定义为:
E cor ( X ) = Σ i = 1 N e i T e i + Σ i = 1 N ~ e ~ i T e ~ i - - - ( 4 )
其中,ei=Tm(pi,m)-Tn(pi,n),1≤m,n≤M;(pi,m,pi,n)表示第i个匹配对; n_ref为参考图像的标号,为参考图像中的匹配 对数。
式(4)的第2项的目的是使得参考图像尽可能保持为原来的形状。
Erig(X)为变换参数X的约束项,它使得各个Xi尽量保持为刚性变换,其目的是为了防止拼接结果发生全局变形。Erig(X)的定义为:
E rig ( X ) = Σ i = 1 N p i E rig ( X i ) - - - ( 5 )
Erig(Xi)=(aibi+cidi)2
+(ai 2+ci 2-1)2
+(bi 2+di 2-1)2 (6)
+(gi 2+hi 2)2
其中,pi为第i幅图像中的点对应的个数。它的意义是:当一幅图像中的点对应越多时,它在Ecor(X)中就具有越多的项,为了平衡,在Erig(X)中也应赋予它更大的权重。
在式(3)中,共有8M个未知数。式(3)表示的目标函数是一个典型的非线性最小二乘问题,可采用Levenberg-Marquardt(LM)算法进行求解。
在一个实施例中,用LM算法求解式(3)时,它的雅克比矩阵的尺寸为2N+4M行8M列。当M和N很大时,如图5所示的实验,M=591,N=220977,此时雅克比矩阵的尺寸为444318行4728列,这是一个非常庞大的矩阵,使得LM算法在一般的计算机上无法执行。为了节省内存空间和加快计算速度,采用稀疏LM算法对式(3)进行求解。
图3为本发明的无人机图像拼接方法的另一个实施例的流程图;如图3所示:
步骤202,特征提取和匹配。
考虑到无人机在飞行的过程中的姿态和高度的变化,从图像中提取具有尺度不变性和对仿射变形具有一定鲁棒性的SIFT特征,用FLANN(Fast Library for Approximate Nearest Neighbors)进行匹配,并用随机采样一致性算法(RANSAC)剔除误匹配对。
例如:对于待匹配的图像IA和IB,采用开源计算机视觉库OpenCV中提供的SiftFeatureDetector类从每张图像中均匀地提取最多1000个128维的SIFT特征;采用FlannBasedMatcher类进行SIFT特征匹配。对其中的匹配 误差最小的400对匹配对,采用RANSAC算法剔除误匹配。
RANSAC算法剔除误匹配的步骤为:
a)随机抽取4对匹配的特征,用这4对点计算出一个8自由度的单应变换HR(HR的形式如公式(1)所示)。
b)计算其他匹配对对HR的支持度。对于某一对匹配对(xA,xB)(xA、xB为齐次坐标)来说,如果有||xA-x′A||小于预先设定的阈值(2个像素),则表示(xA,xB)支持变换参数HR。其中,x′A=HRxB
c)重复步骤a和步骤b K次(本实施例K=50),并找出获得最大支持度的HR,记为Hbest;用所有支持Hbest的匹配对重新计算一个变换参数,记为Hout。即,Hout为由剔除误匹配后的特征对计算得到的变换参数。最后,把所有支持Hout的匹配对作为正确的匹配对。如果正确的匹配对数小于预先设定的阈值(10对),则认为图像IA和IB之间没有重叠的公共区域。
步骤203,获取初始变换参数。
随机选取一幅图像作为参考图像,以它所在的图像平面作为最终拼接图像的参考平面,该图像的单应矩阵为单位阵。以参考图像为基准,通过两两配准关系得到其他图像的初始变换参数。
如图2所示,6幅图像之间的匹配关系用带箭头的虚线表示。在图2中,8自由度的单应矩阵Hij表示图像Ii和图像Ij之间的变换关系,由步骤1得到。图像I5和图像I1没有直接的匹配关系,但通过其他的图像,I5和作为基准图像的I1可以建立起联系。
Η51=Η54Η43Η32Η21 (7)
以Η51作为图像I5的初始变换参数。用同样的方式,可以得到其他图像的初始变换参数。
步骤203,全局优化。
将步骤202中获得的特征对应代入由公式(3)表示的目标函数,并以步骤203获得的初始变换参数作为初值,用LM算法进行优化。
优化具有形式的目标函数(fi(X)为非线性函数,X为n维的变量)是一个典型的非线性最小二乘问题,可用Levenberg-Marquardt算 法迭代求解。
在一个实施例中,给定X的初值X0,X的迭代求解公式如下:
X ( k + 1 ) = X ( k ) - ( A k T A k + α k I ) - 1 A k T f k
其中,I为单位阵,αk为正实数,Ak雅克比矩阵:
A k = ∂ f 1 ( X ( k ) ) ∂ x 1 ∂ f 1 ( X ( k ) ) ∂ x 2 . . . ∂ f 1 ( X ( k ) ) ∂ x n . . . . . . . . . ∂ f m ( X ( k ) ) ∂ x 1 ∂ f m ( X ( k ) ) ∂ x 2 . . . ∂ f m ( X ( k ) ) ∂ x n .
fk=[f1(X(k)) f2(X(k)) … fm(X(k))]T
Levenberg-Marquardt算法完整步骤如下:
a)给定初值X(0)=X0,α=α00>0),增长因子β>0,允许误差ε>0,k=0,计算E(X(k));
b)令α=a/β,计算fk、Ak
c) X ( k + 1 ) = X ( k ) - ( A k T A k + α k I ) - 1 A k T f k ;
d)计算E(X(k+1)),若E(X(k+1))<E(X(k)),则转步骤f,否则转步骤e;
e)若||Akfk||≤ε,则停止计算,得到最终解X=X(k),否则,令α=βa,转步骤c;
f)若||Akfk||≤ε,则停止计算,得到最终解X=X(k+1),否则,令k=k+1,返回步骤b。
在本实施例中,α0=0.01,β=10。
步骤405,图像融合。
如果应用步骤203得到的图像变换参数对每幅图像进行变换,由于成像条件的差异、未建模的视差效应、图像配准几何误差等因素,得到的拼接图像会存在明显的拼接缝隙。为了得到视觉上一致、无缝的拼接结果,还需要对变换后的图像进行融合处理,消除拼接缝隙。
在一个实施例中,一种简单的融合方法是在某个像素点(x,y)处对来自多幅图像的图像灰度值进行加权叠加。权重W(x,y)为:
W(x,y)=w(x)w(y) (8)
其中,w(x)、w(x)的取值范围为[0,1],在图像中心处为1,越靠近图像边缘w(x)越小。
线性加权用公式表示为:
I linear ( x , y ) = Σ i = 1 n W i ( x , y ) I i ( x , y ) Σ i = 1 n W i ( x , y ) - - - ( 9 )
其中,Wi(x,y)为第i幅图像(x,y)处的权重;Ii(x,y)为第i幅图像在(x,y)处的灰度值。
线性加权图像融合方法具有原理简单、计算速度快的优点,但该方法会模糊图像的细节信息。本实施例采用多频段图像融合(Multi-Band Blending)方法进行图像融合,得到最终的拼接结果。
多频段图像融合方法能够保持图像的细节信息,它的步骤是:
1)对于待融合的图像,建立拉普拉斯图像金字塔。
2)在拉普拉斯图像金字塔的每一层,采用线性加权融合方法进行融合。
权重的计算方法如下:
a)先用公式(9)得到每幅图像的权重Wi(x,y);
b)再计算Wi max(x,y)
W i max ( x , y ) = 1 if W i ( x , y ) = ar g j W j ( x , y ) 0 otherwise - - - ( 10 )
对于金字塔最底层(k=0)图像,权重为Wi σ(x,y)为:
Wi σ(x,y)=Wi max(x,y)*gσ(x,y) (11)
其中,gσ(x,y)为高斯函数,σ为高斯平滑因子。
式(11)的作用是用高斯函数对Wi max(x,y)进行平滑处理。
对于其他层(k≥1,在本实施例中,0≤k≤4),权重为Wi (k+1) σ(x,y)为:
Wi (k+1) σ(x,y)=Wi k σ*gσ′
其中, σ ′ = ( 2 k + 1 ) σ .
3)用线性融合后的拉普拉斯金字塔进行重建,得到最终的融合图像。
OpenCV已经有了多频段图像融合算法的实现,本实施例采用OpenCV2.4.9中的MultiBandBlender类进行图像融合处理(拉普拉斯金字塔的层数 设为5)。
在一个实施例中,通过两组数据集对本发明提出的图像拼接目标函数进行了测试。
第一组数据集是昆士兰科技大学在网上公开的无人机图像,使用其中的部分图像进行测试(cam0_image01821-cam0_image04555,这些图像构成一个闭合回路)。
第二组数据集为Pixe4D公司在网上发布的图像,用其中的591幅图像进行拼接实验。此外,该公司还提供了正射拼接影像图,将利用这个正射影像图对我们的拼接结果进行定量的评估。
图4和图5分别为本文算法对第一组和第二组数据集得到的拼接结果。从图中可以看出,本发明的算法对这两组数据集都获得了视觉上令人满意的拼接结果。
数据集1中除了原始的图像以外,还包含了一幅从这些图像和GPS信息生成的正射影像图,用这张正射影像图作为标准评价本文算法的精度。以手动的方式分别从正射影像图(分辨率为3613×2550)和本发明的算法得到的拼接图中选取30个大致均匀分布控制点,采用4自由度的相似变换模型对控制点进行配准,误差为19.6像素。由于目标是在相机参数未知的情况下得到视觉上感觉良好的拼接图像,这个误差量级尚不足以让人感觉到图像发生了全局的变形。所有的拼接实验,都不使用任何相机位姿和内参数据,其中,式(3)的ω设为4000。
本发明的无人机图像拼接方法,可以使得各个变换参数尽量保持为刚性变换,使得拼接的结果不发生全局变形,使得每幅图像试图保持原来的形状,使得输出的拼接图像的全局变形得到有效的控制,并且无需相机的参数和姿态信息,即可获得很好的拼接效果。
所属领域的普通技术人员应当理解:以上仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机图像拼接方法,其特征在于,包括:
获取无人机拍摄的待匹配图像的SIFT特征匹配对;
随机选取一幅待匹配图像作为参考图像,以此参考图像所在的图像平面作为最终拼接图像的参考平面,此参考图像的单应矩阵为单位阵,以此参考图像为基准,通过两两配准关系得到其它待匹配图像的初始变换参数;
假设图像的变换参数设为Xi,Xi表示由单应矩阵的8个独立参数组成的列向量,Ti为由Xi表示的变换,令定义目标函数:
E(X)=Ecor(X)+ωErig(X);
其中,ω为常数权重;Ecor(X)为基于特征点对应的能量项,Erig(X)为变换参数X的约束项;
将所述SIFT特征匹配对的特征对应代入所述目标函数,并以待匹配图像的初始变换参数作为初值,采用LM算法进行优化;
对变换后的图像进行融合处理,消除拼接缝隙。
2.如权利要求1所述的方法,其特征在于,所述获取无人机拍摄的待匹配图像的SIFT特征匹配对包括:
从每张待匹配图像中提取图像SIFT特征点,采用FLANN算法进行SIFT特征匹配,对SIFT特征匹配对采用RANSAC算法剔除误匹配。
3.如权利要求2所述的方法,其特征在于,包括:
采用基于特征的方法对待匹配图像进行配准,用8自由度的单应矩阵Hi表示第i幅待匹配的变换参数,Hi为:
对于图像上的某个点x来说,用单应矩阵对其进行变换,变换后的坐标x′为:x′=Hx。
4.如权利要求3所述的方法,其特征在于,包括:
所述目标函数中的Ecor(X)定义为:
其中,ei=Tm(pi,m)-Tn(pi,n),1≤m,n≤M;(pi,m,pi,n)表示第i个SIFT匹配对;n_ref为参考图像的标号,为参考图像中的匹配对数。
5.如权利要求4所述的方法,其特征在于,包括:
所述Erig(X)的定义为:
其中:
Erig(Xi)=(aibi+cidi)2
+(ai 2+ci 2-1)2
+(bi 2+di 2-1)2
+(gi 2+hi 2)2
其中,pi为第i幅图像中的点对应的个数。
6.如权利要求5所述的方法,其特征在于,所述对SIFT特征匹配对采用RANSAC算法剔除误匹配包括:
步骤a:随机抽取m对SIFT特征匹配对的特征,用SIFT特征匹配对的特征计算出一个8自由度的单应变换HR
步骤b:计算其它SIFT匹配对的特征对HR的支持度;
其中,对于某一对匹配对(xA,xB),xA、xB为齐次坐标,如果||xA-x′A||小于预先设定的阈值,则所述(xA,xB)支持变换参数HR;其中,x′A=HRxB
重复步骤a和步骤b预设的次数,计算获得最大支持度的HR,设为Hbest;用所有支持Hbest的匹配对重新计算一个变换参数,设为Hout
把所有支持Hout的匹配对作为正确的匹配对。
7.如权利要求6所述的方法,其特征在于:
所述待匹配的SIFT特征匹配对采用RANSAC算法剔除误匹配后,如果正确的匹配对小于预先设定的阈值,则认为待匹配图像之间没有重叠的公共区域。
8.如权利要求7所述的方法,其特征在于,所述对变换后的图像进行融合处理包括:
在某个像素点(x,y)处对来自多幅待匹配图像的图像灰度值进行加权叠加,权重W(x,y)=w(x)w(y);
其中,w(x)的取值范围为[0,1],在图像中心处为1,越靠近图像边缘w(x)越小;
线性加权用公式表示为:
其中,其中,Wi(x,y)为第i幅图像(x,y)处的权重;Ii(x,y)为第i幅图像在(x,y)处的灰度值。
9.如权利要求8所述的方法,其特征在于:
所述对变换后的图像进行融合处理方法采用多频段图像融合进行图像方法进行融合:得到最终的拼接结果
其中,对于待融合的图像,建立拉普拉斯图像金字塔;
在拉普拉斯图像金字塔的每一层,采用线性加权融合方法进行融合。
10.如权利要求9所述的方法,其特征在于:
权重的计算方法如下:
先用所述线性加权用公式得到每幅图像的权重Wi(x,y);
再计算
对于拉普拉斯图像金字塔最底层的图像,权重为为:
其中,gσ(x,y)为高斯函数;σ为高斯平滑因子;
对于拉普拉斯图像金字塔其他层,权重为:
其中,
用线性融合后的拉普拉斯金字塔进行重建,得到最终的融合图像。
CN201510282170.8A 2015-05-28 2015-05-28 一种无人机图像拼接方法 Active CN106204507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510282170.8A CN106204507B (zh) 2015-05-28 2015-05-28 一种无人机图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510282170.8A CN106204507B (zh) 2015-05-28 2015-05-28 一种无人机图像拼接方法

Publications (2)

Publication Number Publication Date
CN106204507A true CN106204507A (zh) 2016-12-07
CN106204507B CN106204507B (zh) 2021-05-25

Family

ID=57459444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510282170.8A Active CN106204507B (zh) 2015-05-28 2015-05-28 一种无人机图像拼接方法

Country Status (1)

Country Link
CN (1) CN106204507B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
CN107301658A (zh) * 2017-05-19 2017-10-27 东南大学 一种无人机影像与大规模旧时相影像快速匹配定位的方法
CN108759791A (zh) * 2018-07-26 2018-11-06 中国人民解放军陆军工程大学 基于前方交会的无人机航摄影像自动定位方法
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学(武汉) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN102903138A (zh) * 2012-08-30 2013-01-30 浙江工商大学 一种考虑形状的二维数字角色骨架操作方法
CN103778662A (zh) * 2014-01-07 2014-05-07 北京师范大学 交互式破碎文物虚拟修复方法
CN103793895A (zh) * 2014-01-10 2014-05-14 中国农业大学 一种果树冠层器官图像拼接方法
CN104574278A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN102903138A (zh) * 2012-08-30 2013-01-30 浙江工商大学 一种考虑形状的二维数字角色骨架操作方法
CN103778662A (zh) * 2014-01-07 2014-05-07 北京师范大学 交互式破碎文物虚拟修复方法
CN103793895A (zh) * 2014-01-10 2014-05-14 中国农业大学 一种果树冠层器官图像拼接方法
CN104574278A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高颖慧 等: "航空摇摆图像组的配准拼接算法", 《红外与激光工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
WO2018121247A1 (zh) * 2016-12-27 2018-07-05 深圳市道通智能航空技术有限公司 控制无人机飞行的方法、装置以及无人机
CN106647805B (zh) * 2016-12-27 2019-02-15 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
CN107301658A (zh) * 2017-05-19 2017-10-27 东南大学 一种无人机影像与大规模旧时相影像快速匹配定位的方法
CN107301658B (zh) * 2017-05-19 2020-06-23 东南大学 一种无人机影像与大规模旧时相影像快速匹配定位的方法
CN108759791A (zh) * 2018-07-26 2018-11-06 中国人民解放军陆军工程大学 基于前方交会的无人机航摄影像自动定位方法
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学(武汉) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110111250B (zh) * 2019-04-11 2020-10-30 中国地质大学(武汉) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110223233B (zh) * 2019-06-11 2022-04-05 西北工业大学 一种基于图像拼接的无人机航拍建图方法

Also Published As

Publication number Publication date
CN106204507B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
Xiang et al. Mini-unmanned aerial vehicle-based remote sensing: Techniques, applications, and prospects
Bosch et al. Semantic stereo for incidental satellite images
Lu et al. Geometry-aware satellite-to-ground image synthesis for urban areas
CN104156968B (zh) 大面积地形复杂区域无人机序列影像快速无缝拼接方法
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN108765298A (zh) 基于三维重建的无人机图像拼接方法和***
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
Pepe et al. Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures
CN106204507A (zh) 一种无人机图像拼接方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
Barazzetti et al. Automatic co-registration of satellite time series via least squares adjustment
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
Alexander et al. Multi-scale 3D rock-art recording
Guo et al. A deep framework for hyperspectral image fusion between different satellites
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及***
Mao et al. Elevation estimation-driven building 3-D reconstruction from single-view remote sensing imagery
Wen et al. Cooperative indoor 3D mapping and modeling using LiDAR data
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和***
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及***
Kolos et al. Procedural synthesis of remote sensing images for robust change detection with neural networks
Luo et al. An evolutionary shadow correction network and a benchmark UAV dataset for remote sensing images
Lee et al. Robust image completion and masking with application to robotic bin picking
Xu et al. Deep learning guided building reconstruction from satellite imagery-derived point clouds
Maurer et al. Automated inspection of power line corridors to measure vegetation undercut using UAV-based images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180427

Address after: 412000 the 2-1 phase C R & D workshop of Xin Ma power innovation park, No. 899, Xianyue Ring Road, Tianyuan, Zhuzhou, Hunan.

Applicant after: Hunan Venus Visual Measurement Technology Co.,Ltd.

Address before: 410000 Changsha, Hunan Yuelu District Yuelu District Orange Island street, Dujia Tang 15 International Art District, 3-1 floor.

Applicant before: CHANGSHA WEINA SIKE INFORMATION TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230411

Address after: No. D-03, 4th Floor, Building A, Entrepreneurship Building, University Science Park, No. 283, Middle Section of Xiaoxiang Avenue, Juzizhou Street, Yuelushan National University Science and Technology City, Changsha City, Hunan Province, 410000

Patentee after: Hunan Fangtian Technology Co.,Ltd.

Address before: 412000 the 2-1 phase C R & D workshop of Xin Ma power innovation park, No. 899, Xianyue Ring Road, Tianyuan, Zhuzhou, Hunan.

Patentee before: Hunan Venus Visual Measurement Technology Co.,Ltd.