CN102853835A - 基于尺度不变特征变换的无人飞行器景象匹配定位方法 - Google Patents

Abstract

本发明涉及一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，其特征在于：利用尺度不变特征变换算法提取匹配目标图像和无人飞行器前下视图的特征描述向量，判断该帧前下视图与匹配目标图像是否匹配，如果匹配，则记录匹配点在匹配目标图像和匹配目标所在的卫星图中的坐标，并根据匹配点的坐标在无人飞行器前下视场中计算出无人飞行器在卫星图上现处的位置坐标，对无人飞行器进行定位；如果匹配失败，则读入无人飞行器的下一帧前下视图继续匹配。利用本发明方法，可以准确地对无人飞行器前下视图和卫星图中匹配目标进行匹配，并根据所建立的无人飞行器前下视图模型判断无人飞行器现处的位置坐标，对无人飞行器进行定位。

Description

基于尺度不变特征变换的无人飞行器景象匹配定位方法

技术领域

本发明涉及一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，应用于无人飞行器景象匹配定位中。

背景技术

随着航空技术的飞速发展，无人飞行器及其相关技术已经成为各国竞相研究的重点，无人飞行器以其更强的机动性、更小的重量、更好的空气动力性能、更低的成本、更好的环境适应能力。目前，欧美国家除了已经在用的无人飞行器外，还在研究新型的无人飞行器技术，我国也在从事相关技术的研究。

在众多涉及无人飞行器的技术中，无人飞行器定位技术是一项极其关键的技术，这项技术主要用于对无人飞行器实施精确定位和自主导航，是无人飞行器完成任务的保证。现有的无人飞行器定位技术主要是依赖全球定位***，但是，全球定位***的估计精度与参与定位的卫星数目和信号接收装备的质量有关，信号传递过程容易受到无线电干扰，导致信号误差扩大。另外，复杂环境也要求无人飞行器定位技术进行多种定位技术的综合使用，无人飞行器景象匹配定位就是基于这些要求诞生的。所谓无人飞行器景象匹配定位，是指利用无人飞行器上的摄像头采集到的实时图像与卫星图像或者事先存储在无人飞行器中的图像进行匹配，获取位置信息。该技术可以用于全球定位***失效的情况下，作为替代全球定位***的有效定位方式，特别是全球定位***受国外控制，所以，研制低成本、高精度、抗干扰甚至是替代全球定位***的定位技术显得非常重要。

国内外学者也进行了一些景象匹配定位方面的研究，如采用连续多帧进行匹配以减少匹配误差的方法，该方法可以提高匹配效能，但是由于是多帧匹配，会增加匹配耗时；还有一类方法基于单帧进行匹配，匹配耗时少，但是容易造成匹配误差，在这种情况下，寻找准确的图像特征提取方法及相似性度量等方法就成为单帧匹配的关键点。所以，研究一种准确又快速的景象匹配方法对无人飞行器景象匹配定位具有重要意义。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，可以替代或者辅助全球定位***进行无人飞行器定位的方法，减少无人飞行器对全球定位***导航的依赖。

技术方案

一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，其特征在于步骤如下：

步骤1提取匹配目标图像的特征描述向量F_i：利用尺度不变特征变换方法提取匹配目标图像I₁的特征描述向量F_i，i＝1,2，...m；其中：F_i表示图像I₁的第i个特征描述向量；m表示图像I₁中特征描述向量的个数且m∈(0,10000)；

步骤2提取无人飞行器前下视图的特征描述向量F_j：利用尺度不变特征变换方法提取无人飞行器拍摄的前下视图I₂的特征描述向量F_j，j＝1,2，...n；其中：F_j表示图像I₂的第j个特征描述向量；n表示图像I₂中特征描述向量的个数且n∈(0,10000)；

步骤3查找匹配特征点：在F_i中查找出与F_j欧式距离最近的特征点，当两点的欧式距离小于阈值Q时，则该点为F_j的匹配点；当匹配的特征点数目达到阈值W时，该无人飞行器前下视图与匹配目标图像匹配成功；然后分别在匹配目标图像和该匹配目标图像所在的卫星图像中记录特征点坐标(fx,fy)和(rex,rey)，若匹配失败，重复步骤2；

步骤4计算无人飞行器现处位置：利用匹配目标图像和卫星图像上的位置坐标(fx，fy)和(rex，rey)计算无人飞行器当前位置坐标(lxresult，lyresult)，具体步骤如下：

步骤a：利用 $\mathrm{\&Delta;x}=\left\{\begin{array}{cc}h\&times;\tan (c+b+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h\&times;\tan (c+b-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h\&times;\tan (c+b)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.$ 计算匹配点坐标(fx，fy)与无人飞行器位置的纵坐标之差Δx；其中：h表示无人飞行器的高度参数；c＝π/2-a-2b；a表示无人飞行器俯角；  b表示无人飞行器视角一半；e＝arctan(|Lw-fy|/Lm)；||表示取绝对值；Lw＝[h/tan(a)-h×tan(c)]×sin(a)/sin(π/2+b)；Lm＝Lw/2/tan(a)；

步骤b：利用Δy＝|fx-LL|×Lc/Lcw计算匹配点坐标(fx，fy)与无人飞行器位置的横坐标之差Δy；其中：LL表示匹配目标图像宽度的一半，LL＝L/2； $\mathrm{Lc}=\left\{\begin{array}{cc}h/\cos (b+c+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h/\cos (b+c-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h/\cos (b+c)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.;$ Lcw＝Lm/cos(e)；

步骤c：采用下式计算，得到无人飞行器当前位置坐标(lxresult，lyresult)

$\mathrm{lxresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

$\mathrm{lyresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

其中：lxresult表示无人飞行器在卫星图上的横坐标；lyresult表示无人飞行器在卫星图上的纵坐标；θ为无人飞行器飞行方向与正北方向的夹角。

所述阈值Q∈(0，1)。

所述阈值W∈(1,10000)。

有益效果

本发明提出的一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，利用尺度不变特征变换算法提取无人飞行器前下视图像的特征描述向量，并与卫星图像中匹配目标的特征描述向量进行匹配，根据匹配结果在无人飞行器前下视图模型中计算无人飞行器位置坐标，并与无人飞行器预先设定好的飞行坐标进行比对，判断飞行路径是否正确。

本发明提出的基于尺度不变特征变换的无人飞行器景象匹配定位方法，利用卫星图中匹配目标和无人飞行器前下视图进行无人飞行器定位，可以作为全球定位***的替代和辅助工具，其定位精度高，速度快。

附图说明

图1：本发明方法的基本流程图；

图2：匹配目标图；

图3：无人飞行器前下视图模型；

图4：无人飞行器俯视图；

图5：无人飞行器侧视图；

图6：无人飞行器匹配定位***界面。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：AMD Athlon 64×25000+计算机、2GB内存、256M显卡，运行的软件环境是：Visual Studio 2008和Windows 7。我们用Visual Studio 2008软件实现了本发明提出的定位***。

本发明流程图如图1所示，具体实施如下：

1提取匹配目标的特征描述向量F_i：

利用尺度不变特征变换方法提取匹配目标图像上的特征描述向量，匹配目标图像如附图2所示。具体步骤如下：

首先对匹配目标图像I₁进行高斯平滑处理，其中选取σ_n＝0.5，得到图像，选取不同的σ＝σ₀2^o+s/S与

做卷积形成了一个图像金字塔GSS_σ，其中s＝0,...S-1，o＝0,...O-1，S＝3，O＝min(log₂ row,log₂ col)，σ₀＝1.5，row表示图像的垂直方向上像素点的个数，col表示图像的水平方向上像素点的个数。然后对相邻的GSS_σ求差分得到DOG_σ，对于DOG_σ的每个像素点分别与上一尺度对应像素点及周围的八邻域像素点，当前尺度周围的八邻域像素点，以及下一尺度对应像素点及周围的八邻域像素点作比较，如果该像素点为极小值或者极大值点，则该像素点为图像显著点，其周围以σ为半径的区域为显著区域，由此可以得到一系列的图像显著点的坐标X，其相应的σ为其对应的尺度大小λ。对于每个图像显著点，使用

的梯度图像与高斯核做卷积得到梯度图像

，其中σ_G＝1.5σ，并计算梯度图像

中以显著点X的显著区域中的方向直方图，其中每个方向直方图区间的幅值计算是对该方向区域内梯度进行累加，取方向直方图的区间个数L＝36，从方向直方图选取幅度超过其最大值80%的方向区域，确定为该特征区域主方向γ，如有多个方向区域，则该特征区域存在多个主方向γ。最后取图像显著点X的显著区域，按主方向及其垂直方向等分成16个区域，在每个小区域中分别统计方向直方图，其中每个方向直方图区间的幅值计算是对该方向区域内梯度赋值进行累加，取方向直方图的区间个数L＝8，并将每个方向直方图的幅值量化到[0,255]之间，则得到一个128维的描述向量F_i，i＝1,2,...m。其中：F_i表示图像I₁的第i个特征描述向量；m表示图像I₁中特征描述向量的个数，m∈(0,10000)。

2提取无人飞行器前下视图的特征描述向量F_j：

与步骤1中提取匹配目标图像的特征描述向量一样，当无人飞行器摄像头拍摄到前下视图后，要对该图像进行特征描述向量提取，以便与匹配目标图像的特征描述向量进行匹配，具体步骤如下：

对无人飞行器拍摄的前下视图I₂进行高斯平滑处理，其中选取σ_n＝0.5，得到图像

，选取不同的σ＝σ₀2^o+s/S与

做卷积形成了一个图像金字塔GSS_σ，其中s＝0,...S-1，o＝0,...O-1，S＝3，O＝min(log₂ row,log₂ col)，σ₀＝1.5，row表示图像的垂直方向上像素点的个数，col表示图像的水平方向上像素点的个数。然后对相邻的GSS_σ求差分得到DOG_σ，对于DOG_σ的每个像素点分别与上一尺度对应像素点及周围的八邻域像素点，当前尺度周围的八邻域像素点，以及下一尺度对应像素点及周围的八邻域像素点作比较，如果该像素点为极小值或者极大值点，则该像素点为图像显著点，其周围以σ为半径的区域为显著区域，由此可以得到一系列的图像显著点的坐标X，其相应的σ为其对应的尺度大小λ。对于每个图像显著点X，使的梯度图像与高斯核做卷积得到梯度图像

，其中σ_G＝1.5σ，并计算梯度图像

中以显著点X的显著区域中的方向直方图，其中每个方向直方图区间的幅值计算是对该方向区域内梯度进行累加，取方向直方图的区间个数L＝36，从方向直方图选取幅度超过其最大值80%的方向区域，确定为该特征区域主方向γ，如有多个方向区域，则该特征区域存在多个主方向γ。最后取图像显著点X的显著区域，按主方向及其垂直方向等分成16个区域，在每个小区域中分别统计方向直方图，其中每个方向直方图区间的幅值计算是对该方向区域内梯度赋值进行累加，取方向直方图的区间个数L＝8，并将每个方向直方图的幅值量化到[0,255]之间，则得到一个128维的描述向量F_j，j＝1,2，...n。其中：F_j表示图像I₂的第j个特征描述向量；n表示图像I₂中特征描述向量的个数，n∈(0,10000)。

3查找匹配特征点：

在F_i中查找出与F_j欧式距离最近的特征点，当两点的欧式距离小于阈值Q时，Q∈(0,1)，则该点为F_j的匹配点；当匹配的特征点数目达到阈值W时，W∈(1,10000)，该无人飞行器前下视图与匹配目标图像匹配成功，分别在匹配目标图像和该匹配目标图像所在的卫星图像中记录特征点坐标(fx,fy)和(rex,rey)，若匹配失败，重复步骤2；

4计算无人飞行器现处坐标：

利用无人飞行器摄像头的视场角b，视场宽度L，俯角a及无人飞行器的高度参数h建立无人飞行器前下视图模型，如附图3所示；该模型利用匹配目标图和卫星图上匹配点的位置坐标(fx，fy)和(rex，rey)来计算无人飞行器当前位置坐标(lxresult，lyresult)。

lxresult和lyresult的坐标计算公式如下：

$\mathrm{lxresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

$\mathrm{lyresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

其中，lxresult表示无人飞行器在卫星图上的横坐标；lyresult表示无人飞行器在卫星图上的纵坐标；Δy表示匹配点与无人飞行器位置的横坐标之差，如附图4中所示；Δx表示匹配点与无人飞行器位置的纵坐标之差，如附图4中所示；θ为无人飞行器飞行方向与正北方向的夹角，如附图4所示；rex表示匹配点在卫星图中的横坐标位置；rey表示匹配点在卫星图中的纵坐标位置；fx表示在匹配目标图中匹配点的横坐标位置，如附图2中所示；fy表示在匹配目标图中匹配点的纵坐标位置，如附图2中所示；LL表示匹配目标图的宽度的一半，LL＝L/2，如附图2中所示；

对于Δx，利用 $\mathrm{\&Delta;x}=\left\{\begin{array}{cc}h\&times;\tan (c+b+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h\&times;\tan (c+b-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h\&times;\tan (c+b)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.$ 计算；

其中，h表示无人飞行器的高度参数；c＝π/2-a-2b；a表示无人飞行器俯角，如图5中所示；b表示视角一半，如图5中所示；e＝arctan(|Lw-fy|/Lm)，如图5中所示；其中，Lw＝[h/tan(a)-h×tan(c)]×sin(a)/sin(π/2+b)；Lm＝Lw/2/tan(a)，如图5中所示；

对于Δy，利用Δy＝abs(fx-LL)×Lc/Lcw计算；

其中， $\mathrm{Lc}=\left\{\begin{array}{cc}h/\cos (b+c+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h/\cos (b+c-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h/\cos (b+c)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.;$ Lcw＝Lm/cos(e)；

计算该位置坐标和预先规划的飞行坐标的欧式距离，判断飞行路径是否正确，同时在匹配***中显示无人飞行器现处的位置和轨迹，便于直观判断，如图6所示。

利用本文建立的无人飞行器景象匹配定位***可以准确的对无人飞行器前下视图和卫星图中的匹配目标进行匹配，并根据所建立的无人飞行器前下视图模型判断无人飞行器现处的位置和飞行轨迹，结果显示，该***可以准确地在卫星图中判断无人飞行器的位置坐标，与预先设定的坐标偏差不超过3个像素。

Claims (3)

1.一种基于尺度不变特征变换的无人飞行器景象匹配定位方法，其特征在于步骤如下：

步骤1提取匹配目标图像的特征描述向量F_i：利用尺度不变特征变换方法提取匹配目标图像I₁的特征描述向量F_i，i＝1，2，...m；其中：F_i表示图像I₁的第i个特征描述向量；m表示图像I₁中特征描述向量的个数且m∈(0,10000)；

步骤2提取无人飞行器前下视图的特征描述向量F_j：利用尺度不变特征变换方法提取无人飞行器拍摄的前下视图I₂的特征描述向量F_j，j＝1，2，...n；其中：F_j表示图像I₂的第j个特征描述向量；n表示图像I₂中特征描述向量的个数且n∈(0,10000)；

步骤3查找匹配特征点：在F_i中查找出与F_j欧式距离最近的特征点，当两点的欧式距离小于阈值Q时，则该点为F_j的匹配点；当匹配的特征点数目达到阈值W时，该无人飞行器前下视图与匹配目标图像匹配成功；然后分别在匹配目标图像和该匹配目标图像所在的卫星图像中记录特征点坐标(fx，fy)和(rex，rey)，若匹配失败，重复步骤2；

步骤4计算无人飞行器现处位置：利用匹配目标图像和卫星图像上的位置坐标(fx，fy)和(rex，rey)计算无人飞行器当前位置坐标(lxresult，lyresult)，具体步骤如下：

步骤a：利用 $\mathrm{\&Delta;x}=\left\{\begin{array}{cc}h\&times;\tan (c+b+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h\&times;\tan (c+b-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h\&times;\tan (c+b)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.$ 计算匹配点坐标(fx，fy)与无人飞行器位置的纵坐标之差Δx；其中：h表示无人飞行器的高度参数；c＝π/2-a-2b；a表示无人飞行器俯角；b表示无人飞行器视角一半；e＝arctan(|Lw-fy|/Lm)；||表示取绝对值；Lw＝[h/tan(a)-h×tan(c)]×sin(a)/sin(π/2+b)；Lm＝Lw/2/tan(a)；

步骤b：利用Δy＝|fx-LL|×Lc/Lcw计算匹配点坐标(fx，fy)与无人飞行器位置的横坐标之差Δy；其中：LL表示匹配目标图像宽度的一半，LL＝L/2； $\mathrm{Lc}=\left\{\begin{array}{cc}h/\cos (b+c+e)& \mathrm{Lw}-\mathrm{fy}>0\\ h/\cos (b+c-e)& \mathrm{Lw}-\mathrm{fy}<0\\ h/\cos (b+c)& \mathrm{Lw}-\mathrm{fy}=0\end{array}\right.;$ Lcw＝Lm/cos(e)；

步骤c：采用下式计算，得到无人飞行器当前位置坐标(lxresult,lyresult)

$\mathrm{lxresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

$\mathrm{lyresult}=\left\{\begin{array}{cc}\mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}-\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}<0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{\&Delta;y}\&times;\sin \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}>0\\ \mathrm{\&Delta;x}\&times;\cos \mathrm{\&theta;}+\mathrm{rex}& \mathrm{fx}-\mathrm{LL}=0\end{array}\right.$

其中：lxresult表示无人飞行器在卫星图上的横坐标；lyresult表示无人飞行器在卫星图上的纵坐标；θ为无人飞行器飞行方向与正北方向的夹角。

2.根据权利要求1所述基于尺度不变特征变换的无人飞行器景象匹配定位方法，其特征在于：所述阈值Q∈(0,1)。

3.根据权利要求1所述基于尺度不变特征变换的无人飞行器景象匹配定位方法，其特征在于：所述阈值W∈(1,10000)。

Images