CN117073669A - 一种飞行器定位方法 - Google Patents

一种飞行器定位方法 Download PDF

Info

Publication number
CN117073669A
CN117073669A CN202311042901.2A CN202311042901A CN117073669A CN 117073669 A CN117073669 A CN 117073669A CN 202311042901 A CN202311042901 A CN 202311042901A CN 117073669 A CN117073669 A CN 117073669A
Authority
CN
China
Prior art keywords
image
aircraft
points
matching
inertial navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311042901.2A
Other languages
English (en)
Inventor
郑敬浩
雷波
谭海
范强
刘松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Original Assignee
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Huazhong Tianjing Tongshi Technology Co ltd filed Critical Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority to CN202311042901.2A priority Critical patent/CN117073669A/zh
Publication of CN117073669A publication Critical patent/CN117073669A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种飞行器定位方法，飞行器每隔一定时间拍摄正下方的照片，根据惯性导航得到飞行器的初始定位坐标，使用superpoint神经网络和superglue匹配算法将实拍的照片和预先存储的基准地图进行匹配，然后去除误匹配点，计算两幅图的变换矩阵，得到拍摄照片的位置信息，最后使用卡尔曼滤波算法融合视觉导航和惯性导航的结果，得到飞行器坐标点。

Description

一种飞行器定位方法
技术领域
本发明专利属于飞行器组合导航技术领域，具体涉及一种飞行器定位方法。
背景技术
尽管卫星导航已经在各行各业有了广泛应用，但飞行器仍然存在自主导航的需求，尤其在无GPS信号或者GPS信号受到干扰的地带。然而，惯性导航技术实时性好，但工作原理使得其定位误差累积较快,不能长时间使用。
视觉导航定位精度高，但面临着运算量过大引起的实时性问题和自然场景过于丰富引起的准确率问题。
此外，常见的视觉导航方法大都基于拼接相机照片进行定位导航，很少使用预先准备的地图信息。
发明内容
本发明针对现有技术中存在的技术问题，本文提出了一种基于惯性导航和图像匹配的飞行器混合定位方法。
本发明解决其技术问题所采用的技术方案是：一种飞行器定位方法，包括如下步骤：
S1，使用superpoint神经网络对任务区域的基准卫星地图进行特征抽取，获得关键点的像素位置坐标(x,y)和1×256维、二范数为1的描述向量descriptors以及数值在0～1之间的置信度confidence，将其作为基准地图存储下来；
S2，将飞行器的初始位置标定为(x0,y0)；
S3，将飞行器执行任务时每隔时间T朝正下方拍摄的一张照片记为图像img；
S4，依据惯性导航的高度信息和姿态信息对图像img进行缩放、旋转，得到图像A，图像A和基准卫星地图有着一样的空间分辨率、方向，使用superpoint神经网络抽取图像A中关键点的坐标、描述向量和置信度；
S5，根据惯性导航信息确定确定拍摄时刻t飞行器在基准地图上的位置区间B，区间B的中心点(xt,yt)为惯性导航定位坐标；
S6，使用superglue匹配算法对图像A和区间B内的特征点进行初步匹配，然后使用RANSAC算法去除误匹配点，最后得到n个匹配点对和
i＝1,2,…n；
S7，若n＜5，则认为匹配点太少，匹配效果不佳，返回步骤S3；反之，则认为匹配效果较好，进入步骤S8；
S8，计算图像A到区间B的变换矩阵M；
S9，计算图像A中心点经变换矩阵M处理后的坐标作为视觉导航得到的飞行器位置；
S10，使用卡尔曼滤波对坐标(xt,yt)和进行融合得到融合后的飞行器坐标点。
所述的一种飞行器定位方法，其步骤S5中定义惯性导航坐标定位误差记为Δ，区间B为从(xt-Δ,yt-Δ)到(xt+Δ,yt+Δ)的矩形范围。
所述的一种飞行器定位方法，其步骤S6中superglue匹配算法使用多头注意力机制迭代更新图像A和区间B两幅图内特征点的描述向量，然后计算特征点之间的内积s，使用sinkhorn算法更新s。
所述的一种飞行器定位方法，初步匹配还用到了交叉对比：如果区间B中的m点是图像A中的n点的最佳匹配点，且图像A中的n点也是区间B中的m点最的最佳匹配点，则将点对{n--m}视为匹配点对。
所述的一种飞行器定位方法，其步骤S10中将惯性导航和视觉导航的定位误差分别设置为为VN和IN，则卡尔曼滤波得到的飞行器坐标点为：
本发明的有益效果是：
1，传统的orb、sift使用图像灰度、灰度梯度等手工设计的信息进行图像匹配。但相机照片和基准地图往往存在成像差异，匹配效果很差；本文引入superpoint神经网络和superglue匹配算法分别进行特征点的提取和匹配，这两种算法使用深度神经网络提取和匹配特征，能够提取图像中的深层语义信息，而不仅仅是像素级的灰度、梯度信息。实验表明，无论是乡村还是城市，本文使用的图像匹配算法拥有最好的匹配效果，能对相机图像和基准地图进行准确的匹配，有着很好的适应性，匹配精度可达1～4个像素。
2，本专利方法使用了惯性导航信息对基准地图进行初步筛选和聚焦，减少了待匹配的范围，视觉导航的耗时也得到了缩减。
3，本专利方法使用视觉导航的结果和惯性导航进行融合后，实验表明，惯性导航的累积误差得到了极大的缩减。融合后的方法具有更好的实时性和更小的定位误差，更适合远距离长航时的飞行任务。由于不需要借助卫星信号，本文提出的导航方法抗干扰性好，自主性强，适应范围更为广泛。
附图说明
图1为本发明的原始图像的示意图；
图2为原始图像旋转缩放后的示意图；
图3为传统sift算法的匹配结果；
图4为本发明superpoint+superglue定位效果对比图；
图5为本发明的RANSAC算法去除误匹配点结果。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明公开的一种基于视觉导航和惯性导航的组合定位方法，使用卫星地图作为基准，将无人机实拍图像和基准地图进行实时匹配，然后使用卡尔曼滤波对定位结果进行融合，从而结合两种方法的优点，减少定位误差，达到更好的导航效果。具体包括如下步骤。
S1，获取任务区域的卫星地图，使用superpoint神经网络对卫星地图进行特征抽取，获得关键点的坐标(x,y)、描述向量descriptors和置信度confidence，将其作为基准地图存储下来。
其中(x,y)为关键点的像素位置；描述向量descriptors为1×256维的向量，它的二范数为1；置信度为0～1之间的数值。和直接存卫星地图相比，这种方法不仅减少了存储空间，也加速了匹配计算过程。Superpoint神经网络使用二维卷积进行特征提取，比传统的orb、sift等算法有着更高的鲁棒性。
S2，对飞行器初始位置进行标定，记作(x0,y0)。本实施例中使用的飞行器是大疆M210无人机。
S3，飞行器执行任务时，每隔时间T朝正下方拍摄一张照片，记为图像img。本实施例中，T取5s。
S4，依据惯性导航的高度信息和姿态信息对图像img进行缩放、旋转，得到图像A，图像A和基准卫星地图有着一样的空间分辨率、方向。
图1所示为原始照片，经过缩放旋转得到图2所示图像，空间分辨率大致和基图一样，图像的方位角也缩小到10°以内。
令H表示飞行器高度，f为相机焦距，s为相机传感器的像元尺寸，则图像img的空间分辨率(照片中一个像素点代表的实际尺寸)为(Hs)/f，将图像img缩放至基准地图空间分辨率，有助于后续匹配。令θ表示飞行器的方位角，则将图像逆时针旋转θ，减小旋转对匹配的影响。得到图像A后使用superpoint神经网络抽取图像A中关键点的坐标、描述向量和置信度。描述向量descriptors为1×256维的向量，它的二范数为1；置信度为0～1之间的数值。
S5，根据惯性导航信息，确定拍摄时刻t飞行器在基准地图上的位置区间B，区间B的中心点(xt,yt)为惯性导航定位坐标。得到区间B后使用superpoint神经网络抽取图像A中关键点的坐标、描述向量和置信度。描述向量descriptors为1×256维的向量，它的二范数为1；置信度为0～1之间的数值。
区间B的范围代表了惯性导航的定位误差。惯性导航确定的位置坐标(xt,yt)的误差记为为Δ，则区间B为从(xt-Δ,yt-Δ)到(xt+Δ,yt+Δ)的矩形范围。Δ和惯性导航自身性能、飞行器飞行速度等因素有关，并且会随着惯导累积时长的增加而增大。本案例中，考虑实际情况，将Δ定位200m。
S6，使用superglue匹配算法对图像A和区间B内的特征点进行初步匹配，然后使用RANSAC算法去除误匹配点，最后得到n个匹配点对和/>i＝1,2,…n。图3所示为传统sift算法的匹配结果，图4所示为本发明superpoint+superglue的定位效果对比图：每幅图左边为卫星地图，右边为拍摄照片，可以看到传统sift算法的结果很差，因为它们使用图像的灰度或者灰度梯度等信息，因卫星地图和航拍照片成像差异很大，同一块区域在卫星地图中可能偏暗，在航拍照片中却偏亮，故而superpoint+superglue的匹配效果非常好。
本步骤superglue匹配算法使用多头注意力机制迭代更新图像A和区间B两幅图内特征点的描述向量，然后计算特征点之间的内积s，使用sinkhorn算法更新s，s值越大，两个点的描述向量越相近，这两个点越可能代表了同一个位置。
初步匹配还用到了交叉对比：如果区间B中的m点是图像A中的n点的最佳匹配点，且图像A中的n点也是区间B中的m点最的最佳匹配点，则将点对{n--m}视为匹配点对。
这一步得到的匹配点对中仍有许多误匹配点，需要去除。不考虑相机的畸变，则两幅图只存在平移、旋转和缩放变换。给定误差e＝4，多次选取3个匹配点对，计算变换矩阵M，计算图像A中点(xA,yA)变换后的坐标(xA→B,yA→B)，统计(xA→B,yA→B)和(xB,yB)误差小于e的点对数目，数目最大的点对是最后的n个匹配点对和/>
S7，若n＜5，则认为匹配点太少，匹配效果不佳，返回步骤S3；反之，则认为匹配效果较好，进入步骤S8。
S8，计算图像A到区间B的变换矩阵mx是2×3矩阵的参数，变换矩阵M的具体计算方法如下：
S9，计算图像A中心点经变换矩阵M处理后的坐标作为视觉导航得到的飞行器位置。
本实施例中，基准地图的空间分辨率为0.597m，图像匹配的平均误差为4个像素，所以视觉导航的误差约为2.4m。
S10，将惯性导航和视觉导航的定位误差分别设置为为VN和IN，使用卡尔曼滤波对坐标(xt,yt)和进行融合得到融合后的飞行器坐标点为
为了简化计算，本实施例中将IN惯性导航和视觉导航VN的定位误差都设为了定值，令VN＝2.4，IN＝200，则卡尔曼滤波得到的飞行器坐标点位置为
图5所示为去除误匹配点后的匹配效果示意图，可以看出，两幅图之间的对应点匹配十分正确，匹配效果很好。
上述实施例仅例示性说明本发明的原理及其功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种飞行器定位方法，其特征在于：包括如下步骤
S1，使用superpoint神经网络对任务区域的基准卫星地图进行特征抽取，获得关键点的像素位置坐标(x,y)和1×256维、二范数为1的描述向量以及数值在0～1之间的置信度，将其作为基准地图存储下来；
S2，将飞行器的初始位置标定为(x0,y0)；
S3，将飞行器执行任务时每隔时间T朝正下方拍摄的一张照片记为图像img；
S4，依据惯性导航的高度信息和姿态信息对图像img进行缩放、旋转，得到图像A，使用superpoint神经网络抽取图像A中关键点的坐标、描述向量和置信度；
S5，根据惯性导航信息确定拍摄时刻t飞行器在基准地图上的位置区间B，区间B的中心点(xt,yt)为惯性导航定位坐标；
S6，使用superglue匹配算法对图像A和区间B内的特征点进行初步匹配，然后使用RANSAC算法去除误匹配点，最后得到n个匹配点对和/>
S7，若n＜5返回步骤S3；反之进入步骤S8；
S8，计算图像A到区间B的变换矩阵M；
S9，计算图像A中心点经变换矩阵M处理后的坐标作为视觉导航得到的飞行器位置；
S10，使用卡尔曼滤波对坐标(xt,yt)和进行融合得到融合后的飞行器坐标点。
2.根据权利要求1所述的一种飞行器定位方法，其特征在于，所述的步骤S5中定义惯性导航坐标定位误差记为Δ，区间B为从(xt-Δ,yt-Δ)到(xt+Δ,yt+Δ)的矩形范围。
3.根据权利要求2所述的一种飞行器定位方法，其特征在于，所述的步骤S6中，superglue匹配算法使用多头注意力机制迭代更新图像A和区间B内特征点的描述向量，然后计算特征点之间的内积s，使用sinkhorn算法更新s。
4.根据权利要求3所述的一种飞行器定位方法，其特征在于，所述的初步匹配还用到了交叉对比：如果区间B中的m点是图像A中的n点的最佳匹配点，且图像A中的n点也是区间B中的m点最的最佳匹配点，则将点对{n--m}视为匹配点对。
5.根据权利要求4所述的一种飞行器定位方法，其特征在于，所述的步骤S10中，将惯性导航和视觉导航的定位误差分别设置为为VN和IN，则卡尔曼滤波得到的飞行器坐标点为：
CN202311042901.2A 2023-08-18 2023-08-18 一种飞行器定位方法 Pending CN117073669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311042901.2A CN117073669A (zh) 2023-08-18 2023-08-18 一种飞行器定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311042901.2A CN117073669A (zh) 2023-08-18 2023-08-18 一种飞行器定位方法

Publications (1)

Publication Number Publication Date
CN117073669A true CN117073669A (zh) 2023-11-17

Family

ID=88711016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311042901.2A Pending CN117073669A (zh) 2023-08-18 2023-08-18 一种飞行器定位方法

Country Status (1)

Country Link
CN (1) CN117073669A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法
CN117274391B (zh) * 2023-11-23 2024-02-06 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Similar Documents

Publication Publication Date Title
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN108534782B (zh) 一种基于双目视觉***的地标地图车辆即时定位方法
CN112419374B (zh) 一种基于图像配准的无人机定位方法
CN105352509B (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN114216454B (zh) 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法
US9959625B2 (en) Method for fast camera pose refinement for wide area motion imagery
CN107560603B (zh) 一种无人机倾斜摄影测量***及测量方法
CN111507901B (zh) 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN114936971A (zh) 一种面向水域的无人机遥感多光谱图像拼接方法及***
EP2235475A1 (en) Generation of aerial images
CN113624231B (zh) 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
CN115187798A (zh) 一种多无人机高精度匹配定位方法
CN113313659B (zh) 一种多机协同约束下高精度图像拼接方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN117073669A (zh) 一种飞行器定位方法
CN112016478A (zh) 一种基于多光谱图像融合的复杂场景识别方法及***
CN111815765A (zh) 一种基于异构数据融合的图像三维重建方法
CN115127554B (zh) 一种基于多源视觉辅助的无人机自主导航方法与***
CN114238675A (zh) 一种基于异源图像匹配的无人机地面目标定位方法
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
Zhang et al. An UAV navigation aided with computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination