CN111829532B - 一种飞行器重定位***和重定位方法 - Google Patents

一种飞行器重定位***和重定位方法 Download PDF

Info

Publication number
CN111829532B
CN111829532B CN201910313948.5A CN201910313948A CN111829532B CN 111829532 B CN111829532 B CN 111829532B CN 201910313948 A CN201910313948 A CN 201910313948A CN 111829532 B CN111829532 B CN 111829532B
Authority
CN
China
Prior art keywords
yaw angle
key frame
points
aircraft
angle theta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910313948.5A
Other languages
English (en)
Other versions
CN111829532A (zh
Inventor
陈颖
毛曙源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengyi Technology Shenzhen Co ltd
Original Assignee
Fengyi Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengyi Technology Shenzhen Co ltd filed Critical Fengyi Technology Shenzhen Co ltd
Priority to CN201910313948.5A priority Critical patent/CN111829532B/zh
Publication of CN111829532A publication Critical patent/CN111829532A/zh
Application granted granted Critical
Publication of CN111829532B publication Critical patent/CN111829532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明涉及一种飞行器重定位***和重定位方法，所述飞行器重定位方法，包括：图像采集单元，配置用于采集当前图像；关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure DDA0002032461530000011
能够在无GPS信号、外在环境变化的情况下，基于特征点地图采用图像匹配技术和重投影误差优化技术对飞行器进行重定位。

Description

一种飞行器重定位***和重定位方法
技术领域
本发明涉及飞行器领域，尤其涉及一种飞行器重定位***和重定位方法。
背景技术
无人机航线定位常使用卫星导航信息(如GPS、北斗导航等)或者图像技术进行定位。在依靠卫星导航信息定位时，当卫星导航信号丢失、被干扰、精度较低情况下，会导致无人机导航过程中出现跟丢等情况。然而，单纯依靠图像进行定位，会出现尺度漂移、姿态估计不准确等情况，而且在光线变化剧烈、季节变化等情况下，定位效果不好，并且只能得到无人机相对于采集得到离线地图的姿态，无法得到无人机相对于起降场、或者经纬度信息。
本发明提出了一套结合视觉特征点信息和导航信息的特征点地图的建立和重定位方法，能够在无卫星导航信号、外在环境变化的情况下，基于特征点地图采用图像匹配技术和重投影误差优化技术实现飞行器快速准确定位。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种飞行器重定位***和重定位方法。
根据本发明的一个方面，提供了一种飞行器重定位***，包括：
图像采集单元，配置用于采集当前图像；
关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000021
进一步的，所述关键帧匹配单元，包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
进一步的，所述yaw角选取单元，包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
进一步的，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
进一步的，所述相对位姿计算单元，包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
Figure BDA0002032461510000022
平移向量计算模块，配置用于
将所有的3D内点
Figure BDA0002032461510000023
进行旋转，得到新坐标：
Figure BDA0002032461510000024
Figure BDA0002032461510000025
根据新坐标
Figure BDA0002032461510000031
构建矩阵A′和b′：
Figure BDA0002032461510000032
对应平移向量
Figure BDA0002032461510000033
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure BDA0002032461510000034
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure BDA0002032461510000035
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
Figure BDA0002032461510000036
结合估算得到的
Figure BDA0002032461510000037
可以得到当前时刻飞机在导航系下的相对位姿：
Figure BDA0002032461510000038
根据本发明的另一个方面，提供了一种飞行器重定位方法，包括：
采集当前图像；
获取历史导航信息，提取若干候选关键帧；
基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
对目标关键帧Ft进行重投影，选取最优yaw角θ；
基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000039
进一步的，基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，包括：
提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
进一步的，对目标关键帧Ft进行重投影，选取最优yaw角θ，包括：
获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算所述特征点匹配对的yaw角θ及其对应的平移向量；
选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
进一步的，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
进一步的，基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000041
包括：
获取关键帧Ft的导航位姿
Figure BDA0002032461510000042
将所有的3D内点
Figure BDA0002032461510000043
进行旋转，得到新坐标：
Figure BDA0002032461510000044
Figure BDA0002032461510000045
根据新坐标
Figure BDA0002032461510000046
构建矩阵A′和b′：
Figure BDA0002032461510000047
对应平移向量
Figure BDA0002032461510000048
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure BDA0002032461510000049
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure BDA00020324615100000410
将目标关键帧Ft对应的导航位姿
Figure BDA00020324615100000411
结合估算得到的
Figure BDA00020324615100000412
可以得到当前时刻飞机在导航系下的相对位姿：
Figure BDA00020324615100000413
根据本发明的另一个方面，提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。
根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明示例的飞行器重定位***，不依赖外部导航，通过关键帧提取单元从采集当前图像中提取若干候选关键帧,选取目标关键帧Ft后,通过yaw角选取单元筛选出最优yaw角θ,相对位姿计算单元根据最优yaw角θ计算当前图像相对于目标关键帧Ft的位姿关系
Figure BDA0002032461510000051
根据位姿关系
Figure BDA0002032461510000052
计算当前时刻飞行器在导航坐标系下的相对位姿
Figure BDA0002032461510000053
对飞行器进行定位，能够应用于各种类型飞行器上，能够在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)时,不依赖外部导航对飞行器进行定位，触发重定位***对飞行器进行重定位。
2、本发明飞行器重定位方法，能够在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)，基于历史导航信息、预先建立的特征点地图以及采集的当前图像选取目标关键帧Ft，对目标关键帧Ft进行重投影选取最优yaw角θ，根据最优yaw角θ计算当前时刻飞行器在导航坐标系下的相对位姿
Figure BDA0002032461510000054
对飞行器进行定位，在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)时,不依赖外部导航对飞行器进行定位，通过飞行器重定位方法对飞行器进行重定位。
附图说明
图1为本发明流程图；
图2为重投影示意图；
图3为是本发明的计算机***的结构示意图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。
以下为本发明中出现的名词的解释：
特征点：同一个物体或场景，从不同的角度采集多幅图片，如果相同的地方能够被识别出来是相同的，这些些具有‘尺度不变性的点或块’称为特征点”；2D特征点是图像像素坐标系内的特征点；3D特征点是欧式空间坐标系后的特征点。
本实施例提供一种飞行器重定位***，包括：
图像采集单元，配置用于采集当前图像信息，可以是下视相机，安装时相机安装于无人机下方，z轴朝地面；
信息提取单元，配置用于获取历史导航信息，并通过得到的历史导航信息提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，本实施例以GPS导航为例建立离线地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，可通过得到的导航信息进行一系列候选关键帧用于和当前时刻场景进行匹配，能够增加最后定位的准确性。具体包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ，具体包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点：根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点；重投影误差：3D特征点投影到2D平面，和当前图像上匹配上的2D特征点在图像像素偏移距离即重投影误差(如图2所示)。
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000071
具体包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
Figure BDA0002032461510000072
平移向量计算模块，配置用于
将所有的3D内点
Figure BDA0002032461510000073
进行旋转yaw角θ，yaw角θ对应的内点最多，能够根据尽可能多3D特征点进行定位，进一步减小定位误差，增加定位的准确性，得到新坐标：
Figure BDA0002032461510000074
Figure BDA0002032461510000075
根据新坐标
Figure BDA0002032461510000076
构建矩阵A′和b′：
Figure BDA0002032461510000077
对应平移向量
Figure BDA0002032461510000078
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure BDA0002032461510000079
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure BDA00020324615100000710
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
Figure BDA00020324615100000711
结合估算得到的
Figure BDA00020324615100000712
可以得到当前时刻飞机在导航系下的相对位姿：
Figure BDA00020324615100000713
不依赖外部导航，能够在外在环境变化的情况下，如卫星导航信息丢失或者导航计算姿态发散时，触发重定位***，对飞行器进行重定位。
作为可选方案，本发明可以应用于各种类型的无人机上，根据GPS定位信息制定以下定位方案选择：
a.如果GPS定位能够成功，则只是用GPS定位
b.如果GPS丢失，使用基于离线特征点GPS地图定位方案
c.如果两套两套定位方案都失败,飞机垂直降落.
Figure BDA0002032461510000081
上述飞行器重定位***对应的重定位方法，包括：
步骤S1：以GPS导航为例建立离线地图，步骤如下：
第1步：在GPS导航信息稳定的情况下，飞行器在航线飞行，通过无人机下的下视相机、GPS和IMU完成航线上图像数据、速度
Figure BDA0002032461510000082
位置
Figure BDA0002032461510000083
和飞行器位姿
Figure BDA0002032461510000084
融合后的导航信息，并通过时间戳进行同步；
第2步：构建相机与机体系的外参
Figure BDA0002032461510000085
GPS与IMU融合关键帧信息(速度、位置和位姿)
Figure BDA0002032461510000086
之间的导航系模型：
Figure BDA0002032461510000087
得到相机系在导航系下的3D位姿
Figure BDA0002032461510000088
第3步：在飞机运行过程中t时刻对应的下视图像It上进行ORB特征点提取，得到Nt组2D图像特征点坐标
Figure BDA0002032461510000089
构建2D特征点
Figure BDA00020324615100000810
相机内参K及导航高度信息
Figure BDA00020324615100000811
的相机模型(假设所有特征点都在一个平面)；将所述2D特征点转换到相机系下的3D特征点
Figure BDA00020324615100000812
相机模型关系为：
Figure BDA00020324615100000813
第4步：根据所述导航系与相机系的对应关系，将所述相机系下的3D特征点转换为导航系下的3D坐标：
Figure BDA00020324615100000814
第5步：提取关键帧对应的导航信息(速度
Figure BDA00020324615100000815
位置
Figure BDA00020324615100000816
和姿态
Figure BDA00020324615100000817
)和导航系下的3D坐标
Figure BDA00020324615100000818
并存储，建立特征点地图。
步骤S2：采集当前图像信息，可以是下视相机，相机安装于无人机下方Z轴朝向地面；
步骤S3：获取历史导航信息，提取若干候选关键帧；
步骤S4：基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，具体的，
步骤S4-1：提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
步骤S4-2：选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
步骤S5：对目标关键帧Ft进行重投影，选取最优yaw角θ，具体的，
步骤S5-1：获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对
Figure BDA0002032461510000091
步骤S5-2：计算所述特征点匹配对的yaw角θ及其对应的平移向量：
随机选取两对特征点匹配对
Figure BDA0002032461510000092
分别构建所述3D特征点向量
Figure BDA0002032461510000093
和所述2D特征点向量
Figure BDA0002032461510000094
计算所述3D特征点向量和所述2D特征点向量之间的yaw角θ：
Figure BDA0002032461510000095
将所述3D特征点向量
Figure BDA0002032461510000096
旋转θ，得到与所述2D特征点向量
Figure BDA0002032461510000097
平行的重投影向量
Figure BDA0002032461510000098
构建所述重投影向量
Figure BDA0002032461510000099
与所述2D特征点向量
Figure BDA00020324615100000910
的平移向量
Figure BDA00020324615100000911
其中，
Figure BDA00020324615100000912
Figure BDA00020324615100000913
步骤S5-3：选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
步骤S6：基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000101
包括：
步骤S6-1：获取关键帧Ft的导航位姿
Figure BDA0002032461510000102
步骤S6-2：将所有的3D内点
Figure BDA0002032461510000103
进行旋转，得到新坐标：
Figure BDA0002032461510000104
Figure BDA0002032461510000105
根据新坐标
Figure BDA0002032461510000106
构建矩阵A′和b′：
Figure BDA0002032461510000107
对应平移向量
Figure BDA0002032461510000108
步骤S6-3：位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure BDA0002032461510000109
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure BDA00020324615100001010
步骤S6-4：将目标关键帧Ft对应的导航位姿
Figure BDA00020324615100001011
结合估算得到的
Figure BDA00020324615100001012
可以得到当前时刻飞机在导航系下的相对位姿：
Figure BDA00020324615100001013
不依赖外部导航，能够在外在环境变化的情况下，如卫星导航信息丢失或者导航计算姿态发散时，触发重定位***，对飞行器进行重定位。
本实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法，通过处理器执行飞行器重定位方法，在无GPS信号、外在环境变化的情况下，采用图像匹配技术和重投影误差优化技术对飞行器进行重定位。
本实施例提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法，便于飞行器重定位***的使用及推广。进一步介绍如下：
计算机***包括中央处理单元(CPU)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储部分加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM103中，还存储有***操作所需的各种程序和数据。CPU 101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口105。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。
特别地，根据本发明的实施例，上文参考流程图3描述的过程可以被实现为计算机软件程序。例如，本发明的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)101执行时，执行本申请的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例1的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像采集单元、关键帧提取单元、关键帧匹配单元、yaw角选取单元和相对位姿计算单元，其中，这些单元的名称在某种情况下并不构成对该单元或模块本身的限定，例如，图像采集单元还可以被描述为“用于采集当前图像的图像采集单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的飞行器重定位方法。
例如，所述电子设备可以实现如图1中所示的：步骤S1：采集当前图像；步骤S2：获取历史导航信息，提取若干候选关键帧；步骤S3：基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；步骤S4：对目标关键帧进行重投影，选取最优yaw角θ；步骤S5：基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure BDA0002032461510000131
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。

Claims (8)

1.一种飞行器重定位***，其特征在于，包括：
图像采集单元，配置用于采集当前图像；
关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure FDA0003533074150000011
所述yaw角选取单元，具体包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
2.根据权利要求1所述的飞行器重定位***，其特征在于，所述关键帧匹配单元，包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
3.根据权利要求2所述的飞行器重定位***，其特征在于，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
4.根据权利要求3所述的飞行器重定位***，其特征在于，所述相对位姿计算单元，包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
Figure FDA0003533074150000021
平移向量计算模块，配置用于将所有的3D内点
Figure FDA0003533074150000022
进行旋转，得到新坐标：
Figure FDA0003533074150000023
Figure FDA0003533074150000024
根据新坐标
Figure FDA0003533074150000025
构建矩阵A′和b′：
Figure FDA0003533074150000026
对应平移向量
Figure FDA0003533074150000027
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure FDA0003533074150000028
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure FDA0003533074150000029
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
Figure FDA00035330741500000210
结合估算得到的
Figure FDA00035330741500000211
可以得到当前时刻飞机在导航系下的相对位姿：
Figure FDA0003533074150000031
5.一种飞行器重定位方法，其特征在于，包括：
采集当前图像；
获取历史导航信息，提取若干候选关键帧；
基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
对目标关键帧Ft进行重投影，选取最优yaw角θ；
基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure FDA0003533074150000032
对目标关键帧Ft进行重投影，选取最优yaw角θ，包括：
获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算所述特征点匹配对的yaw角θ及其对应的平移向量；
选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
6.根据权利要求5所述的飞行器重定位方法，其特征在于，基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，包括：
提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
7.根据权利要求6所述的飞行器重定位方法，其特征在于，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
8.根据权利要求6所述的飞行器重定位方法，其特征在于，基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
Figure FDA0003533074150000041
包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
Figure FDA0003533074150000042
平移向量计算模块，配置用于
将所有的3D内点
Figure FDA0003533074150000043
进行旋转，得到新坐标：
Figure FDA0003533074150000044
Figure FDA0003533074150000045
根据新坐标
Figure FDA0003533074150000046
构建矩阵A′和b′：
Figure FDA0003533074150000047
对应平移向量
Figure FDA0003533074150000048
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
Figure FDA0003533074150000049
计算当前时刻相对于目标关键帧Ft的位姿关系：
Figure FDA00035330741500000410
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
Figure FDA00035330741500000411
结合估算得到的
Figure FDA00035330741500000412
可以得到当前时刻飞机在导航系下的相对位姿：
Figure FDA00035330741500000413
CN201910313948.5A 2019-04-18 2019-04-18 一种飞行器重定位***和重定位方法 Active CN111829532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313948.5A CN111829532B (zh) 2019-04-18 2019-04-18 一种飞行器重定位***和重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313948.5A CN111829532B (zh) 2019-04-18 2019-04-18 一种飞行器重定位***和重定位方法

Publications (2)

Publication Number Publication Date
CN111829532A CN111829532A (zh) 2020-10-27
CN111829532B true CN111829532B (zh) 2022-05-17

Family

ID=72914945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313948.5A Active CN111829532B (zh) 2019-04-18 2019-04-18 一种飞行器重定位***和重定位方法

Country Status (1)

Country Link
CN (1) CN111829532B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907657A (zh) * 2021-03-05 2021-06-04 科益展智能装备有限公司 一种机器人重定位方法、装置、设备及存储介质
CN113917939B (zh) * 2021-10-09 2022-09-06 广东汇天航空航天科技有限公司 飞行器的定位导航方法、***及计算设备
CN114088103B (zh) * 2022-01-19 2022-05-20 腾讯科技（深圳）有限公司 车辆定位信息的确定方法和装置
CN115630532B (zh) * 2022-12-19 2023-05-05 安胜（天津）飞行模拟***有限公司 一种全动飞行模拟机的快速重定位方法
CN115729269B (zh) * 2022-12-27 2024-02-20 深圳市逗映科技有限公司 一种基于机器视觉的无人机智能识别***
CN115979262B (zh) * 2023-03-21 2023-06-13 峰飞航空科技(昆山)有限公司 飞行器的定位方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857778A (zh) * 2012-09-10 2013-01-02 海信集团有限公司 3d视频转换***和方法及其选择关键帧的方法和装置
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
CN108615246A (zh) * 2018-04-19 2018-10-02 浙江大承机器人科技有限公司 提高视觉里程计***鲁棒性和降低算法计算消耗的方法
CN108917753A (zh) * 2018-04-08 2018-11-30 中国人民解放军63920部队 基于从运动恢复结构的飞行器位置确定方法
CN109073385A (zh) * 2017-12-20 2018-12-21 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6338021B2 (ja) * 2015-07-31 2018-06-06 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
US9965689B2 (en) * 2016-06-09 2018-05-08 Qualcomm Incorporated Geometric matching in visual navigation systems
CN107677279B (zh) * 2017-09-26 2020-04-24 上海思岚科技有限公司 一种定位建图的方法及***
CN108596976B (zh) * 2018-04-27 2022-02-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857778A (zh) * 2012-09-10 2013-01-02 海信集团有限公司 3d视频转换***和方法及其选择关键帧的方法和装置
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
CN109073385A (zh) * 2017-12-20 2018-12-21 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器
CN108917753A (zh) * 2018-04-08 2018-11-30 中国人民解放军63920部队 基于从运动恢复结构的飞行器位置确定方法
CN108615246A (zh) * 2018-04-19 2018-10-02 浙江大承机器人科技有限公司 提高视觉里程计***鲁棒性和降低算法计算消耗的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pose Estimation Algorithm Based on Improved RANSAC with an RGB-D Camera;Gao Bingshu， Liu Shirong， Zhang Junjie etc.;《2018 Chinese Control And Decision Conference (CCDC)》;20180709;全文 *
基 于图 像匹配的飞行器导航定位算法及仿真;王 民钢， 孙传新;《计算机仿真》;20120531;第29卷(第5期);全文 *

Also Published As

Publication number Publication date
CN111829532A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111829532B (zh) 一种飞行器重定位***和重定位方法
US10339387B2 (en) Automated multiple target detection and tracking system
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
EP3644015A1 (en) Position estimation system and position estimation method
US8213706B2 (en) Method and system for real-time visual odometry
CN109387186B (zh) 测绘信息获取方法、装置、电子设备及存储介质
US11906983B2 (en) System and method for tracking targets
CN111415409B (zh) 一种基于倾斜摄影的建模方法、***、设备和存储介质
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
US11430199B2 (en) Feature recognition assisted super-resolution method
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
US20140286537A1 (en) Measurement device, measurement method, and computer program product
US10642272B1 (en) Vehicle navigation with image-aided global positioning system
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN110554420B (zh) 设备轨迹获取方法、装置、计算机设备及存储介质
CN109003295B (zh) 一种无人机航空影像快速匹配方法
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN113011212B (zh) 图像识别方法、装置及车辆
US20220383515A1 (en) Digital video computing system for vehicle
Sandru Sea Ice Field Analysis Using Machine Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210721

Address after: 518063 5th floor, block B, building 1, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Fengyi Technology (Shenzhen) Co.,Ltd.

Address before: 518061 Intersection of Xuefu Road (south) and Baishi Road (east) in Nanshan District, Shenzhen City, Guangdong Province, 6-13 floors, Block B, Shenzhen Software Industry Base

Applicant before: SF TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant