CN111504312A - 一种基于视觉惯性偏振光融合的无人机位姿估计方法 - Google Patents
一种基于视觉惯性偏振光融合的无人机位姿估计方法 Download PDFInfo
- Publication number
- CN111504312A CN111504312A CN202010623718.1A CN202010623718A CN111504312A CN 111504312 A CN111504312 A CN 111504312A CN 202010623718 A CN202010623718 A CN 202010623718A CN 111504312 A CN111504312 A CN 111504312A
- Authority
- CN
- China
- Prior art keywords
- visual
- aerial vehicle
- unmanned aerial
- image
- polarized light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 99
- 230000010287 polarization Effects 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 36
- 230000001133 acceleration Effects 0.000 claims description 24
- 230000010354 integration Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 241000257303 Hymenoptera Species 0.000 abstract description 3
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明公开一种基于视觉惯性偏振光融合的无人机位姿估计方法,采用视觉测量与惯性测量的组合,视觉测量与惯性测量融合后可以很好的解决纯视觉测量输出频率低、鲁棒性差且尺度信息不可被观测的问题;同时,视觉测量多幅图像之间的约束也可以有效抑制惯性测量中积分的漂移并校正惯性测量的零偏;在视觉测量与惯性测量的基础上,本发明还加入了偏振光罗盘的航向约束,偏振光罗盘通过模仿沙漠蚂蚁感知偏振光的结构和功能,获取自身航向信息,具有误差不随时间积累、稳定性高的优点,可以为无人机的导航传感器提供稳定的航向约束。与现有的视觉惯性组合相比,本发明提供的视觉惯性偏振光融合的无人机位姿估计方法可大大提高无人机的位姿估计精度。
Description
技术领域
本发明涉及运动估计技术领域,尤其是一种基于视觉惯性偏振光融合的无人机位姿估计方法。
背景技术
在无人机位姿估计中,单目视觉***通过跟踪多幅图像之间共同特征,利用多视图几何关系解算图像之间的位置和姿态关系,单目视觉***在低动态、场景特征丰富的情况下具有较高的精度;惯性测量单元(IMU)具有很好的自主性,受环境的影响小,在高动态条件下依然有稳定的表现,但误差会随时间增长而快速发散。IMU与视觉之间具有很强的互补性,视觉与IMU融合后可以很好的解决纯视觉***输出频率低、鲁棒性差且尺度信息不可被观测的问题。同时,视觉传感器多幅图像之间的约束也可以有效抑制IMU积分的漂移并校正IMU的零偏。然而,在无人机位姿估计中视觉惯性组合依然存在航向误差随时间积累的问题。
发明内容
本发明提供一种基于视觉惯性偏振光融合的无人机位姿估计方法,用于克服现有技术中无人机位姿估计时航向误差随时间积累等缺陷。
为实现上述目的,本发明提出一种基于视觉惯性偏振光融合的无人机位姿估计方法,包括:
获取采集频率,按所述采集频率采集无人机的若干视觉图像,选择所述视觉图像中的关键帧;所述视觉图像通过视觉传感器进行采集;
利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值;
利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息;
根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计。
为实现上述目的,本发明还提出一种基于视觉惯性偏振光融合的无人机位姿估计***,包括:
视觉测量模块,用于获取采集频率,按所述采集频率采集无人机的若干视觉图像,选择所述视觉图像中的关键帧;所述视觉图像通过视觉传感器进行采集;
惯性测量模块,用于利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值;
偏振测量模块,用于利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息;
无人机位姿估计模块,用于根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计。
为实现上述目的,本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
与现有技术相比,本发明的有益效果有:
本发明提供的基于视觉惯性偏振光融合的无人机位姿估计方法,采用视觉测量与惯性测量的组合,视觉测量与惯性测量融合后可以很好的解决纯视觉测量输出频率低、鲁棒性差且尺度信息不可被观测的问题;同时,视觉测量多幅图像之间的约束也可以有效抑制惯性测量中积分的漂移并校正惯性测量的零偏;在视觉测量与惯性测量的基础上,本发明还加入了偏振光罗盘的航向约束,偏振光罗盘通过模仿沙漠蚂蚁感知偏振光的结构和功能,获取自身航向信息,具有误差不随时间积累、稳定性高的优点,可以为无人机的导航传感器提供稳定的航向约束。与现有的视觉惯性组合相比,本发明提供的视觉惯性偏振光融合的无人机位姿估计方法可大大提高无人机的位姿估计精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于视觉惯性偏振光融合的无人机位姿估计方法流程图;
图2为本发明中偏振光罗盘上阵列式偏振片的结构示意图;
图3为本发明中一阶瑞利散射模型原理图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种基于视觉惯性偏振光融合的无人机位姿估计方法,如图1所示,包括:
101:获取采集频率,按所述采集频率采集无人机的若干视觉图像,选择所述视觉图像中的关键帧;所述视觉图像通过视觉传感器进行采集;
采集频率,即每秒采集的图像帧数量,用赫兹(Hz)来表示。
关键帧,即为平均视差大于设定的视差阈值或者特征数目小于设定的特征数目阈值的帧。
102:利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值;
惯性测量单元(IMU),是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU包含三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标***独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
103:利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息;
偏振光罗盘通过模仿沙漠蚂蚁感知偏振光的结构和功能,获取自身航向信息,具有误差不随时间积累、稳定性高的优点,可以为无人机的导航传感器提供稳定的航向约束。
104:根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计。
在其中一个实施例中,对于步骤101,视觉传感器可以为相机等。
步骤101中选择所述视觉图像中的关键帧,包括:
001:通过图像特征提取方式提取所述视觉图像的视觉特征;
图像特征提取方式采用现有的方式,如SITF特征、HARRIS角点等。
002:利用KLT稀疏光流法跟踪所述视觉特征,并利用两视图本质矩阵模型去除所述视觉特征中的离群特征,以筛选有效的视觉特征,提高计算效率和精度;
KLT稀疏光流法可参考文献An iterative image registration technique with anapplication to stereo vision。
两视图本质矩阵模型:
003:根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧。
在另一个实施例中,对于步骤003,根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧,包括:
根据对所述视觉特征的跟踪,计算当前帧视觉图像与前一关键帧视觉图像的视觉特征的平均视差,若所述平均视差大于设定的视差阈值,则将当前帧视觉图像作为新的关键帧;否则关键帧不变。
在下一个实施例中,对于步骤003,根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧,包括:
根据对所述视觉特征的跟踪,若在当前帧视觉图像中跟踪到的特征数目小于设定的特征数目阈值,则将当前帧视觉图像作为新的关键帧;否则关键帧不变。
在某个实施例中,对于步骤102,利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值,包括:
201:利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率;
202:将参考坐标系从世界坐标转换到当前时刻对应的局部坐标系,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分;
203:通过欧拉积分对所述预积分项进行离散化,获得所述预积分项的估计值。
在下一个实施例中,步骤102具体为,
首先,利用IMU获取视觉图像对应的无人机的加速度和角速率,
式中,为惯性测量单元中加速度计测得的无人机在t时刻的加速度;为惯性测量单元中陀螺测得的无人机在t时刻的角速率;为无人机在t时刻的实际加速度;为无人机在t时刻的实际角速率;为加速度计零偏;为陀螺零偏;为世界坐标系到t时刻体坐标系的转换;为世界坐标系;为世界坐标系下的重力;陀螺仪的测量噪声和加速度计的测量噪声服从高斯分布,;
式中,为的时间间隔;为t时刻体坐标系到世界坐标系的旋转变换;为惯性测量单元中加速度计测得的无人机在t时刻的加速度;为惯性测量单元中陀螺测得的无人机在t时刻的角速率;为加速度计零偏;为陀螺零偏;为世界坐标系下的重力;陀螺仪的测量噪声和加速度计的测量噪声服从高斯分布,;,、和分别为IMU绕x、y和z轴的旋转角速率,本实施例中。
其中,
式中,为世界坐标系到图像帧对应的体坐标系的旋转变换;为时刻无人机的位置;为时刻无人机的位置;为时刻无人机的速度;为的时间间隔;为世界坐标系下的重力;为时刻无人机的速度;为时刻无人机的姿态四元数;为时刻无人机的姿态四元数;为t时刻体坐标系到图像帧对应的体坐标系的转换;为惯性测量单元中加速度计测得的无人机在t时刻的加速度;为惯性测量单元中陀螺测得的无人机在t时刻的角速率;为加速度计零偏;为陀螺零偏;陀螺仪的测量噪声和加速度计的测量噪声服从高斯分布,; ,、和分别为IMU绕x、y和z轴的旋转角速率,本实施例中;为t时刻体坐标系到图像帧对应的体坐标系的转换的四元数表示;、、均为预积分项;初始状态时,,为0,为单位四元数。
在离散化过程中,采用欧拉积分对所述预积分的项离散化,获得预积分项的估计值,
式中,i为之间的某一离散时刻;为i离散时刻惯性测量单元的测量与i+1离散时刻惯性测量单元的测量的时间间隔;、、为i+1离散时刻预积分项的估计值;、、为i离散时刻预积分项的估计值;为四元数到方向余弦阵的变换;为惯性测量单元中陀螺测得的无人机在i离散时刻的加速度;为加速度计零偏;为惯性测量单元中陀螺测得的无人机在i离散时刻的角速率;为陀螺零偏。
在下一个实施例中,对于步骤103,利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息,包括:
301:利用偏振光罗盘采集无人机的偏振图像,根据所述偏振图像计算每个像素的偏振度和偏振角;
302:根据所述偏振度和所述偏振角,获得太阳方向矢量的最优估计;
303:根据天文年历和所述太阳方向矢量的最优估计,获得无人机的航向信息。
在某个实施例中,步骤103具体为:
偏振光罗盘为图像式偏振光传感器,主要由镜头、像素化偏振芯片和后端电路组成。像素化偏振芯片在CCD的每一个像元上刻蚀金属光栅,实现光栅与感光芯片的一体化集成。如图2所示,像素化偏振芯片包含若干个偏振测量单元,每个单元的光栅按照0º、45º、90º、135º的方向排列,采集天空偏振图像后,微阵列式偏振光罗盘每个偏振测量单元的偏振度和偏振角的计算方法为:
其中,
式中,、、为Stokes向量中的前三项,分别描述入射光的光强、入射光在0°偏振方向上的分量和45°偏振方向偏振分量;为与某个方向的偏振片对应的CCD测量得到的入射光光强,x为0º、45º、90º或135º。
偏航角的计算过程为:
在另一个实施例中,对于步骤104,根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计,包括:
401:定义无人机***的全状态矢量为
式中,为无人机***的全状态矢量;为第k张视觉图像对应的惯性测量单元测量到的状态,包括在世界坐标系下惯性测量单元的位置、速度和姿态,和体坐标系下的加速度计零偏和陀螺零偏;为总的关键帧数目;为滑动窗口中总的视觉特征数;为第个视觉特征的逆深度信息,;为视觉传感器与惯性测量单元的关系矢量;为视觉传感器与惯性测量单元之间的平移关系;为视觉传感器与惯性测量单元之间的旋转关系的四元数表示;
402:通过对所述关键帧、所述预积分项的估计值和所述航向信息进行残差求和,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计,
式中,为预积分项的残差,为惯性测量单元测量的集合,为预积分项的测量,和为连续的两帧视觉图像;为视觉特征的残差,为视觉特征的集合,为视觉测量,为第个特征在第幅图像中的对应点,为第个特征;为偏振光罗盘的测量残差,为偏振光罗盘测量的集合,为偏振光罗盘测量,为第帧图像对应的航向角,为第帧图像对应的航向角;为无人机***的全状态矢量。
式中,为世界坐标系到图像帧对应的体坐标系的旋转变换;为时刻无人机的位置;为时刻无人机的位置;为时刻无人机的速度;为的时间间隔;为世界坐标系下的重力;为时刻无人机的速度;为世界坐标系到图像帧对应的体坐标系的转换的四元数表示;为图像帧对应的体坐标系到世界坐标系的转换的四元数表示;为预积分项;、分别为、按公式(1)迭代后的结果;、分别为图像和所对应的加速度计零偏;、分别为图像和所对应的陀螺零偏;为四元数的向量部分;
式中,、分别为图像中向量切平面上的任意两个正交基;为图像中实际测量到的视觉特征对应的单位向量;为根据图像i和状态变量预测得到的视觉特征对应的单位向量;为反投影函数,可将图像中的像素点根据相机内参转换为单位向量;为体坐标系到相机坐标系的旋转变换;为世界坐标系到图像帧对应的体坐标系的旋转变换;为图像帧对应的体坐标系到世界坐标系的旋转变换;为相机坐标系到体坐标系的旋转变换;为逆深度信息;为相机坐标系到体坐标系的平移变换;为图像帧对应的体坐标系到世界坐标系的平移变换;为图像帧对应的体坐标系到世界坐标系的平移变换;为图像i中观测到视觉特征的位置;为图像中观测到视觉特征的位置。
式中,为第帧图像对应的航向角;为第帧图像对应的航向角;为从四元数到欧拉角的转换;为欧拉角中的航向角分量;为i离散时刻无人机姿态在世界坐标系下的四元数表示;为i+1离散时刻无人机姿态在世界坐标系下的四元数表示。本实施例中, =;。
本发明还提出一种基于视觉惯性偏振光融合的无人机位姿估计***,包括:
视觉测量模块,用于获取采集频率,按所述采集频率采集无人机的若干视觉图像,选择所述视觉图像中的关键帧;所述视觉图像通过视觉传感器进行采集;
惯性测量模块,用于利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值;
偏振测量模块,用于利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息;
无人机位姿估计模块,用于根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计。
本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (8)
1.一种基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,包括:
获取采集频率,按所述采集频率采集无人机的若干视觉图像,选择所述视觉图像中的关键帧;所述视觉图像通过视觉传感器进行采集;
利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值;
利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息;
根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计。
2.如权利要求1所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,选择所述视觉图像中的关键帧,包括:
通过图像特征提取方式提取所述视觉图像的视觉特征;
利用KLT稀疏光流法跟踪所述视觉特征,并利用两视图本质矩阵模型去除所述视觉特征中的离群特征;
根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧。
3.如权利要求2所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧,包括:
根据对所述视觉特征的跟踪,计算当前帧视觉图像与前一关键帧视觉图像的视觉特征的平均视差,若所述平均视差大于设定的视差阈值,则将当前帧视觉图像作为新的关键帧;否则关键帧不变。
4.如权利要求2所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,根据对所述视觉特征的跟踪,选择所述视觉图像中的关键帧,包括:
根据对所述视觉特征的跟踪,若在当前帧视觉图像中跟踪到的特征数目小于设定的特征数目阈值,则将当前帧视觉图像作为新的关键帧;否则关键帧不变。
5.如权利要求1所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分和离散化,获得预积分项的估计值,包括:
利用惯性测量单元获取所述视觉图像对应的无人机的加速度和角速率;
将参考坐标系从世界坐标转换到当前时刻对应的局部坐标系,根据所述加速度和所述角速率选择预积分项,对所述预积分项进行预积分;
通过欧拉积分对所述预积分项进行离散化,获得所述预积分项的估计值。
7.如权利要求1所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,利用偏振光罗盘采集无人机的偏振图像,在所述偏振图像的偏振角模式和偏振度模式下,获得无人机的航向信息,包括:
利用偏振光罗盘采集无人机的偏振图像,根据所述偏振图像计算每个像素的偏振度和偏振角;
根据所述偏振度和所述偏振角,获得太阳方向矢量的最优估计;
根据天文年历和所述太阳方向矢量的最优估计,获得无人机的航向信息。
8.如权利要求1所述的基于视觉惯性偏振光融合的无人机位姿估计方法,其特征在于,根据所述关键帧、所述预积分项的估计值和所述航向信息,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计,包括:
定义无人机***的全状态矢量为
式中,为无人机***的全状态矢量;为第k张视觉图像对应的惯性测量单元测量到的状态,包括在世界坐标系下惯性测量单元的位置、速度和姿态,和体坐标系下的加速度计零偏和陀螺零偏;为总的关键帧数目;为滑动窗口中总的视觉特征数;为第l个视觉特征的逆深度信息,;为视觉传感器与惯性测量单元的关系矢量;为视觉传感器与惯性测量单元之间的平移关系;为视觉传感器与惯性测量单元之间的旋转关系的四元数表示;
通过对所述关键帧、所述预积分项的估计值和所述航向信息进行残差求和,优化无人机***状态矢量,获得无人机的位置、速度和姿态,实现无人机位姿估计,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623718.1A CN111504312B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623718.1A CN111504312B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111504312A true CN111504312A (zh) | 2020-08-07 |
CN111504312B CN111504312B (zh) | 2020-09-15 |
Family
ID=71878827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010623718.1A Active CN111504312B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111504312B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112129288A (zh) * | 2020-11-24 | 2020-12-25 | 中国人民解放军国防科技大学 | 一种基于偏振光/地磁航向约束的位姿估计方法及*** |
CN112284366A (zh) * | 2020-10-26 | 2021-01-29 | 中北大学 | 一种基于tg-lstm神经网络的偏振光罗盘航向角误差校正方法 |
CN112444245A (zh) * | 2020-11-17 | 2021-03-05 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN113739795A (zh) * | 2021-06-03 | 2021-12-03 | 东北电力大学 | 一种基于偏振光/惯性/视觉组合导航的水下同步定位与建图方法 |
CN113834484A (zh) * | 2021-11-26 | 2021-12-24 | 北京航空航天大学 | 一种基于非瑞利散射模型误差的惯导/偏振组合导航方法 |
CN114440874A (zh) * | 2021-12-31 | 2022-05-06 | 深圳市云鼠科技开发有限公司 | 基于光流和光栅的融合定位方法和装置 |
CN114459474A (zh) * | 2022-02-16 | 2022-05-10 | 北方工业大学 | 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法 |
CN115574816A (zh) * | 2022-11-24 | 2023-01-06 | 东南大学 | 仿生视觉多源信息智能感知无人平台 |
CN116182855A (zh) * | 2023-04-28 | 2023-05-30 | 北京航空航天大学 | 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 |
CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217699A (zh) * | 2013-03-06 | 2013-07-24 | 郭雷 | 一种基于偏振信息的组合导航***递推优化初始对准方法 |
CN108303081A (zh) * | 2017-12-29 | 2018-07-20 | 郭晓宇 | 一种仿生偏振/惯性/大气数据组合导航*** |
CN109709973A (zh) * | 2019-01-02 | 2019-05-03 | 中国人民解放军国防科技大学 | 一种微阵列式光罗盘辅助的无人机自主返航方法 |
CN110375732A (zh) * | 2019-07-22 | 2019-10-25 | 中国人民解放军国防科技大学 | 基于惯性测量单元和点线特征的单目相机位姿测量方法 |
US20190331762A1 (en) * | 2013-10-22 | 2019-10-31 | Polaris Sensor Technologies, Inc. | Celestial Positioning System and Method |
CN111045454A (zh) * | 2019-12-30 | 2020-04-21 | 北京航空航天大学 | 一种基于仿生自主导航的无人机自驾仪 |
CN111238467A (zh) * | 2020-02-07 | 2020-06-05 | 西北工业大学 | 一种仿生偏振光辅助的无人作战飞行器自主导航方法 |
-
2020
- 2020-07-02 CN CN202010623718.1A patent/CN111504312B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217699A (zh) * | 2013-03-06 | 2013-07-24 | 郭雷 | 一种基于偏振信息的组合导航***递推优化初始对准方法 |
US20190331762A1 (en) * | 2013-10-22 | 2019-10-31 | Polaris Sensor Technologies, Inc. | Celestial Positioning System and Method |
CN108303081A (zh) * | 2017-12-29 | 2018-07-20 | 郭晓宇 | 一种仿生偏振/惯性/大气数据组合导航*** |
CN109709973A (zh) * | 2019-01-02 | 2019-05-03 | 中国人民解放军国防科技大学 | 一种微阵列式光罗盘辅助的无人机自主返航方法 |
CN110375732A (zh) * | 2019-07-22 | 2019-10-25 | 中国人民解放军国防科技大学 | 基于惯性测量单元和点线特征的单目相机位姿测量方法 |
CN111045454A (zh) * | 2019-12-30 | 2020-04-21 | 北京航空航天大学 | 一种基于仿生自主导航的无人机自驾仪 |
CN111238467A (zh) * | 2020-02-07 | 2020-06-05 | 西北工业大学 | 一种仿生偏振光辅助的无人作战飞行器自主导航方法 |
Non-Patent Citations (3)
Title |
---|
WANG MAOSONG,ETC: "Consistent ST-EKF for Long Distance Land Vehicle Navigation Based on SINS/OD Integration", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 * |
WANG YUJIE,ETC: "Polarized Light Compass-Aided Visual-Inertial Navigation Under Foliage Environment", 《IEEE SENSORS JOURNAL》 * |
王玉杰,等: "仿生偏振视觉定位定向机理与实验", 《光学精密工程》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112284366A (zh) * | 2020-10-26 | 2021-01-29 | 中北大学 | 一种基于tg-lstm神经网络的偏振光罗盘航向角误差校正方法 |
CN112284366B (zh) * | 2020-10-26 | 2022-04-12 | 中北大学 | 一种基于tg-lstm神经网络的偏振光罗盘航向角误差校正方法 |
CN112444245A (zh) * | 2020-11-17 | 2021-03-05 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN112129288B (zh) * | 2020-11-24 | 2021-02-02 | 中国人民解放军国防科技大学 | 一种基于偏振光/地磁航向约束的位姿估计方法及*** |
CN112129288A (zh) * | 2020-11-24 | 2020-12-25 | 中国人民解放军国防科技大学 | 一种基于偏振光/地磁航向约束的位姿估计方法及*** |
CN113739795B (zh) * | 2021-06-03 | 2023-10-20 | 东北电力大学 | 一种基于偏振光/惯性/视觉组合导航的水下同步定位与建图方法 |
CN113739795A (zh) * | 2021-06-03 | 2021-12-03 | 东北电力大学 | 一种基于偏振光/惯性/视觉组合导航的水下同步定位与建图方法 |
CN113834484A (zh) * | 2021-11-26 | 2021-12-24 | 北京航空航天大学 | 一种基于非瑞利散射模型误差的惯导/偏振组合导航方法 |
CN113834484B (zh) * | 2021-11-26 | 2022-03-08 | 北京航空航天大学 | 一种基于非瑞利散射模型误差的惯导/偏振组合导航方法 |
CN114440874A (zh) * | 2021-12-31 | 2022-05-06 | 深圳市云鼠科技开发有限公司 | 基于光流和光栅的融合定位方法和装置 |
CN114459474A (zh) * | 2022-02-16 | 2022-05-10 | 北方工业大学 | 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法 |
CN114459474B (zh) * | 2022-02-16 | 2023-11-24 | 北方工业大学 | 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法 |
CN115574816A (zh) * | 2022-11-24 | 2023-01-06 | 东南大学 | 仿生视觉多源信息智能感知无人平台 |
CN115574816B (zh) * | 2022-11-24 | 2023-03-14 | 东南大学 | 仿生视觉多源信息智能感知无人平台 |
CN116182855A (zh) * | 2023-04-28 | 2023-05-30 | 北京航空航天大学 | 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 |
CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111504312B (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111504312B (zh) | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 | |
CN103033189B (zh) | 一种深空探测巡视器惯性/视觉组合导航方法 | |
CN110702107A (zh) | 一种单目视觉惯性组合的定位导航方法 | |
CN106052584B (zh) | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 | |
CN112649016A (zh) | 一种基于点线初始化的视觉惯性里程计方法 | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
US20190301871A1 (en) | Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization | |
CN112129288B (zh) | 一种基于偏振光/地磁航向约束的位姿估计方法及*** | |
CN112577493B (zh) | 一种基于遥感地图辅助的无人机自主定位方法及*** | |
CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知***及感知方法 | |
CN110207693B (zh) | 一种鲁棒立体视觉惯性预积分slam方法 | |
CN106289250A (zh) | 一种航向信息采集*** | |
CN111932674A (zh) | 一种线激光视觉惯性***的优化方法 | |
JP2023021994A (ja) | 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 | |
CN107145167B (zh) | 一种基于数字图像处理技术的视频目标跟踪方法 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
CN113516692A (zh) | 一种多传感器融合的slam方法和装置 | |
CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
CN107942090A (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
CN112945233B (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN114993306B (zh) | 一种尺度自恢复的视觉惯性组合导航方法和装置 | |
CN114440877B (zh) | 一种异步多相机视觉惯性里程计定位方法 | |
CN114459474B (zh) | 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |