CN112179338A - 一种基于视觉和惯导融合的低空无人机自身定位方法 - Google Patents

一种基于视觉和惯导融合的低空无人机自身定位方法 Download PDF

Info

Publication number
CN112179338A
CN112179338A CN202010930651.6A CN202010930651A CN112179338A CN 112179338 A CN112179338 A CN 112179338A CN 202010930651 A CN202010930651 A CN 202010930651A CN 112179338 A CN112179338 A CN 112179338A
Authority
CN
China
Prior art keywords
positioning
imu
pose
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010930651.6A
Other languages
English (en)
Inventor
张通
符文星
陈康
常晓飞
张晓峰
许涛
付斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Innno Aviation Technology Co ltd
Northwestern Polytechnical University
Original Assignee
Xi'an Innno Aviation Technology Co ltd
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Innno Aviation Technology Co ltd, Northwestern Polytechnical University filed Critical Xi'an Innno Aviation Technology Co ltd
Priority to CN202010930651.6A priority Critical patent/CN112179338A/zh
Publication of CN112179338A publication Critical patent/CN112179338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种基于视觉和惯导融合的低空无人机自身定位方法，利用单目相机和IMU模块的各自特点，实现传感器数据的互补。其中，通过单目相机进行定位虽然能够适应大多数场景，但不能解决尺度问题，且在弱纹理场景及快速运动场景下无法建立匹配关系，容易出现跟踪丢失的问题；而纯IMU可以在短时间内(毫秒级)很好地反映动态变化，但长时间内(秒级)其累积误差则会不断增加。因此，在定位流程的初始化、局部优化以及全局优化等阶段，通过融合视觉和惯导信息，可以实现不同传感器间的优势互补，最终达到增强定位***适用性和准确性的目的，为战场低空环境下的无人机自身定位提供可靠的技术保障。

Description

一种基于视觉和惯导融合的低空无人机自身定位方法
技术领域
本发明属于计算机视觉应用领域，涉及一种基于视觉和惯导融合的低空无人机自身定位方法。
背景技术
无人机由于便携性高、机动性强等特点，逐渐发挥着越来越重要的作用，而高精度的定位导航能力则是衡量一款无人机***性能的重要指标，也是无人机能在各类领域中体现价值的重要环节。在常规状态下，无人机采用GPS或北斗等组合导航方式实现自身定位，但由于导航信号抗干扰能力较差且遮挡环境下信号强度较弱，因此解决无卫星导航信号情况下无人机的自身定位问题显得非常重要。
目前，采用无人机自身携带或外界辅助传感器实现无卫星导航信号环境下的定位问题，已经得到了广泛关注。无人机由于挂载能力以及运算能力的限制，可搭载的传感器主要包括相机、激光雷达、IMU、超声波传感器、气压计等。根据采用的传感器类别，无人机自身定位的方法主要包含了视觉定位方式、激光定位方式以及多传感器融合定位方式等。其中，视觉定位方式由于成本低、体积小等特点，特别是在依托了特征点法和直接法的SLAM技术后，该方式在无人机定位领域取得了较大发展，算法鲁棒性、环境适应性以及计算速度更强，但该方式存在一个先天缺陷，即对输入图像数据的亮度和纹理要求较高；激光定位方式采用主动的工作模式，可以有效规避视觉传感器对环境光照要求较高的问题，且能够生成准确的场景三维点云，广泛的应用于封闭空间的三维重建领域，但该方式所需的硬件成本较高且隐蔽能力较差；多传感器融合定位方式能够较好的解决单一传感器只能适用于单一特定场景的问题，发挥各传感器的优势，形成数据互补，从而极大的增强了定位***的适用性和准确性，也是现阶段研究的主要方向。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于视觉和惯导融合的低空无人机自身定位方法，针对陆域战场环境中无卫星导航信号情况下的多旋翼无人机，采用多传感器融合的定位方式，综合考虑了各传感器的易用性、可靠性、隐蔽性以及准确性，从而实时获取准确的无人机定位结果。
技术方案
一种步骤S1：无人机上挂载采用全局快门的单目相机以及与相机固连的IMU模块，在低空飞行过程中采集帧率为30fps的图像数据以及频率为500Hz的IMU数据，作为整个定位算法的输入；
步骤S2、对输入数据进行初始化操作：包括对图像进行FAST关键点提取和光流法相邻图像匹配，为后续求解相机位姿做准备；同时对IMU数据进行预积分，将相邻图像帧之间采集的高频IMU数据进行位姿、速度、旋转角的累积处理。随后，根据相邻图像帧的匹配结果采用SVD分解求解相邻图像帧的相对位姿，再与IMU预积分结果进行对齐，作为初始化参数；
步骤S3、对图像和惯导数据进行局部非线性优化：对设定的局部窗口中的关键帧以及IMU数据进行非线性优化，将视觉约束、IMU约束进行最小二乘求解，通过光束平差法计算局部窗口整体误差最小时对应的位姿，得到相对准确的局部定位结果；
步骤S4：通过回环检测对位姿估计产生的累积误差进行修正，如果存在回环，则以回环产生的相同特征点作为固定值，对当前位姿进行非线性优化，从而进一步提高定位精度；
步骤S5：在相机、IMU以及回环检测等约束的基础上，对所有数据进行全局非线性优化，输出更为精确的位姿；
步骤S6：在全局优化基础上，最终输出包含平移和旋转的6自由度位姿信息。
有益效果
本发明提出的一种基于视觉和惯导融合的低空无人机自身定位方法，解决现有定位方法在战场低空环境下无法同时兼顾无人机自身定位可靠性、隐蔽性、易用性以及准确性的问题。针对战场环境，整个***硬件主要包括：多旋翼无人机、机载处理板以及保持固连状态的单目摄像头和IMU。其中，需要对单目摄像头预先进行内参标定，并对固连的摄像头和IMU进行外参标定，整个算法将在机载处理板上运行，对无人机低空采集的数据进行实时处理。
本发明提供了一种基于视觉和惯导融合的低空无人机自身定位方法，利用单目相机和IMU模块的各自特点，实现传感器数据的互补。其中，通过单目相机进行定位虽然能够适应大多数场景，但不能解决尺度问题，且在弱纹理场景及快速运动场景下无法建立匹配关系，容易出现跟踪丢失的问题；而纯IMU可以在短时间内(毫秒级)很好地反映动态变化，但长时间内(秒级)其累积误差则会不断增加。因此，在定位流程的初始化、局部优化以及全局优化等阶段，通过融合视觉和惯导信息，可以实现不同传感器间的优势互补，最终达到增强定位***适用性和准确性的目的，为战场低空环境下的无人机自身定位提供可靠的技术保障。
附图说明
图1是基于视觉和惯导融合的无人机自身定位方法的基本流程图；
图2是图像帧、关键帧与IMU数据和IMU预积分数据的关系；
图3是视觉里程计(左)和视觉惯性里程计(右)的结构示意图；
图4是本方法围绕某花园实测的包含航迹、点云以及位姿的结果；
图5是本方法围绕某雕塑实测的在有回环情况下的原图和结果。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
如附图1所示，本发明提供了一种基于视觉和惯导融合的战场低空无人机自身定位方法。首先以单目相机采集的图像帧和IMU模块采集的高频数据作为输入；再对相邻图像进行关键点提取和光流法匹配，并对IMU数据进行预积分，实现图像和IMU融合后的初始化参数估计；然后根据图像和惯导信息对局部窗口的数据进行非线性优化，得到初步的位姿信息；接着通过回环检测对当前场景进行判断，如果存在回环则利用词袋模型建立当前帧与历史帧之间的联系，完成对位姿精度的修正；最后，对全局图像和惯导信息进行整体优化，实现对位姿精度的进一步修正，并将最终的6自由度位姿作为结果输出。
所述方法的具体实施步骤如下：
步骤S1：以单目相机获取的图像帧以及IMU模块获取的惯导数据作为输入。其中，单目相机需要选择全局快门而非卷帘快门，这样就可以有效的规避相机或目标快速移动情况下产生的失真；同时，IMU模块需要和相机保持固连状态而非柔性连接，且需要预先对二者的外参进行标定，否则IMU的数据将无法真实反映相机的运动状态。具体实施时，无人机在低空飞行过程中采集的是帧率为30fps的图像数据以及频率为500Hz的IMU数据，作为整个定位算法的输入；
步骤S2：对输入图像进行初始化操作，首先对相机采集的图像进行FAST关键点提取，在提取的角点基础上利用金字塔光流法建立相邻图像间的匹配关系，并根据匹配结果求解相对位姿；然后对相邻关键帧间采集的高频IMU数据进行预积分处理，得到当前时刻的位姿、速度、旋转角；随后，根据视觉解算出的相机相对位姿，与IMU预积分结果进行对齐并粗略地恢复包括尺度、重力、速度甚至偏置等初始化参数。其中，图像数据和IMU数据的关系表示如附图2所示，预积分通过重新参数化，把关键帧之间的IMU测量值积分成相对运动的约束，避免了因为初始条件变化造成的重复积分；
步骤S3：对图像和惯导数据进行局部优化，对处于局部窗口中的关键帧以及IMU数据进行非线性优化，将视觉约束、IMU约束放在一个目标函数中进行最小二乘求解，通过光束平差法计算局部窗口整体误差最小时对应的位姿，得到相对准确的局部定位结果。视觉和惯导紧耦合优化就是使用图像和IMU信息共同来估计状态量，如附图3所示，左边是纯视觉的里程计结构,右边是视觉与惯导融合的里程计结构。IMU自身测量有一个随机游走的偏置，每一次测量通过将该偏置联合在一起形成了右边所示结构，对于这个新的结构需要建立一个包含IMU残差和重投影误差的统一损失函数进行联合优化。
步骤S4：通过回环检测对位姿估计产生的累积误差进行修正。回环检测的关键，就是如何有效地检测出相机经过同一个地方，这里我们使用了词袋模型的方式，通过特征集合来描述图像拍摄到的场景，从而根据特征相似度建立当前帧和历史帧之间的联系，如果存在回环，则可以根据匹配的特征点对当前位姿进行修正，从而进一步提高定位精度，对于大场景的战场环境定位是非常必要的；
步骤S5：当场景闭环或数据采集完成时，利用相机约束、IMU约束以及回环检测的约束，可在局部优化的基础上对整体数据进行全局优化，输出更为精确的位姿。特别地，局部优化精度较低，全局一致性差，但速度快且IMU利用率高，而全局优化精度高，全局一致性好，但速度慢且IMU利用率低，因此将局部优化和全局优化有机结合，对数据不断更新时仅对局部窗口内的关键帧进行优化，快速估算精度较低的位姿，当出现回环时再对闭环范围内的数据进行修正，并最终使用全局优化的方式完成数据的整体优化，进一步提升定位的准确性；
步骤S6：在全局优化基础上，最终输出包含平移和旋转的6自由度位姿信息。另外，可根据实际需要，决定是否输出整体轨迹和场景点云等信息。
总之，通过上述六个步骤，通过融合视觉和惯导信息，可以实现不同传感器间的优势互补，最终达到在无卫星导航信号情况下实现无人机自身准确定位的目的，为战场低空环境下的无人机自身定位提供可靠的技术保障。
特别地，本方法在实际测试中，可以通过联合优化不断修正IMU的偏置，并对纹理较弱和快速移动的情况能够较好的适应，如附图4和附图5所示，在包含有回环的场景下，实测的位姿是比较准确的。另外，由于其输出还包含有场景点云以及航迹，因此该方案还可以用于环境地图生成以及路径规划等领域。

Claims (1)

1.一种基于视觉和惯导融合的低空无人机自身定位方法，其特征在于
步骤S1：无人机上挂载采用全局快门的单目相机以及与相机固连的IMU模块，在低空飞行过程中采集帧率为30fps的图像数据以及频率为500Hz的IMU数据，作为整个定位算法的输入；
步骤S2、对输入数据进行初始化操作：包括对图像进行FAST关键点提取和光流法相邻图像匹配，为后续求解相机位姿做准备；同时对IMU数据进行预积分，将相邻图像帧之间采集的高频IMU数据进行位姿、速度、旋转角的累积处理。随后，根据相邻图像帧的匹配结果采用SVD分解求解相邻图像帧的相对位姿，再与IMU预积分结果进行对齐，作为初始化参数；
步骤S3、对图像和惯导数据进行局部非线性优化：对设定的局部窗口中的关键帧以及IMU数据进行非线性优化，将视觉约束、IMU约束进行最小二乘求解，通过光束平差法计算局部窗口整体误差最小时对应的位姿，得到相对准确的局部定位结果；
步骤S4：通过回环检测对位姿估计产生的累积误差进行修正，如果存在回环，则以回环产生的相同特征点作为固定值，对当前位姿进行非线性优化，从而进一步提高定位精度；
步骤S5：在相机、IMU以及回环检测等约束的基础上，对所有数据进行全局非线性优化，输出更为精确的位姿；
步骤S6：在全局优化基础上，最终输出包含平移和旋转的6自由度位姿信息。
CN202010930651.6A 2020-09-07 2020-09-07 一种基于视觉和惯导融合的低空无人机自身定位方法 Pending CN112179338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010930651.6A CN112179338A (zh) 2020-09-07 2020-09-07 一种基于视觉和惯导融合的低空无人机自身定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010930651.6A CN112179338A (zh) 2020-09-07 2020-09-07 一种基于视觉和惯导融合的低空无人机自身定位方法

Publications (1)

Publication Number Publication Date
CN112179338A true CN112179338A (zh) 2021-01-05

Family

ID=73925626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010930651.6A Pending CN112179338A (zh) 2020-09-07 2020-09-07 一种基于视觉和惯导融合的低空无人机自身定位方法

Country Status (1)

Country Link
CN (1) CN112179338A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991515A (zh) * 2021-02-26 2021-06-18 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113570667A (zh) * 2021-09-27 2021-10-29 北京信息科技大学 视觉惯导补偿方法、装置及存储介质
CN115311353A (zh) * 2022-08-29 2022-11-08 上海鱼微阿科技有限公司 一种多传感器多手柄控制器图优化紧耦合追踪方法及***
CN115523920A (zh) * 2022-11-30 2022-12-27 西北工业大学 一种基于视觉惯性gnss紧耦合的无缝定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109520497A (zh) * 2018-10-19 2019-03-26 天津大学 基于视觉和imu的无人机自主定位方法
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法
CN110726406A (zh) * 2019-06-03 2020-01-24 北京建筑大学 一种改进的非线性优化单目惯导slam的方法
CN111288989A (zh) * 2020-02-25 2020-06-16 浙江大学 一种小型无人机视觉定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109520497A (zh) * 2018-10-19 2019-03-26 天津大学 基于视觉和imu的无人机自主定位方法
CN110726406A (zh) * 2019-06-03 2020-01-24 北京建筑大学 一种改进的非线性优化单目惯导slam的方法
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法
CN111288989A (zh) * 2020-02-25 2020-06-16 浙江大学 一种小型无人机视觉定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOCHEN QIU，HAI ZHANG，WENXING FU ETC.: "Monocular Visual-Inertial Odometry with an Unbiased Linear System Model and Robust Feature Tracking Front-End", 《SENSORS》 *
王晨曦: "基于IMU与单目视觉融合的位姿估计方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991515A (zh) * 2021-02-26 2021-06-18 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113570667A (zh) * 2021-09-27 2021-10-29 北京信息科技大学 视觉惯导补偿方法、装置及存储介质
CN115311353A (zh) * 2022-08-29 2022-11-08 上海鱼微阿科技有限公司 一种多传感器多手柄控制器图优化紧耦合追踪方法及***
CN115311353B (zh) * 2022-08-29 2023-10-10 玩出梦想(上海)科技有限公司 一种多传感器多手柄控制器图优化紧耦合追踪方法及***
CN115523920A (zh) * 2022-11-30 2022-12-27 西北工业大学 一种基于视觉惯性gnss紧耦合的无缝定位方法
CN115523920B (zh) * 2022-11-30 2023-03-10 西北工业大学 一种基于视觉惯性gnss紧耦合的无缝定位方法

Similar Documents

Publication Publication Date Title
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN109709801B (zh) 一种基于激光雷达的室内无人机定位***及方法
CN112179338A (zh) 一种基于视觉和惯导融合的低空无人机自身定位方法
Rosinol et al. Incremental visual-inertial 3d mesh generation with structural regularities
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位***及方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN112461210B (zh) 一种空地协同建筑测绘机器人***及其测绘方法
CN114088087B (zh) 无人机gps-denied下高可靠高精度导航定位方法和***
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及***
CN115407357A (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
CN111077907A (zh) 一种室外无人机的自主定位方法
CN114019552A (zh) 一种基于贝叶斯多传感器误差约束的定位置信度优化方法
CN110986888A (zh) 一种航空摄影一体化方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算***
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN115218889A (zh) 一种基于点线特征融合的多传感器室内定位方法
CN115355904A (zh) 一种针对地面移动机器人的Lidar-IMU融合的slam方法
CN114966789A (zh) 一种融合gnss与多视角视觉的建图方法和***
CN112577499B (zh) 一种vslam特征地图尺度恢复方法及***
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及***
CN114234967B (zh) 一种基于多传感器融合的六足机器人定位方法
CN115930948A (zh) 一种果园机器人融合定位方法
CN116027351A (zh) 一种手持/背包式slam装置及定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105

WD01 Invention patent application deemed withdrawn after publication