CN115406447B - 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法 - Google Patents

拒止环境下基于视觉惯性的四旋翼无人机自主定位方法 Download PDF

Info

Publication number
CN115406447B
CN115406447B CN202211348263.2A CN202211348263A CN115406447B CN 115406447 B CN115406447 B CN 115406447B CN 202211348263 A CN202211348263 A CN 202211348263A CN 115406447 B CN115406447 B CN 115406447B
Authority
CN
China
Prior art keywords
frame
image
imu
pixel
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211348263.2A
Other languages
English (en)
Other versions
CN115406447A (zh
Inventor
蔡晨晓
杨轶
姚娟
邹云
殷明慧
谢云云
卜京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211348263.2A priority Critical patent/CN115406447B/zh
Publication of CN115406447A publication Critical patent/CN115406447A/zh
Application granted granted Critical
Publication of CN115406447B publication Critical patent/CN115406447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机定位技术领域，尤其涉及一种拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，首先设计前端数据处理模块，预处理双目相机图像信息和IMU测量信息，对图像进行改进的快速特征提取与跟踪，并将图像帧与IMU帧对齐，给出IMU预积分形式；其次基于滑动窗口模型构建位姿估计最小化误差函数，减少位姿估计的累积误差；最后利用词袋模型进行回环检测，消除漂移，构建全局一致的运动轨迹，实现完整的无人机自主定位。本发明方法不依赖于传统的GPS***与繁琐的地面站控制，仅靠重量较轻的双目相机与IMU，并通过机载计算机进行实时处理，能够有效提高无人机的高机动自主定位性能，具备高精度、高可靠性的优点。

Description

拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
技术领域
本发明涉及无人机定位技术领域，尤其涉及一种拒止环境下基于视觉惯性的四旋翼无人机自主定位方法。
背景技术
四旋翼无人机由于其低成本、小尺寸和优越的机动性，正逐渐成为室内外环境中广泛应用的理想机器人平台，在四旋翼无人机的应用中，其自主定位能力在导航运动规划中至关重要。如GPS的大量商业化应用为室外开阔区域的设备提供了较为简单的定位方案，凭借全方位、全天候、全时段和高精度的优势，以GPS为代表的卫星定位***被广泛应用于各类机器人设备。而卫星信号被干扰、遮挡以及欺骗攻击等导致GPS定位设备无法正常输出参数的情形被称为拒止环境，如深山峡谷、密集森林、高层楼宇间、室内环境以及战场区域。在GPS拒止环境中，四旋翼无人机由于无法获得精确的先验定位信息，而无法在上述区域执行自主的高机动复杂飞行任务。
为了实现自主导航和高效安全地执行任务，无人机需要能够根据环境对自身进行定位。在定位领域，同步定位与建图是一种在未知环境下估计传感器运动和重建环境信息的技术，而仅利用相机视觉和IMU（Inertial Measurement Unit，惯性测量单元）信息进行的同步定位与建图被称为视觉惯性里程计(VIO)。相比较激光雷达，相机和IMU具有重量轻、尺寸小、成本低的优点，是无人机低负载情况下良好的传感器设备。VIO融合了相机图像信息和IMU数据信息，用于定位和环境感知，其经典VIO算法框架主要包括前端数据处理、后端优化、回环检测和建图。
发明内容
本发明公开一种拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，实现无人机在无先验信息的未知环境中完成对自身位姿的精确估计。
为了实现本发明的目的，所采用的技术方案是：拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，四旋翼无人机在GPS拒止环境下的复杂场景中进行快速的高机动飞行，定位方法基于VIO算法框架，融合双目相机视觉图像信息和IMU测量信息进行同步定位，并使用基于优化的紧耦合方法，实现四旋翼无人机位姿估计；
定位方法具体包括如下步骤：
S1、在前端数据处理部分，对于安装在四旋翼无人机前部的双目相机所实时采集到的图像帧序列，依靠图像处理方法对视觉图像进行特征提取与跟踪，并剔除其中特征跟踪匹配失败的异常点；
S2、在前端数据处理部分，针对IMU测量信息，将图像观测频率（双目相机的观测频率）与IMU测量频率进行对齐，在两个连续图像帧之间利用IMU预积分技术进行处理，减少IMU积分次数，将图像帧之间的IMU测量数据的积分形式约束在相对运动状态之外；避免因迭代优化造成重复积分，简化后端位姿优化模型；
S3、在后端优化估计部分，基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口位姿估计最小化误差函数；其中融合了视觉测量和IMU测量；
S4、四旋翼无人机由于长时间的运动，对于返回已访问的区域难免会有累积漂移，运用基于描述符的词袋模型进行回环检测，将视觉图像的特征描述符转换成词袋向量，计算相似度，通过验证，完成回环检测。
作为本发明的优化方案，基于优化的方法通过使用双目相机视觉图像信息和IMU测量信息联合最小化残差来获得最优估计；而紧耦合则将双目相机的全局状态和IMU的全局状态融合到一个观测方程中进行状态估计。
作为本发明的优化方案，在步骤S1中，对于双目图像信息，基于图像特征提取与跟踪以获得图像与三维空间的2D-3D对应关系，采用改进的基于FAST角点提取与改进的KLT光流跟踪的图像处理方法，并基于PROSAC方法剔除异常点。
作为本发明的优化方案，改进的FAST角点提取方法，针对候选角点，定义为中心像素p，像素灰度值I p ，按顺时针方向计算像素圆中像素灰度值I i ，若由16个像素组成的像素圆中存在12个连续的像素i满足公式1，则中心像素p为角点，否则筛除像素p；
Figure 262957DEST_PATH_IMAGE001
（1）
其中，T表示为灰度阈值，circle(p)表示为围绕中心像素p的像素圆；
将角点与其对应的连续12个像素组成的像素弧之间灰度差绝对值的总和作为特征响应值函数S，如公式2所示，保留特征响应最大的角点作为唯一角点；
Figure 281728DEST_PATH_IMAGE002
（2）
作为本发明的优化方案，改进后的KLT光流跟踪以连续图像帧中的前一帧I (x, y)和后一帧J (x, y)的原始图像作为L0层，建立图像金字塔模型，依次生成L1-L4层，前一层图像的大小是后一层图像的4倍，图像I (x, y)和J (x, y)的金字塔模型记为：
Figure 694255DEST_PATH_IMAGE003
（3）
其中，L m = 4，
Figure 784571DEST_PATH_IMAGE004
表示第L层图像I (x, y) ，
Figure 966154DEST_PATH_IMAGE005
表示第L层图像J (x, y)；
在金字塔模型中自顶而下迭代计算第L层的光流场矢量，建立以残差光流矢量 L d为变量的最小化匹配跟踪误差函数，
Figure 421406DEST_PATH_IMAGE006
（4）
其中，x表示为图像帧中角点的x像素坐标值，y表示为图像帧中角点的y像素坐标值， L e表示为第L层的最小化匹配跟踪误差函数， L d表示为第L层迭代的角点残差光流矢量， L d x 表示为第L层中x方向上迭代的角点残差光流矢量， L d y 表示为第L层中y方向上迭代的角点残差光流矢量， L u x 表示为第L层迭代的角点像素二维坐标x点， L u y 表示为第L层迭代的角点像素二维坐标y点，w x = w y = 2，{ L u x - w x , L u x + w x , L u y – w y , L u y + w y }组成邻域为(2w x + 1) × (2w y + 1)的像素窗口， L g表示为第L层迭代的角点光流估计值， L g x 表示为第L层中x方向上迭代的角点光流估计值， L g y 表示为第L层中y方向上迭代的角点光流估计值；
基于PROSAC方法为基于PROSAC渐进一致采样算法，降序排列在前后图像帧中特征跟踪点对（因为后一帧图像上的特征点要跟踪前一帧图像上的特征点，所以这两个点形成了一对特征跟踪点对）的最小欧氏距离，将其作为评价判断，选取一定量评价值最高的数据，从中随机采样4组数据通过迭代，寻找到最优的参数模型使得能匹配上的特征点对最多，记为模型M，剔除与模型M的误差大于阈值的点对。
作为本发明的优化方案，在步骤S2中，以连续图像帧i的时间刻度为基准，针对IMU测量数据冗余的问题，将双目相机图像帧与IMU测量帧进行帧对齐（将图像观测频率与IMU测量频率进行对齐），并在对齐帧之间进行IMU预积分，计算IMU数据在图像帧之间的积分，运用预积分方法，将图像帧之间的IMU测量数据的积分形式约束在相对运动状态之外，避免因迭代优化造成重复积分
有如下IMU预积分形式：
Figure 132615DEST_PATH_IMAGE007
（5）
其中，
Figure 698725DEST_PATH_IMAGE008
表示为机体坐标系b中第i帧和第i + 1帧之间位置的预积分量，
Figure 394DEST_PATH_IMAGE009
表 示为机体坐标系b中第i帧和第i + 1帧之间速度的预积分量，
Figure 688864DEST_PATH_IMAGE010
表示为机体坐标系b中第i帧和第i + 1帧之间旋转的预积分量，t表示为第i帧和第i + 1帧之间的时间间隔，
Figure 810404DEST_PATH_IMAGE011
表 示为机体坐标系b中t时刻下相对于第i帧的旋转矩阵，
Figure 180205DEST_PATH_IMAGE012
表示为机体坐标系b中第i帧和t 时刻下帧之间旋转的预积分量，
Figure 398697DEST_PATH_IMAGE013
表示为t时刻下IMU的加速度计原始测量值，
Figure 195752DEST_PATH_IMAGE014
表示为t 时刻下IMU的陀螺仪原始测量值，
Figure 804587DEST_PATH_IMAGE015
表示为t时刻下IMU的加速度计偏置，
Figure 774817DEST_PATH_IMAGE016
表示为t时刻 下IMU的陀螺仪偏置。
作为本发明的优化方案，在步骤S3中，通过VINS-Mono算法中基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口误差函数E，最小化边缘化先验信息、IMU测量残差和视觉测量残差，三种残差均用马氏距离（与量纲无关）来表示，即：
Figure 785499DEST_PATH_IMAGE017
（6）
其中，
Figure 753455DEST_PATH_IMAGE018
其中，
Figure 911904DEST_PATH_IMAGE019
表示为视觉和IMU的全状态向量，r p -H p X 表示为边缘化先验信息，
Figure 623508DEST_PATH_IMAGE020
表示为第i帧和第i + 1帧之间的IMU测量残差，
Figure 488696DEST_PATH_IMAGE021
表示为第i帧图像中 首次观测到的第l个特征点在第j帧图像中特征点观测的视觉测量残差，B是所有IMU测量值 的集合，C是在当前滑动窗口中观察到至少两次的特征集，
Figure 689870DEST_PATH_IMAGE022
表示为IMU预积分噪声项的 协方差矩阵，
Figure 273298DEST_PATH_IMAGE023
表示为视觉观测噪声的协方差矩阵，i表示为第i帧图像，l表示为第l个 特征点，j表示为第j帧图像，ρ(s)表示为Huber范数，s为中间变量。
作为本发明的优化方案，在步骤S4中，基于普通BRIEF描述符的DBoW词袋模型进行回环检测，根据BRIEF描述符创建二进制特征向量，用以描述特征点周围的像素信息，并将其转换成词袋向量，计算双目相机当前帧与词袋模型的相似度，通过外观特征验证和几何一致性验证判断两个不同图像位置的角点是否相似，完成回环检测，重新估计四旋翼无人机位姿。
本发明具有积极的效果：1）本发明根据VIO算法框架设计了一种拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，在GPS信号被干扰、遮挡或是欺骗攻击时，能够在无先验信息的未知环境中完成对自身位姿的精确估计；
2）本发明所提出的方法在保证四旋翼无人机高自主性的飞行性能下，不需要依靠传统的GPS***与冗余的地面站控制，最大程度减少了对传统的、低精度的、不可靠设备的依赖；
3）本发明所使用的外部传感器仅靠重量较轻、精度较高的双目相机与IMU，运用较为先进的算法进行处理，并通过搭载在无人机上的高性能机载计算机进行实时运算，能够有效提高无人机的高机动自主定位性能，具备高精度、高可靠性的优点。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例的拒止环境下基于视觉惯性的四旋翼无人机自主定位方法总体***框图；
图2为本发明实施例中改进的FAST角点提取示意图；
图3为本发明实施例中改进的FAST角点提取步骤结果对比图；
图4为本发明实施例中四叉树金字塔结构KLT稀疏光流法示意图；
图5为本发明实施例中特征跟踪算法对比图；
图6为本发明实施例中图像帧与IMU帧对齐示意图。
具体实施方式
下面结合附图和具体实施例对本发明的方法进行进一步说明。
如图1所示，本发明设计了拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，四旋翼无人机在GPS拒止环境下的复杂场景中进行快速的高机动飞行，定位方法基于VIO算法框架，融合双目相机视觉图像信息和IMU测量信息进行同步定位，并使用基于优化的紧耦合方法，实现四旋翼无人机位姿估计；基于优化的方法通过使用双目相机视觉图像信息和IMU测量信息联合最小化残差来获得最优估计；而紧耦合则将双目相机的全局状态和IMU的全局状态融合到一个观测方程中进行状态估计。
定位方法具体包括如下步骤：
S1、在前端数据处理部分，设计一种轻量级的视觉处理***，对于安装在四旋翼无人机前部的双目相机所实时采集到的图像帧序列，依靠图像处理方法对视觉图像进行特征提取与跟踪，并剔除其中特征跟踪匹配失败的异常点，图像特征提取与跟踪用以获得图像与三维空间的2D-3D对应关系；
在步骤S1中，采用改进的基于FAST角点提取与改进的KLT光流跟踪的图像处理方法，并基于PROSAC方法剔除异常点，为后续融合IMU测量信息估算四旋翼无人机位姿建立基础。
FAST是一种用于图像检测中较典型的角点提取方法，主要用于检测局部像素灰度水平的明显变化。
本发明通过改进的FAST角点提取法，自适应高低阈值对均匀划分的图像帧提取角点，对不同亮度和纹理的图像区域均能提取到一定量的角点，再通过四叉树***原理对特征分布不均匀的图像进行分块切割，采取类似非极大值抑制的方法制定特征响应值函数，保留高响应特征，剔除低响应特征，实现图像中特征的均匀分布，进一步改善特征点的鲁棒性。FAST角点提取示意图如图2所示，其中，像素p表示为待提取的中心像素，编号1-16的像素表示为围绕中心像素p的像素圆，由方框标记编号1、 5、9、 13的像素表示为算法中首先与中心像素p作比较的像素。
以公共数据集The EuRoC MAV Dataset中的双目视觉图像为例，具体改进的FAST角点提取方法步骤如下：
（1）首先确定最终图像帧中均匀分布的特征点数量需保持在90-100之间；
（2）将图像帧按照30 × 30的固定尺寸划分网格，对每个网格提取FAST角点，设待提取像素为中心像素p，其灰度值设为I p ，设高阈值T h = 0.2I p 和低阈值T l = 0.1I p ，围绕中心像素p的16个像素组成的像素圆的灰度值设为I i (i∈1, 2, …, 16)；
（3）在高阈值T h 条件下，对由16个像素组成的像素圆进行采样，首先计算像素1、5、9、13的灰度值I i 与中心像素p的灰度值I p 之间灰度差的绝对值，若至少存在3个像素满足公式(1)，则中心像素p为候选角点，继续下一步考量，否则筛除像素p；
（4）针对候选角点，按顺时针方向继续计算像素圆中其余的像素灰度值I i ，若由16个像素组成的像素圆中存在12个连续的像素i满足公式(1)，则中心像素p为角点，否则筛除像素p；
Figure 788593DEST_PATH_IMAGE024
（1）
其中，T表示为灰度阈值，circle(p)表示为围绕中心像素p的像素圆。
（5）若使用高阈值T h 未在该网格区域内提取到角点，则自动降低阈值条件，使用低阈值T l 参照步骤(3)-(4)重新提取，使得在弱纹理区域也能提取到一定量的角点，而若使用低阈值也未提取到该网格区域内的角点时，则放弃提取，避免提取到质量差的角点，非均匀化特征点如图3(a)所示；
（6）在由上述步骤所得到的非均匀分布特征点图像帧中构建四叉树网络节点。以初始图像帧为四叉树的单位根节点，将1个根节点***为4个子节点，如图3(b)所示，分别统计每个子节点内所包含的FAST角点数量。若节点中角点数量为0，则删除该节点；若节点中角点数量为1，则停止***该节点；判断此时子节点总数是否满足特征点需求数量90-100，若不满足，则继续***角点数量大于1的节点，且优先***角点数量较多的节点，直至子节点总数满足期望数量90-100，如图3(c)-(d)所示；
（7）在上一步骤所得到的全部子节点中，若存在角点数量大于1的节点，采取类似非极大值抑制的方法，将角点与其对应的连续12个像素组成的像素弧之间灰度差绝对值的总和作为特征响应值函数S (Score Function)，如公式(2)所示，保留特征响应最大的角点作为该节点的唯一角点。由此便得到了数量适中且分布均匀的特征点，同时也保证了所得特征点的鲁棒性，如图3(e)所示。
Figure 508287DEST_PATH_IMAGE025
（2）
其中，arc(p)表示为围绕中心像素p的像素弧。
图3(f)所示即为最终FAST角点的提取效果，与图3(a)进行对比，可以明显地看出改进后的FAST角点具有显著的均匀分布状态，避免了特征点的严重扎堆，能够为后续的特征匹配跟踪提供良好的特征性能。
光流表示一个空间物体在成像平面上像素运动的瞬时速度矢量，其运动信息是由相邻帧之间密集像素的对应关系来计算的，而传统的KLT稀疏光流法是一种通过稀疏像素点处理微小运动的方法。本发明与上文四叉树均匀化特征点相结合，运用包含四叉树和金字塔结构的KLT稀疏光流方法，建立分层金字塔模型，利用其分层缩小化像素运动，计算光流场矢量，层次化迭代执行四叉树均匀特征点跟踪，如图4所示。传统的光流跟踪不包括异常值过滤过程，本发明在所提出的特征跟踪方案中添加PROSAC方法优化匹配跟踪结果，该方法将所有匹配跟踪结果按照质量进行采样排序，更加快捷有效地剔除误匹配。在保持精度的同时，提高视觉数据处理***的运行速度，节省计算资源。
总体而言，改进的四叉树金字塔结构KLT稀疏光流特征跟踪（简称改进后的KLT光流跟踪）遵从光流法的三个假设条件：（A）亮度恒定性，图像中物体的像素灰度在连续帧之间不会发生变化；（B）空间一致性，在一定邻域内相邻像素具有相似的运动；（C）微小运动，相邻帧之间的时间足够短，且物体运动较小，由金字塔模型的缩放保证该假设成立。具体改进后的算法步骤流程如下所示：
（1）以连续图像帧中的前一帧I (x, y)和后一帧J (x, y)的原始图像作为L0层，建立图像金字塔模型，依次生成L1-L4层，前一层图像的大小是后一层图像的4倍，图像I(x, y)和J (x, y)的金字塔模型记为：
Figure 880363DEST_PATH_IMAGE026
（3）
其中，L m = 4，
Figure 951087DEST_PATH_IMAGE027
表示第L层图像I (x, y) ，
Figure 4493DEST_PATH_IMAGE028
表示第L层图像J (x, y)；
（2）使用改进后的FAST角点提取方法，利用四叉树结构提取每层图像的FAST角点。设金字塔图像中第L层迭代的角点光流估计值 L g = [ L g x L g y ]T，设第L层迭代的角点残差光流矢量 L d = [ L d x L d y ]T，金字塔模型中迭代的光流场矢量由光流估计值与残差光流矢量构成。在前一帧图像I (x, y)中设某个待匹配跟踪的角点像素二维坐标u = [u x u y ]T，其第L层迭代的角点像素二维坐标 L u = [ L u x L u y ]T；
（3）根据假设条件(B)，在一定邻域内相邻像素具有相似的运动，设该邻域为(2w x + 1) × (2w y + 1)的像素窗口，w x 和w y 的取值一般为2, 3, 4, 5, 6, 7像素，此处取w x =w y = 2，在金字塔模型中自顶而下迭代计算第L层的光流场矢量，建立以残差光流矢量 L d为变量的最小化匹配跟踪误差函数：
Figure 906590DEST_PATH_IMAGE029
(4)
（4）由经典Lucas-Kanade光流公式对邻域内像素定义可知，对于金字塔模型内的像素窗口进行简化，存在定义：
Figure 387250DEST_PATH_IMAGE030
（7）
Figure 945271DEST_PATH_IMAGE031
（8）
由Lucas-Kanade光流公式可得第L层迭代的角点残差光流矢量为：
Figure 602036DEST_PATH_IMAGE032
（9）
其中：
Figure 296322DEST_PATH_IMAGE033
（10）
Figure 213462DEST_PATH_IMAGE034
（11）
（5）初始化最顶层L m 层光流估计值，令：
Figure 55517DEST_PATH_IMAGE035
（12）
其中，
Figure 450726DEST_PATH_IMAGE036
表示为最顶层L m 层光流估计值，
Figure 265098DEST_PATH_IMAGE037
表示为最顶层L m 层中x方向上的光 流估计值，
Figure 149877DEST_PATH_IMAGE038
表示为最顶层L m 层中y方向上的光流估计值。
由于金字塔每层级是上一层级的4倍，即长宽尺寸是上一层级的两倍，故第L - 1层迭代的角点光流估计值为：
Figure 416911DEST_PATH_IMAGE039
（13）
其中，
Figure 615811DEST_PATH_IMAGE040
表示为第L-1层光流估计值，
Figure 284690DEST_PATH_IMAGE041
表示为第L-1层中x方向上的光流估 计值，
Figure 340370DEST_PATH_IMAGE042
表示为第L-1层中y方向上的光流估计值，
Figure 94700DEST_PATH_IMAGE043
表示为第L层光流估计值；
（6）故最终迭代得到的光流场矢量为：
Figure 831712DEST_PATH_IMAGE044
（14）
其中， 0 g表示为第0层光流估计值， 0 d表示为第0层迭代的角点残差光流矢量；
则在后一帧图像J (x, y)中匹配跟踪的角点像素二维坐标为：
v = u + d （15）
其中，v表示为在后一帧图像J (x, y)中匹配跟踪的角点像素二维坐标，u表示为前一帧图像I (x, y)中待匹配跟踪的角点像素二维坐标，d表示为最终迭代得到的光流场矢量。
（7）基于PROSAC渐进一致采样算法，降序排列在前后图像帧中特征跟踪点对的最小欧氏距离，将其作为评价判断，选取一定量评价值最高的数据，从中随机采样4组数据通过迭代，寻找到最优的参数模型使得能匹配上的特征点对最多，记为模型M，剔除与模型M的误差大于阈值的点对。
以EuRoC数据集为例，使用本节特征匹配跟踪方法前后的具体对比结果分别如图5(a)、图5(b)所示，可以看出本发明的算法能够更加有效地跟踪稀疏特征点，并合理剔除误匹配点。
S2、在前端数据处理部分，相机的观测频率一般为几十HZ，而IMU的测量频率能达到几百HZ，在双目相机拍摄的两帧图像之间的时间间隔内会有大量的IMU测量数据，且对每个IMU数据进行积分用以更新位姿状态会占用大量的运算资源。针对IMU测量数据冗余的问题，将图像观测频率与IMU测量频率进行对齐，在两个连续图像帧之间利用IMU预积分技术进行处理，减少IMU积分次数，将图像帧之间的IMU测量数据的积分形式约束在相对运动状态之外，避免因迭代优化造成重复积分，简化后端位姿优化模型。
以连续图像帧i的时间刻度为基准，将相机图像帧与IMU测量帧进行帧对齐，并在对齐帧之间进行IMU预积分，如图6所示。
定义机体坐标系b与世界坐标系w。在机体坐标系b中，IMU的加速度计和陀螺仪原始测量值分别如下式所示：
Figure 417414DEST_PATH_IMAGE045
（16）
其中，
Figure 847258DEST_PATH_IMAGE046
表示为t时刻下IMU的加速度计原始测量值，
Figure 88883DEST_PATH_IMAGE047
表示为t时刻下IMU的陀螺 仪原始测量值，a t 表示为t时刻下IMU的加速度真实值，ω t 表示为t时刻下IMU的角速度真实 值，
Figure 426324DEST_PATH_IMAGE048
表示为t时刻下IMU的加速度计偏置，
Figure 69795DEST_PATH_IMAGE049
表示为t时刻下IMU的陀螺仪偏置，
Figure 404961DEST_PATH_IMAGE050
表示 为在t时刻下世界坐标系w相对于IMU的旋转矩阵，g w 表示为在世界坐标系w中的重力加速 度，n a 表示为IMU加速度计的附加噪声，n ω 表示为IMU陀螺仪的附加噪声。
可以看出，IMU原始测量值受重力因素，同时包含了加速度偏置
Figure 196200DEST_PATH_IMAGE048
、陀螺仪偏置
Figure 275014DEST_PATH_IMAGE049
和附加噪声n a 、n ω 的影响。由于附加噪声项在无人机定位的实际应用中无法预知，故一 般将此项视为0，故式(16)可约为：
Figure 772992DEST_PATH_IMAGE051
（17）
在机体坐标系b中给定对齐帧中的两帧，即第i帧和第i + 1帧，记为b i 和b i + 1。在 世界坐标系w中对时间间隔[t i , t i+ 1]内的IMU测量数据积分可得第i + 1帧的位置、速度和 旋转，此处旋转采用四元数的表示形式，分别如下所示：
Figure 606955DEST_PATH_IMAGE052
（18）
其中：
Figure 557594DEST_PATH_IMAGE053
（19）
其中，
Figure 440099DEST_PATH_IMAGE054
表示为机体坐标系b中第i帧相对于世界坐标系w的位置，
Figure 792583DEST_PATH_IMAGE055
表示为机 体坐标系b中第i+1帧相对于世界坐标系w的位置，
Figure 800378DEST_PATH_IMAGE056
表示为机体坐标系b中第i帧相对于世 界坐标系w的速度，
Figure 238313DEST_PATH_IMAGE057
表示为机体坐标系b中第i+1帧相对于世界坐标系w的速度，Δt i 表示 为时间间隔[t i , t i+ 1]之内的连续时间；
Figure 658930DEST_PATH_IMAGE058
表示为t时刻下相对于世界坐标系w的旋转矩 阵，
Figure 193816DEST_PATH_IMAGE059
表示为机体坐标系b中第i帧相对于世界坐标系w的旋转，
Figure 307266DEST_PATH_IMAGE060
表示为机体坐标系b中 第i+1帧相对于世界坐标系w的旋转，
Figure 232496DEST_PATH_IMAGE061
表示为t时刻下相对于机体坐标系b中第i帧的旋 转，t表示为第i帧和第i + 1帧之间的时刻，
Figure 519121DEST_PATH_IMAGE062
表示为角速度，
Figure 580618DEST_PATH_IMAGE063
表示为x轴上的角速 度，
Figure 864969DEST_PATH_IMAGE064
表示为y轴上的角速度，
Figure 339813DEST_PATH_IMAGE065
表示为z轴上的角速度。
由式(18)可知，第i + 1帧的IMU积分依赖于初始帧第i帧的初始位置、速度和旋转，在后端优化时，需要不断迭代求解初始帧第i帧机体坐标系到世界坐标系的初始旋转变量
Figure 367811DEST_PATH_IMAGE066
，即t i 时刻在世界坐标系下的初始姿态，以此来更新第i帧的位置、速度和旋转，故每次迭代后都需根据优化变量重新进行积分，这将非常损耗运算资源。
为了消除对初始旋转
Figure 549394DEST_PATH_IMAGE067
的依赖，故IMU预积分需将优化变量分离出来。将式(18)从世界坐标系w变换到机体坐标系b中，即对式(18)积分公式的等式左右两边同乘以/>
Figure 739067DEST_PATH_IMAGE068
，化简可得：
Figure 701207DEST_PATH_IMAGE069
（20）
其中：
Figure 267317DEST_PATH_IMAGE070
（5）
其中，
Figure 568986DEST_PATH_IMAGE068
表示为在第i帧时世界坐标系w到机体坐标系b的旋转矩阵，
Figure 991877DEST_PATH_IMAGE071
表示为 机体坐标系b中第i+1帧相对于世界坐标系w的位置，
Figure 378996DEST_PATH_IMAGE072
表示为机体坐标系b中第i帧相对于 世界坐标系w的位置，
Figure 748797DEST_PATH_IMAGE073
表示为机体坐标系b中第i帧相对于世界坐标系w的速度，
Figure 701710DEST_PATH_IMAGE074
表示 为机体坐标系b中第i帧相对于世界坐标系w的旋转，
Figure 498764DEST_PATH_IMAGE075
表示为机体坐标系b中第i+1帧相对 于世界坐标系w的旋转，
Figure 235164DEST_PATH_IMAGE076
表示为世界坐标系w相对于机体坐标系b中第i帧的旋转，t表示 为第i帧和第i + 1帧之间的时刻，g w 表示为在世界坐标系w中的重力加速度，
Figure 408656DEST_PATH_IMAGE077
表示为机 体坐标系b中第i帧和第i + 1帧之间位置的预积分量，
Figure 419337DEST_PATH_IMAGE078
表示为机体坐标系b中第i帧和 第i + 1帧之间速度的预积分量，
Figure 449610DEST_PATH_IMAGE079
表示为机体坐标系b中第i帧和第i + 1帧之间旋转的 预积分量，
Figure 545742DEST_PATH_IMAGE080
表示为机体坐标系b中t时刻下相对于第i帧的旋转矩阵，
Figure 257346DEST_PATH_IMAGE081
表示为机体坐 标系b中第i帧和t时刻下帧之间旋转的预积分量，
Figure 122534DEST_PATH_IMAGE046
表示为t时刻下IMU的加速度计原始测 量值，
Figure 323708DEST_PATH_IMAGE047
表示为t时刻下IMU的陀螺仪原始测量值，
Figure 907136DEST_PATH_IMAGE082
表示为t时刻下IMU的加速度计偏置，
Figure 156852DEST_PATH_IMAGE049
表示为t时刻下IMU的陀螺仪偏置。
由式(5)可知，积分项中的旋转矩阵变为了
Figure 204443DEST_PATH_IMAGE083
，而在初始帧t i 时刻的初值
Figure 514201DEST_PATH_IMAGE084
，这样便消除了对初值旋转优化估计的依赖。由此便得到预积分项式(5)，此积分可以通过在机体坐标系b中IMU的原始测量值直接单独获得，且只与第i帧和第i + 1帧之间的IMU偏置有关，与其他状态量无关。
S3、在后端优化估计部分，基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口位姿估计最小化误差函数，其中融合了视觉测量和IMU测量。
在滑动窗口内定义n个对齐帧内IMU的全状态向量与m个特征点的全状态向量，即：
Figure 647242DEST_PATH_IMAGE085
（21）
其中，
Figure 762966DEST_PATH_IMAGE019
表示为全状态向量，x i 表示为第i个对齐帧下IMU的状态向量，i=0,1,…… n；
Figure 602746DEST_PATH_IMAGE086
表示为双目相机的状态向量，λ m 表示为三维特征点的逆深度信息，m=0,1,……m；ba表 示为在机体坐标系b中IMU的加速度计偏置，bg表示为在机体坐标系b中IMU的陀螺仪偏置，
Figure 145723DEST_PATH_IMAGE087
表示为相机坐标系c到机体坐标系b的位移，
Figure 438164DEST_PATH_IMAGE088
表示为相机坐标系c到机体坐标系b的旋 转。
Figure 295261DEST_PATH_IMAGE089
表示为机体坐标系b中第i个对齐帧相对于世界坐标系w的IMU位置，
Figure 51865DEST_PATH_IMAGE090
表示为 机体坐标系b中第i个对齐帧相对于世界坐标系w的IMU速度，
Figure 703426DEST_PATH_IMAGE091
表示为机体坐标系b中第i 个对齐帧相对于世界坐标系w的IMU旋转。
在步骤S3中，通过VINS-Mono算法中基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口误差函数E，最小化边缘化先验信息、IMU测量残差和视觉测量残差，三种残差均用马氏距离（与量纲无关）来表示，即：
Figure 802270DEST_PATH_IMAGE092
（6）
其中，
Figure 197479DEST_PATH_IMAGE093
其中，
Figure 746273DEST_PATH_IMAGE019
表示为视觉和IMU的全状态向量，r p -H p X 表示为边缘化先验信息，
Figure 896631DEST_PATH_IMAGE094
表示为第i帧和第i + 1帧之间的IMU测量残差，
Figure 163664DEST_PATH_IMAGE021
表示为第i帧图像中 首次观测到的第l个特征点在第j帧图像中特征点观测的视觉测量残差，B是所有IMU测量值 的集合，C是在当前滑动窗口中观察到至少两次的特征集，
Figure 424881DEST_PATH_IMAGE022
表示为IMU预积分噪声项的 协方差矩阵，
Figure 828181DEST_PATH_IMAGE023
表示为视觉观测噪声的协方差矩阵，i表示为第i帧图像，l表示为第l个 特征点，j表示为第j帧图像。
紧耦合则将双目相机的全局状态和IMU的全局状态融合到一个观测方程中进行状态估计，该观测方程即为公式(6)。
S4、无人机由于长时间的运动，对于返回已访问的区域难免会有累积漂移，本发明基于普通BRIEF描述符的DBoW词袋模型进行回环检测。根据BRIEF描述符创建二进制特征向量，用以描述特征点周围的像素信息，并将其转换成词袋向量，计算双目相机当前帧与词袋模型的相似度，通过外观特征验证和几何一致性验证判断两个不同图像位置的角点是否相似，完成回环检测，重新估计位姿信息。
本发明基于机载计算机进行开发和设计，所用的机载计算机为Intel NUC7系列套件，搭载Ubuntu 18.04***，运行内存8GB，CPU处理器为Intel Core i5-7260U @ 2.20GHz× 4，运行ROS Melodic版本。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，其特征在于：四旋翼无人机在GPS拒止环境下的复杂场景中进行快速的高机动飞行，定位方法基于VIO算法框架，融合双目相机视觉图像信息和IMU测量信息进行同步定位，并使用基于优化的紧耦合方法，实现四旋翼无人机位姿估计；
定位方法具体包括如下步骤：
S1、在前端数据处理部分，对于安装在四旋翼无人机前部的双目相机所实时采集到的图像帧序列，依靠图像处理方法对视觉图像进行特征提取与跟踪，并剔除其中特征跟踪匹配失败的异常点；
S2、在前端数据处理部分，针对IMU测量信息，将图像观测频率与IMU测量频率进行对齐，在两个连续图像帧之间利用IMU预积分技术进行处理，将图像帧之间的IMU测量数据的积分形式约束在相对运动状态之外；
S3、在后端优化估计部分，基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口位姿估计最小化误差函数；
S4、四旋翼无人机由于长时间的运动，对于返回已访问的区域难免会有累积漂移，运用基于描述符的词袋模型进行回环检测，将视觉图像的特征描述符转换成词袋向量，计算相似度，通过验证，完成回环检测；
基于优化的方法通过使用双目相机视觉图像信息和IMU测量信息联合最小化残差来获得最优估计；而紧耦合则将双目相机的全局状态和IMU的全局状态融合到一个观测方程中进行状态估计；
在步骤S1中，采用改进的基于FAST角点提取与改进的KLT光流跟踪的图像处理方法，并基于PROSAC方法剔除异常点；
改进的KLT光流跟踪以连续图像帧中的前一帧I (x, y)和后一帧J (x, y)的原始图像作为L0层，建立图像金字塔模型，依次生成L1-L4层，前一层图像的大小是后一层图像的4倍，图像I (x, y)和J (x, y)的金字塔模型记为：
Figure DEST_PATH_IMAGE002
（3）
其中，L m = 4，
Figure DEST_PATH_IMAGE003
表示第L层图像I (x, y) ，
Figure DEST_PATH_IMAGE004
表示第L层图像J (x, y)；
在金字塔模型中自顶而下迭代计算第L层的光流场矢量，建立以残差光流矢量 L d为变量的最小化匹配跟踪误差函数，
Figure DEST_PATH_IMAGE006
(4)
其中，x表示为图像帧中角点的x像素坐标值，y表示为图像帧中角点的y像素坐标值， L e表示为第L层的最小化匹配跟踪误差函数， L d表示为第L层迭代的角点残差光流矢量， L d x 表示为第L层中x方向上迭代的角点残差光流矢量， L d y 表示为第L层中y方向上迭代的角点残差光流矢量， L u x 表示为第L层迭代的角点像素二维坐标x点， L u y 表示为第L层迭代的角点像素二维坐标y点，w x = w y = 2，{ L u x - w x , L u x + w x , L u y – w y , L u y + w y }组成邻域为(2w x +1) × (2w y + 1)的像素窗口， L g表示为第L层迭代的角点光流估计值， L g x 表示为第L层中x方向上迭代的角点光流估计值， L g y 表示为第L层中y方向上迭代的角点光流估计值；
基于PROSAC方法为基于PROSAC渐进一致采样算法，降序排列在前后图像帧中特征跟踪点对的最小欧氏距离，将其作为评价判断，选取一定量评价值最高的数据，从中随机采样4组数据通过迭代，寻找到最优的参数模型使得能匹配上的特征点对最多，记为模型M，剔除与模型M的误差大于阈值的点对。
2.根据权利要求1所述的拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，其特征在于：改进的基于FAST角点提取方法，针对候选角点，定义为中心像素p，像素灰度值I p ，按顺时针方向计算像素圆中像素灰度值I i ，若由16个像素组成的像素圆中存在12个连续的像素i满足公式（1），则中心像素p为角点，否则筛除像素p；
Figure DEST_PATH_IMAGE008
（1）
其中，T表示为灰度阈值，circle(p)表示为围绕中心像素p的像素圆；
将图像帧按照自适应高低阈值的方法提取非均匀分布的特征点，对所得到的非均匀分布特征点图像帧构建四叉树网络节点；对四叉树网络节点中角点数量大于1的子节点，将子节点的角点与其对应的连续12个像素组成的像素弧之间灰度差绝对值的总和作为特征响应值函数S，如公式（2）所示，保留特征响应最大的角点作为唯一角点；
Figure DEST_PATH_IMAGE010
（2）
其中，arc(p)表示为围绕中心像素p的像素弧。
3.根据权利要求1所述的拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，其特征在于：在步骤S2中，以连续图像帧i的时间刻度为基准，将双目相机图像帧与IMU测量帧进行帧对齐，并在对齐帧之间进行IMU预积分，有如下IMU预积分形式：
Figure DEST_PATH_IMAGE012
（5）
其中，
Figure DEST_PATH_IMAGE014
表示为机体坐标系b中第i帧和第i + 1帧之间位置的预积分量，
Figure DEST_PATH_IMAGE016
表示为 机体坐标系b中第i帧和第i + 1帧之间速度的预积分量，
Figure DEST_PATH_IMAGE018
表示为机体坐标系b中第i帧 和第i + 1帧之间旋转的预积分量，t表示为第i帧和第i + 1帧之间的时间间隔，
Figure DEST_PATH_IMAGE020
表示为 机体坐标系b中t时刻下相对于第i帧的旋转矩阵，
Figure DEST_PATH_IMAGE022
表示为机体坐标系b中第i帧和t时刻 下帧之间旋转的预积分量，
Figure DEST_PATH_IMAGE024
表示为t时刻下IMU的加速度计原始测量值，
Figure DEST_PATH_IMAGE026
表示为t时刻 下IMU的陀螺仪原始测量值，
Figure DEST_PATH_IMAGE028
表示为t时刻下IMU的加速度计偏置，
Figure DEST_PATH_IMAGE030
表示为t时刻下IMU 的陀螺仪偏置。
4.根据权利要求1所述的拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，其特征在于：在步骤S3中，通过VINS-Mono算法中基于滑动窗口的后端优化方法来减少VIO算法框架中位姿估计的累积误差，通过非线性优化，用紧耦合的方法构建滑动窗口误差函数E，最小化边缘化先验信息、IMU测量残差和视觉测量残差，三种残差均用马氏距离来表示，即：
Figure DEST_PATH_IMAGE032
（6）
其中，
Figure DEST_PATH_IMAGE034
其中，X表示为视觉和IMU的全状态向量，r p -H p X 表示为边缘化先验信息，
Figure DEST_PATH_IMAGE036
表 示为第i帧和第i + 1帧之间的IMU测量残差，
Figure DEST_PATH_IMAGE038
表示为第i帧图像中首次观测到的 第l个特征点在第j帧图像中特征点观测的视觉测量残差，B是所有IMU测量值的集合，C是在 当前滑动窗口中观察到至少两次的特征集，
Figure DEST_PATH_IMAGE040
表示为IMU预积分噪声项的协方差矩阵，
Figure DEST_PATH_IMAGE042
表示为视觉观测噪声的协方差矩阵，i表示为第i帧图像，l表示为第l个特征点，j表示 为第j帧图像，ρ(s)表示为Huber范数。
5.根据权利要求1所述的拒止环境下基于视觉惯性的四旋翼无人机自主定位方法，其特征在于：在步骤S4中，基于普通BRIEF描述符的DBoW词袋模型进行回环检测，根据BRIEF描述符创建二进制特征向量，用以描述特征点周围的像素信息，并将其转换成词袋向量，计算双目相机当前帧与词袋模型的相似度，通过外观特征验证和几何一致性验证判断两个不同图像位置的角点是否相似，完成回环检测，重新估计四旋翼无人机位姿。
CN202211348263.2A 2022-10-31 2022-10-31 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法 Active CN115406447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211348263.2A CN115406447B (zh) 2022-10-31 2022-10-31 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211348263.2A CN115406447B (zh) 2022-10-31 2022-10-31 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法

Publications (2)

Publication Number Publication Date
CN115406447A CN115406447A (zh) 2022-11-29
CN115406447B true CN115406447B (zh) 2023-03-24

Family

ID=84167777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211348263.2A Active CN115406447B (zh) 2022-10-31 2022-10-31 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法

Country Status (1)

Country Link
CN (1) CN115406447B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523920B (zh) * 2022-11-30 2023-03-10 西北工业大学 一种基于视觉惯性gnss紧耦合的无缝定位方法
CN116442248A (zh) * 2023-06-19 2023-07-18 山东工程职业技术大学 一种基于目标检测的机器人视觉定位模块及方法
CN117647263B (zh) * 2023-12-06 2024-07-09 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及***
CN117726678A (zh) * 2023-12-12 2024-03-19 中山大学·深圳 无人***位姿估计方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108051002B (zh) * 2017-12-04 2021-03-16 上海文什数据科技有限公司 基于惯性测量辅助视觉的运输车空间定位方法及***
CN109520497B (zh) * 2018-10-19 2022-09-30 天津大学 基于视觉和imu的无人机自主定位方法
CN109900265A (zh) * 2019-03-15 2019-06-18 武汉大学 一种camera/mems辅助北斗的机器人定位算法
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112484725B (zh) * 2020-11-23 2023-03-21 吉林大学 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN112509044A (zh) * 2020-12-02 2021-03-16 重庆邮电大学 一种基于点线特征融合的双目视觉slam方法
CN115112123A (zh) * 2022-06-27 2022-09-27 华东理工大学 基于视觉-imu融合的多移动机器人协同定位方法及***

Also Published As

Publication number Publication date
CN115406447A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN115406447B (zh) 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
CN109084746B (zh) 用于具有辅助传感器的自主平台引导***的单目模式
CN108230361B (zh) 用无人机探测器和追踪器融合来增强目标追踪方法及***
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN109520497B (zh) 基于视觉和imu的无人机自主定位方法
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN103954283A (zh) 基于景象匹配/视觉里程的惯性组合导航方法
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
CN114001733B (zh) 一种基于地图的一致性高效视觉惯性定位算法
Zhang et al. Vision-aided localization for ground robots
US20160055646A1 (en) Method for estimating the angular deviation of a mobile element relative to a reference direction
CN112802096A (zh) 实时定位和建图的实现装置和方法
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam***
Hong et al. Visual inertial odometry using coupled nonlinear optimization
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
WO2023030062A1 (zh) 一种无人机的飞行控制方法、装置、设备、介质及程序
CN117029802A (zh) 一种基于深度学习的多模态slam方法
Unger et al. Assigning tie points to a generalised building model for UAS image orientation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant