CN110865650A - 基于主动视觉的无人机位姿自适应估计方法 - Google Patents
基于主动视觉的无人机位姿自适应估计方法 Download PDFInfo
- Publication number
- CN110865650A CN110865650A CN201911133525.1A CN201911133525A CN110865650A CN 110865650 A CN110865650 A CN 110865650A CN 201911133525 A CN201911133525 A CN 201911133525A CN 110865650 A CN110865650 A CN 110865650A
- Authority
- CN
- China
- Prior art keywords
- pose
- unmanned aerial
- aerial vehicle
- visual
- landing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000007321 biological mechanism Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000026676 system process Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于主动视觉的无人机位姿自适应估计方法，至少包括：主动视觉检测，通过无人机机载视觉***对降落合作目标进行连续观测，并对所有检测到的降落合作目标进行筛选，保留当前视野范围内检测精度较高的降落合作目标信息；无人机位姿计算，以视觉2D特征、惯性测量信息为输入，实时计算当前无人机相对合作目标的位姿；自适应位姿融合，根据相应的协方差信息对所有计算的无人机相对降落合作目标的位姿解进行基于联邦滤波的自适应融合，得到最优化的无人机位姿。本发明可以有效提高面向自主降落任务无人机视觉的有效测量精度和范围，也适用于机器人视觉感知与定位研究。
Description
技术领域
本发明属于无人机自主降落与视觉导航领域，具体涉及一种基于主动视觉的无人机位姿自适应估计方法。
背景技术
近几年，无人机作为机器人领域的研究热点，其自主降落能力(包括静止和运动平台)已被深入展开研究。针对该问题，通常采用基于GPS、惯性、视觉、激光等的感知方式，目的是实时计算无人机相对降落目标的运动位姿。公开号为109211241A的专利公开一种基于视觉SLAM的无人机自主定位方法，由特征提取及匹配求解运动部分、图像和惯性测量单元IMU融合部分以及估计3D点深度部分组成。公开号为106054929B的专利公开一种基于光流的无人机自动降落引导方法，在降落过程中通过对光流模块的相机拍摄的实时图像进行处理，确定标志物，估计标志物相对无人机的位置和姿态。公开号为110068321A的专利公开一种定点降落标志的UAV相对位姿估计方法。公开号为104166854B的专利公开了一种针对小型无人机自主降落的视觉分级地标定位识别方法，采用视觉分级地标避免使用单级地标时由于离地高度变化而图像分辨率固定而导致地标的尺度变化问题。类似的公开专利还有106516145B、105197252A、109270953A等。然而，上述专利只考虑了如何从视觉2D特征中计算无人机相对位姿，并没有考虑基于视觉的位姿信息融合问题。
发明内容
本发明的目的在于提供一种基于主动视觉的无人机位姿自适应估计方法，该方法主要用于解决无人机降落阶段视觉***与观测目标之间相对距离变化对视觉定位精度的影响，不仅评估了视觉定位前端的图像级检测精度，也对其后端输出位姿结果进行了自适应融合。
本发明为达上述目的所采用的技术方案是：
本发明提供一种基于主动视觉的无人机位姿自适应估计方法，至少包括：
主动视觉检测，通过无人机机载视觉***对降落合作目标进行连续观测，并对所有检测到的降落合作目标进行筛选，保留当前视野范围内检测精度较高的降落合作目标信息；所述降落合作目标包含多组不同尺度的合作特征，每组合作特征包含不同的特定几何图形；
无人机位姿计算，以视觉2D特征、惯性测量信息为输入，实时计算当前无人机相对合作目标的位姿；
自适应位姿融合，根据相应的协方差信息对所有计算的无人机相对降落合作目标的位姿解进行基于联邦滤波的自适应融合，得到最优化的无人机位姿。
接上述技术方案，所述主动视觉检测至少包括图像目标提取和特征自主选择两步骤，无人机机载视觉***对降落合作目标进行连续观测，采用图像目标提取方法实现所有降落合作目标检测和特征提取，进而利用特征自主选择方法对所有检测到的目标进行筛选，保留当前视野范围内检测精度较高的目标信息。
接上述技术方案，无人机位姿计算方法包括基于视觉与惯性的位姿测量和基于无迹卡尔曼滤波的位姿计算；基于视觉与惯性的位姿测量方法主要利用惯性或视觉检测信息对无人机相对位姿进行计算；所述基于无迹卡尔曼滤波的位姿计算方法主要负责处理同时具有惯性和视觉检测信息情况下的位姿计算，提高位姿计算的输出频率。
接上述技术方案，当仅有惯性测量信息时，利用其角速度和加速度信息的时间积分，确定无人机相对上一时刻的位姿变化；当获取到视觉2D特征时，无人机根据视觉特征的单应性变换，计算得到无人机相对降落合作目标的位姿。
接上述技术方案，还包括步骤：
异常监测，对优化后的位姿解进行持续检测和识别，消除异常值。
接上述技术方案，图像目标提取的方法包括线段特征检测、角点特征检测和几何模式匹配三个步骤，机载视觉***利用这些步骤对实时获取得图像进行处理，并根据点、线之间的几何约束关系完成模式匹配，同时实现降落合作目标检测与特征提取。
接上述技术方案，特征自主选择的方法模仿人类视觉从周围场景中挑选定位参照物的生物机理，根据视觉中目标成像比例与相对距离之间的3D-2D投影关系，从不同大小尺度的降落合作目标的组合中选择视景最佳目标用于视觉定位的输入信息。
接上述技术方案，基于无迹卡尔曼滤波的位姿计算方法以惯性和视觉检测信息为输入，惯性传感器以100或200Hz刷新率的角速度和加速度对无人机位姿进行累积计算，而视觉检测信息通过视觉单应性的转换计算无人机位姿；获得的两种位姿解在贝叶斯框架下相互修正的同时，得到修正值对应的协方差信息；无人机随时间变化的非线性状态转移通过无迹变换实现。
接上述技术方案，自适应位姿融合方法将视觉位姿计算作模块化处理，利用各模块输出的位姿解和相应协方差进行联邦融合，并对各模块输出的异常状态进行监测，为无人机在自主降落阶段提供连续、平稳的位姿估计。
本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案的无人机位姿自适应估计方法。
本发明产生的有益效果是：本发明利用旋翼飞行器机载视觉与惯性信息，将信息融合与视觉定位技术相结合，不仅通过主动视觉方法预先对所获取的视觉信号进行评估，而且对基于不同尺度特征的视觉定位结果进行了自适应融合，确保无人机在由远及近的降落过程具有稳定、连续的位姿估计，解决了视觉在不同相对距离检测精度不稳定的问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明基于主动视觉的无人机位姿自适应估计方法的流程图；
图2是主动视觉检测方法中的图像目标检测算法流程图；
图3是主动视觉检测方法中的特征主动选择算法流程图；
图4是无人机位姿计算方法中基于视觉2D-3D的位姿计算流程图；
图5是无人机位姿计算方法中基于视觉&惯性的位姿计算流程图；
图6是自适应位姿融合方法的计算框架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例基于主动视觉的无人机位姿自适应估计方法，至少包括以下步骤：
主动视觉检测，根据视觉3D-2D投影比例变换，为无人机视觉***提供至少一组降落合作目标(参照物)对应的高质量图像，使无人机能够利用图像处理算法从降落合作目标中提取到可靠的几何信息。具体地，主动视觉检测部分使无人机能够通过视觉对降落合作目标进行搜索和检测；降落合作目标包含多组不同尺度的合作特征，每组合作特征适用于无人机视觉在不同相对距离范围内观测；当无人机处于不同高度时，主动视觉检测部分负责从降落合作目标中选择观测质量优秀的合作特征；每组合作特征是由不同的特定几何图形组成，主动视觉检测部分负责对其进行识别，从中提取点、线作为图像特征。
无人机位姿计算，以视觉2D特征、惯性测量信息为输入，用于实时计算当前无人机相对降落合作目标的位姿(位置和姿态)；当仅有惯性测量信息时，利用其角速度和加速度信息的时间积分，确定无人机相对上一时刻的位姿变化；当获取到视觉2D特征时，无人机根据视觉特征的单应性变换，计算得到无人机相对降落合作目标的位姿。具体地，无人机位姿计算部分主要用于计算当前无人机相对降落目标的位姿变化；视觉传感器(相机)被固定安装在无人机机体重心位置，并垂直朝下，说明视觉***与无人机位姿运动一致；将上述检测到的不同合作特征作为输入，并根据这些特征在视觉投影平面的变化，计算当前时刻无人机(视觉***)相对降落目标的位姿；在获取视觉图像帧之间的时间内，无人机利用机载IMU的角速度、加速度信息进行积分计算，得到当前时刻的无人机相对位姿；当同时获得到IMU和视觉信息，按照基于UKF的方法计算无人机位姿。
自适应位姿融合，用于对不同的视觉位姿解进行自适应融合，实现无人机位姿的最优估计。具体地，自适应位姿融合部分将所有基于不同尺度的视觉特征计算得到的位姿解以及相应的协方差信息(主动视觉检测+无人机位姿计算)作为输入；在联邦滤波框架下，采用协方差信息作为权值因子，对不同的输入位姿解进行权值求和，计算值被认为是无人机当前位姿的最优估计。
其中，主动视觉检测方法至少包括图像目标提取和特征自主选择两步骤，无人机机载视觉***对降落合作目标进行连续观测，采用图像目标提取方法实现所有降落合作目标检测和特征提取，进而利用特征自主选择方法对所有检测到的目标进行筛选，保留当前视野范围内检测精度较高的目标信息。
无人机位姿计算方法包括基于视觉与惯性的位姿测量和基于无迹卡尔曼滤波(UKF)的位姿计算；所述基于视觉与惯性的位姿测量方法主要利用惯性或视觉检测信息对无人机相对位姿进行计算；所述基于UKF的位姿计算方法主要负责处理同时具有惯性和视觉检测信息情况下的位姿计算，提高位姿计算的输出频率。
自适应位姿融合方法指的是基于联邦滤波的无人机位姿自适应融合和异常监测；基于联邦滤波的自适应融合方法根据相应的协方差信息对所有基于不同视觉特征得到的位姿解进行自适应融合，使得最终的无人机位姿计算最优化；同时，异常监测方法对优化后的位姿解进行持续检测和识别，消除异常值。
图像目标提取方法包括线段特征检测、角点特征检测和几何模式匹配三个步骤，机载视觉***利用这些步骤对实时获取得图像进行处理，并根据点、线之间的几何约束关系完成模式匹配，可同时实现降落合作目标检测与特征提取。
特征自主选择方法模仿人类视觉从周围场景中挑选定位参照物的生物机理，即根据视觉中目标成像比例与相对距离之间的3D-2D投影关系，从不同大小尺度的合作特征组合中选择视景最佳目标用于视觉定位的输入信息。
基于UKF的位姿计算方法以惯性和视觉检测信息为输入，惯性传感器以100或200Hz刷新率的角速度和加速度对无人机位姿进行累积计算，而视觉检测信息通过视觉单应性的转换计算无人机位姿；获得的两种位姿解在贝叶斯框架下相互修正的同时，得到修正值对应的协方差信息；无人机随时间变化的非线性状态转移通过无迹变换实现。
自适应位姿融合方法将上述的视觉位姿计算作模块化处理，利用各模块输出的位姿解和相应协方差进行联邦融合，并对各模块输出的异常状态进行监测，为无人机在自主降落阶段提供连续、平稳的位姿估计。
本发明还提供了一种基于主动视觉的无人机位姿自适应估计***，主要用于实现上述的无人机位姿自适应估计方法，该***至少包括：
主动视觉检测模块，用于无人机视觉对降落合作目标检测和特征提取，为位姿计算模块提供相对可靠、稳定的2D图像特征；
无人机位姿计算模块，依据提取的2D图像特征信息，计算当前时刻无人机相对降落合作目标的位姿；在图像帧之间，采用机载惯性测量单元(IMU)模块提供的角速度与加速度信息对无人机位姿进行积分计算；利用UKF对视觉和惯性信息进行校正，得到可靠的位姿结果；
自适应位姿融合模块，用于对多个无人机位姿计算模块的输出结果进行自适应融合，实现无人机位姿及运动状态的最优估计。
按上述方案，所述主动视觉检测模块至少包括图像目标提取和特征自主选择两部分。图像目标提取部分采用特征检测与模式匹配的方法对视野范围内合作特征进行识别和提取，如图2所示。这些合作特征不仅为无人机视觉提供方位信息，而且具有唯一的图形模式。利用Harris角点特征与Hough变换算法对上述图像进行特征提取与匹配，根据点、线特征组合关系完成目标(合作特征)识别，同时获取该合作特征的的点对应信息。这些点对应信息可以为无人机位姿计算提供输入。
如图3所示，降落合作目标由一系列不同比例尺度的合作特征构成。这些具备不同比例尺度特征个数被定义为层数，由目标平面与无人机相机之间距离所决定。层数越多的特征结构随着距离增大，检测精度退化越严重。因此，特征自主选择部分不仅要满足无人机降落任务需求，也应该保证目标的检测性能。根据相机小孔成像原理，实际长度D的合作特征在相机视野中的长度为
其中f表示相机焦距，D表示合作特征实际尺寸，H表示相机与合作特征之间相对距离。这种合作特征的实际尺寸与相对距离之间的关系可以描述为
其中Di表示第i层的合作特征尺度。所有在不同视觉层面的合作特征真实尺度根据公式
变化，θk表示第k层合作特征相对于第k-1层的尺度比例。为了使合作特征的尺寸在相机视野中呈现相同大小，如图4所示，所有合作特征与相机之间的距离可以通过公式(2)相关联，
假设无人机由飞行高度Hmax开始降落至高度Hmin，且
那么降落目标所含的视觉特征层数L由下式计算得到。例如，无人机从5m降落至相对目标0.1m，至少需要两层不同尺度比例的合作特征。
进一步地，无人机位姿计算模块主要依靠视觉与惯性信息对无人机当前位姿进行计算。在视觉***中，单应性能够表示像平面与像平面，或像平面与目标平面对应点之间的投影变换关系，也可以实现两个平面特征点之间的匹配，如图4所示。设目标坐标系建立在目标平面上，即目标平面上所有点在Z轴方向上都为0。目标平面W与图像i之间的单应性关系，可以用一个3×3大小的矩阵
表示：
其中s1是尺度标量，M＝[X,Y]T表示目标平面上的特征点，相应齐次坐标
mi＝[μ,v]T对应M在图像i中像点，相应齐次坐标
同时，图像平面i与图像平面j之间的单应性关系，也可以用3×3大小矩阵
表示：
其中s2是尺度标量，mi和mj表示图像i与图像j匹配点，
和
对应齐次坐标形式。单应性矩阵求解被认为是一个非线性最小二乘问题，如
对应的最小化可以通过Levenberg-Marquardt算法计算得到。无人机相对位姿通过单应性分解计算得到。因为单应性包含相机内参数和外参数，且视觉***内参数矩阵K已知，优化后得到的H通过分解得到无人机相对位移t和旋转R。具***姿解析如下所示
其中，hi表示H的第i-th列,ri表示R的第i-th列。由于旋转矩阵R的所有列向量是相互正交的，r3能够通过r1×r2计算被确定。然而，一般情况下获取的旋转矩阵受到图像检测数据的噪声影响，不完全满足正交性。这里采用奇异值分解对旋转矩阵R优化产生新的完全正交的旋转矩阵，其旋转意义与之前矩阵基本保持一致。-R-1t，R-1表示无人机机载视觉相对降落目标的方位，包括平移和旋转。由于相机垂直朝下与无人机机体固定不变，那么无人机的相对位姿变得可解。
按上述方案，所述无人机位姿计算模块利用IMU在UKF框架下对视觉位姿解进行实时修正或补偿，其中IMU作为预测信息，视觉结果作为更新信息，对无人机当前位姿和运动状态进行计算，如图5所示。机载视觉***(右下方)输出位姿测量值
惯性***(右上方)负责输出加速度和角速度信息
而位姿估计的核心UKF框架(左侧)主要包括***预测和测量更新两部分。f(·)表示随时间连续变化的状态转移方程，Q为***噪声协方差，h(·)表示基于视觉位姿的状态测量方程，R为测量噪声协方差。该UKF框架的信息源包括IMU和视觉两部分，基于状态预测由IMU驱动的UKF，其状态量
其中，
分别表示无人机相对3D位置、速度和姿态角。IMU能够获取刚体三个轴方向的加速度和旋转速度。
表示IMU加速度和陀螺仪偏置项，而视觉***负责提供无人机本身相对于降落目标的3D位置和姿态。假设惯性测量信息中包含一个偏置项b和一个随机干扰项n，机载IMU的角速度ω和加速度a模型表示为，
ω＝ωm-bω-nω a＝am-ba-na (7)
其中，下标m表示测量值。非静态偏置项b的动态变化由一个随机过程近似，
因此，关于整个无人机运动状态通过以下微分等式表示，
其中C(q)表示姿态四元数q对应的旋转矩阵，g表示世界坐标系下的重力矢量，Ω(ω)表示ω的四元数乘法矩阵。机体加速度和角速度信息用于UKF的状态预测，而基于视觉的位姿解析主要用于UKF状态更新。对于视觉方法获取的位置
和姿态
其测量模型可表示为
其中
表示IMU的姿态，
表示由视觉坐标系至世界坐标系的旋转量。
按上述方案，所述自适应位姿融合模块将主动视觉检测与无人机位姿计算模块作为子单元，采用联邦滤波作为信息融合框架。图6展示了自适应融合的总体架构。其中，n个子滤波器分别用于处理所有这些合作特征获取的视觉位姿解Zi。每个子滤波器都是独立的无迹卡尔曼滤波UKF，分别包含预测和更新，以相应的视觉解作为测量信息。融合部分负责计算分配参数βi和最终的优化解。机载IMU作为该联邦滤波的参考信息，负责提供无人机状态预测的实时加速度和加速度数据。详细地，所有子滤波器的估计状态与全局更新Xi是一致的，如公式(11)所示。在任一子滤波器当中，无人机运动状态Xi根据IMU进行预测，继而利用视觉测量值进行更新。由上述可知，基于视觉我们可以获取的无人机3D位置(x,y,z)与姿态角
分别对应倾斜角、滚动角、偏航角，这些参数在融合过程被称为测量信息Zi(i＝1,2,3,…)，如公式(12)所示。
由这些子滤波器获得的估计状态
以及对应协方差Pi被传递至全局融合模块。Pi能够说明对应滤波器的性能，这意味着基于合作特征i的视觉模块的检测精度能够通过Pi反映。因此，通过将所有可得到的状态
结合相应协方差Pi加权求和(协方差做权值与状态相乘，求和，参见公式13-15)，能够得到全局的状态估计
以及相应的***噪声
和状态协方差
计算公式如下所示，
每个基于合作特征的视觉估计模块在不同阶段或不同距离范围的精度是不同的。该联邦式滤波框架引进参数βi 
来定义各个子滤波器在下一时刻的***噪声Qi和协方差Pi，动态地调节每个子滤波器的置信度，从而实现自适应融合。如公式(16)所示，βi与对应子滤波器的协方差Pi成反比，。通过这种自适应融合方式，当某个视觉估计模块出现相对明显检测或定位误差时，利用βi的调整能够减轻该视觉模块对整个全局估计的影响。
按上述方案，所述自适应位姿融合模块还包括异常监测部分，负责在融合之前监测和消除视觉模块输出的错误结果，确保自适应融合过程中输入信息的持续可靠。视觉坐标系与机体(惯性)坐标系之间的旋转关系
在融合过程理论上是恒定的。该旋转量在每一时刻k通过下式进行计算
与融合方法的更新频率相比，该值变化相对缓慢。因此，
序列可通过中值滤波平滑操作，消除序列中的异常值或跳变值。具体地，机体坐标系与视觉坐标系之间的旋转估计
利用一个窗口尺寸为N的中值滤波器实现，
当
超过
的3倍方差边界范围，该时刻的视觉模块被认为是输出一个误差明显的位姿解。
本发明实施例的计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述实施例中无人机位姿自适应估计方法。
综上，本发明基于主动视觉的无人机位姿自适应估计方法，根据无人机降落过程相对高度的变化，建立一种多尺度合作特征的目标模型并提供相应检测算法；依靠这些检测得到的合作特征作为测量信息，提出一种基于视觉&惯性的无人机位姿估计方法；建立联邦式滤波框架，对无人机位姿解自适应估计，通过调整分配参数对基于不同尺度合作特征的位姿估计模块进行动态融合。本发明可确保在由远及近的降落过程中无人机视觉定位的精度稳定，还可以有效提高面向自主降落任务无人机视觉的有效测量精度和范围，也适用于机器人视觉感知与定位研究。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于主动视觉的无人机位姿自适应估计方法，其特征在于，至少包括：
主动视觉检测，通过无人机机载视觉***对降落合作目标进行连续观测，并对所有检测到的降落合作目标进行筛选，保留当前视野范围内检测精度较高的降落合作目标信息；所述降落合作目标包含多组不同尺度的合作特征，每组合作特征包含不同的特定几何图形；
无人机位姿计算，以视觉2D特征、惯性测量信息为输入，实时计算当前无人机相对合作目标的位姿；
自适应位姿融合，根据相应的协方差信息对所有计算的无人机相对降落合作目标的位姿解进行基于联邦滤波的自适应融合，得到最优化的无人机位姿。
2.根据权利要求1所述的无人机位姿自适应估计方法，其特征在于，所述主动视觉检测至少包括图像目标提取和特征自主选择两步骤，无人机机载视觉***对降落合作目标进行连续观测，采用图像目标提取方法实现所有降落合作目标检测和特征提取，进而利用特征自主选择方法对所有检测到的目标进行筛选，保留当前视野范围内检测精度较高的目标信息。
3.根据权利要求1所述的无人机位姿自适应估计方法，其特征在于，无人机位姿计算方法包括基于视觉与惯性的位姿测量和基于无迹卡尔曼滤波的位姿计算；基于视觉与惯性的位姿测量主要利用惯性或视觉检测信息对无人机相对位姿进行计算；基于无迹卡尔曼滤波的位姿计算负责计算同时具有惯性和视觉检测信息情况下的位姿。
4.根据权利要求1所述的无人机位姿自适应估计方法，其特征在于，当仅有惯性测量信息输入时，利用其角速度和加速度信息的时间积分，确定无人机相对上一时刻的位姿变化；当获取到视觉2D特征时，无人机根据视觉特征的单应性变换，计算得到无人机相对降落合作目标的位姿。
5.根据权利要求1所述的无人机位姿自适应估计方法，其特征在于，还包括步骤：
异常监测，对优化后的位姿解进行持续检测和识别，消除异常值。
6.根据权利要求2所述的无人机位姿自适应估计方法，其特征在于，图像目标提取的方法包括线段特征检测、角点特征检测和几何模式匹配三个步骤，机载视觉***利用这些步骤对实时获取得图像进行处理，并根据点、线之间的几何约束关系完成模式匹配，同时实现降落合作目标检测与特征提取。
7.根据权利要求2所述的无人机位姿自适应估计方法，其特征在于，特征自主选择的方法模仿人类视觉从周围场景中挑选定位参照物的生物机理，根据视觉中目标成像比例与相对距离之间的3D-2D投影关系，从不同大小尺度的降落合作目标的组合中选择视景最佳目标用于视觉定位的输入信息。
8.根据权利要求3所述的无人机位姿自适应估计方法，其特征在于，基于无迹卡尔曼滤波的位姿计算方法以惯性和视觉检测信息为输入，惯性传感器以100或200Hz刷新率的角速度和加速度对无人机位姿进行累积计算，而视觉检测信息通过视觉单应性的转换计算无人机位姿；获得的两种位姿解在贝叶斯框架下相互修正的同时，得到修正值对应的协方差信息；无人机随时间变化的非线性状态转移通过无迹变换实现。
9.根据权利要求3所述的无人机位姿自适应估计方法，其特征在于，自适应位姿融合方法将视觉位姿计算作模块化处理，利用各模块输出的位姿解和相应协方差进行联邦融合，并对各模块输出的异常状态进行监测，为无人机在自主降落阶段提供连续、平稳的位姿估计。
10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行如权利要求1-9中任一项所述的无人机位姿自适应估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911133525.1A CN110865650B (zh) | 2019-11-19 | 2019-11-19 | 基于主动视觉的无人机位姿自适应估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911133525.1A CN110865650B (zh) | 2019-11-19 | 2019-11-19 | 基于主动视觉的无人机位姿自适应估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110865650A true CN110865650A (zh) | 2020-03-06 |
| CN110865650B CN110865650B (zh) | 2022-12-20 |
Family
ID=69654937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911133525.1A Active CN110865650B (zh) | 2019-11-19 | 2019-11-19 | 基于主动视觉的无人机位姿自适应估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865650B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112504261A (zh) * | 2020-11-09 | 2021-03-16 | 中国人民解放军国防科技大学 | 一种基于视觉锚点的无人机降落位姿滤波估计方法及*** |
| CN113066050A (zh) * | 2021-03-10 | 2021-07-02 | 天津理工大学 | 一种基于视觉的空投货台航向姿态解算方法 |
| CN113608556A (zh) * | 2021-07-19 | 2021-11-05 | 西北工业大学 | 一种基于多传感器融合的多机器人相对定位方法 |
| CN113838215A (zh) * | 2021-07-30 | 2021-12-24 | 歌尔光学科技有限公司 | Vr碰撞检测方法及*** |
| CN113865579A (zh) * | 2021-08-06 | 2021-12-31 | 湖南大学 | 无人机位姿参数的测量***及方法 |
| CN114415736A (zh) * | 2022-04-01 | 2022-04-29 | 之江实验室 | 一种无人机多阶段视觉精准降落方法和装置 |
| CN114543797A (zh) * | 2022-02-18 | 2022-05-27 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| CN116399327A (zh) * | 2023-04-10 | 2023-07-07 | 烟台欣飞智能***有限公司 | 基于多源数据融合的无人机定位*** |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216319A (zh) * | 2008-01-11 | 2008-07-09 | 南京航空航天大学 | 基于联邦ukf算法的低轨卫星多传感器容错自主导航方法 |
| CN102991681A (zh) * | 2012-12-25 | 2013-03-27 | 天津工业大学 | 无人机视觉着陆***中地面目标识别方法 |
| CN103942813A (zh) * | 2014-03-21 | 2014-07-23 | 杭州电子科技大学 | 一种电动轮椅运动下的单运动目标实时检测方法 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| CN104460685A (zh) * | 2014-11-21 | 2015-03-25 | 南京信息工程大学 | 一种四旋翼飞行器的控制***及其控制方法 |
| CN105197252A (zh) * | 2015-09-17 | 2015-12-30 | 武汉理工大学 | 一种小型无人机降落方法及*** |
| CN106203439A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于标志物多特征融合的无人机自动寻的着陆方法 |
| CN106687878A (zh) * | 2014-10-31 | 2017-05-17 | 深圳市大疆创新科技有限公司 | 用于利用视觉标记进行监视的***和方法 |
| CN106873628A (zh) * | 2017-04-12 | 2017-06-20 | 北京理工大学 | 一种多无人机跟踪多机动目标的协同路径规划方法 |
| CN107239077A (zh) * | 2017-06-28 | 2017-10-10 | 歌尔科技有限公司 | 一种无人机移动距离计算***及方法 |
| CN107289948A (zh) * | 2017-07-24 | 2017-10-24 | 成都通甲优博科技有限责任公司 | 一种基于多传感器融合的无人机导航***及方法 |
| US9924320B1 (en) * | 2016-12-30 | 2018-03-20 | Uber Technologies, Inc. | Locating a user device |
| US20180203467A1 (en) * | 2015-09-15 | 2018-07-19 | SZ DJI Technology Co., Ltd. | Method and device of determining position of target, tracking device and tracking system |
| CN109209229A (zh) * | 2018-10-15 | 2019-01-15 | 中国石油集团渤海钻探工程有限公司 | 一种水平井着陆过程中的轨迹调控方法 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109407708A (zh) * | 2018-12-11 | 2019-03-01 | 湖南华诺星空电子技术有限公司 | 一种基于多信息融合的精准着陆控制***及着陆控制方法 |
| US20190107440A1 (en) * | 2015-05-12 | 2019-04-11 | BioSensing Systems, LLC | Apparatuses And Methods For Bio-Sensing Using Unmanned Aerial Vehicles |
| CN109737959A (zh) * | 2019-03-20 | 2019-05-10 | 哈尔滨工程大学 | 一种基于联邦滤波的极区多源信息融合导航方法 |
| US10304208B1 (en) * | 2018-02-12 | 2019-05-28 | Avodah Labs, Inc. | Automated gesture identification using neural networks |
| CN110018691A (zh) * | 2019-04-19 | 2019-07-16 | 天津大学 | 小型多旋翼无人机飞行状态估计***和方法 |
| US20190248487A1 (en) * | 2018-02-09 | 2019-08-15 | Skydio, Inc. | Aerial vehicle smart landing |
-
2019
- 2019-11-19 CN CN201911133525.1A patent/CN110865650B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216319A (zh) * | 2008-01-11 | 2008-07-09 | 南京航空航天大学 | 基于联邦ukf算法的低轨卫星多传感器容错自主导航方法 |
| CN102991681A (zh) * | 2012-12-25 | 2013-03-27 | 天津工业大学 | 无人机视觉着陆***中地面目标识别方法 |
| CN103942813A (zh) * | 2014-03-21 | 2014-07-23 | 杭州电子科技大学 | 一种电动轮椅运动下的单运动目标实时检测方法 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| CN106687878A (zh) * | 2014-10-31 | 2017-05-17 | 深圳市大疆创新科技有限公司 | 用于利用视觉标记进行监视的***和方法 |
| CN104460685A (zh) * | 2014-11-21 | 2015-03-25 | 南京信息工程大学 | 一种四旋翼飞行器的控制***及其控制方法 |
| US20190107440A1 (en) * | 2015-05-12 | 2019-04-11 | BioSensing Systems, LLC | Apparatuses And Methods For Bio-Sensing Using Unmanned Aerial Vehicles |
| US20180203467A1 (en) * | 2015-09-15 | 2018-07-19 | SZ DJI Technology Co., Ltd. | Method and device of determining position of target, tracking device and tracking system |
| CN105197252A (zh) * | 2015-09-17 | 2015-12-30 | 武汉理工大学 | 一种小型无人机降落方法及*** |
| CN106203439A (zh) * | 2016-06-27 | 2016-12-07 | 南京邮电大学 | 基于标志物多特征融合的无人机自动寻的着陆方法 |
| US9924320B1 (en) * | 2016-12-30 | 2018-03-20 | Uber Technologies, Inc. | Locating a user device |
| CN106873628A (zh) * | 2017-04-12 | 2017-06-20 | 北京理工大学 | 一种多无人机跟踪多机动目标的协同路径规划方法 |
| CN107239077A (zh) * | 2017-06-28 | 2017-10-10 | 歌尔科技有限公司 | 一种无人机移动距离计算***及方法 |
| CN107289948A (zh) * | 2017-07-24 | 2017-10-24 | 成都通甲优博科技有限责任公司 | 一种基于多传感器融合的无人机导航***及方法 |
| US20190248487A1 (en) * | 2018-02-09 | 2019-08-15 | Skydio, Inc. | Aerial vehicle smart landing |
| US10304208B1 (en) * | 2018-02-12 | 2019-05-28 | Avodah Labs, Inc. | Automated gesture identification using neural networks |
| CN109209229A (zh) * | 2018-10-15 | 2019-01-15 | 中国石油集团渤海钻探工程有限公司 | 一种水平井着陆过程中的轨迹调控方法 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109407708A (zh) * | 2018-12-11 | 2019-03-01 | 湖南华诺星空电子技术有限公司 | 一种基于多信息融合的精准着陆控制***及着陆控制方法 |
| CN109737959A (zh) * | 2019-03-20 | 2019-05-10 | 哈尔滨工程大学 | 一种基于联邦滤波的极区多源信息融合导航方法 |
| CN110018691A (zh) * | 2019-04-19 | 2019-07-16 | 天津大学 | 小型多旋翼无人机飞行状态估计***和方法 |
Non-Patent Citations (6)
| Title |
|---|
| DAVIDE FALANGA等: "Vision-based autonomous quadrotor landing on a moving platform", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON SAFETY, SECURITY AND RESCUE ROBOTICS》 * |
| HAIWEN YUAN等: "A Hierarchical Vision-Based UAV Localization for an", 《ELECTRONICS》 * |
| YUE MENG等: "A Vision/Radar/INS Integrated Guidance Method for Shipboard Landing", 《 IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 * |
| 于耕等: "基于无迹卡尔曼滤波的仪表着陆***/GBAS着陆***/惯性导航***组合导航融合方法", 《科学技术与工程》 * |
| 吴良晶: "基于视觉的无人机自主着陆位姿估计器设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 田锋: "基于芯片引线键合的视觉定位技术设计与研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112504261A (zh) * | 2020-11-09 | 2021-03-16 | 中国人民解放军国防科技大学 | 一种基于视觉锚点的无人机降落位姿滤波估计方法及*** |
| CN112504261B (zh) * | 2020-11-09 | 2024-02-09 | 中国人民解放军国防科技大学 | 一种基于视觉锚点的无人机降落位姿滤波估计方法及*** |
| CN113066050A (zh) * | 2021-03-10 | 2021-07-02 | 天津理工大学 | 一种基于视觉的空投货台航向姿态解算方法 |
| CN113066050B (zh) * | 2021-03-10 | 2022-10-21 | 天津理工大学 | 一种基于视觉的空投货台航向姿态解算方法 |
| CN113608556A (zh) * | 2021-07-19 | 2021-11-05 | 西北工业大学 | 一种基于多传感器融合的多机器人相对定位方法 |
| CN113608556B (zh) * | 2021-07-19 | 2023-06-30 | 西北工业大学 | 一种基于多传感器融合的多机器人相对定位方法 |
| CN113838215A (zh) * | 2021-07-30 | 2021-12-24 | 歌尔光学科技有限公司 | Vr碰撞检测方法及*** |
| CN113865579A (zh) * | 2021-08-06 | 2021-12-31 | 湖南大学 | 无人机位姿参数的测量***及方法 |
| CN114543797A (zh) * | 2022-02-18 | 2022-05-27 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| CN114543797B (zh) * | 2022-02-18 | 2024-06-07 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| CN114415736A (zh) * | 2022-04-01 | 2022-04-29 | 之江实验室 | 一种无人机多阶段视觉精准降落方法和装置 |
| CN116399327A (zh) * | 2023-04-10 | 2023-07-07 | 烟台欣飞智能***有限公司 | 基于多源数据融合的无人机定位*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110865650B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110865650B (zh) | 基于主动视觉的无人机位姿自适应估计方法 | |
| US20210012520A1 (en) | Distance measuring method and device | |
| CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
| CN103149939B (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN111024066A (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
| CN108406731A (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| CN105931275A (zh) | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 | |
| US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| US10991105B2 (en) | Image processing device | |
| CN114623817A (zh) | 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法 | |
| CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
| CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
| CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
| CN110598370B (zh) | 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计 | |
| CN114910069A (zh) | 一种无人机的融合定位初始化***及方法 | |
| CN112146627A (zh) | 在无特征表面上使用投影图案的飞行器成像*** | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| CN110108894B (zh) | 一种基于相位相关和光流法的多旋翼速度测量方法 | |
| CN117739972A (zh) | 一种无全球卫星定位***的无人机进近阶段定位方法 | |
| CN112862818A (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
| CN116952229A (zh) | 无人机定位方法、装置、***和存储介质 | |
| Ramos et al. | Vision-based tracking of non-cooperative space bodies to support active attitude control detection | |
| Aminzadeh et al. | Implementation and performance evaluation of optical flow navigation system under specific conditions for a flying robot | |
| Zheng et al. | Integrated navigation system with monocular vision and LIDAR for indoor UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |