CN107014380B - 基于飞行器的视觉导航与惯性导航的组合导航方法 - Google Patents
基于飞行器的视觉导航与惯性导航的组合导航方法 Download PDFInfo
- Publication number
- CN107014380B CN107014380B CN201710386393.8A CN201710386393A CN107014380B CN 107014380 B CN107014380 B CN 107014380B CN 201710386393 A CN201710386393 A CN 201710386393A CN 107014380 B CN107014380 B CN 107014380B
- Authority
- CN
- China
- Prior art keywords
- aircraft
- image sequence
- coordinate system
- image
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于飞行器的视觉导航与惯性导航的组合导航方法,包括步骤:一、建立二维平面直角图片坐标系;二、获取视频图像数据和飞行器位姿数据,并对图像进行预处理;三、特征点的连续跟踪;四、建立三维航迹坐标系;五、计算航迹速度矢量;六、飞行器的姿态解算;七、数据融合及航迹角解算;八、坐标转换并获取飞行器的位移矩阵;九、多次重复步骤三至步骤八,直至完成连续采集多帧图像的位移矩阵集合,实现连续组合导航。本发明通过视觉导航得出飞行器运动的航迹速度矢量,融合惯性导航数据,对视觉导航的误差进行补偿修正,最终实现对飞行器的运动轨迹的重建,从而使飞行器稳定的自主飞行。
Description
技术领域
本发明属于组合导航技术领域,具体涉及一种基于飞行器的视觉导航与惯性导航的组合导航方法。
背景技术
飞行器具有机械结构简单、运动灵活、姿态多样、可扩展性好和易维护等优点,因而在勘探、测绘、救援、航拍等领域扮演越来越重要的角色。而这些领域无一不要求相当高的精确性、可靠性和自主性,现有的飞行器导航方法多采用GPS导航,在室外的定位精度可以达到1.5米,对于一般用户的定为服务可以满足。然而在无人机上,普通廉价的GPS接收机的精度不能满足各种复杂姿态的导航精度,并且在复杂环境下难以定位,如大型工厂内部、山区和矿井下方等环境下,因此,现如今缺少一种基于飞行器的视觉导航与惯性导航的组合导航方法,通过对惯性传感器所采集的数据进行四元数解算,得出飞行器空间运动姿态的欧拉角。视觉导航通过光流场的三维重建得出飞行器运动的航迹速度矢量,然后结合传感器采集的实时高度数据,得出载***置和姿态信息,并融合惯性导航数据,来实现无人机高精度、高可靠性和低噪声的导航。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于飞行器的视觉导航与惯性导航的组合导航方法,通过视觉导航得出飞行器运动的航迹速度矢量,融合惯性导航数据,对视觉导航的误差进行补偿修正,最终实现对飞行器的运动轨迹的重建,从而使飞行器稳定的自主飞行,便于推广使用。
为解决上述技术问题,本发明采用的技术方案是:基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于,该方法包括以下步骤:
步骤一、建立二维平面直角图片坐标系:采用飞行器控制单元建立二维平面直角图片坐标系,在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系Ok-xkyk,其中,以飞行器正东方向为二维平面直角图片坐标系Ok-xkyk的x轴,以飞行器正北方向为二维平面直角图片坐标系Ok-xkyk的y轴;
所述飞行器为四轴飞行器,所述四轴飞行器包括矩形镂空的机身和四个分别沿机身的四个直角所指方向向外安装的镂空的机翼,机翼远离机身的一端安装有螺旋桨;
步骤二、获取视频图像数据和飞行器位姿数据,并对图像进行预处理:采用飞行器控制单元控制飞行器起飞,通过高清摄像头实时采集飞行器飞行过程中视频图像序列并对所述视频图像序列进行灰度预处理生成预处理图像序列IN(u,v),高清摄像头安装在机身的底部,其中,N为视频图像序列中高清摄像头采集的图像序列的编号且N取不小于2的正整数,u为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系 Ok-xkyk的x轴同向的图片横坐标,v为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的y轴同向的图片纵坐标,同时通过惯性传感器实时采集飞行器飞行过程中位姿数据,并将飞行器飞行过程中位姿数据传输至飞行器控制单元;
步骤三、特征点的连续跟踪,过程如下:
步骤301、飞行器控制单元设置每帧预处理图像序列中特征点数量阈值Th,并采用Harris角点检测法对首帧预处理图像序列I1(u,v)进行特征点提取;
步骤302、判断预处理图像序列Ii(u,v)中特征点数量是否小于特征点数量阈值Th:当预处理图像序列Ii(u,v)中特征点数量小于特征点数量阈值Th 时,通过飞行器控制单元对预处理图像序列Ii(u,v)采用Harris角点检测法进行特征点提取后执行步骤303;当预处理图像序列Ii(u,v)中特征点数量不小于特征点数量阈值Th时,执行步骤303,其中,i为正整数且i=1,2,…, N-1;
步骤303、飞行器控制单元通过图像金字塔并采用光流法逐层对连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)进行特征点匹配,当 Ii(ux,uy)=Ii+1(px,py)+ε成立,则预处理图像序列Ii(u,v)中的特征点U=(ux,uy) 与预处理图像序列Ii+1(u,v)中的特征点P=(px,py)匹配成功,其中,ε为图像灰度误差值,特征点P=(px,py)满足P=U+d,d为预处理图像序列Ii+1(u,v)中的特征点P至预处理图像序列Ii(u,v)中的特征点U的运动位移矢量;
步骤304、多次重复步骤302至步骤303,直至实现连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)的全部特征点的匹配;
步骤四、建立三维航迹坐标系:首先,根据公式计算图像中的坐标变换到实际中的坐标的坐标变换系数ζ,其中,σ为图像中特征点的尺寸,h为通过声呐传感器或气压计实时采集所述飞行器相对地面飞行高度,B为高清摄像头的放大倍数,声呐传感器和气压计均安装在机身的底部;然后,对二维平面直角图片坐标系Ok-xkyk,增加以飞行器相对地面升高的方向为z轴正方向,建立三维航迹坐标系Ok-xkykzk;
步骤五、根据公式计算航迹速度矢量 Vk,其中,f为高清摄像头的图像采集频率,Pj和Uj分别为连续两帧预处理图像序列对应第j个特征点在三维航迹坐标系Ok-xkykzk中的坐标,其中,j为非零正整数, hpj为连续两帧预处理图像序列中获取后一帧图像序列时飞行器相对地面飞行高度,huj为连续两帧预处理图像序列中获取前一帧图像序列时飞行器相对地面飞行高度,pxj和pyj分别为所述后一帧图像序列中第j个特征点的图片横坐标和图片纵坐标,uxj和uyj分别为所述前一帧图像序列中第j个特征点的图片横坐标和图片纵坐标;
步骤六、飞行器的姿态解算:首先,采用惯性传感器采集四轴飞行器运行状态参数并通过惯性传感器自身数据融合向处理器传输四轴飞行器的姿态四元数q且姿态四元数q=q4+q1i+q2j+q3k,q4为姿态四元数q的实部,q1、q2和q3分别为姿态四元数q的三个虚部;然后,根据计算四轴飞行器的翻滚角俯仰角θ和偏航角,得到四轴飞行器姿态的欧拉角矩阵Ω(ω(t)),其中,欧拉角矩阵
步骤八、坐标转换并获取飞行器的位移矩阵,过程如下:
步骤801、根据公式将相对速度矢量Vυ从三维航迹坐标系Ok-xkykzk变换到地面坐标系Og-xgygzg,得到相对地面的真实速度矢量Vt;
步骤802、根据公式St=∫(Vxt,Vyt,Vzt)dt,得到飞行器的位移矢量St;
步骤九、(N-1)次重复步骤三至步骤八,直至完成连续采集多帧图像的位移矩阵集合,实现连续组合导航。
上述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述飞行器控制单元包括处理器和蓄电池,以及均与处理器相接的存储器、定时器和用于与地面监测中心数据传输的无线通信模块,处理器的输入端接有避障模块,处理器的输出端接有用于驱动螺旋桨转动的电机,处理器采用电机驱动器驱动电机转动,惯性传感器的信号输出端与处理器的输入端相接,采用处理器对高清摄像头实时采集的图像数据进行灰度预处理;螺旋桨上安装有用于指示所述飞行器位置的照明指示灯,照明指示灯的输入端与处理器的输出端相接。
上述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述存储器中存储有飞行器的高度阈值,当声呐传感器采集的飞行器高度小于存储器中存储的飞行器的高度阈值时,采用声呐传感器获取所述飞行器相对地面飞行高度;当声呐传感器采集的飞行器高度大于存储器中存储的飞行器的高度阈值时,采用气压计获取所述飞行器相对地面飞行高度。
上述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述j的取值范围满足:200≤j≤600。
上述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述预处理图像序列IN(u,v)的灰度值为0~255,所述图像灰度误差值ε的取值范围满足:0≤ε≤30。
上述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述高清摄像头的放大倍数B为15~30。
本发明与现有技术相比具有以下优点:
1、本发明建立图片坐标系,获取视频图像数据,采用光流法逐层对连续两帧预处理图像序列进行特征点匹配,实现图片中的特征点匹配现实空间实际物体的连续跟踪导航,同时获取飞行器位姿数据,即引入飞行器的高度数据,获取飞行器航迹速度矢量的三维运动轨迹,其中,根据摄像头的放大倍数以及飞行器的实际飞行高度,将物***于二维图片中的图片尺寸转换为现实尺寸,将二维平面直角图片坐标系转换为三维航迹坐标系,便于推广使用。
2、本发明航迹速度矢量计算过程中,由于同一帧图像中不同特征点的速度矢量方向和大小均不相同,因而会造成导航数据的不稳定,采用矢量的叠加原理,对同一时刻同一帧图像中的所有特征点的速度矢量进行叠加,从而得到一个合成运动的航迹速度矢量,可靠稳定,使用效果好。
3、本发明方法步骤简单,在视觉导航数据和惯性导航数据融合时,视觉导航数据由于飞行器的翻转震荡会产生不可避免的误差,融合惯性导航数据的目的可抑制并修正其所产生的误差;另外,通过三维航迹坐标系Ok-xkykzk到地面坐标系Og-xgygzg的变换获取飞行器相对地面的飞行轨迹,实现连续导航,便于推广使用。
综上所述,本发明通过视觉导航得出飞行器运动的航迹速度矢量,融合惯性导航数据,对视觉导航的误差进行补偿修正,最终实现对飞行器的运动轨迹的重建,从而使飞行器稳定的自主飞行,便于推广使用。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明采用的组合导航设备的结构示意图。
图2为本发明采用的组合导航设备的电路原理框图。
图3为本发明的方法流程图。
图4为本发明数据融合前的航迹方位角频率的分布直方图。
图5为本发明数据融合后的航迹方位角频率的分布直方图。
图6为本发明飞行器位于地面坐标系中的位移矩阵实测导航图。
附图标记说明:
1—机身; 2—机翼; 3—螺旋桨;
4—飞行器控制单元; 4-1—处理器; 4-2—蓄电池;
4-3—电机驱动器; 4-4—电机; 4-5—定时器;
4-6—存储器; 4-7—无线通信模块; 5—高清摄像头;
6—声呐传感器; 7—气压计; 8—惯性传感器;
9—避障模块; 10—照明指示灯; 11—地面监测中心;
12—显示器。
具体实施方式
如图1至图3所示,本发明的基于飞行器的视觉导航与惯性导航的组合导航方法,包括以下步骤:
步骤一、建立二维平面直角图片坐标系:采用飞行器控制单元4建立二维平面直角图片坐标系,在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系Ok-xkyk,其中,以飞行器正东方向为二维平面直角图片坐标系Ok-xkyk的x轴,以飞行器正北方向为二维平面直角图片坐标系Ok-xkyk的y轴;
所述飞行器为四轴飞行器,所述四轴飞行器包括矩形镂空的机身1和四个分别沿机身1的四个直角所指方向向外安装的镂空的机翼2,机翼2 远离机身1的一端安装有螺旋桨3;
需要说明的是,所述飞行器采用四轴飞行器是为了方便控制飞行器飞行平衡,易于控制,四轴飞行器的机身1采用矩形镂空结构,四轴飞行器的机翼2也采用镂空结构,是为了实现四轴飞行器整体自重的减小,减少螺旋桨起飞的阻力,同时减少电机4-4功耗,进而减少蓄电池4-2电能的消耗,延长飞行器飞行续航时间,四个机翼2分别沿机身1的四个直角所指方向向外安装,是为了更好的使用矩形机身1有效面积,增大机翼2与机身1连接的面积,增加飞行器牢固性,优选的机身1采用正方形结构,实现飞行器整理结构对称,制作简单。
步骤二、获取视频图像数据和飞行器位姿数据,并对图像进行预处理:采用飞行器控制单元4控制飞行器起飞,通过高清摄像头5实时采集飞行器飞行过程中视频图像序列并对所述视频图像序列进行灰度预处理生成预处理图像序列IN(u,v),高清摄像头5安装在机身1的底部,其中,N为视频图像序列中高清摄像头5采集的图像序列的编号且N取不小于2的正整数,u为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的x轴同向的图片横坐标,v为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的y轴同向的图片纵坐标,同时通过惯性传感器8实时采集飞行器飞行过程中位姿数据,并将飞行器飞行过程中位姿数据传输至飞行器控制单元4;
需要说明的是,惯性传感器8的设置是为了采集飞行器的飞行姿态,与高清摄像头5采集的数据图像信息结合实现视觉导航与惯性导航的组合导航。
步骤三、特征点的连续跟踪,过程如下:
步骤301、飞行器控制单元4设置每帧预处理图像序列中特征点数量阈值Th,并采用Harris角点检测法对首帧预处理图像序列I1(u,v)进行特征点提取;
步骤302、判断预处理图像序列Ii(u,v)中特征点数量是否小于特征点数量阈值Th:当预处理图像序列Ii(u,v)中特征点数量小于特征点数量阈值Th 时,通过飞行器控制单元4对预处理图像序列Ii(u,v)采用Harris角点检测法进行特征点提取后执行步骤303;当预处理图像序列Ii(u,v)中特征点数量不小于特征点数量阈值Th时,执行步骤303,其中,i为正整数且i=1,2,…, N-1;
需要说明的是,由于飞行在飞行过程中移动变化,高清摄像头5采集的相邻两帧图像序列的特征点在不断的更新变化,飞行器控制单元4设置每帧预处理图像序列中特征点数量阈值Th的目的是保证相邻两帧图像序列匹配时,有足够的特征点匹配使用。
步骤303、飞行器控制单元4通过图像金字塔并采用光流法逐层对连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)进行特征点匹配,当 Ii(ux,uy)=Ii+1(px,py)+ε成立,则预处理图像序列Ii(u,v)中的特征点U=(ux,uy) 与预处理图像序列Ii+1(u,v)中的特征点P=(px,py)匹配成功,其中,ε为图像灰度误差值,特征点P=(px,py)满足P=U+d,d为预处理图像序列Ii+1(u,v)中的特征点P至预处理图像序列Ii(u,v)中的特征点U的运动位移矢量;
步骤304、多次重复步骤302至步骤303,直至实现连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)的全部特征点的匹配;
本实施例中,所述预处理图像序列IN(u,v)的灰度值为0~255,所述图像灰度误差值ε的取值范围满足:0≤ε≤30。
需要说明的是,采用光流法逐层对连续两帧预处理图像序列进行特征点匹配,由于图像的采集不可避免的存在干扰,预处理图像序列Ii(u,v)中的特征点U=(ux,uy)与预处理图像序列Ii+1(u,v)中的特征点P=(px,py)对应的灰度值接近则,说明一个特征点匹配成功,所述图像灰度误差值ε的设置是为了衡量预处理图像序列Ii(u,v)中的特征点U=(ux,uy)与预处理图像序列 Ii+1(u,v)中的特征点P=(px,py)的近似度,对连续两帧预处理图像序列中的特征点进行一一的匹配,实现图片中的特征点匹配现实空间实际物体的连续跟踪导航。
步骤四、建立三维航迹坐标系:首先,根据公式计算图像中的坐标变换到实际中的坐标的坐标变换系数ζ,其中,σ为图像中特征点的尺寸,h为通过声呐传感器6或气压计7实时采集所述飞行器相对地面飞行高度,B为高清摄像头5的放大倍数,声呐传感器6和气压计7均安装在机身1的底部;然后,对二维平面直角图片坐标系Ok-xkyk,增加以飞行器相对地面升高的方向为z轴正方向,建立三维航迹坐标系 Ok-xkykzk;
本实施例中,所述高清摄像头5的放大倍数B为15~30。
本实施例中,所述存储器4-6中存储有飞行器的高度阈值,当声呐传感器6采集的飞行器高度小于存储器4-6中存储的飞行器的高度阈值时,采用声呐传感器6获取所述飞行器相对地面飞行高度;当声呐传感器6采集的飞行器高度大于存储器4-6中存储的飞行器的高度阈值时,采用气压计7获取所述飞行器相对地面飞行高度。
需要说明的是,声呐传感器6和气压计7均安装在机身1的底部,采用声呐传感器6和气压计7采集所述飞行器相对地面飞行高度,其中,声呐传感器6采集近地高度精度高,气压计7采集远地高度精度高,由于飞行器近地飞行时,螺旋桨产生的气流与地面作用产生翼地效应导致气压计 7采集的飞行器高度数据偏差较大,声呐传感器6是为了配合气压计7采集飞行器近地飞行的高度。
步骤五、根据公式计算航迹速度矢量 Vk,其中,f为高清摄像头5的图像采集频率,Pj和Uj分别为连续两帧预处理图像序列对应第j个特征点在三维航迹坐标系Ok-xkykzk中的坐标,其中,j为非零正整数, hpj为连续两帧预处理图像序列中获取后一帧图像序列时飞行器相对地面飞行高度,huj为连续两帧预处理图像序列中获取前一帧图像序列时飞行器相对地面飞行高度,pxj和pyj分别为所述后一帧图像序列中第j个特征点的图片横坐标和图片纵坐标,uxj和uyj分别为所述前一帧图像序列中第j个特征点的图片横坐标和图片纵坐标;
本实施例中,所述j的取值范围满足:200≤j≤600。
需要说明的是,航迹速度矢量计算过程中,由于同一帧图像中不同特征点的速度矢量方向和大小均不相同,因而会造成导航数据的不稳定,采用矢量的叠加原理,对同一时刻同一帧图像中的所有特征点的速度矢量进行叠加,从而得到一个合成运动的航迹速度矢量
步骤六、飞行器的姿态解算:首先,采用惯性传感器8采集四轴飞行器运行状态参数并通过惯性传感器8自身数据融合向处理器4-1传输四轴飞行器的姿态四元数q且姿态四元数q=q4+q1i+q2j+q3k,q4为姿态四元数q 的实部,q1、q2和q3分别为姿态四元数q的三个虚部;然后,根据计算四轴飞行器的翻滚角俯仰角θ和偏航角,得到四轴飞行器姿态的欧拉角矩阵Ω(ω(t)),其中,欧拉角矩阵
需要说明的是,在视觉导航数据和惯性导航数据融合时,视觉导航数据由于飞行器的翻转震荡会产生不可避免的误差,融合惯性导航数据的目的可抑制并修正其所产生的误差;如图4所示,从数据融合前的航迹方位角分布可以看出由于飞行器的抖动造成航迹方位角出现剧烈变化,导致数据夹杂着噪声,难以用于导航;如图5所示,数据融合的目的是通过矢量合成后,航迹方位角则集中趋于真实的方向,航迹方位角分布集中,这表明该算法很好的抑制了飞行器抖动造成的误差。
步骤八、坐标转换并获取飞行器的位移矩阵,过程如下:
步骤802、根据公式St=∫(Vxt,Vyt,Vzt)dt,得到飞行器的位移矢量St;
需要说明的是,三维航迹坐标系Ok-xkykzk只能表现出相邻两帧图像的相对速度,无法直观的显示真是的航迹轨迹,通过将相对速度矢量Vυ从三维航迹坐标系Ok-xkykzk变换到地面坐标系Og-xgygzg,得到相对地面的真实速度矢量Vt,对速度积分获取飞行器的航行空间位置。
步骤九、(N-1)次重复步骤三至步骤八,直至完成连续采集多帧图像的位移矩阵集合,实现连续组合导航。
本实施例中,所述飞行器控制单元4包括处理器4-1和蓄电池4-2,以及均与处理器4-1相接的存储器4-6、定时器4-5和用于与地面监测中心11数据传输的无线通信模块4-7,处理器4-1的输入端接有避障模块9,处理器4-1的输出端接有用于驱动螺旋桨3转动的电机4-4,处理器4-1 采用电机驱动器4-3驱动电机4-4转动,惯性传感器8的信号输出端与处理器4-1的输入端相接,采用处理器4-1对高清摄像头5实时采集的图像数据进行灰度预处理;螺旋桨3上安装有用于指示所述飞行器位置的照明指示灯10,照明指示灯10的输入端与处理器4-1的输出端相接。
地面监测中心11输出端接有用于显示所述飞行器飞行路径的显示器 12,地面监测中心11优选的采用计算机;所述惯性传感器8优选的采用惯性传感器MPU6050,惯性传感器MPU6050的设置整合了6轴运动处理组件,相较于多组件方案,免除了组合陀螺仪与加速器时之轴间差的问题,减少了大量的封装空间。
需要说明的是,避障模块9的设置是为了避免飞行器在高空飞行时,遇到障碍物而损坏。电机驱动器4-3的设置是为了精确的控制电机4-4转动,进而带动螺旋桨3转动产生向上的上升力。照明指示灯10的设置一是为了飞行器在夜晚飞行时为高清摄像机5提供有效光照,便于图像信息的清晰采集;二是为了飞行器在夜晚飞行时便于操作者观察飞行器的位置,照明指示灯10的移动轨迹确定了飞行器的移动轨迹。
如图6所示,本发明使用时,针对地表环境复杂的情况,对视觉导航有一定的干扰,采用惯性导航数据实现组合式导航,数据融合及航迹角解算后飞行器的轨迹,很好的抑制了噪声,数据在很小范围内震荡,并趋于一个稳定的值,使用效果好,克服了传统GPS导航对环境的依赖的问题,很好的实现了四轴飞行器在复杂地形下的自主飞行,具有很高的实效性、准确性和广泛性。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (6)
1.基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于,该方法包括以下步骤:
步骤一、建立二维平面直角图片坐标系:采用飞行器控制单元(4)建立二维平面直角图片坐标系,在飞行器所处平行于水平面的平面且以飞行器飞行起点作为坐标原点建立二维平面直角图片坐标系Ok-xkyk,其中,以飞行器正东方向为二维平面直角图片坐标系Ok-xkyk的x轴,以飞行器正北方向为二维平面直角图片坐标系Ok-xkyk的y轴;
所述飞行器为四轴飞行器,所述四轴飞行器包括矩形镂空的机身(1)和四个分别沿机身(1)的四个直角所指方向向外安装的镂空的机翼(2),机翼(2)远离机身(1)的一端安装有螺旋桨(3);
步骤二、获取视频图像数据和飞行器位姿数据,并对图像进行预处理:采用飞行器控制单元(4)控制飞行器起飞,通过高清摄像头(5)实时采集飞行器飞行过程中视频图像序列并对所述视频图像序列进行灰度预处理生成预处理图像序列IN(u,v),高清摄像头(5)安装在机身(1)的底部,其中,N为视频图像序列中高清摄像头(5)采集的图像序列的编号且N取不小于2的正整数,u为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的x轴同向的图片横坐标,v为所述预处理图像序列IN(u,v)中的像素点与二维平面直角图片坐标系Ok-xkyk的y轴同向的图片纵坐标,同时通过惯性传感器(8)实时采集飞行器飞行过程中位姿数据,并将飞行器飞行过程中位姿数据传输至飞行器控制单元(4);
步骤三、特征点的连续跟踪,过程如下:
步骤301、飞行器控制单元(4)设置每帧预处理图像序列中特征点数量阈值Th,并采用Harris角点检测法对首帧预处理图像序列I1(u,v)进行特征点提取;
步骤302、判断预处理图像序列Ii(u,v)中特征点数量是否小于特征点数量阈值Th:当预处理图像序列Ii(u,v)中特征点数量小于特征点数量阈值Th 时,通过飞行器控制单元(4)对预处理图像序列Ii(u,v)采用Harris角点检测法进行特征点提取后执行步骤303;当预处理图像序列Ii(u,v)中特征点数量不小于特征点数量阈值Th时,执行步骤303,其中,i为正整数且i=1,2,…,N-1;
步骤303、飞行器控制单元(4)通过图像金字塔并采用光流法逐层对连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)进行特征点匹配,当Ii(ux,uy)=Ii+1(px,py)+ε成立,则预处理图像序列Ii(u,v)中的特征点U=(ux,uy)与预处理图像序列Ii+1(u,v)中的特征点P=(px,py)匹配成功,其中,ε为图像灰度误差值,特征点P=(px,py)满足P=U+d,d为预处理图像序列Ii+1(u,v)中的特征点P至预处理图像序列Ii(u,v)中的特征点U的运动位移矢量;
步骤304、多次重复步骤302至步骤303,直至实现连续两帧预处理图像序列Ii(u,v)和Ii+1(u,v)的全部特征点的匹配;
步骤四、建立三维航迹坐标系:首先,根据公式计算图像中的坐标变换到实际中的坐标的坐标变换系数ζ,其中,σ为图像中特征点的尺寸,h为通过声呐传感器(6)或气压计(7)实时采集所述飞行器相对地面飞行高度,B为高清摄像头(5)的放大倍数,声呐传感器(6)和气压计(7)均安装在机身(1)的底部;然后,对二维平面直角图片坐标系Ok-xkyk,增加以飞行器相对地面升高的方向为z轴正方向,建立三维航迹坐标系Ok-xkykzk;
步骤五、根据公式计算航迹速度矢量Vk,其中,f为高清摄像头(5)的图像采集频率,Pj和Uj分别为连续两帧预处理图像序列对应第j个特征点在三维航迹坐标系Ok-xkykzk中的坐标,其中,j为非零正整数,hpj为连续两帧预处理图像序列中获取后一帧图像序列时飞行器相对地面飞行高度,huj为连续两帧预处理图像序列中获取前一帧图像序列时飞行器相对地面飞行高度,pxj和pyj分别为所述后一帧图像序列中第j个特征点的图片横坐标和图片纵坐标,uxj和uyj分别为所述前一帧图像序列中第j个特征点的图片横坐标和图片纵坐标;
步骤六、飞行器的姿态解算:首先,采用惯性传感器(8)采集四轴飞行器运行状态参数并通过惯性传感器(8)自身数据融合向处理器(4-1)传输四轴飞行器的姿态四元数q且姿态四元数q=q4+q1i+q2j+q3k,q4为姿态四元数q的实部,q1、q2和q3分别为姿态四元数q的三个虚部;然后,根据计算四轴飞行器的翻滚角俯仰角θ和偏航角,得到四轴飞行器姿态的欧拉角矩阵Ω(ω(t)),其中,欧拉角矩阵
步骤八、坐标转换并获取飞行器的位移矩阵,过程如下:
步骤802、根据公式St=∫(Vxt,Vyt,Vzt)dt,得到飞行器的位移矢量St;
步骤803、将位移矢量St在地面坐标系Og-xgygzg中分解为x轴位移Sxt、y轴位移Syt、z轴位移Szt,得到位移矩阵
步骤九、(N-1)次重复步骤三至步骤八,直至完成连续采集多帧图像的位移矩阵集合,实现连续组合导航。
2.按照权利要求1所述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述飞行器控制单元(4)包括处理器(4-1)和蓄电池(4-2),以及均与处理器(4-1)相接的存储器(4-6)、定时器(4-5)和用于与地面监测中心(11)数据传输的无线通信模块(4-7),处理器(4-1)的输入端接有避障模块(9),处理器(4-1)的输出端接有用于驱动螺旋桨(3)转动的电机(4-4),处理器(4-1)采用电机驱动器(4-3)驱动电机(4-4)转动,惯性传感器(8)的信号输出端与处理器(4-1)的输入端相接,采用处理器(4-1)对高清摄像头(5)实时采集的图像数据进行灰度预处理;螺旋桨(3)上安装有用于指示所述飞行器位置的照明指示灯(10),照明指示灯(10)的输入端与处理器(4-1)的输出端相接。
3.按照权利要求2所述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述存储器(4-6)中存储有飞行器的高度阈值,当声呐传感器(6)采集的飞行器高度小于存储器(4-6)中存储的飞行器的高度阈值时,采用声呐传感器(6)获取所述飞行器相对地面飞行高度;当声呐传感器(6)采集的飞行器高度大于存储器(4-6)中存储的飞行器的高度阈值时,采用气压计(7)获取所述飞行器相对地面飞行高度。
4.按照权利要求1所述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述j的取值范围满足:200≤j≤600。
5.按照权利要求1所述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述预处理图像序列IN(u,v)的灰度值为0~255,所述图像灰度误差值ε的取值范围满足:0≤ε≤30。
6.按照权利要求1所述的基于飞行器的视觉导航与惯性导航的组合导航方法,其特征在于:所述高清摄像头(5)的放大倍数B为15~30。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710386393.8A CN107014380B (zh) | 2017-05-26 | 2017-05-26 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710386393.8A CN107014380B (zh) | 2017-05-26 | 2017-05-26 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107014380A CN107014380A (zh) | 2017-08-04 |
CN107014380B true CN107014380B (zh) | 2020-01-07 |
Family
ID=59451605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710386393.8A Expired - Fee Related CN107014380B (zh) | 2017-05-26 | 2017-05-26 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107014380B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108426576B (zh) * | 2017-09-15 | 2021-05-28 | 辽宁科技大学 | 基于标识点视觉导航与sins的飞行器路径规划方法及*** |
CN107498559B (zh) * | 2017-09-26 | 2020-12-29 | 珠海市一微半导体有限公司 | 基于视觉的机器人转向的检测方法和芯片 |
FR3073655B1 (fr) * | 2017-11-16 | 2019-10-18 | Thales | Procede de determination d'un vecteur vitesse visuel d'un engin mobile, produit programme d'ordinateur et systeme de determination associes |
CN110362098B (zh) * | 2018-03-26 | 2022-07-05 | 北京京东尚科信息技术有限公司 | 无人机视觉伺服控制方法、装置以及无人机 |
CN109284753B (zh) * | 2018-08-30 | 2020-07-07 | 深圳大学 | 一种液体传输管道的定位方法及应用 |
CN109341686B (zh) * | 2018-12-04 | 2023-10-27 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 |
CN111380529B (zh) * | 2018-12-28 | 2023-10-03 | 浙江菜鸟供应链管理有限公司 | 移动设备定位方法、装置、***及移动设备 |
CN110001980B (zh) * | 2019-04-19 | 2021-11-26 | 深圳市道通智能航空技术股份有限公司 | 一种飞行器降落方法及装置 |
CN110310304B (zh) * | 2019-06-14 | 2021-07-23 | 达闼机器人有限公司 | 单目视觉建图和定位方法、装置、存储介质及移动设备 |
CN111142143A (zh) * | 2019-12-23 | 2020-05-12 | 西北工业大学 | 一种基于多源信息融合的进场段飞行技术误差估计方法 |
CN111735445B (zh) * | 2020-06-23 | 2022-02-11 | 煤炭科学研究总院 | 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法 |
CN112197766B (zh) * | 2020-09-29 | 2023-04-28 | 西安应用光学研究所 | 一种针对系留旋翼平台的视觉测姿装置 |
CN113465598B (zh) * | 2021-08-04 | 2024-02-09 | 北京云恒科技研究院有限公司 | 一种适用于无人机的惯性组合导航*** |
CN114217628A (zh) * | 2021-12-24 | 2022-03-22 | 北京理工大学重庆创新中心 | 基于5g通讯的双路imu单元无人机控制器及控制方法 |
CN114942026A (zh) * | 2022-06-01 | 2022-08-26 | 四川大学 | 基于智能数据的多模态三维影像导航*** |
CN118050814B (zh) * | 2024-04-16 | 2024-07-12 | 山东省地质矿产勘查开发局第五地质大队(山东省第五地质矿产勘查院) | 低空光学定姿三分量磁测***及测定磁场矢量数据的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031782B1 (en) * | 2012-01-23 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System to use digital cameras and other sensors in navigation |
CN106708066A (zh) * | 2015-12-20 | 2017-05-24 | 中国电子科技集团公司第二十研究所 | 基于视觉/惯导的无人机自主着陆方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8275193B2 (en) * | 2004-08-04 | 2012-09-25 | America Gnc Corporation | Miniaturized GPS/MEMS IMU integrated board |
-
2017
- 2017-05-26 CN CN201710386393.8A patent/CN107014380B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031782B1 (en) * | 2012-01-23 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System to use digital cameras and other sensors in navigation |
CN106708066A (zh) * | 2015-12-20 | 2017-05-24 | 中国电子科技集团公司第二十研究所 | 基于视觉/惯导的无人机自主着陆方法 |
Non-Patent Citations (2)
Title |
---|
"4DoF Drift Free Navigation Using Inertial Cues and Optical Flow";Stephan Weiss;《2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20131107;正文第4180-4186页 * |
"四轴飞行器组合导航非线性滤波算法";成怡;《计算机应用》;20140630;第34卷;正文第341-344页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107014380A (zh) | 2017-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107014380B (zh) | 基于飞行器的视觉导航与惯性导航的组合导航方法 | |
CN110262546B (zh) | 一种隧道智能无人机巡检方法 | |
US10914590B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
CN106708066B (zh) | 基于视觉/惯导的无人机自主着陆方法 | |
CN107615211B (zh) | 使用传感器融合估计可移动物体的状态信息的方法及*** | |
CN107850436B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
CN107850901B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机*** | |
Scherer et al. | Flying fast and low among obstacles | |
CN107850899B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
US5072396A (en) | Navigation systems | |
CN109683629B (zh) | 基于组合导航和计算机视觉的无人机电力架线*** | |
CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
CN105203084A (zh) | 一种无人机3d全景视觉装置 | |
CN107390704B (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
CN106017463A (zh) | 一种基于定位传感装置的飞行器定位方法 | |
CN201217501Y (zh) | 悬浮式航空摄像自主飞行器*** | |
CN103365297A (zh) | 基于光流的四旋翼无人机飞行控制方法 | |
CN102654917B (zh) | 运动体运动姿态感知方法及*** | |
Delaune et al. | Extended navigation capabilities for a future mars science helicopter concept | |
Dickmanns et al. | Autonomous landing of airplanes by dynamic machine vision | |
Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
Amidi et al. | Research on an autonomous vision-guided helicopter | |
Xian et al. | Hovering control of a nano quadrotor unmanned aerial vehicle using optical flow | |
Miller et al. | Optical Flow as a navigation means for UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200107 Termination date: 20200526 |