CN103365297B - 基于光流的四旋翼无人机飞行控制方法 - Google Patents
基于光流的四旋翼无人机飞行控制方法 Download PDFInfo
- Publication number
- CN103365297B CN103365297B CN201310273211.8A CN201310273211A CN103365297B CN 103365297 B CN103365297 B CN 103365297B CN 201310273211 A CN201310273211 A CN 201310273211A CN 103365297 B CN103365297 B CN 103365297B
- Authority
- CN
- China
- Prior art keywords
- light stream
- centerdot
- unmanned aerial
- aerial vehicle
- rotor wing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000013461 design Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000004907 flux Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 238000005530 etching Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013341 scale-up Methods 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 101100001676 Emericella variicolor andK gene Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种基于光流的四旋翼无人机飞行控制方法,包括如下步骤:利用基于图像金字塔的卢卡斯·卡纳德方法进行光流信息的计算;采用卡尔曼滤波方法处理光流信息;进行光流和姿态角两者数据融合,以及无人机水平位移的计算;设计比例-微分控制器,包括:确定四旋翼无人机动力学模型和进行控制算法设计。本发明的基于光流的四旋翼无人机飞行控制方法,利用机载摄像头获得的图像信息与姿态角信息进行融合,计算出无人机水平位置信息,并以此位置信息作为外环PD(比例-微分,Proportional-Differential)控制器的反馈信息对小型无人机进行位置控制。
Description
技术领域
本发明涉及一种四旋翼无人机飞行控制方法。特别是涉及一种对室内室外环境均有很强适应能力、在微小型至小型四旋翼无人机上均可应用的基于光流的四旋翼无人机飞行控制方法。
背景技术
随着传感器技术、新材料技术和微处理器技术的发展,四旋翼无人机逐渐成为无人机研究领域中的一个热点。它具有成本低、安全性强、质量轻、体积小、灵活机动等特点,在军事领域和民用领域都有着广泛的应用。其在室内环境中可用于矿井或大型建筑物内的侦查,危险密闭环境下的搜索和营救等,在室外环境中可用于监视巡查交通状况和桥梁、堤坝、输电线等基础设施状况,或军事侦察等。
受昆虫视觉***启发,基于光流的四旋翼无人机飞行控制方法逐渐受到研究人员的关注。研究表明,飞行昆虫可以利用光流在复杂的自然环境中敏捷地运动,例如躲避障碍物,沿走廊飞行,巡航,着落。光流是图像亮度模式的一种表观运动。当摄像机与场景目标之间存在相对运动时,所观察到的亮度模式运动称为光流,或者将物体带有光学特征部位的移动投影到视网膜平面(图像平面)上就形成光流(出版社:人民邮电出版社;著者:章毓晋;出版年月:2011年;书籍名称:计算机视觉教程)。光流表达了图像的变化,包含了运动的信息,而且携带了有关场景三维结构的大量信息。
无人机能否实时感知自身的位置信息和速度信息对其实现自主飞行非常重要。相较于其他四旋翼无人机传感器方法——GPS、激光雷达、声纳、单目视觉和双目视觉,光流法对于四旋翼无人机的控制有其独特的优势。其一,在近地复杂环境中GPS信号几乎不可获取,特别是在室内环境中几乎没有GPS信号,而光流法可以同时适用于室内环境与室外环境;其二,激光雷达和声纳在原理上都是通过主动发射脉冲和接收反射脉冲来进行测距,多架无人机一起工作时相互之间会产生干扰,而光流法为被动的视觉定位方法,多机工作时信号无干扰;其三,一般单目视觉需要地面标识,适用于已知环境,而光流法不受标识限制,在未知环境中也可应用;其四,四旋翼无人机体积较小,限制了两个光学传感器之间的距离,立体视觉能力因此受限,而受生物启发基于光流的定位计算方法,由于仅使用一个摄像头或光流传感器,因而具有体积小、重量轻等优势,非常适合应用于四旋翼无人机***;其五,光流法所需设备价格较低。
最近几年,一些国内外高校和研究机构开始尝试利用光流法对四旋翼无人机进行飞行控制,并取得了一些初步成果。这些研究大体上可以分为两类:利用光流传感器获取光流信息进行控制(会议:IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems;著者:H.Lim,H.LeeandH.JinKim;出版年月:2012年;文章题目:OnboardFlightControlofaMicroQuadrotorUsingSingleStrapdownOpticalFlowSensor;页码:495-500)(会议:the31stChineseControlConference;著者:Y.Bai,H.Liu,Z.Shi,andY.Zhong;出版年月:2012年;文章题目:RobustControlofQuadrotorUnmannedAirVehicles;页码:4462-4467)和利用摄像头获取图像计算光流信息进行控制(期刊:RoboticsandAutonomousSystems;著者:F.Kendoula,I.Fantoni,andK.Nonami;出版年月:2009年;文章题目:Opticalflow-basedvisionsystemforautonomous3Dlocalizationandcontrolofsmallaerialvehicles;页码:591-602)(会议:IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems;著者:B.Herisse,T.Hamel,F-X.Russotto,andR.Mahony;出版年月:2008年;文章题目:HoveringFlightandVerticalLandingControlofaVTOLUnmannedAerialVehicleUsingOpticalFlow;页码:801-806)。前者相对于后者的优势在于其更为出色的机载图像处理能力,但是从应用场合和应用扩展能力来看后者具有更大的优势:其一,利用光流传感器的控制方法由于传感器本身的限制,只适用于低空飞行(4米以下),并且对光照条件有较为严格的要求(荧光灯的频闪效应对传感器正常工作有较强影响);其二,利用光流传感器的控制方法不可对其光流计算方法进行修改或扩展,极大地限制了应用的灵活性。
发明内容
本发明所要解决的技术问题是,提供一种可显著提高四旋翼无人机的悬停控制精度和轨迹跟踪精度的基于光流的四旋翼无人机飞行控制方法。
本发明所采用的技术方案是:一种基于光流的四旋翼无人机飞行控制方法,包括如下步骤:
1)利用基于图像金字塔的卢卡斯·卡纳德方法进行光流信息的计算;
2)采用卡尔曼滤波方法处理光流信息;
3)进行光流和姿态角两者数据融合,以及无人机水平位移的计算;
4)设计比例-微分控制器,包括:
(1)确定四旋翼无人机动力学模型,和(2)进行控制算法设计。
步骤1)所述的基于图像金字塔的卢卡斯·卡纳德方法来完成光流的计算是:
金字塔的每一层都会得到一个从上一层传递过来的运动估计假设,用于本层光流的计算,用Lm表示金字塔的最高层层数,g*表示图像金字塔第*层的运动估计假设,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向上的运动估计假设,I*(x,y)表示图像金字塔第*层图像平面坐标为x和y处的亮度,d*表示图像金字塔第*层的光流量,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向的光流量,d表示最终光流计算结果;
在第Lm层,初始运动估计假设设为零,即根据基于亮度恒定假设:
并利用卢卡斯·卡纳德方法算出本层的光流量传递到第Lm-1层的运动估计假设为 然后同样根据亮度恒定假设:
并利用卢卡斯·卡纳德方法计算本层光流dLm-1,其他层的计算方法以此类推。在计算出图像金字塔最底层的光流d0后,最终光流计算结果:
步骤2)所述的采用卡尔曼滤波方法处理光流信息是采用卡尔曼滤波器的离散时间过程方程和测量方程:
Xk=AXk-1+ωk-1
Zk=d=HXk+υk
其中,是k时刻***状态向量,即为光流估计向量,dx和dy分别表示在x方向和y方向上光流的估计值;是k-1时刻***状态向量,Zk∈R2是k时刻***观测向量,d是通过步骤1)中光流信息计算得到的数据结果,即光流的原始数据,随机信号ωk-1和υk分别表示k-1时刻过程激励噪声和k时刻观测噪声,它们是相互独立且为正态分布的,A∈R2×2和H∈R2×2是单位矩阵。
步骤3)所述的光流和姿态角两者数据融合采用如下公式,
其中,dxp和dyp分别是x和y方向的光流水平分量,dx和dy分别是在x和y方向经过步骤2)中卡尔曼滤波处理的总测量光流,droll和dpitch分别是x和y方向的光流旋转分量,Δφ是两帧图像之间滚转角变化量,Rx是x方向的摄像头分辨率,α是x方向的视野,Δθ,Ry和β分别是在y方向的俯仰角变化量、摄像头分辨率和视野。
步骤3)所述的无人机水平位移的计算根据针孔相机模型采用如下公式,
其中,ΔX和ΔY分别表示在两帧图像之间其x方向和y方向飞机实际水平位移增量,dxp和dyp分别表示由光流和姿态角两者数据融合计算得到光流水平分量,s表示关于摄像头的图像比例常数,f表示摄像头的焦距,h表示摄像头光心到地面的距离。
步骤4)所述的确定四旋翼无人机动力学模型如下:
设定F={xI,yI,zI}为右手惯性坐标系,其中zI为垂直于地面的向量,体坐标性设定为B={xB,yB,zB},并将Ρ(t)=[x(t)y(t)z(t)]T∈R3定义为惯性坐标系下的位置向量,Θ(t)=[θ(t)φ(t)ψ(t)]T∈R3定义为惯性坐标系下的欧拉角向量,四旋翼无人机四个电机产生的升力分别定义为fi(t),i=1,2,3,4;
四旋翼无人机动力学模型化简为如下形式:
其中,m∈R代表飞行器重量,J1,J2,J3∈R为对应轴的转动惯量,Ki∈R,i=1,...,6代表气动阻尼系数,l为螺旋桨到四旋翼无人机重心的距离,c∈R代表一个升力-转矩常量系数,g为重力加速度,式中的虚拟控制输入信号u1(t),u2(t),u3(t)和u4(t)按如下定义,
u2=-f1-f2+f3+f4
u3=-f1+f2+f3-f4
u4=f1-f2+f3-f4
步骤4)所述的进行控制算法设计是:采用非线性内外环控制结构;其中外环根据位置误差计算得出内环姿态的期望角度,内环跟踪期望角度计算出最终的控制输出。水平位置信息通过步骤1)、步骤2)和步骤3)计算得到,高度信息通过机载声呐传感器获得。
在控制算法的计算过程中,虚拟辅助控制变量μ=[μx,μy,μz]通过外环控制器计算得到,表达式如下,
μx=u1(cosφdsinθdcosψd+sinφdsinψd)
μy=u1(cosφdsinθdsinψd-sinφdcosψd)
μz=u1(cosφdcosθd)
由上式可将内环期望的姿态角φd、θd,以及螺旋桨总推力u1解算出来,表达式如下,
u1=(μx 2+μy 2+μz 2)1/2
外环比例-微分控制器设计如下,
其中,μx、μy和μz分别代表x、y、z方向的外环虚拟控制输入,k*p和k*d分别为*方向可调的比例系数与微分系数,ΔEX、ΔEY和ΔEZ分别代表x、y、z方向的位置误差。
本发明的基于光流的四旋翼无人机飞行控制方法,利用机载摄像头获得的图像信息与姿态角信息进行融合,计算出无人机水平位置信息,并以此位置信息作为外环PD(比例-微分,Proportional-Differential)控制器的反馈信息对四旋翼无人机进行位置控制。相较于现有的其他无人机飞行控制方法,本发明具有显著进步:
1.适用范围广。发明所应用的摄像头具有体积小、重量轻等优点,这使得该方法可应用于小型甚至微四旋翼无人机(重量100克以下)。本发明基于利用摄像头获取的图像信息从而计算光流的方法,相较于利用光流传感器的方法,可适用于更高的飞行高度,具有更好的算法可扩展性。本发明方法同时适用于室内环境和室外环境。
2.控制效果明显。实验结果表明,本发明控制方法简单实用,控制精度高,对图像噪声与传感器噪声具有很好的鲁棒性。
附图说明
图1是基于光流的四旋翼无人机控制方法流程图;
图2是基于图像金字塔的卢卡斯·卡纳德光流算法流程图;
图3a是无人机与地面水平飞行时X方向FOV示意图;
图3b是无人机与地面成一定角度时X方向FOV示意图;
图4是基于主机的飞行控制结构;
1:惯性导航单元2:串口
3:飞控板4:数传电台发送端
5:摄像头6:无线发射模块
7:数传电台接收端8:无线接收模块
9:遥控信号发生器10:遥控器
图5a是悬停飞行实验中俯仰角变化曲线;
图5b是悬停飞行实验中滚转角变化曲线;
图5c是悬停飞行实验中x方向线速度变化曲线;
图5d是悬停飞行实验中y方向线速度变化曲线;
图6a是悬停飞行实验中x方向位移变化曲线;
图6b是悬停飞行实验中y方向位移变化曲线;
图7a是悬停飞行实验中飞行轨迹曲线;
图7b是悬停飞行实验中x方向位移误差分布直方图;
图7c是悬停飞行实验中y方向位移误差分布直方图;
图8是正方形轨迹跟踪飞行实验平面位移信息曲线。
具体实施方式
下面结合实施例和附图对本发明的基于光流的四旋翼无人机飞行控制方法做出详细说明。
本发明的基于光流的四旋翼无人机飞行控制方法,提出了一种新颖的基于摄像头获取图像计算光流信息的四旋翼无人机控制方法,将光流信息做进一步滤波处理,继而设计内外环控制器,完成了对四旋翼无人机、特别是微四旋翼无人机的控制和轨迹跟踪飞行。本发明对环境的变化有很强的适应能力,可显著提高四旋翼无人机的悬停控制精度和轨迹跟踪精度,缩小误差范围。
如图1所示,本发明的基于光流的四旋翼无人机飞行控制方法,包括如下步骤:
1)利用基于图像金字塔的卢卡斯·卡纳德方法进行光流信息的计算;
卢卡斯·卡纳德方法是一种经典的差分光流计算方法。这种方法的提出基于三个假设:亮度恒定,时间连续或者运动是“小运动”,空间一致。但是,对于大多数25Hz的摄像头来说,大并且不连贯的运动是普遍存在的,无法满足该假设的第二个条件,影响了卢卡斯·卡纳德方法的使用。基于此,我们利用基于图像金字塔的卢卡斯·卡纳德方法(著者:Jean-YvesBouguet;发表年月:2001年;文章题目:Pyramidalimplementationoftheaffinelucaskanadefeaturetrackerdescriptionofthealgorithm;发表公司:IntelCorporation)来完成光流的计算。首先在较大空间尺度上对光流进行跟踪,然后通过图像金字塔来对初始运动估计假设进行修正,从而实现对较快和较大运动的跟踪。这种方法通过对光流的迭代计算,提高了运动估计计算的精度。
图2是基于金字塔的卢卡斯·卡纳德光流计算方法的基本流程图。光流的迭代计算从图像金字塔的最高层开始。金字塔的每一层都会得到一个从上一层传递过来的运动估计假设,用于本层光流的计算,用Lm表示金字塔的最高层层数,g*表示图像金字塔第*层的运动估计假设,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向上的运动估计假设,I*(x,y)表示图像金字塔第*层图像平面坐标为x和y处的亮度,d*表示图像金字塔第*层的光流量,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向的光流量,d表示最终光流计算结果;
在第Lm层,初始运动估计假设设为零,即根据基于亮度恒定假设:
并利用卢卡斯·卡纳德方法算出本层的光流量传递到第Lm-1层的运动估计假设为 然后同样根据亮度恒定假设:
并利用卢卡斯·卡纳德方法计算本层光流dLm-1,其他层的计算方法以此类推。在计算出图像金字塔最底层的光流d0后,最终光流计算结果:
2)采用卡尔曼滤波方法处理光流信息;
摄像头采集到的图像信息在无线传输过程中易受到干扰并造成视频不流畅或图像条纹等现象,这将导致光流计算误差的产生。应用一个二阶离散卡尔曼滤波器可以在一定程度上解决该问题。卡尔曼滤波器的离散时间过程方程和测量方程表示如下,
Xk=AXk-1+ωk-1
Zk=d=HXk+υk(4)
其中,是k时刻***状态向量,即为光流估计向量,dx和dy分别表示在x方向和y方向上光流的估计值;是k-1时刻***状态向量,Zk∈R2是k时刻***观测向量,d是通过步骤1)中光流信息计算得到的数据结果,即光流的原始数据,随机信号ωk-1和υk分别表示k-1时刻过程激励噪声和k时刻观测噪声,它们是相互独立且为正态分布的,A∈R2×2和H∈R2×2是单位矩阵。
3)进行光流和姿态角两者数据融合,以及无人机水平位移的计算;
无人机的俯仰和滚转运动会产生光流测量量中的旋转分量,进而影响到通过光流对无人机水平运动的估计。将IMU(惯性测量单元,InertialMeasurementUnit)获得的姿态角数据与光流数据相融合,可以消除光流旋转分量的影响,进一步提高对无人机水平运动估计的精度。公式(5)给出了本发明中光流和姿态角两者数据融合的公式,
其中,dxp和dyp分别是x和y方向的光流水平分量,dx和dy分别是在x和y方向经过步骤2)中卡尔曼滤波处理的总测量光流,droll和dpitch分别是x和y方向的光流旋转分量,Δφ是两帧图像之间滚转角变化量,Rx是x方向的摄像头分辨率,α是x方向的视野(FOV,FieldofView),如图2所示,Δθ,Ry和β分别是在y方向的俯仰角变化量、摄像头分辨率和FOV。
根据针孔相机模型,公式(6)给出了计算无人机水平位移的算法,
其中,ΔX和ΔY分别表示在两帧图像之间其x方向和y方向飞机实际水平位移增量,dxp和dyp分别表示由光流和姿态角两者数据融合计算得到光流水平分量,s表示关于摄像头的图像比例常数,f表示摄像头的焦距,h表示摄像头光心到地面的距离。
4)设计PD(比例-微分,Proportional–Differential)控制器,包括:(1)确定四旋翼无人机动力学模型,和(2)进行悬停控制算法设计。其中:
(1)确定四旋翼无人机动力学模型如下:
设定F={xI,yI,zI}为右手惯性坐标系,其中zI为垂直于地面的向量,体坐标性设定为B={xB,yB,zB},并将Ρ(t)=[x(t)y(t)z(t)]T∈R3定义为惯性坐标系下的位置向量,Θ(t)=[θ(t)φ(t)ψ(t)]T∈R3定义为惯性坐标系下的欧拉角向量,四旋翼无人机四个电机产生的升力分别定义为fi(t),i=1,2,3,4;
四旋翼无人机动力学模型化简为如下形式(会议:IEEEInternationalConferenceonControlApplications(CCA);著者:ZengW,XianB,DiaoC;出版年月:2011年;文章题目:Nonlinearadaptiveregulationcontrolofaquadrotorunmannedaerialvehicle;页码:133-138):
其中,m∈R代表飞行器重量,J1,J2,J3∈R为对应轴的转动惯量,Ki∈R,i=1,...,6代表气动阻尼系数,l为螺旋桨到四旋翼无人机重心的距离,c∈R代表一个升力-转矩常量系数,g为重力加速度,式(7)中的虚拟控制输入信号u1(t),u2(t),u3(t)和u4(t)按如下定义,
u2=-f1-f2+f3+f4(8)
u3=-f1+f2+f3-f4
u4=f1-f2+f3-f4
(2)所述的进行控制算法设计是:
采用非线性内外环(会议:第31届中国控制会议;著者:张垚,鲜斌,殷强,刘洋,王福;出版年月:2012年;文章题目:四旋翼无人机自主控制研究,页码:4862-4867)的PD(比例-微分,Proportional–Differential)控制结构;其中外环根据位置误差计算得出内环姿态的期望角度,内环跟踪期望角度计算出最终的控制输出。水平位置信息通过步骤1)、步骤2)和步骤3)计算得到,高度信息通过机载声呐传感器获得。
在控制算法的计算过程中,虚拟辅助控制变量μ=[μx,μy,μz]通过外环控制器计算得到,表达式如下,
μx=u1(cosφdsinθdcosψd+sinφdsinψd)
μy=u1(cosφdsinθdsinψd-sinφdcosψd)(9)
μz=u1(cosφdcosθd)
由(9)式可将内环期望的姿态角φd、θd,以及螺旋桨总推力u1解算出来,表达式如下,
u1=(μx 2+μy 2+μz 2)1/2
外环PD(比例-微分,Proportional–Differential)控制器设计如下,
其中,μx、μy和μz分别代表x、y、z方向的外环虚拟控制输入,k*p和k*d分别为*方向可调的比例系数与微分系数,ΔEX、ΔEY和ΔEZ分别代表x、y、z方向的位置误差。
本发明的基于光流的四旋翼无人机飞行控制方法采用基于地面站的(host-based)飞行控制结构,如图4所示。安装在无人机底部的***头将采集到的图像信息通过2.4GHz无线图传传输到地面站。姿态角信息通过机载IMU(惯性测量单元,InertialMeasurementUnit)测量获得,并经900MHz数传电台传输到地面站。地面站将获得的图像信息与姿态角信息相融合,计算出无人机水平位置信息,进而计算出公式(8)中控制输入量。控制输入量经过PPM(脉冲调制,PulsePositionModulation)信号发生器(pulsegenerator)传输到无人机遥控器。遥控器上的教练开关可以进行手动飞行和自动飞行的切换,以确保无人机故障时安全着陆。
针对四旋翼无人机位置控制的任务,本发明提出了一种新颖的基于光流的飞行控制方法。在控制过程中,首先引入光流信息与姿态角信息进行融合来估计无人机位置信息;然后设计一种内外环结构的PD(比例-微分,Proportional-Differential)控制器,用估计到的无人机位置信息作为外环PD(比例-微分,Proportional-Differential)控制器的反馈信息。与现有方法相比,本发明所涉及传感器仅为机载摄像头和微小型惯性测量单元,具有体积小、重量轻、成本低等优势;本发明方法适用于四旋翼无人机至微四旋翼无人机(重量100克以下),同时适用于室内环境和室外环境。实验结果表明,本发明具有应用价值高、误差率低等特点,且对图像噪声与传感器噪声具有很好的鲁棒性。
下面给出具体的实例:
一、***硬件连接及配置
1.四旋翼无人飞行器本体
本实施例采用轴距200mm碳纤材料的X字型机架、无核直流电机、4寸双叶螺旋桨组装成了四旋翼无人飞行器本体,总重量为60克,最大负载50克,满载重飞行时间最长为5分钟。本发明选用Futaba品牌遥控器,机载2.4GHz遥控信号接收机。遥控器带有教练开关,可用于手动飞行模式与自动飞行模式的切换。
2.地面站***
本实施例地面站运行在笔记本计算机上。计算机配置了因特尔酷睿i5处理器,主频是2.6GHz,内存为2GB。发明相关软件程序基于C/C++编写,其中一些必要的函数应用OpenCV函数库实现。控制信号更新频率为25Hz。
3.机载姿态传感器及控制板
本实施例中无人机机载传感器有***头、无线图传、声纳、数传电台、微型惯性导航单元。其中,***头成像源为1/3CCD,分辨率为640*480像素,输出标准PAL信号。无线图传的频率为2.4GHz,数传电台的频率为900MHz。机载飞控板采用MultiWii的开源飞控板。
4.控制方法参数选定
为保证计算精度,图像金字塔层数选定为5层。摄像头图像比例常数s按摄像头参数计算为0.0075毫米/像素。实验比例系数与微分系数分别为1.10和0.80。
二、实验结果
本实施例在室内进行了定点悬停飞行控制和轨迹跟踪控制的飞行实验。两者飞行高度均为1米。图5显示了悬停飞行实验中传感器测得的滚转角、俯仰角和线速度信息。图6显示了悬停飞行实验中位移的变化曲线。图7显示了悬停飞行轨迹及位置误差信息直方图。定点悬停飞行控制实验结果显示无人机可以在直径为25cm的圆形区域内进行悬停飞行,取得了很好的控制效果。图8是对边长为100厘米正方形轨迹跟踪飞行实验平面位移信息曲线。轨迹跟踪x方向误差为±25厘米,y方向误差在±10厘米。实验中的误差主要来源于所选用的机载惯性导航单元,其精度只有±2度,这在一定程度上限制了控制的精度的提高。当配置更高精度的惯性导航单元时,该方法的控制精度可得到进一步提高。
Claims (7)
1.一种基于光流的四旋翼无人机飞行控制方法,其特征在于,包括如下步骤:
1)利用基于图像金字塔的卢卡斯·卡纳德方法进行光流信息的计算,具体是:
金字塔的每一层都会得到一个从上一层传递过来的运动估计假设,用于本层光流的计算,用Lm表示金字塔的最高层层数,g*表示图像金字塔第*层的运动估计假设,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向上的运动估计假设,I*(x,y)表示图像金字塔第*层图像平面坐标为x和y处的亮度,d*表示图像金字塔第*层的光流量,包含和两个分量,和分别表示图像金字塔第*层在x方向和y方向的光流量,d表示最终光流计算结果;
在第Lm层,初始运动估计假设设为零,即根据基于亮度恒定假设:
并利用卢卡斯·卡纳德方法算出本层的光流量传递到第Lm-1层的运动估计假设为 然后同样根据亮度恒定假设:
并利用卢卡斯·卡纳德方法计算本层光流dLm-1,其他层的计算方法以此类推,在计算出图像金字塔最底层的光流d0后,最终光流计算结果:
2)采用卡尔曼滤波方法处理光流信息;
3)进行光流和姿态角两者数据融合,以及无人机水平位移的计算;
4)设计比例-微分控制器,包括:
(1)确定四旋翼无人机动力学模型,和(2)进行控制算法设计。
2.根据权利要求1所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,步骤2)所述的采用卡尔曼滤波方法处理光流信息是采用卡尔曼滤波器的离散时间过程方程和测量方程:
Xk=AXk-1+ωk-1
Zk=d=HXk+υk
其中,是k时刻***状态向量,即为光流估计向量,dx和dy分别表示在x方向和y方向上光流的估计值;是k-1时刻***状态向量,Zk∈R2是k时刻***观测向量,d是通过步骤1)中光流信息计算得到的数据结果,即光流的原始数据,随机信号ωk-1和υk分别表示k-1时刻过程激励噪声和k时刻观测噪声,它们是相互独立且为正态分布的,A∈R2×2和H∈R2×2是单位矩阵。
3.根据权利要求1所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,步骤3)所述的光流和姿态角两者数据融合采用如下公式,
其中,dxp和dyp分别是x和y方向的光流水平分量,dx和dy分别是在x和y方向经过步骤2)中卡尔曼滤波处理的总测量光流,droll和dpitch分别是x和y方向的光流旋转分量,△φ是两帧图像之间滚转角变化量,Rx是x方向的摄像头分辨率,α是x方向的视野,△θ,Ry和β分别是在y方向的俯仰角变化量、摄像头分辨率和视野。
4.根据权利要求1所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,步骤3)所述的无人机水平位移的计算根据针孔相机模型采用如下公式,
其中,△X和△Y分别表示在两帧图像之间其x方向和y方向飞机实际水平位移增量,dxp和dyp分别表示由光流和姿态角两者数据融合计算得到光流水平分量,s表示关于摄像头的图像比例常数,f表示摄像头的焦距,h表示摄像头光心到地面的距离。
5.根据权利要求1所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,步骤4)所述的确定四旋翼无人机动力学模型如下:
设定F={xI,yI,zI}为右手惯性坐标系,其中zI为垂直于地面的向量,体坐标系设定为B={xB,yB,zB},并将P(t)=[x(t)y(t)z(t)]T∈R3定义为惯性坐标系下的位置向量,Θ(t)=[θ(t)φ(t)ψ(t)]T∈R3定义为惯性坐标系下的欧拉角向量,四旋翼无人机四个电机产生的升力分别定义为fi(t),i=1,2,3,4;
四旋翼无人机动力学模型化简为如下形式:
其中,m∈R代表飞行器重量,J1,J2,J3∈R为对应轴的转动惯量,Ki∈R,i=1,…,6代表气动阻尼系数,l为螺旋桨到四旋翼无人机重心的距离,c∈R代表一个升力-转矩常量系数,g为重力加速度,式中的虚拟控制输入信号u1(t),u2(t),u3(t)和u4(t)按如下定义,
u2=-f1-f2+f3+f4
u3=-f1+f2+f3-f4
u4=f1-f2+f3-f4。
6.根据权利要求1所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,步骤4)所述的进行控制算法设计是:采用非线性内外环控制结构;其中外环根据位置误差计算得出内环姿态的期望角度,内环跟踪期望角度计算出最终的控制输出,水平位置信息通过步骤1)、步骤2)和步骤3)计算得到,高度信息通过机载声纳传感器获得。
7.根据权利要求6所述的基于光流的四旋翼无人机飞行控制方法,其特征在于,在控制算法的计算过程中,虚拟辅助控制变量μ=[μx,μy,μz]通过外环控制器计算得到,表达式如下,
μx=u1(cosφdsinθdcosψd+sinφdsinψd)
μy=u1(cosφdsinθdsinψd-sinφdcosψd)
μz=u1(cosφdcosθd)
由上式可将内环期望的姿态角φd、θd,以及螺旋桨总推力u1解算出来,表达式如下,
u1=(μx 2+μy 2+μz 2)1/2
外环比例-微分控制器设计如下,
其中,μx、μy和μz分别代表x、y、z方向的外环虚拟控制输入,k*p和k*d分别为*方向可调的比例系数与微分系数,△EX、△EY和△EZ分别代表x、y、z方向的位置误差,ψd为期望的偏航角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310273211.8A CN103365297B (zh) | 2013-06-29 | 2013-06-29 | 基于光流的四旋翼无人机飞行控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310273211.8A CN103365297B (zh) | 2013-06-29 | 2013-06-29 | 基于光流的四旋翼无人机飞行控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103365297A CN103365297A (zh) | 2013-10-23 |
CN103365297B true CN103365297B (zh) | 2016-03-09 |
Family
ID=49366864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310273211.8A Expired - Fee Related CN103365297B (zh) | 2013-06-29 | 2013-06-29 | 基于光流的四旋翼无人机飞行控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103365297B (zh) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103760905B (zh) * | 2014-01-29 | 2016-06-01 | 天津大学 | 基于模糊前馈单旋翼无人直升机姿态非线性鲁棒控制方法 |
CN103760906B (zh) * | 2014-01-29 | 2016-06-01 | 天津大学 | 神经网络与非线性连续无人直升机姿态控制方法 |
CN103868521B (zh) * | 2014-02-20 | 2016-06-22 | 天津大学 | 基于激光雷达的四旋翼无人机自主定位及控制方法 |
CN103822631B (zh) * | 2014-02-28 | 2016-05-18 | 哈尔滨伟方智能科技开发有限责任公司 | 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 |
CN104765272A (zh) * | 2014-03-05 | 2015-07-08 | 北京航空航天大学 | 一种基于pid神经元网络控制(pidnn)的四旋翼飞行器控制方法 |
WO2015143615A1 (zh) * | 2014-03-24 | 2015-10-01 | 深圳市大疆创新科技有限公司 | 飞行器状态实时修正的方法和装置 |
CN103914065B (zh) * | 2014-03-24 | 2016-09-07 | 深圳市大疆创新科技有限公司 | 飞行器状态实时修正的方法和装置 |
CN104062977B (zh) * | 2014-06-17 | 2017-04-19 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
CN105306500B (zh) * | 2014-06-19 | 2018-11-02 | 赵海 | 一种基于四轴飞行器的快递运输***、快递运输方法及单目避障方法 |
CN104820435A (zh) * | 2015-02-12 | 2015-08-05 | 武汉科技大学 | 基于智能手机与双目视觉的四旋翼运动目标追踪***和方法 |
CN104808231B (zh) * | 2015-03-10 | 2017-07-11 | 天津大学 | 基于gps与光流传感器数据融合的无人机定位方法 |
CN104932528A (zh) * | 2015-05-31 | 2015-09-23 | 上海电机学院 | 一种基于wifi控制的四旋翼航拍控制装置 |
CN105988474A (zh) * | 2015-07-06 | 2016-10-05 | 深圳市前海疆域智能科技股份有限公司 | 一种飞行器的偏差补偿方法和飞行器 |
CN107850902B (zh) | 2015-07-08 | 2022-04-08 | 深圳市大疆创新科技有限公司 | 可移动物体上的相机配置 |
CN105045278A (zh) * | 2015-07-09 | 2015-11-11 | 沈阳卡迩特科技有限公司 | 一种微型无人机自主感知与规避方法 |
CN105223575B (zh) * | 2015-10-22 | 2016-10-26 | 广州极飞科技有限公司 | 无人机、无人机的测距滤波方法及基于该方法的测距方法 |
CN105807083B (zh) * | 2016-03-15 | 2019-03-12 | 深圳市高巨创新科技开发有限公司 | 一种无人飞行器实时测速方法及*** |
CN106094849A (zh) * | 2016-06-17 | 2016-11-09 | 上海理工大学 | 用于农场自主管理的四旋翼飞行器控制***及控制方法 |
CN106155082B (zh) * | 2016-07-05 | 2019-02-15 | 北京航空航天大学 | 一种基于光流的无人机仿生智能避障方法 |
CN106199039B (zh) * | 2016-07-06 | 2019-04-26 | 深圳市高巨创新科技开发有限公司 | 一种无人机速度监测方法及*** |
CN106200672B (zh) * | 2016-07-19 | 2019-08-27 | 深圳北航新兴产业技术研究院 | 一种基于光流的无人机避障方法 |
US20180068449A1 (en) * | 2016-09-07 | 2018-03-08 | Valve Corporation | Sensor fusion systems and methods for eye-tracking applications |
CN106500669A (zh) * | 2016-09-22 | 2017-03-15 | 浙江工业大学 | 一种基于四旋翼imu参数的航拍图像矫正方法 |
CN107438805B (zh) * | 2016-09-27 | 2019-07-30 | 深圳市大疆创新科技有限公司 | 无人机控制方法及装置 |
CN109324634B (zh) * | 2016-09-30 | 2021-08-03 | 广州亿航智能技术有限公司 | 一种飞行器及其定位方法、控制方法及光流模块 |
FR3057347B1 (fr) * | 2016-10-06 | 2021-05-28 | Univ Aix Marseille | Systeme de mesure de la distance d'un obstacle par flux optique |
CN106647784A (zh) * | 2016-11-15 | 2017-05-10 | 天津大学 | 基于北斗导航***的微小型无人飞行器定位与导航方法 |
CN106681353B (zh) * | 2016-11-29 | 2019-10-25 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及*** |
CN109213187A (zh) * | 2017-06-30 | 2019-01-15 | 北京臻迪科技股份有限公司 | 一种无人机的位移确定方法、装置及无人机 |
CN107389968B (zh) * | 2017-07-04 | 2020-01-24 | 武汉视览科技有限公司 | 一种基于光流传感器和加速度传感器的无人机定点实现方法和装置 |
CN107390704B (zh) * | 2017-07-28 | 2020-12-04 | 西安因诺航空科技有限公司 | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 |
CN107492018A (zh) * | 2017-08-24 | 2017-12-19 | 温州大学瓯江学院 | 一种房间家具购买预算*** |
CN108007474A (zh) * | 2017-08-31 | 2018-05-08 | 哈尔滨工业大学 | 一种基于地面标识的无人飞行器自主定位及位姿校正技术 |
CN107490375B (zh) * | 2017-09-21 | 2018-08-21 | 重庆鲁班机器人技术研究院有限公司 | 定点悬停精度测量装置、方法及无人飞行器 |
CN108298101B (zh) * | 2017-12-25 | 2020-03-24 | 上海歌尔泰克机器人有限公司 | 云台旋转的控制方法及装置、无人机 |
CN108614573B (zh) * | 2018-05-15 | 2021-08-20 | 上海扩博智能技术有限公司 | 六旋翼无人机的自动容错姿态控制方法 |
CN108562289B (zh) * | 2018-06-07 | 2021-11-26 | 南京航空航天大学 | 连续多边几何环境中四旋翼飞行器激光雷达导航方法 |
CN109254587B (zh) * | 2018-09-06 | 2020-10-16 | 浙江大学 | 在无线充电条件下稳定悬停的小型无人机及其控制方法 |
CN109634297A (zh) * | 2018-12-18 | 2019-04-16 | 辽宁壮龙无人机科技有限公司 | 一种基于光流传感器定位导航的多旋翼无人机及控制方法 |
CN109901580A (zh) * | 2019-03-13 | 2019-06-18 | 华南理工大学 | 一种无人机与无人地面机器人协作循径避障***及其方法 |
CN110007107B (zh) * | 2019-04-02 | 2021-02-09 | 上海交通大学 | 一种集成不同焦距摄像头的光流传感器 |
US11703882B2 (en) | 2019-05-21 | 2023-07-18 | U.S. Government as represented by the Secretary of the Air Force | Bio-hybrid odor-guided autonomous palm-sized air vehicle |
CN110428452B (zh) * | 2019-07-11 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
CN111061298B (zh) * | 2019-12-31 | 2021-11-26 | 深圳市道通智能航空技术股份有限公司 | 飞行控制方法及装置、无人机 |
CN111486819B (zh) * | 2020-04-10 | 2022-03-15 | 桂林电子科技大学 | 一种采用光流测量三维角运动的方法 |
CN115597498B (zh) * | 2022-12-13 | 2023-03-31 | 成都铂贝科技有限公司 | 一种无人机定位及速度估计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
CN102506892A (zh) * | 2011-11-08 | 2012-06-20 | 北京航空航天大学 | 一种光流多传感器和惯导器件信息融合配置方法 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
-
2013
- 2013-06-29 CN CN201310273211.8A patent/CN103365297B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
CN102506892A (zh) * | 2011-11-08 | 2012-06-20 | 北京航空航天大学 | 一种光流多传感器和惯导器件信息融合配置方法 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Non-Patent Citations (2)
Title |
---|
Optic flow-based vision system for autonomous 3D localization and control of small aerial vehicles;Farid Kendoul,Isabelle Fantoni,Kenzo Nonami;《Robotics and Autonomous Systems》;20090220;全文 * |
Robust Control of Quadrotor Unmanned Air Vehicles;Yongqiang Bai,Hao Liu,Zongying Shi,Yisheng Zhong;《第三十一届中国控制会议论文集》;20121231;第C卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103365297A (zh) | 2013-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103365297B (zh) | 基于光流的四旋翼无人机飞行控制方法 | |
US11218689B2 (en) | Methods and systems for selective sensor fusion | |
US11914369B2 (en) | Multi-sensor environmental mapping | |
EP2895819B1 (en) | Sensor fusion | |
US11247522B2 (en) | Vehicle capable of multiple varieties of locomotion | |
CN111792034B (zh) | 使用传感器融合估计可移动物体的状态信息的方法及*** | |
CN105022401B (zh) | 基于视觉的多四旋翼无人机协同slam方法 | |
CN107850436B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
US20190220039A1 (en) | Methods and system for vision-based landing | |
García Carrillo et al. | Stabilization and trajectory tracking of a quad-rotor using vision | |
CN104309803B (zh) | 旋翼飞行器自动降落***及方法 | |
CN109219785B (zh) | 一种多传感器校准方法与*** | |
CN107850899B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
EP3674657A1 (en) | Construction and update of elevation maps | |
CN113168186A (zh) | 碰撞规避***、深度成像***、交通工具、地图生成器及其方法 | |
EP2538298A1 (en) | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers | |
CN113093808A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
CN105652891A (zh) | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 | |
CN109564434B (zh) | 用于定位可移动物体的***和方法 | |
CN115291536A (zh) | 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法 | |
Deng et al. | Entropy flow-aided navigation | |
Liang et al. | Remote Guidance Method of Unmanned Aerial Vehicle Based on Multi-sensors | |
Sanna et al. | A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs | |
Clark | Collision avoidance and navigation of UAS using vision-based proportional navigation | |
Cho et al. | Flight stabilization for image acquisition based on UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160309 |