CN105652891B - 一种旋翼无人机移动目标自主跟踪装置及其控制方法 - Google Patents
一种旋翼无人机移动目标自主跟踪装置及其控制方法 Download PDFInfo
- Publication number
- CN105652891B CN105652891B CN201610117943.1A CN201610117943A CN105652891B CN 105652891 B CN105652891 B CN 105652891B CN 201610117943 A CN201610117943 A CN 201610117943A CN 105652891 B CN105652891 B CN 105652891B
- Authority
- CN
- China
- Prior art keywords
- aircraft
- target
- model
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 230000001133 acceleration Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000013179 statistical model Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 230000010355 oscillation Effects 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及旋翼无人机自主跟踪的技术领域,更具体地,涉及一种基于云台摄像头和机载传感器的旋翼无人机移动目标自主跟踪装置。一种旋翼无人机移动目标自主跟踪装置,包括飞行器和地面站,飞行器包括飞行器控制器,与飞行器控制器连接的飞行器螺旋桨电机、云台电机,所述的云台电机连接云台摄像头;飞行器和地面站之间设有无线图像传输模块和无线数据传输模块,飞行器与地面站通过无线图像传输模块和无线数据传输模块连接;以机载云台摄像头获得的图像作为***的输入,在地面站通过Struck算法获得目标在图像中的坐标,采用匀加速运动(CA)模型对目标坐标进行建模,根据建模估计的目标坐标设计云台的控制量,以保证云台摄像头跟踪的实时性和平滑性。
Description
技术领域
本发明涉及旋翼无人机自主跟踪的技术领域,更具体地,涉及一种基于云台摄像头和机载传感器的旋翼无人机移动目标自主跟踪装置。
背景技术
四旋翼飞行器由于其相对固定翼飞行器具有可垂直起落、低空悬停、机动转向快速的优点,被广泛应用在军事、农业、航空拍摄等领域。四旋翼飞行器如何对摄像头采集的目标进行有效的识别跟踪并实现跟随是飞行器研究领域中一个热点问题。对于机动目标的跟踪不同于对静止目标的跟踪,目标与飞行器的相对位置不仅会因飞行器的运动变化,目标自身的运动也会产生较大的相对距离变化。这不仅给图像目标的检测跟踪带来了很大的难度,对于具有较大惯性,无法快速变换方向的飞行器来说也是一个难题。
飞行器实现自主跟踪主要是通过设计目标检测算法、目标状态估计算法和飞行器控制算法,根据图像信息确定目标位置,从而调整云台角度和飞行器飞行方向及速度,从而使飞行器能够保持对移动目标的有效跟踪。
在目标检测算法中,基本都是只考虑摄像头固定的情况。普通跟踪常用的基于颜色直方图进行区域块匹配的方法和基于光流场对像素点运动进行检测的方法,它们对目标的跟踪都是基于环境变化比较微弱的假设下进行,实际跟踪时要求有比较固定的外部环境。但是,在飞行器跟踪问题中,外部环境时常会因为目标或者飞行器的运动而产生变化。基于机器学习的Tracking,learning and detection(TLD)算法使用过去的目标样本对当前图像进行区域匹配,寻找最相似的区域作为跟踪的目标。由于TLD算法是对过去的目标图片使用模板匹配算法进行全图搜索比对,计算量会随着运行时间而增长,不适合于飞行器自主跟踪这种对实时性要求很高的情况。
现有的目标状态估计算法以滤波技术为主,包括卡尔曼滤波器,扩展卡尔曼滤波器、无迹卡尔曼滤波器、粒子滤波器等。此外,有利用图像检测特征点,通过特征点之间的位置约束确定它们的运动速度从而估计摄像头和目标运动状态的方法;同时还有提出利用图像背景运动速度获得目标速度和飞行器速度的方法。
对于飞行器的控制,一般分为基于当前时刻目标位置的地面目标跟踪和基于有限步长预测状态的地面目标跟踪方法。基于当前时刻目标位置的地面目标跟踪方法是每次根据测量的当前目标位置给出飞行器的期望速度或者期望位置,而基于有限步长预测状态的地面目标跟踪方法则在估计位置的基础上利用观测信息和目标运动模型的模型预测得到预测值,以此减少跟踪滞后,提高飞行器自主跟踪的实时性。
在目前对飞行器跟踪问题的研究中,大部分都是针对单个子问题进行优化,而较少工作对整个跟踪***进行考虑。飞行器跟随目标的准确性和快速性与图像上跟踪目标的稳定性是互相影响的,不仅要考虑飞行器运动给云台摄像头跟踪带来的影响,还要考虑图像跟踪算法的实时性和鲁棒性。另外,对飞行器的跟踪引导较少考虑飞行器自身的惯性约束,且计算量较大的航迹规划因为实时性要求难以直接运用,因此通常直接以目标位置的当前运动轨迹作为飞行器的参考轨迹,而没有根据目标的不同运动状况进行分类讨论,这会导致飞行器频繁跟随移动目标进行变换方向,从而使得飞行过程不连续,降低了飞行器自主跟随运动的机动性。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷,提供一种旋翼无人机移动目标自主跟踪装置及其控制方法,以机载云台摄像头获得的图像作为***的输入,在地面站通过Struck算法获得目标在图像中的坐标,采用匀加速运动(CA)模型对目标坐标进行建模,根据建模估计的目标坐标设计云台的控制量,以保证云台摄像头跟踪的实时性和平滑性。
为解决上述技术问题,本发明采用的技术方案是:一种旋翼无人机移动目标自主跟踪装置,其中,包括飞行器和地面站,所述的飞行器包括飞行器控制器,与飞行器控制器连接的飞行器螺旋桨电机、云台电机,所述的云台电机连接云台摄像头;
所述的飞行器和地面站之间设有无线图像传输模块和无线数据传输模块,飞行器与地面站通过无线图像传输模块和无线数据传输模块连接;
所述的地面站包括图像跟踪模块、云台控制模块、目标位置估算模块、飞行器控制模块。
本发明中,使用struck算法作为移动目标检测算法,用以处理机载云台摄像头通过无线图像传输模块发回的图像信息,估计得到目标在图像上的坐标,并以此作为整个无人机跟踪***的输入。针对云台控制在平台上的局限,采用对目标图像坐标进行运动建模的方法,将目标坐标变化假想为CA模型,预测目标坐标下一帧的可能位置,从而使云台控制更加平滑。对于弱机动目标跟踪,除了利用机载传感器获取飞行器与云台的姿态信息进行坐标系换算,还设计一个含有CV运动模型和当前统计模型的模型集,将目标的运动模式映射为该模型集,基于这两个模型的滤波器同时工作,将每个滤波器产生的估计状态进行联合加权,从而得到目标状态的最终估计。针对强机动目标跟踪,设计不同情况下的跟踪策略,尽量减少飞行器的变向次数,使飞行器飞行过程中姿态更加平稳,轨迹更加稳定。
本发明通过安装在飞行器机体下方的云台摄像头获取图像,图像经过无线图像传输模块发回至地面站,压缩成320×240的大小后作为跟踪***的输入。跟踪***包括图像跟踪模块、云台控制模块、目标位置估算模块、飞行器控制模块。
进一步的,所述的飞行器上设有气压计。所述的飞行器上设有磁力计。所述的飞行器上设有惯性测量单元。所述的云台摄像头设于飞行器机体下方;所述的气压计、磁力计、惯性测量单元均与无线数据传输模块连接。
气压计可测量高度,磁力计可测量朝向,惯性测量单元可测量飞行器的姿态角,气压计、磁力计、惯性测量单元均与无线数据传输模块连接,把上述高度、朝向、飞行器的姿态角发送到无线数据传输模块。
进一步的,利用所述的旋翼无人机移动目标自主跟踪装置的控制方法,其中,包括以下步骤:
S1.云台摄像头将图像信号输送到无线图像传输模块,无线图像传输模块再输送到图像跟踪模块,图像跟踪模块采用struck算法,得到的目标图像坐标发送给云台控制模块和目标位置估算模块;
S2.云台控制模块在获得图像跟踪模块发送的图像坐标后,为目标建立运动模型,得到下一时刻的估计坐标,提供给指令发送模块控制云台的转动;
S3.目标位置估算模块接收到目标图像坐标后结合机载传感器的数据计算目标与飞行器的相对位置,将经过IMM算法得到估计的目标状态,发送给飞行器控制模块;
S4.飞行器控制模块根据目标状态决定控制策略从而改变自己的姿态角进行移动。
与现有技术相比,有益效果是:本发明针对四旋翼无人机平台对移动目标的自主跟踪问题,设计了一种基于云台摄像头和机载传感器的旋翼无人机移动目标自主跟踪方法。通过云台摄像头采集图像,使用struck算法从图像中检测识别出目标。对目标的图像坐标进行建模以预测目标的坐标位置,通过预测的坐标计算云台需要偏转的偏航角和俯仰角,提高了云台摄像头跟踪的实时性和平滑性。另外,结合机载传感器和图像坐标计算得到目标的位置,使用交互多模型的算法对目标进行滤波预测,从而根据不同的距离和目标运动状态设计相应的飞行器控制方案。
(一)、使用匀加速运动(CA)模型对移动目标在图像中的坐标进行建模,结合图像的过去信息计算目标的速度和加速度,预测目标在下一时刻的图像坐标;
(二)、对估计出的目标的运动状态进行分类讨论,根据目标运动加速度和方向的不同将飞行器切换至悬停模或跟踪模式,在跟踪模式下飞行器的位置跟随目标运动,在悬停模式下只改变偏航角,只通过云台来进跟踪,减少飞行器的变向次数,使飞行器的飞行姿态更加平稳,轨迹更加稳定。
附图说明
图1是***模块结构示意图。
图2是飞行器与目标位置关系示意图。
图3是摄像头与目标位置关系示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明,不能理解为对本专利的限制。
如图1所示,一种旋翼无人机移动目标自主跟踪装置,其中,包括飞行器和地面站,所述的飞行器包括飞行器控制器,与飞行器控制器连接的飞行器螺旋桨电机、云台电机,所述的云台电机连接云台摄像头;
所述的飞行器和地面站之间设有无线图像传输模块和无线数据传输模块,飞行器与地面站通过无线图像传输模块和无线数据传输模块连接;
所述的地面站包括图像跟踪模块、云台控制模块、目标位置估算模块、飞行器控制模块。
本发明中,使用struck算法作为移动目标检测算法,用以处理机载云台摄像头通过无线图像传输模块发回的图像信息,估计得到目标在图像上的坐标,并以此作为整个无人机跟踪***的输入。针对云台控制在平台上的局限,采用对目标图像坐标进行运动建模的方法,将目标坐标变化假想为CA模型,预测目标坐标下一帧的可能位置,从而使云台控制更加平滑。对于弱机动目标跟踪,除了利用机载传感器获取飞行器与云台的姿态信息进行坐标系换算,还设计一个含有CV运动模型和当前统计模型的模型集,将目标的运动模式映射为该模型集,基于这两个模型的滤波器同时工作,将每个滤波器产生的估计状态进行联合加权,从而得到目标状态的最终估计。针对强机动目标跟踪,设计不同情况下的跟踪策略,尽量减少飞行器的变向次数,使飞行器飞行过程中姿态更加平稳,轨迹更加稳定。
本发明通过安装在飞行器机体下方的云台摄像头获取图像,图像经过无线图像传输模块发回至地面站,压缩成320×240的大小后作为跟踪***的输入。跟踪***包括图像跟踪模块、云台控制模块、目标位置估算模块、飞行器控制模块。
进一步的,所述的飞行器上设有气压计。所述的飞行器上设有磁力计。所述的飞行器上设有惯性测量单元。所述的云台摄像头设于飞行器机体下方;所述的气压计、磁力计、惯性测量单元均与无线数据传输模块连接。
气压计可测量高度,磁力计可测量朝向,惯性测量单元可测量飞行器的姿态角,气压计、磁力计、惯性测量单元均与无线数据传输模块连接,把上述高度、朝向、飞行器的姿态角发送到无线数据传输模块。
本实施例中,基于机载传感器能估计得到飞行器的飞行高度以及云台和飞行器各自的姿态信息。同时,根据估计的目标坐标,并且结合机载传感器获得的飞行器与云台的姿态,可以通过坐标变换计算得到移动目标相对飞行器的位置。此外,我们设计了一套基于当前统计模型运动模型和匀速直线运动(CV)模型的交互多模型状态估计算法对移动目标的运动进行滤波预测,从而根据不同的距离和目标运动状态设计相应的飞行器控制方案,为飞行器对强机动目标的自主跟踪提供一种具有较好鲁棒性的跟踪方法。
如图2中,飞行器与目标位置关系示意图,点P是飞行器,OXY是世界坐标系下的地面,PN是目标T在摄像头坐标系下的成像深度,M是光轴与OXY平面的交点。OM与y轴夹角∠MOy可由云台偏航角与飞行器偏航角相减得到。
如图3中,摄像头与目标关系示意图,点C是摄像头,T′是T在POM面上的投影,TT’⊥PNT′。
利用所述的旋翼无人机移动目标自主跟踪装置的控制方法,其中,包括以下步骤:
S1.云台摄像头将图像信号输送到无线图像传输模块,无线图像传输模块再输送到图像跟踪模块,图像跟踪模块采用struck算法,得到的目标图像坐标发送给云台控制模块和目标位置估算模块;
S2.云台控制模块在获得图像跟踪模块发送的图像坐标后,为目标建立运动模型,得到下一时刻的估计坐标,提供给指令发送模块控制云台的转动;
S3.目标位置估算模块接收到目标图像坐标后结合机载传感器的数据计算目标与飞行器的相对位置,将经过IMM算法得到估计的目标状态,发送给飞行器控制模块;
S4.飞行器控制模块根据目标状态决定控制策略从而改变自己的姿态角进行移动。
具体的,所述的步骤S1中,
Struck算法使用结构输出的支持向量机算法,将样本描述为区域和变换的组合也即(x,y),其中y是待求的目标区域变化函数,将目标位置变化函数与分类结合在一起可以得到一个区分函数:
这个区分函数的作用是给定坐标区域x和平面变换y,可以分别计算原坐标区域和变换后的坐标区域的haar特征值并比较两个区域之间的相似度并评分;好处是将这个区分函数用于预测目标可以同时把分类问题和判定相似度的问题合并成一个参数最优化的问题:
其中是目标上一帧的位置,Υ是所有可能的变化组成的空间;
通过把区分函数约束成带有核函数的形式:
F(x,y)=〈w,Φ(x,y)〉 (3)
可以将具有一系列样本{(x1,y1)…(xn,yn)}的跟踪问题简化成可以使用支持向量机模型求解的形式:
损失函数可以定义为区域变换后的重叠度:
使用拉格朗日算子将约束和最优化问题结合起来,可以得到式子:
定义变量
可以将问题简化成:
在算法过程中,使用SMO算法求解这个最优化问题,每次为当前样本选择一个最好的正样本和负样本,然后将有效的样本加入支持向量,同时调整已有支持向量的系数,舍弃调整后不符合约束的支持向量,过程中一直保持有效支持向量的数目不超过100,超过的话根据公式:
去掉负支持向量(xr,y);
根据正支持向量得到的样本重新在它们周围进行采样,从众多样本中选择使区分函数的值最大的一个区域作为跟踪结果。
所述的步骤S2中,
在得到目标图像坐标后,基于帧与帧的间隔时间较短,可以认为目标的坐标在图像上的运动是在同一直线上的变加速运动;利用这样的假设,可以为目标坐标建立一个运动模型;记目标在t时刻的坐标为(u(t),v(t)),可以分别对横坐标u(t)和纵坐标v(t)建立一个CA模型,也即:
同时基于前四帧的图像坐标可以差分得到目标坐标的前一时刻的速度和加速度:
将式(14-16)代入CA模型用以预测移动目标下一时刻的坐标,这个预测的坐标能够结合目标在图像的运动趋势和云台的控制性能,可使云台在跟踪过程中的运动更为平滑,从而避免由于开环控制所带来的云台控制超调振荡的情况;通过预测的坐标计算云台需要偏转的偏航角和俯仰角:
其中fH、fW是图像高度和宽度,θH和θW是摄像头纵向和横向成像视角。
所述的步骤S3中,基于目标在世界坐标系下的运动高度不变的假设,可以将目标运动模型简化到二维平面,目标与飞行器的位置关系如图2所示。
摄像头与目标位置的关系如图3所示。
图3中,∠TPT′和∠NPT′可通过摄像头成像原理计算得到:
其中,fH、fW分别为图像高度和宽度,θH和θH分别为摄像头纵向和横向成像视角;OP是通过机载气压计或超声波传感器估计的飞行器的高度,∠OPM可以通过云台俯仰角获得;由三角关系可得
OT’=OP tan OPT’ (22)
TM=OP(tan OPT’-tan OPM) (23)
T’N=T’M cos OPM (24)
由此,可以得到目标相对于飞行器的坐标为:
dx=OT sin(∠MOy+∠TOM) (28)
dy=OT cos(∠MOy+∠TOM) (29)
因为得到的目标位置是通过几何换算得到的,传感器精度带来的观测误差会影响飞行器的跟踪,同时基于目标当前状态的跟踪会带来较大的超调,所以需要对目标状态进行滤波和预测;跟踪的目标状态可能是静止、弱机动、强机动,无法用一个确定的模型来描述,因此在对目标状态进行估计的时候需要考虑模型的改变;使用匀速直线运动CV模型和当前统计模型作为***模型集使用交互式多模型算法IMM算法去预测目标状态;记采样间隔为T,由于x方向和y方向的预测是等价的,以x方向为例说明目标状态的预测;
CV模型也即匀速直线运动模型,设目标离散运动模型和观测模型为:
X(k+1)=ΦX(k)+Γ(k)W(k) (30)
Z(k)=C(k)X(k)+V(k) (31)
其状态转移矩阵为:
过程噪声分布矩阵为:
当前统计模型是一种非零均值时间相关模型,它假设当前时刻加速度均值为前一时刻加速度的估计值,可以用来对机动目标进行建模;当前统计模型认为目标当前下一时刻的加速度只能在当前加速度的领域内,即假定加速度a(k)满足:
其中,是零均值的一阶马尔可夫过程,是加速度的均值;
当前统计模型的离散状态方程为:
其中,
IMM算法通过马尔可夫链描述模型集中的M个模型的切换,它的步骤归纳如下:
交互
计算模型i和模型j的混合概率μi|j:
pij为下一时刻从模型i切换到模型j的概率,μi[k-1]为模型i在k-1时刻的概率,表示归一化系数;
每个滤波器的混合输入计算为:
其中,Pi(k-1)分别表示模型i在上一时刻更新的估计值和协方差;
滤波
基于每个模型j使用UKF进行滤波,同时计算每个滤波器的观测似然函数
Λj(k)=N(VJ(k),Sj(k)) (41)
VI(k)为模型j在UKF滤波更新后的测量残差,Sj(k)是协方差;模型j在k时刻的概率计算为:
联合
最后计算各个滤波器的状态值和协方差的联合估计:
以上为IMM算法的步骤;通过IMM对两个模型进行交互,可以有效对目标状态进行预测,将所预测的目标状态作为飞行器的控制输入。
所述的步骤S4中,
在飞行器与目标的相对距离大于阈值κd且都小于阈值κa时,使用正常模式跟踪;正常模式下控制器飞行器根据IMM得到的目标位置估计设计速度环PID控制器:
在飞行器与目标的相对距离时,若或大于κa时,进一步判断该加速度方向,若加速度方向是远离飞行器时,判断无法跟踪,飞行器减速悬停等待地面站重新给定跟踪目标;若加速度方向是接近飞行器,进入悬停模式;在悬停模式中,飞行器悬停于原地,只通过改变飞行器的偏航角和云台角度来对目标进行跟踪;
飞行器所要偏转的偏航角应与云台期望水平偏角相等,考虑飞行器具有
云台增稳***,可以不考虑飞行器改变偏航角时对云台造成的影响;
Ε(ψ)=E(α) (46)
在飞行器与目标的相对距离d<κd时,进入悬停模式;若云台俯仰角β>κβ,不改变飞行器高度;当κβ>β≥-90°时,提升飞行器的高度使视野变大,同时将飞行器偏航角向目标运动方向变化;飞行器提升的速度:
vh=vy tanθH (47)
飞行器偏航角速度:
这样的分情况控制能够有效解决飞行器由于自身动力学特性而无法快速反向机动带来的跟踪困难。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种旋翼无人机移动目标自主跟踪装置的控制方法,包括飞行器和地面站,所述的飞行器包括飞行器控制器,与飞行器控制器连接的飞行器螺旋桨电机、云台电机,所述的云台电机连接云台摄像头;
所述的飞行器和地面站之间设有无线图像传输模块和无线数据传输模块,飞行器与地面站通过无线图像传输模块和无线数据传输模块连接;
所述的地面站包括图像跟踪模块、云台控制模块、目标位置估算模块、飞行器控制模块;
所述的飞行器上设有气压计;所述的飞行器上设有磁力计;所述的飞行器上设有惯性测量单元;所述的云台摄像头设于飞行器机体下方;所述的气压计、磁力计、惯性测量单元均与无线数据传输模块连接;
其特征在于,包括以下步骤:
S1.云台摄像头将图像信号输送到无线图像传输模块,无线图像传输模块再输送到图像跟踪模块,图像跟踪模块采用struck算法,得到的目标图像坐标发送给云台控制模块和目标位置估算模块;
S2.云台控制模块在获得图像跟踪模块发送的图像坐标后,为目标建立运动模型,得到下一时刻的估计坐标,提供给指令发送模块控制云台的转动;
S3.目标位置估算模块接收到目标图像坐标后结合机载传感器的数据计算目标与飞行器的相对位置,将经过IMM算法得到估计的目标状态,发送给飞行器控制模块;
S4.飞行器控制模块根据目标状态决定控制策略从而改变自己的姿态角进行移动;
所述的步骤S1中,
Struck算法使用结构输出的支持向量机算法,将样本描述为区域和变换的组合也即(x,y),其中y是待求的目标区域变化函数,将目标位置变化函数与分类结合在一起可以得到一个区分函数:
F:
这个区分函数的作用是给定坐标区域x和平面变换y,可以分别计算原坐标区域和变换后的坐标区域的haar特征值并比较两个区域之间的相似度并评分;好处是将这个区分函数用于预测目标可以同时把分类问题和判定相似度的问题合并成一个参数最优化的问题:
其中是目标上一帧的位置,Υ是所有可能的变化组成的空间;
通过把区分函数约束成带有核函数的形式:
F(x,y)=<w,Φ(x,y)> (3)
可以将具有一系列样本{(x1,y1)…(xn,yn)}的跟踪问题简化成可以使用支持向量机模型求解的形式:
where δΦi(y)=Φ(xi,yi)-Φ(xi,y)
损失函数可以定义为区域变换后的重叠度:
使用拉格朗日算子将约束和最优化问题结合起来,可以得到式子:
定义变量
可以将问题简化成:
在算法过程中,使用SMO算法求解这个最优化问题,每次为当前样本选择一个最好的正样本和负样本,然后将有效的样本加入支持向量,同时调整已有支持向量的系数,舍弃调整后不符合约束的支持向量,过程中一直保持有效支持向量的数目不超过100,超过的话根据公式:
去掉负支持向量(xr,y);
根据正支持向量得到的样本重新在它们周围进行采样,从众多样本中选择使区分函数的值最大的一个区域作为跟踪结果;
所述的步骤S2中,
在得到目标图像坐标后,基于帧与帧的间隔时间较短,可以认为目标的坐标在图像上的运动是在同一直线上的变加速运动;利用这样的假设,可以为目标坐标建立一个运动模型;记目标在t时刻的坐标为(u(t),v(t)),可以分别对横坐标u(t)和纵坐标v(t)建立一个CA模型,也即:
同时基于前四帧的图像坐标可以差分得到目标坐标的前一时刻的速度和加速度:
将式(14-16)代入CA模型用以预测移动目标下一时刻的坐标,这个预测的坐标能够结合目标在图像的运动趋势和云台的控制性能,可使云台在跟踪过程中的运动更为平滑,从而避免由于开环控制所带来的云台控制超调振荡的情况;通过预测的坐标计算云台需要偏转的偏航角和俯仰角:
其中fH、fW是图像高度和宽度,θH和θW是摄像头纵向和横向成像视角。
2.根据权利要求1所述的旋翼无人机移动目标自主跟踪装置的控制方法,其特征在于:所述的步骤S3中,
基于目标在世界坐标系下的运动高度不变的假设,可以将目标运动模型简化到二维平面;
∠TPT′和∠NPT′可通过摄像头成像原理计算得到:
其中,fH、fW分别为图像高度和宽度,θH和θW分别为摄像头纵向和横向成像视角;OP是通过机载气压计或超声波传感器估计的飞行器的高度,∠OPM可以通过云台俯仰角获得;由三角关系可得
OT’=OP tan OPT’ (22)
TM=OP(tan OPT’-tan OPM) (23)
T’N=T’M cos OPM (24)
由此,可以得到目标相对于飞行器的坐标为:
dx=OT sin(∠MOy+∠TOM) (28)
dy=OT cos(∠MOy+∠TOM) (29)
因为得到的目标位置是通过几何换算得到的,传感器精度带来的观测误差会影响飞行器的跟踪,同时基于目标当前状态的跟踪会带来较大的超调,所以需要对目标状态进行滤波和预测;跟踪的目标状态可能是静止、弱机动、强机动,无法用一个确定的模型来描述,因此在对目标状态进行估计的时候需要考虑模型的改变;使用匀速直线运动CV模型和当前统计模型作为***模型集使用交互式多模型算法IMM算法去预测目标状态;记采样间隔为T,由于x方向和y方向的预测是等价的,以x方向为例说明目标状态的预测;
CV模型也即匀速直线运动模型,设目标离散运动模型和观测模型为:
X(k+1)=ΦX(k)+Γ(k)W(k) (30)
Z(k)=C(k)X(k)+V(k) (31)
其中状态量Φ是状态转移矩阵,Γ是过程噪声分布矩阵,W(k)和V(k)是均值为零相互独立且不相关的高斯白噪声,Z(k)是观测向量,C(k)是测量函数;
其状态转移矩阵为:
过程噪声分布矩阵为:
当前统计模型是一种非零均值时间相关模型,它假设当前时刻加速度均值为前一时刻加速度的估计值,可以用来对机动目标进行建模;当前统计模型认为目标当前下一时刻的加速度只能在当前加速度的领域内,即假定加速度a(k)满足:
其中,是零均值的一阶马尔可夫过程,是加速度的均值;
当前统计模型的离散状态方程为:
其中,
IMM算法通过马尔可夫链描述模型集中的M个模型的切换,它的步骤归纳如下:
1.交互
计算模型i和模型j的混合概率μi|j:
pij为下一时刻从模型i切换到模型j的概率,μi[k-1]为模型i在k-1时刻的概率,表示归一化系数;
每个滤波器的混合输入计算为:
其中,Pi(k-1)分别表示模型i在上一时刻更新的估计值和协方差;
2.滤波
基于每个模型j使用UKF进行滤波,同时计算每个滤波器的观测似然函数
Λj(k)=N(VJ(k),Sj(k)) (41)
VJ(k)为模型j在UKF滤波更新后的测量残差,Sj(k)是协方差;模型j在k时刻的概率计算为:
3.联合
最后计算各个滤波器的状态值和协方差的联合估计:
以上为IMM算法的步骤;通过IMM对两个模型进行交互,可以有效对目标状态进行预测,将所预测的目标状态作为飞行器的控制输入。
3.根据权利要求1所述的旋翼无人机移动目标自主跟踪装置的控制方法,其特征在于:所述的步骤S4中,
在飞行器控制模块中,使用IMM算法得到的目标状态作为输入;接下来分情况讨论:
a)在飞行器与目标的相对距离大于阈值κd且都小于阈值κa时,使用正常模式跟踪;正常模式下控制器飞行器根据IMM得到的目标位置估计设计速度环PID控制器:
b)在飞行器与目标的相对距离时,若或大于κa时,进一步判断该加速度方向,若加速度方向是远离飞行器时,判断无法跟踪,飞行器减速悬停等待地面站重新给定跟踪目标;若加速度方向是接近飞行器,进入悬停模式;在悬停模式中,飞行器悬停于原地,只通过改变飞行器的偏航角和云台角度来对目标进行跟踪;
飞行器所要偏转的偏航角应与云台期望水平偏角相等,考虑飞行器具有云台增稳***,可以不考虑飞行器改变偏航角时对云台造成的影响;
Ε(ψ)=E(α) (46)
c)在飞行器与目标的相对距离d<κd时,进入悬停模式;若云台俯仰角β>κβ,不改变飞行器高度;当κβ>β≥-90°时,提升飞行器的高度使视野变大,同时将飞行器偏航角向目标运动方向变化;飞行器提升的速度:
vh=vy tan θH (47)
飞行器偏航角速度:
这样的分情况控制能够有效解决飞行器由于自身动力学特性而无法快速反向机动带来的跟踪困难。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610117943.1A CN105652891B (zh) | 2016-03-02 | 2016-03-02 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610117943.1A CN105652891B (zh) | 2016-03-02 | 2016-03-02 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105652891A CN105652891A (zh) | 2016-06-08 |
CN105652891B true CN105652891B (zh) | 2018-06-29 |
Family
ID=56492105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610117943.1A Active CN105652891B (zh) | 2016-03-02 | 2016-03-02 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105652891B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885099A (zh) * | 2017-12-06 | 2019-06-14 | 智飞智能装备科技东台有限公司 | 一种用于无人机跟踪锁定目标的视觉识别*** |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106200673B (zh) * | 2016-07-26 | 2019-10-18 | 中国航空工业集团公司西安飞行自动控制研究所 | 一体化自动飞行机动控制方法 |
CN106210672A (zh) * | 2016-09-14 | 2016-12-07 | 四川克瑞斯航空科技有限公司 | 无人机地面控制*** |
CN106444753B (zh) * | 2016-09-20 | 2019-12-03 | 智易行科技(武汉)有限公司 | 基于人工神经网络的人体态势判断智能跟随方法 |
CN106598081B (zh) * | 2016-10-27 | 2019-08-23 | 纳恩博(北京)科技有限公司 | 一种图像采集方法及电子设备 |
WO2018120059A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳市大疆灵眸科技有限公司 | 用于云台的控制方法、控制***、云台和无人飞行器 |
CN106527496B (zh) * | 2017-01-13 | 2019-07-02 | 平顶山学院 | 面向无人机航拍图像序列的空中目标快速跟踪方法 |
CN106989744A (zh) * | 2017-02-24 | 2017-07-28 | 中山大学 | 一种融合机载多传感器的旋翼无人机自主定位方法 |
WO2018187916A1 (zh) * | 2017-04-10 | 2018-10-18 | 深圳市大疆创新科技有限公司 | 云台随动控制方法及控制设备 |
CN107426289B (zh) * | 2017-05-26 | 2018-06-01 | 中国人民解放***箭军工程大学 | 一种巡飞无人机跟踪目标选取同步方法 |
WO2018227345A1 (zh) * | 2017-06-12 | 2018-12-20 | 深圳市大疆创新科技有限公司 | 控制方法和无人机 |
CN107295257A (zh) * | 2017-07-13 | 2017-10-24 | 广东工业大学 | 探测头减振方法、探测头减振装置及无人机 |
WO2019023887A1 (zh) * | 2017-07-31 | 2019-02-07 | 深圳市大疆创新科技有限公司 | 云台转动的方法、云台、飞行器、控制云台转动的方法及*** |
CN109753076B (zh) * | 2017-11-03 | 2022-01-11 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
WO2019100238A1 (zh) * | 2017-11-22 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 一种断链恢复的方法及飞行器 |
CN108287353B (zh) * | 2018-01-03 | 2020-01-14 | 武汉理工大学 | 天基无人机通讯卫星定位跟踪方法 |
CN108399642B (zh) * | 2018-01-26 | 2021-07-27 | 上海深视信息科技有限公司 | 一种融合旋翼无人机imu数据的通用目标跟随方法和*** |
CN108334099B (zh) * | 2018-01-26 | 2021-11-19 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
CN108759839B (zh) * | 2018-04-11 | 2020-12-04 | 哈尔滨工程大学 | 一种基于态势空间的无人飞行器路径规划方法 |
CN108549413A (zh) * | 2018-04-27 | 2018-09-18 | 全球能源互联网研究院有限公司 | 一种云台旋转控制方法、装置及无人飞行器 |
CN113190013B (zh) * | 2018-08-31 | 2023-06-27 | 创新先进技术有限公司 | 控制终端运动的方法和装置 |
CN109612471B (zh) * | 2019-02-02 | 2021-06-25 | 北京理工大学 | 一种基于多传感器融合的运动体姿态解算方法 |
CN109781118A (zh) * | 2019-03-08 | 2019-05-21 | 兰州交通大学 | 一种无人车的位置跟踪方法 |
CN110222581B (zh) * | 2019-05-13 | 2022-04-19 | 电子科技大学 | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 |
CN110570463B (zh) * | 2019-09-11 | 2023-04-07 | 深圳市道通智能航空技术股份有限公司 | 一种目标状态估计方法、装置和无人机 |
CN111198561B (zh) * | 2019-12-05 | 2021-10-22 | 浙江大华技术股份有限公司 | 目标跟踪的运动控制方法、装置、计算机设备及存储介质 |
CN110764537B (zh) * | 2019-12-25 | 2020-03-27 | 中航金城无人***有限公司 | 基于运动估计和视觉跟踪的云台自动锁定***和方法 |
CN111785036B (zh) * | 2020-06-23 | 2022-03-25 | 吉林大学 | 一种基于无人机投影的事故路段交通应急疏导方法 |
CN112416021B (zh) * | 2020-11-17 | 2021-12-21 | 中山大学 | 一种基于学习的旋翼无人机路径跟踪预测控制方法 |
CN112859919B (zh) * | 2021-01-19 | 2022-08-26 | 中国人民解放军陆军边海防学院 | 无人机群对运动目标的追踪方法 |
CN113365030B (zh) * | 2021-06-01 | 2023-07-04 | 珠海大横琴科技发展有限公司 | 一种多角度目标跟踪方法和跟踪*** |
CN114384924A (zh) * | 2021-12-06 | 2022-04-22 | 华能陕西子长发电有限公司 | 一种使用无人机定距跟踪地面移动目标的控制方法 |
CN114296479B (zh) * | 2021-12-30 | 2022-11-01 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及*** |
CN117055608B (zh) * | 2023-10-11 | 2023-12-29 | 北京理工大学 | 一种基于锂电动力特性动态逆的固定翼无人机制导方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1953547A (zh) * | 2006-09-21 | 2007-04-25 | 上海大学 | 无人飞行器对地面移动目标的低空跟踪***及方法 |
CN201639715U (zh) * | 2010-04-22 | 2010-11-17 | 上海蚕路网络科技有限公司 | 一种飞机起降安全视频跟踪*** |
CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪***的图像稳定方法 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001355998A (ja) * | 2000-06-14 | 2001-12-26 | Nec Corp | 移動体の画像誘導制御システム、及び、その画像誘導制御方法 |
-
2016
- 2016-03-02 CN CN201610117943.1A patent/CN105652891B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1953547A (zh) * | 2006-09-21 | 2007-04-25 | 上海大学 | 无人飞行器对地面移动目标的低空跟踪***及方法 |
CN201639715U (zh) * | 2010-04-22 | 2010-11-17 | 上海蚕路网络科技有限公司 | 一种飞机起降安全视频跟踪*** |
CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪***的图像稳定方法 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885099A (zh) * | 2017-12-06 | 2019-06-14 | 智飞智能装备科技东台有限公司 | 一种用于无人机跟踪锁定目标的视觉识别*** |
Also Published As
Publication number | Publication date |
---|---|
CN105652891A (zh) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105652891B (zh) | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 | |
Cheng et al. | An autonomous vision-based target tracking system for rotorcraft unmanned aerial vehicles | |
US20200354079A1 (en) | Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory | |
Martínez et al. | On-board and ground visual pose estimation techniques for UAV control | |
US11584525B2 (en) | Deep learning-based localization of UAVs with respect to nearby pipes | |
Shen et al. | Vision-based state estimation for autonomous rotorcraft MAVs in complex environments | |
Roelofsen et al. | Reciprocal collision avoidance for quadrotors using on-board visual detection | |
Lin et al. | A robust real-time embedded vision system on an unmanned rotorcraft for ground target following | |
CN105549614B (zh) | 无人机目标跟踪方法 | |
CN108594848B (zh) | 一种基于视觉信息融合的无人机分阶段自主着艇方法 | |
Teuliere et al. | 3D model-based tracking for UAV position control | |
Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
Xu et al. | Vision-based autonomous landing of unmanned aerial vehicle on a motional unmanned surface vessel | |
McGuire et al. | Local histogram matching for efficient optical flow computation applied to velocity estimation on pocket drones | |
Mills et al. | Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers | |
Imamura et al. | Human tracking by a multi-rotor drone using HOG features and linear SVM on images captured by a monocular camera | |
Zhang et al. | Autonomous landing on ground target of UAV by using image-based visual servo control | |
Dotenco et al. | Autonomous approach and landing for a low-cost quadrotor using monocular cameras | |
Huang et al. | Visual servoing of a micro quadrotor landing on a ground platform | |
Mebarki et al. | Autonomous landing of rotary-wing aerial vehicles by image-based visual servoing in GPS-denied environments | |
Lee | Machine learning vision and nonlinear control approach for autonomous ship landing of vertical flight aircraft | |
Zhang et al. | Enhanced fiducial marker based precise landing for quadrotors | |
Wang et al. | Pose and velocity estimation algorithm for UAV in visual landing | |
Ruiz et al. | Detection and tracking of a landing platform for aerial robotics applications | |
Kang et al. | Development of a peripheral-central vision system for small UAS tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |