CN105000194A - 基于地面合作标志的无人机助降视觉引导方法及机载*** - Google Patents

基于地面合作标志的无人机助降视觉引导方法及机载*** Download PDF

Info

Publication number
CN105000194A
CN105000194A CN201510496861.8A CN201510496861A CN105000194A CN 105000194 A CN105000194 A CN 105000194A CN 201510496861 A CN201510496861 A CN 201510496861A CN 105000194 A CN105000194 A CN 105000194A
Authority
CN
China
Prior art keywords
circular luminous
luminary
led
ground
luminous body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510496861.8A
Other languages
English (en)
Inventor
史彩成
解乃林
史其存
李秀珍
辛怡
李勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510496861.8A priority Critical patent/CN105000194A/zh
Publication of CN105000194A publication Critical patent/CN105000194A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于地面合作标志的无人机助降视觉引导方法及机载***,属于飞行导航控制领域。利用至少4个圆形发光体排列为具有方向性的地面合作标志,预定着陆位置设定在其中顶点灯前方。无人机在预定高度悬停,检测机载摄像头每帧图像中每个高亮区域并判断其是否为一个圆形发光体,然后根据圆形发光体的数量及各圆形发光体之间的排列关系,与目标库中预存的地面合作标志特征进行对比和识别,获得顶点灯位置及预定着陆位置,控制无人机朝向该预定着陆位置下降飞行并同时进行目标预测和跟踪。本发明地面合作标志布置约束少灵活性大且支持多种标志以引导不同着陆位置,有效提高无人机助降引导效率和可靠性且不受GPS限制。

Description

基于地面合作标志的无人机助降视觉引导方法及机载***
技术领域
本发明涉及一种无人机助降视觉引导方法及机载***,具体地涉及具有地面合作标志点的无人机视觉引导方法及机载***。属于飞行导航控制领域。
背景技术
无人机(Unmanned aerial vehicle)与载人飞机相比,具有重量轻、人员伤亡风险小、机动性好、机舱设计简单等特点,除了在军事上的应用前景,其在民用领域也逐渐显露头角。无人机导航技术主要包括惯性导航、雷达导航、GPS导航、微波导航和视觉导航等。其中,随着计算机视觉和图像采集技术、光学测量技术、高速实时处理及存储技术的发展,基于视觉信息的导航技术近年成为研究热点,并具有设备简单、功耗低、体积小、自主无源等优点,并且不依赖地面和空中的导航设备,尤其是不受制于GPS限制(GPS导航***利用导航卫星进行导航定位,存在信号易受干扰、分辨精度和技术垄断等问题)。在电子对抗方面具有较大优势。
着陆导航是无人机飞行中的重要阶段,因进场着陆受飞行高度、气象和地理环境等诸多因素的影响,精确可靠自动化的助降方法成为无人机技术中的关键研究内容之一。按照摄像机安装位置的不同,可把视觉助降***分为:基于地基信息的无人机着陆导航***、基于人工标志物的机载着陆导航***和基于自然场景的机载着陆导航***。地基助降***通过地面已经标定号的摄像设备同步拍摄无人机图像,提取特征点或合作标志,计算位置和姿态并反馈给控制***控制着陆,如西北工业大学张艳宁等人提出的基于视觉的无人机自主着陆导引装置及导引方法(申请号201410436145.6),测量相机布置在跑道两侧,强光标志灯布置在无人机正前方,通过测量无人机三维空间位置信息求解飞行参数并无线发送给无人机飞控***引导自主着陆,此类方法,对地面工作要求较高且计算方法复杂还需要地面与无人机进行无线通信,使得电子对抗性和飞控可靠性降低。基于自然场景的机载着陆导航***如清华大学王冠林和朱纪洪提出一种基于自然地标和视觉导航的无人直升机自主着陆方法(申请号201010623599.6),利用地面自然地标锁定目标控制无人机悬停在该自然地标上空任何在高度计引导下进行下降至着陆,该方法并未说明如何判别自然地标的特征,而且是垂直下降,对于自然地标周围环境没有在文中进行限定,无法保证着陆地点的安全性。机载助降***通过安装在无人机上的摄像机获得地面引导标志的图像,通过位姿估计测算无人机飞行状态和相对于着陆点的位置和方位,经控制***实施助降引导。
机载助降***中的地面引导标志大多采用地面信号布,即视觉导航机载助降***通常需要地面实现铺设具有特殊形状的着陆指示信号布作为地面合作标志。无人直升机通过识别信号布的图像的特征,修正自身的水平位移和航向。国内外相关研究机构在视觉助降方面的研究集中于选择着陆指示信号布所包含的地面合作标志形状、利用视觉图像几何参数等信息解算无人机位置姿态,获得导航定位参数。合作目标检测算法应具有较高的实时性和抗噪声特性,设计合作目标要求该标志包含足够的信息使得计算机视觉***可以利用这些信息提取无人机自主着陆所需的相对位置和姿态信息,且该标志应容易识别,容易与其他物体和环境进行区分,同时当然也希望图案比较简单,以便提升视觉引导***的处理速度。
现有的降落坪地面合作标志大多为形状规则的多边形组合、H型、L型、T型或圆形,其共同点是均设计成对比鲜明的黑白色,以便于在图像的二值化处理中可以把地标特征提取出来。光线、环境及摄像头质量等均会对黑白标志物在图像中所对应的像素点的灰度值造成不同程度的变化,使得黑色部分灰度值降低,白色部分灰度值升高,二者差异缩小。目前已有的合作标志视觉引导方法包括基于角点特征的检测方法,此类标志大多采用矩形和直线组合元素,但是对边缘提取算法的依赖性较大;基于圆特征的检测方法,其中张远民等涉及了六个圆组成的特征图案,其中外层三角形的一个顶点是圆环用来指示降区的方位,通过圆形区域方法和模板匹配方法识别圆形,但效果没有采用角点的方法准确。而后还有基于角点和圆特征混合的检测方法,但无疑增加了运算量影响了实时性。此外还有基于不变矩的目标检测方法,如美国南加州大学提出的“H”形合作标志,以及南京航空航天大学徐贵力等提出的“T”形合作标志,虽然准确性可靠性有一定提升但是不变矩的计算相对复杂。其他算法还包括模板匹配检测算法、基于统计分类的机器学习方法等,均受制于运算量和***稳定性。有些合作标志涂覆有红外涂料,如北京航空航天大学李红光等人提出的一种无人机自主着舰的合作目标设计与定位方法(申请号201310125318.8),在舰船跑道两侧设置三个涂有红色红外涂料的“T”形合作标志,并且“T”形的两条边遵从一定的比例,采用机载红外摄像机拍摄地面合作标志图像,并进行特征提取和定位,同时还要确定舰船的运动状态,确定无人机着舰的精确位置。又如南京航空航天大学徐贵力等人提出的无人机自主着陆的合作目标识别方法(ZL200510095085.7),利用基于目标轮廓的方向链码提取十字形地面合作目标的长宽比,通过目标形状特征确定无人机自主着陆方向。
此外,还有如北京航空航天大学雷旭升等人提出的一种基于三层品字形多色降落坪的旋翼无人机自主起降***(申请号201410089860.7),采用了多层嵌套的彩色的品字形视觉标志作为降落标志,该***通过地面监控站与无人机通信,通过无线图像传输模块将机载摄像头捕获的降落坪图像发送到地面监控站,并由地面监控站的视觉处理单元进行图像解算,得到视觉导航信息,再经过无线数据传输模块发送到机载***。此类方法无疑增加了对降落地点和应用场合的限制,无线传输也使得***的可靠性下降。
还有将图形对象识别和基于无线信号强度测距相结合来控制飞行器降落的方法,如深圳市大疆创新科技有限公司申请号为201410234164.0的发明申请,而在本发明中则无需估算与信号源之间的距离。
发明内容
为了构建一种准确可靠的无人机助降方法,本发明利用至少4个圆形发光体布设为地面合作标志,并利用机载摄像头拍摄图像的静态特征及动态特征识别,提出一种基于地面合作标志点识别的无人机助降视觉引导方法,包括如下步骤:
步骤1:布设地面合作标志
所述地面合作标志包括至少4个实心圆形发光体并分别编号,每个圆形发光体的直径至少为300mm,各圆形发光体形心之间的距离至少为圆形发光体半径的3倍;这些圆形发光体固定于地面深色背景上,并使这些圆形发光体所组成的形状从空中看具有方向性,即当这些圆形发光体所组成的形状进行平行于地面的整体旋转时,各圆形发光体不发生编号混淆;
令这些圆形发光体中位于***的一个圆形发光体作为顶点灯;预定着陆位置设定在顶点灯前方,且预定着陆位置到顶点灯的距离大于其到其他各圆形发光体的距离,且预定着陆位置与顶点灯边缘之间的距离大于无人机机身最大长度;
每个预定着陆位置对应一个特定的地面合作标志,该地面合作标志包括特定数量和排列关系的圆形发光体;
建立目标库,在目标库中预先存储各地面合作标志所包含的圆形发光体数量、各圆形发光体的半径和编号、各圆形发光体之间的排列关系,此外还包括顶点灯编号、预定着陆位置与顶点灯之间的位置关系;
机载摄像头设置在无人机上,机载摄像头的光轴保持下视;
作为优选,所述每个实心圆形发光体由条带状LED灯盘绕而成。
作为优选,所述每个实心圆形发光体由发热LED排灯盘成。
作为优选,所述机载摄像头为近红外摄像机。
步骤2:无人机在预定高度悬停,启动助降引导,将置信度初始化为0,目标跟踪标志初始化为0,潜在发光体目标个数即待识别的发光体数量初始化为0;
持续检测判断地面是否有潜在的地面合作标志,方法如下:
对机载摄像头所拍摄的每帧图像,检测其中高亮的像素,并将相邻的高亮像素合并为高亮区域;将这些高亮区域作为潜在的发光体目标,即认为可能是地面合作标志中的一个发光体;
步骤3:目标静态识别:
对步骤2机载摄像头所拍摄的图像,提取该帧图像中每个潜在发光体目标的静态特征,包括各潜在发光体目标的周长、半径、面积、形心位置,并判断其是否为一个圆形发光体:若判定此发光体为一个圆形发光体,则更新潜在发光体目标个数;若判定不是一个圆形发光体,否则认为该潜在发光体目标为干扰;直到对该帧图像中的每个潜在发光体目标都完成判定;
步骤4:获得预定着陆位置:
步骤4.1:对步骤3获得的各圆形发光体的静态特征与步骤1所建立的目标库中预存的地面合作标志特征进行对比,以判定是否为同一目标;所述目标静态特征指圆形发光体的数量及各圆形发光体之间的排列关系:判断方法为:
(1)根据步骤3获得当前图像中的潜在发光体目标个数,与目标库中预存的各地面合作标志所包含的圆形发光体数量进行对比,选择与步骤3获得的潜在发光体目标个数相等的地面合作标志作为待匹配目标;若没有数量相等的预存地面合作标志,则返回步骤2重新检测地面合作标志;
(2)将待匹配目标和步骤3获得的各发光体的静态特征进行对比,判断是否为同一目标;
步骤4.2:若是同一目标,则根据目标库中预存的信息获得顶点灯编号和位置,即获得顶点灯的形心横纵坐标,并获得各圆形发光体的编号,且将目标跟踪标志设置为1,置信度设置为T;根据当前帧获得的顶点灯的形心位置坐标及目标库中预存的该地面合作标志所对应的预定着陆位置与顶点灯的位置关系,获得预定着陆位置坐标;
若不是同一目标,则返回步骤2重新检测地面合作标志;
步骤5:判断目标跟踪标志是否等于1;若目标跟踪标志等于1,根据无人机当前机身状态参数和步骤4获得的预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰偏差、方位偏差,并发送给无人机的飞行状态控制器,以控制无人机朝向该预定着陆位置下降飞行,并且机载摄像头实时从空中采集该地面合作标志的图像;无人机当前机身状态参数包括偏航、俯仰、滚转参数;
若目标跟踪标志不等于1,则返回步骤2重新检测地面合作标志;
步骤6:在无人机下降过程中进行目标预测和跟踪:
无人机下降过程中对机载摄像头拍摄的每帧图像按照下述方法计算一次所有观测值及其相应的预测值,并进行相关性判定:
步骤6.1:流水缓存机载摄像头拍摄的连续N帧图像,N最低要求3帧,每帧图像的观测值为地面合作标志所包括的全部M个圆形发光体的每个圆形发光体的面积、平均灰度以及形心位置横纵坐标,采用二元线性回归方法根据这N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位置坐标进行预测,即获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置;
步骤6.2:相关性判断:
从第(N+1)帧开始,对当前帧的每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置的观测值与步骤6.1给出的该帧相应预测值进行相关性判断,当该帧的各观测值与相应预测值误差均小于预定门限K时,则认为该帧满足相关性条件;否则认为不满足相关条件;
步骤6.3:当该帧不满足相关性条件时,将当前置信度减1;并且将该帧的所有4M个观测值,包括每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置,均用该帧相应的预测值代替,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值,所述的预测值是根据前N帧观测值进行步骤6.1二元线性回归预测获得的;
当该帧满足相关性条件时,将当前置信度更新为设定值T;使用该帧的所有4M个观测值,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值;
步骤6.4:当置信度大于0时,将当前目标跟踪标志设置为1;则根据当前帧观测值中的顶点灯的形心位置坐标及目标库中预存的该地面合作标志中顶点灯与预定着陆位置之间的关系,计算预定着陆位置;然后根据无人机当前机身状态参数和预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰、方位偏差;由飞行状态控制器控制无人机跟踪预定着陆位置进行下降飞行,直至无人机降落至预定着陆位置;无人机当前机身状态参数包括偏航、俯仰、滚转参数;
当置信度小于等于0时,则认为丢失目标即当前飞行中无法正确跟踪地面合作标志,此时将目标跟踪标志设置为0,飞行状态控制器控制无人机停止下降,并返回步骤2重新检测地面合作标志。
对比现有技术,本发明的有益效果在于:本发明利用具有方向性的地面合作标志和对机载摄像头拍摄图像的目标静态特征识别及目标动态跟踪预测,实现对无人机预定着陆位置进行视觉引导,方法简单,误差小,地面合作标志布置约束少灵活性大且支持多种地面合作标志以引导不同着陆位置,也无需地面监测站,并且本发明可以采用偏心跟踪策略,使无人机预定着陆位置与地面合作标志具有一定距离从而保护地面合作标志不受损坏,有效提高了无人机助降引导效率和可靠性,且不受GPS和能见度限制。
附图说明
图1是本发明方法的流程示意图;
图2是实施例1所述的由5个圆形发光体组成的地面合作标志示意图;
图3是实施例1所述的由7个圆形发光体组成的地面合作标志示意图;
图4是基于地面合作标志的无人机助降视觉引导机载***构成图。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明,同时也叙述了本发明技术方案解决的技术问题及有益效果,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
下面结合实施例对本发明所述一种基于地面合作标志点识别的无人机助降视觉引导方法的具体实施方式进行描述解释,如附图1,本方法包括如下步骤:
步骤1:布设地面合作标志
所述地面合作标志包括至少4个由LED条灯盘绕而成的等大的实心圆形发光体并分别编号(见实施例1和实施例2),每个圆形发光体的直径至少为300mm,各圆形发光体形心之间的距离至少为圆形发光体半径的3倍;这些圆形发光体固定于地面深色背景上,并使这些圆形发光体所组成的形状从空中看具有方向性,即当这些圆形发光体所组成的形状进行平行于地面的整体旋转时,各圆形发光体不发生编号混淆;
令这些圆形发光体中位于***的一个圆形发光体作为顶点灯;预定着陆位置设定在顶点灯前方,且预定着陆位置到顶点灯的距离大于其到其他各圆形发光体的距离,且预定着陆位置与顶点灯边缘之间的距离大于无人机机身最大长度;预定着陆位置与顶点灯保持一定距离是为了保护地面合作标志在无人机着陆时不被损坏;
每个预定着陆位置对应一个特定的地面合作标志,该地面合作标志包括特定数量和排列关系的圆形发光体;
建立目标库,在目标库中预先存储各地面合作标志所包含的圆形发光体数量、各圆形发光体的半径和编号、各圆形发光体之间的排列关系,此外还包括顶点灯编号、预定着陆位置与顶点灯之间的位置关系;
机载摄像头设置在无人机上,机载摄像头的光轴保持下视并与垂直线具有至少1.5°夹角,且向无人机正前方倾斜安装,以便进行偏心跟踪。
作为优选,各圆形发光体布置在深色尼龙布上,便于检测和识别;
步骤2:无人机在预定高度悬停,启动助降引导,将置信度初始化为0,目标跟踪标志初始化为0,潜在发光体目标个数即待识别的LED灯的数量初始化为0;
持续检测判断地面是否有潜在的地面合作标志,方法如下:
对机载摄像头所拍摄的每帧图像,检测其中高亮的像素,并将相邻的高亮像素合并为高亮区域;将这些高亮区域作为潜在的发光体目标,即认为可能是地面合作标志中的一个发光体;
作为优选,所述预定高度取值区间为100m~150m,即无人机距离地面100m~150m高度时开始进行地面合作标志的检测。此时地面定位误差2.5m左右。
进一步地,当预定高度取值为100m~150m,每个圆形发光体的光度大于等于113000lm;机载摄像头分辨率为720*288,像素位数大于等于8bit,灵敏度小于等于0.2lux,F为1.4,视场9~20度。
作为优选,所述将相邻的高亮像素合并为高亮区域的方法是,先将图像每行中相邻高亮像素合并成一个物体,再将行间将有相交的物体合并。
步骤3:目标静态识别:
对步骤2机载摄像头所拍摄的图像,提取该帧图像中每个潜在发光体目标的静态特征,包括各潜在发光体目标的面积、位置,并判断是否为为地面合作标志的一个圆形发光体,方法如下:
步骤3.1:获取第i个潜在发光体目标的周长Li,则该发光体半径为所述周长是该帧图像中该发光体边缘的像素个数;
步骤3.2:计算该发光体的形心并以该发光体的形心为圆心建立标准圆方程坐标原点设在图像的左上角,横向向右为x轴正方向、垂直方向向下为y轴正方向;
作为优选,每个发光体的形心的计算方法如下:
x ‾ i = ∫ ∫ Q i x d x d y S i
y ‾ i = ∫ ∫ Q i y d x d y S i
其中,该发光体面积由该发光体覆盖区域Qi的大小决定;。
步骤3.3:设发光体实际边缘坐标为(xt,yt),计算该发光体边缘横坐标与形心构成的标准圆的横坐标之间的均方误差Ex,以及该发光体边缘纵坐标与形心构成的标准圆的纵坐标的均方误差Ey
E x = Σ x = x ‾ - R x ‾ + R [ Σ y = y ‾ - R y ‾ + R ( x - x t ) 2 ] L i ; E y = Σ x = x ‾ - R x ‾ + R [ Σ y = y ‾ - R y ‾ + R ( y - y t ) 2 ] L i ;
计算该发光体边缘横坐标与形心构成的标准圆的横坐标的最大误差Emax_x,以及该发光体边缘纵坐标与形心构成的标准圆的纵坐标的最大误差Emax_y
E max _ x = max x ‾ - R i ≤ x ≤ x ‾ + R i y ‾ - R i ≤ y ≤ y ‾ + R i ( x - x t ) 2 ; E max _ y = max x ‾ - R i ≤ x ≤ x ‾ + R i y ‾ - R i ≤ y ≤ y ‾ + R i ( y - y t ) 2 ;
若Ex和Ey均小于1且Emax_x和Emax_y均小于等于1,则判定此发光体为地面合作标志的一个圆形发光体即一个LED灯,并更新潜在发光体目标个数,否则判定为干扰;直到对该帧图像中的每个潜在发光体目标都完成判定;
步骤4:获得预定着陆位置:
步骤4.1:对目标静态特征与步骤1所建立的目标库中预存的地面合作标志特征进行对比,以判定是否为同一目标;所述目标静态特征指圆形发光体的数量及各圆形发光体之间的排列关系:判断方法为:
(1)根据步骤3获得当前图像中的潜在发光体目标个数,与目标库中预存的各地面合作标志所包含的圆形发光体数量进行对比,选择与步骤3获得的潜在发光体目标个数相等的地面合作标志作为待匹配目标;若没有数量相等的预存地面合作标志,则返回步骤2重新检测地面合作标志;
(2)将待匹配目标和步骤3获得的各发光体的静态特征进行对比,判断是否为同一目标;
作为优选,求取如下参数进行对比从而判定待匹配目标和步骤3获得的各发光体是否为同一目标:
①各圆形发光体形心之间的距离;
②各圆形发光体形心之间的连线上的发光体数量;
③各圆形发光体型心之间连线的夹角。
步骤4.2:若是同一目标,则根据目标库中预存的信息获得顶点灯编号和位置,即获得顶点灯的形心横纵坐标,并获得各圆形发光体的编号,且将目标跟踪标志设置为1,置信度设置为T=100:根据当前帧获得的顶点灯的形心位置坐标及目标库中预存的该地面合作标志所对应的预定着陆位置与顶点灯的位置关系,获得预定着陆位置坐标;
若不是同一目标,则返回步骤2重新检测地面合作标志;
步骤5:判断目标跟踪标志是否等于1;若目标跟踪标志等于1,根据无人机当前机身状态参数(偏航,俯仰,滚转)和步骤4获得的预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰偏差、方位偏差,获得无人机飞行控制参数(偏航,俯仰),并发送给无人机的飞行状态控制器,以控制无人机朝向该预定着陆位置下降飞行,并且机载摄像头实时从空中采集该地面合作标志的图像;
若目标跟踪标志不等于1,则返回步骤2重新检测地面合作标志;
步骤6:(为了防止误识别,降低虚警率)在无人机下降过程中,通过目标动态特征进行目标预测和跟踪:(是图像处理器内部需要的)
由于本实施例中图像帧频为50Hz(pal标准视频制式),帧周期短,因此在无人机降落过程中机载摄像机拍摄的地面合作标志图像中的每个圆形发光体灯的面积、平均灰度以及位置具有较强的相关性,且变化规律在短期内可进行预测。
无人机下降过程中对机载摄像头拍摄的每帧图像按照下述方法计算一次所有观测值及其相应的预测值,并进行相关性判定:
步骤6.1:流水缓存机载摄像头拍摄的连续N帧图像,N最低要求3帧,优选的方案是N大于等于6帧。每帧图像的观测值为地面合作标志所包括的全部M个圆形发光体的每个圆形发光体的面积、平均灰度以及形心位置横纵坐标(光轴坐标系),采用二元线性回归方法根据这N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位置坐标进行预测,方法如下:
设第i个圆形发光体的第j帧的面积、平均灰度以及形心位置坐标观测值为分别Sij、Gij、Xij、Yij,其中平均灰度为g(x,y)是在第j帧图像中第i个圆形发光体面积Sij内的各像素点的灰度值;Xij、Yij分别为第j帧中第i个圆形发光体的形心位置的横纵坐标;
令Sij的系数为aSi、bSi、cSi;Gij的系数为agi、bgi、cgi;Xij的系数为axi、bxi、cxi;Yij的系数为ayi、byi、cyi;(这里需要说明的是:只要N不变即预测的窗长不变则第i个圆形发光体的这些系数不变,因而下标中没有j);令帧号序列x1={1,2,…,N},帧号平方序列x2={1,4,…,N2}根据如下四组方程采用消元法分别求出系数aSi、bSi、cSi、agi、bgi、cgi、axi、bxi、cxi、ayi、byi、cyi
a S i Σ j = 1 N x 1 ( j ) + b S i Σ j = 1 N x 2 ( j ) + Nc S i = Σ j = 1 N S i j a S i Σ j = 1 N x 1 2 ( j ) + b S i Σ j = 1 N x 1 ( j ) x 2 ( j ) + c S i Σ j = 1 N x 1 ( j ) = Σ j = 1 N S i j x 1 ( j ) a S i Σ j = 1 N x 1 3 ( j ) + b S i Σ j = 1 N x 1 2 ( j ) x 2 ( j ) + c S i Σ j = 1 N x 1 2 ( j ) = Σ j = 1 N S i j x 1 2 ( j )
a g i Σ j = 1 N x 1 ( j ) + b g i Σ j = 1 N x 2 ( j ) + 6 c g i = Σ j = 1 N G i j a g i Σ j = 1 N x 1 2 ( j ) + b g i Σ j = 1 N x 1 ( j ) x 2 ( j ) + c g i Σ j = 1 N x 1 ( j ) = Σ j = 1 N G i j x 1 ( j ) a g i Σ j = 1 N x 1 3 ( j ) + b g i Σ j = 1 N x 1 2 ( j ) x 2 ( j ) + c g i Σ j = 1 N x 1 2 ( j ) = Σ j = 1 N C i j x 1 2 ( j )
a x i Σ j = 1 N x 1 ( j ) + b x i Σ j = 1 N x 2 ( j ) + Nc x i = Σ j = 1 N X i j a x i Σ j = 1 N x 1 2 ( j ) + b x i Σ j = 1 N x 1 ( j ) x 2 ( j ) + c x i Σ j = 1 N x 1 ( j ) = Σ j = 1 N X i j x 1 ( j ) a x i Σ j = 1 N x 1 3 ( j ) + b x i Σ j = 1 N x 1 2 ( j ) x 2 ( j ) + c x i Σ j = 1 N x 1 2 ( j ) = Σ j = 1 N X i j x 1 2 ( j )
a y i Σ j = 1 N x 1 ( j ) + b y i Σ j = 1 N x 2 ( j ) + Nc y i = Σ j = 1 N Y i j a y i Σ j = 1 N x 1 2 ( j ) + b y i Σ j = 1 N x 1 ( j ) x 2 ( j ) + c y i Σ j = 1 N x 1 ( j ) = Σ j = 1 N Y i j x 1 ( j ) a y i Σ j = 1 N x 1 3 ( j ) + b y i Σ j = 1 N x 1 2 ( j ) x 2 ( j ) + c y i Σ j = 1 N x 1 2 ( j ) = Σ j = 1 N Y i j x 1 2 ( j )
则采用如下二元线性回归预测模型获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置分别为:
S i ( N + 1 ) = ( N + 1 ) a S i + ( N + 1 ) 2 b S i + c S i G i ( N + 1 ) = ( N + 1 ) a g i + ( N + 1 ) 2 b g i + c g i X i ( N + 1 ) = ( N + 1 ) a x i + ( N + 1 ) 2 b x i + c x i Y i ( N + 1 ) = ( N + 1 ) a y i + ( N + 1 ) 2 b y i + c y i
步骤6.2:相关性判断:
从第(N+1)帧开始,对当前帧的每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置的观测值与上述二元线性回归预测模型给出的该帧相应预测值进行相关性判断,当该帧的各观测值与相应预测值误差均小于K=20%时,则认为该帧满足相关性条件;否则认为不满足相关条件;所述观测值与相应预测值误差的计算方法为:(观测值-预测值)/预测值;
步骤6.3:当该帧不满足相关性条件时,将当前置信度减1;并且将该帧的所有4M个观测值,包括每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置,均用该帧相应的预测值代替,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值,所述的预测值是根据前N帧观测值进行步骤6.1二元线性回归预测获得的;
当该帧满足相关性条件时,将当前置信度更新为设定值T=100;使用该帧的所有4M个观测值,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值;
步骤6.4:当置信度大于0时,将当前目标跟踪标志设置为1;则根据当前帧观测值中的顶点灯的形心位置坐标及目标库中预存的该地面合作标志中顶点灯与预定着陆位置之间的关系,计算预定着陆位置;然后根据无人机当前机身状态参数(偏航,俯仰,滚转)和预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰、方位偏差;由飞行状态控制器控制无人机跟踪预定着陆位置进行下降飞行,直至无人机降落至预定着陆位置;
当置信度小于等于0时,则认为丢失目标即当前飞行中无法正确跟踪地面合作标志,此时将目标跟踪标志设置为0,飞行状态控制器控制无人机停止下降,并返回步骤2重新检测地面合作标志;
在无人机已经非常接近地面合作标志的情况下,摄像机可能已经拍不全所有的LED灯了,因而最后一阶段的引导只是根据预测值进行引导。
依照本方法,未识别或信噪比小或丢帧或灯故障时,置信度设为0。
在本发明中,地面合作标志主要是便于图像处理模块检测、识别、跟踪和无人机降落。由于技术要求为全天候工作,因此标志与地面反差愈大愈好,因而本发明中地面合作标志均布设在深色背景上如地面铺设的深色尼龙布上并进行固定。以下实施例中给出两种地面合作标志方案,其中的圆形发光体的排列均具有方向性。
实施例1:
如附图2所示,地面合作标志包括5个圆形发光体,并且其中4个圆形发光体排列成方形,1个圆形发光***于该方形之外,并令这个圆形发光体作为顶点灯。预定着陆位置中心与顶点灯形心之间的距离设定为ΔL。
每个圆形发光体都是用LED条灯绕成的直径300mm的实心发光体,如上约束排列后形成箭头形状,便于跟踪识别箭头顶部的灯即顶点灯。各LED灯以并联方式通过蓄电池供电。
实施例2:
如附图3所示,地面合作标志包括7个圆形发光体,各圆形发光体均为等大的实心LED灯,其中1号LED灯为顶点灯并且其半径为R,
①2号LED灯与1号LED灯的距离为L1-2=6.8R,3号LED灯与1号LED灯的距离为L1-3=4.8R,4号LED灯与1号LED灯的距离为L1-4=5.6R,5号LED灯与1号LED灯的距离为L1-5=13.6R,6号LED灯与1号LED灯的距离为L1-6=9.6R,7号LED灯与1号LED灯的距离为L1-7=11.2R;所述距离均为各LED灯形心之间的距离;
②1号LED灯与2号LED灯和5号LED灯的形心在一条直线上并令该直线为LINE1;1号LED灯与3号LED灯和6号LED灯的形心在一条直线上并令该直线为LINE3;1号LED灯与4号LED灯和7号LED灯的形心在一条直线上并令该直线为LINE2;2号LED灯与3号LED灯和4号LED灯的形心在一条直线上并令该直线为LINE3)、5号LED灯与6号LED灯和7号LED灯的形心在一条直线上并令该直线为LINE4;识别时,2、3、4中点上,误差在2个像素内;
③LINE1与LINE2的夹角为75°,LINE1与LINE3的夹角为45°,LINE2与LINE3的夹角为30°,LINE1分别与LINE4、LINE5的夹角为45°,LINE2分别与LINE4、LINE5的夹角为60°,LINE3分别与LINE4、LINE5的夹角为90°,LINE4、LINE5平行;识别时夹角误差小于3°认为满足条件;
④预定着陆位置设置在LINE3的延长线上,预定着陆位置中心与1号LED灯形心之间的距离设定为ΔL。
进一步地,本发明可以采用机载***进行实现:
一种基于地面合作标志的无人机助降视觉引导机载***,包括依次连接的机载摄像头、A/D模块、信号处理及时序控制模块、通讯模块、图像压缩模块;其中:
机载摄像头固定在无人机机舱外部,机载摄像头的光轴保持下视,并且优选的方案是摄像头光轴与垂直线具有至少1.5°夹角,且向无人机正前方倾斜安装;
A/D模块包括依次连接的差分缓冲放大器、ADC、光电隔离器,还包括恒流源和比较器;比较器启动恒流源给机载摄像头供电;
信号处理及时序控制模块包括信号处理单元,以及连接在该信号处理单元上的FPGA、FLASH和PROM;其中FPGA用于完成图像AD采集和数据缓存,并为机载摄像头、ADC和信号处理单元读写提供时序和逻辑控制;信号处理单元用于完成图像特征提取、目标识别和预测跟踪计算;PROM是FPGA程序存储器;
通讯模块用于与图像压缩模块和无人机的飞行状态控制器进行数据交换;作为优选,通讯模块与图像压缩模块之间采用LVDS进行通讯,与无人机的飞行状态控制器之间采用全双工RS422协议并经光电隔离进行通讯。
图像压缩模块用于对采集的图像进行压缩和存储。
所述基于地面合作标志的无人机助降视觉引导机载***,工作流程如下:
利用测温二极管测量无人机舱内温度,由恒流源为测温二极管提供恒定电流,通过比较器比较测温二极管两端电压,当恒温二极管温度达到设定值(例如工作温度设定于大于负40℃且小于50℃)时,比较器输出高电平为机载摄像头供电;FPGA为机载摄像头提供主时钟、积分信号、通道选择信号;机载摄像头输出的模拟差分视频信号,经A/D模块转换成数字图像后送入FPGA进行缓存,FPGA为机载摄像头、ADC、信号处理单元读写提供时序和逻辑控制;当帧同步和FPGA缓存设定数据,FPGA向信号处理单元发中断,信号处理单元响应中断,当响应帧中断,则将设置帧开始的所有数据初始化;当响应读数据中断,则读取数据,进行地面合作标志的检测识别和跟踪,并通过通讯模块输出预定着陆位置给飞行状态控制器;FPGA将图像数据通过通讯模块输出发送给图像压缩模块。
实施例中,FPGA合成PAL制式时序,为A/D模块提供时钟,接收A/D模块转换的图像数据,实现RS232通信协议,为DSP提供读写时序和逻辑控制,指示DSP读取等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换和替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (17)

1.一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,包括如下步骤:
步骤1:布设地面合作标志
所述地面合作标志包括至少4个实心圆形发光体并分别编号,每个圆形发光体的直径至少为300mm,各圆形发光体形心之间的距离至少为圆形发光体半径的3倍;这些圆形发光体固定于地面深色背景上,并使这些圆形发光体所组成的形状从空中看具有方向性,即当这些圆形发光体所组成的形状进行平行于地面的整体旋转时,各圆形发光体不发生编号混淆;
令这些圆形发光体中位于***的一个圆形发光体作为顶点灯;预定着陆位置设定在顶点灯前方,且预定着陆位置到顶点灯的距离大于其到其他各圆形发光体的距离,且预定着陆位置与顶点灯边缘之间的距离大于无人机机身最大长度;
每个预定着陆位置对应一个特定的地面合作标志,该地面合作标志包括特定数量和排列关系的圆形发光体;
建立目标库,在目标库中预先存储各地面合作标志所包含的圆形发光体数量、各圆形发光体的半径和编号、各圆形发光体之间的排列关系,此外还包括顶点灯编号、预定着陆位置与顶点灯之间的位置关系;
机载摄像头设置在无人机上,机载摄像头的光轴保持下视;
步骤2:无人机在预定高度悬停,启动助降引导,将置信度初始化为0,目标跟踪标志初始化为0,潜在发光体目标个数即待识别的发光体数量初始化为0;
持续检测判断地面是否有潜在的地面合作标志,方法如下:
对机载摄像头所拍摄的每帧图像,检测其中高亮的像素,并将相邻的高亮像素合并为高亮区域;将这些高亮区域作为潜在的发光体目标,即认为可能是地面合作标志中的一个发光体;
步骤3:目标静态识别:
对步骤2机载摄像头所拍摄的图像,提取该帧图像中每个潜在发光体目标的静态特征,包括各潜在发光体目标的周长、半径、面积、形心位置,并判断其是否为一个圆形发光体:若判定此发光体为一个圆形发光体,则更新潜在发光体目标个数;若判定不是一个圆形发光体,否则认为该潜在发光体目标为干 扰;直到对该帧图像中的每个潜在发光体目标都完成判定;
步骤4:获得预定着陆位置:
步骤4.1:对步骤3获得的各圆形发光体的静态特征与步骤1所建立的目标库中预存的地面合作标志特征进行对比,以判定是否为同一目标;所述目标静态特征指圆形发光体的数量及各圆形发光体之间的排列关系:判断方法为:
(1)根据步骤3获得当前图像中的潜在发光体目标个数,与目标库中预存的各地面合作标志所包含的圆形发光体数量进行对比,选择与步骤3获得的潜在发光体目标个数相等的地面合作标志作为待匹配目标;若没有数量相等的预存地面合作标志,则返回步骤2重新检测地面合作标志;
(2)将待匹配目标和步骤3获得的各发光体的静态特征进行对比,判断是否为同一目标;
步骤4.2:若是同一目标,则根据目标库中预存的信息获得顶点灯编号和位置,即获得顶点灯的形心横纵坐标,并获得各圆形发光体的编号,且将目标跟踪标志设置为1,置信度设置为T;根据当前帧获得的顶点灯的形心位置坐标及目标库中预存的该地面合作标志所对应的预定着陆位置与顶点灯的位置关系,获得预定着陆位置坐标;
若不是同一目标,则返回步骤2重新检测地面合作标志;
步骤5:判断目标跟踪标志是否等于1;若目标跟踪标志等于1,根据无人机当前机身状态参数和步骤4获得的预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰偏差、方位偏差,并发送给无人机的飞行状态控制器,以控制无人机朝向该预定着陆位置下降飞行,并且机载摄像头实时从空中采集该地面合作标志的图像;无人机当前机身状态参数包括偏航、俯仰、滚转参数;
若目标跟踪标志不等于1,则返回步骤2重新检测地面合作标志;
步骤6:在无人机下降过程中进行目标预测和跟踪:
无人机下降过程中对机载摄像头拍摄的每帧图像按照下述方法计算一次所有观测值及其相应的预测值,并进行相关性判定:
步骤6.1:流水缓存机载摄像头拍摄的连续N帧图像,N最低要求3帧, 每帧图像的观测值为地面合作标志所包括的全部M个圆形发光体的每个圆形发光体的面积、平均灰度以及形心位置横纵坐标,采用二元线性回归方法根据这N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位置坐标进行预测,即获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置;
步骤6.2:相关性判断:
从第(N+1)帧开始,对当前帧的每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置的观测值与步骤6.1给出的该帧相应预测值进行相关性判断,当该帧的各观测值与相应预测值误差均小于预定门限K时,则认为该帧满足相关性条件;否则认为不满足相关条件;
步骤6.3:当该帧不满足相关性条件时,将当前置信度减1;并且将该帧的所有4M个观测值,包括每个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置,均用该帧相应的预测值代替,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值,所述的预测值是根据前N帧观测值进行步骤6.1二元线性回归预测获得的;
当该帧满足相关性条件时,将当前置信度更新为设定值T;使用该帧的所有4M个观测值,用于步骤6.4获得顶点灯位置,以及再次迭代获得下一帧的预测值;
步骤6.4:当置信度大于0时,将当前目标跟踪标志设置为1;则根据当前帧观测值中的顶点灯的形心位置坐标及目标库中预存的该地面合作标志中顶点灯与预定着陆位置之间的关系,计算预定着陆位置;然后根据无人机当前机身状态参数和预定着陆位置,计算该预定着陆位置与摄像机光轴的俯仰、方位偏差;由飞行状态控制器控制无人机跟踪预定着陆位置进行下降飞行,直至无人机降落至预定着陆位置;无人机当前机身状态参数包括偏航、俯仰、滚转参数;
当置信度小于等于0时,则认为丢失目标即当前飞行中无法正确跟踪地面合作标志,此时将目标跟踪标志设置为0,飞行状态控制器控制无人机停止下降,并返回步骤2重新检测地面合作标志。
2.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤2中,所述预定高度取值区间为100m~150m,即无人机距离地面100m~150m高度时开始进行地面合作标志的检测。
3.根据权利要求2所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤2中,当预定高度取值为100m~150m,每个圆形发光体的光度大于等于113000lm;机载摄像头分辨率为720*288,像素位数大于等于8bit,灵敏度小于等于0.2lux,F为1.4,视场9~20度。
4.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤2所述将相邻的高亮像素合并为高亮区域的方法是,先将图像每行中相邻高亮像素合并成一个物体,再将行间将有相交的物体合并。
5.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,所述每个实心圆形发光体由条带状LED灯盘绕而成。
6.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,地面合作标志包括5个圆形发光体,并且其中4个圆形发光体排列成方形,1个圆形发光***于该方形之外,并令这个圆形发光体作为顶点灯,预定着陆位置中心与顶点灯形心之间的距离设定为ΔL。
7.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,地面合作标志包括7个圆形发光体,各圆形发光体均为等大的实心LED灯,其中1号LED灯为顶点灯并且其半径为R,
①2号LED灯与1号LED灯的距离为L1-2=6.8R,3号LED灯与1号LED灯的距离为L1-3=4.8R,4号LED灯与1号LED灯的距离为L1-4=5.6R,5号LED灯与1号LED灯的距离为L1-5=13.6R,6号LED灯与1号LED灯的距离为L1-6=9.6R,7号LED灯与1号LED灯的距离为L1-7=11.2R;所述距离均为各LED灯形心之间的距离;
②1号LED灯与2号LED灯和5号LED灯的形心在一条直线上并令该直线为LINE1;1号LED灯与3号LED灯和6号LED灯的形心在一条直线上并令该直线为LINE3;1号LED灯与4号LED灯和7号LED灯的形心在一条直线上并令该直线为LINE2;2号LED灯与3号LED灯和4号LED灯的形心在一条直线上并令该直线为LINE3)、5号LED灯与6号LED灯和7号LED灯的形心在一条直线上并令该直线为LINE4;
③LINE1与LINE2的夹角为75°,LINE1与LINE3的夹角为45°,LINE2与LINE3的夹角为30°,LINE1分别与LINE4、LINE5的夹角为45°,LINE2分别与LINE4、LINE5的夹角为60°,LINE3分别与LINE4、LINE5的夹角为 90°,LINE4、LINE5平行;
④预定着陆位置设置在LINE3的延长线上,预定着陆位置中心与1号LED灯形心之间的距离设定为ΔL。
8.根据权利要求1-7所述的任一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤3判断潜在发光体目标是否为一个圆形发光体的方法如下:
步骤3.1:获取第i个潜在发光体目标的周长Li,则该发光体半径为所述周长是该帧图像中该发光体边缘的像素个数;
步骤3.2:计算该发光体的形心并以该发光体的形心为圆心建立标准圆方程坐标原点设在图像的左上角,横向向右为x轴正方向、垂直方向向下为y轴正方向;
步骤3.3:设发光体实际边缘坐标为(xt,yt),计算该发光体边缘横坐标与形心构成的标准圆的横坐标之间的均方误差Ex,以及该发光体边缘纵坐标与形心构成的标准圆的纵坐标的均方误差Ey
计算该发光体边缘横坐标与形心构成的标准圆的横坐标的最大误差Emax_x,以及该发光体边缘纵坐标与形心构成的标准圆的纵坐标的最大误差Emax_y
若Ex和Ey均小于1且Emax_x和Emax_y均小于等于1,则判定此发光体为一个圆形发光体,并更新潜在发光体目标个数,否则判定为干扰;直到对该帧图像中的每个潜在发光体目标都完成判定 。
9.根据权利要求1-7所述的任一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤6.1中,采用二元线性回归方法根据N帧的观测值对下一帧即第(N+1)帧图像中的每个圆形发光体的面积、平均灰度以及形心位 置坐标进行预测,方法如下:
设第i个圆形发光体的第j帧的面积、平均灰度以及形心位置坐标观测值为分别Sij、Gij、Xij、Yij,其中平均灰度为g(x,y)是在第j帧图像中第i个圆形发光体面积Sij内的各像素点的灰度值;Xij、Yij分别为第j帧中第i个圆形发光体的形心位置的横纵坐标;
令Sij的系数为aSi、bSi、cSi;Gij的系数为agi、bgi、cgi;Xij的系数为axi、bxi、cxi;Yij的系数为ayi、byi、cyi;令帧号序列x1={1,2,…,N},帧号平方序列x2={1,4,…,N2};根据如下四组方程采用消元法分别求出系数aSi、bSi、cSi、agi、bgi、cgi、axi、bxi、cxi、ayi、byi、cyi
则采用如下二元线性回归预测模型获得第(N+1)帧中地面合作标志的第i个圆形发光体的面积、平均灰度、X方向形心位置、Y方向形心位置分别为:
10.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤6.1中N大于等于6帧。
11.根据权利要求8所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤3.2中,每个发光体的形心的计算方法如下:
其中,该发光体面积由该发光体覆盖区域Qi的大小决定。
12.根据权利要求1-7所述的任一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤4.1(2)中,求取如下参数进行对比从而判定待匹配目标和步骤3获得的各发光体是否为同一目标:
①各圆形发光体形心之间的距离;
②各圆形发光体形心之间的连线上的发光体数量;
③各圆形发光体型心之间连线的夹角。
13.根据权利要求1-7所述的任一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,步骤6.2中,所述观测值与相应预测值误差的计算方法为:(观测值-预测值)/预测值。
14.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导方法,其特征在于,各圆形发光体布置在深色尼龙布上。
15.根据权利要求1所述的一种基于地面合作标志的无人机助降视觉引导
方法,其特征在于,步骤6.2中预定门限K=20%。
16.一种基于地面合作标志的无人机助降视觉引导机载***,其特征在于,包括依次连接的机载摄像头、A/D模块、信号处理及时序控制模块、通讯模块;其中:
机载摄像头固定在无人机机舱外部,机载摄像头的光轴保持下视;
A/D模块包括依次连接的差分缓冲放大器、ADC、光电隔离器,还包括恒流源和比较器;比较器启动恒流源给机载摄像头供电;
信号处理及时序控制模块包括信号处理单元、FPGA、FLASH、PROM、图像压缩模块,所述信号处理单元与FPGA、FLASH分别相连,FPGA还与图像压缩模块相连;其中FPGA用于完成图像AD采集和数据缓存,并为机载摄像头、ADC和信号处理单元读写提供时序和逻辑控制;信号处理单元用于完成图像特征提取、目标识别和预测跟踪计算;PROM是FPGA程序存储器;图像压缩模块用于对FPGA采集的图像进行压缩和存储;
通讯模块用于发送图像压缩模块发来的数据,以及与无人机的飞行状态控制器进行数据交换。
17.根据权利要求16所述一种基于地面合作标志的无人机助降视觉引导机载***,其特征在于,通讯模块与图像压缩模块之间采用LVDS进行通讯,与无人机的飞行状态控制器之间采用全双工RS422协议并经光电隔离进行通讯。
CN201510496861.8A 2015-08-13 2015-08-13 基于地面合作标志的无人机助降视觉引导方法及机载*** Pending CN105000194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510496861.8A CN105000194A (zh) 2015-08-13 2015-08-13 基于地面合作标志的无人机助降视觉引导方法及机载***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510496861.8A CN105000194A (zh) 2015-08-13 2015-08-13 基于地面合作标志的无人机助降视觉引导方法及机载***

Publications (1)

Publication Number Publication Date
CN105000194A true CN105000194A (zh) 2015-10-28

Family

ID=54373127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510496861.8A Pending CN105000194A (zh) 2015-08-13 2015-08-13 基于地面合作标志的无人机助降视觉引导方法及机载***

Country Status (1)

Country Link
CN (1) CN105000194A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105857582A (zh) * 2016-04-06 2016-08-17 北京博瑞爱飞科技发展有限公司 调整拍摄角度的方法、装置和无人驾驶飞行器
CN106184758A (zh) * 2016-09-18 2016-12-07 成都天麒科技有限公司 一种植保无人机的自动加药***及方法
CN106502257A (zh) * 2016-10-25 2017-03-15 南京奇蛙智能科技有限公司 一种无人机精准降落抗干扰的控制方法
CN106500699A (zh) * 2016-05-25 2017-03-15 上海铸天智能科技有限公司 一种适用于无人机室内自主降落的位姿估计方法
CN106516145A (zh) * 2016-12-16 2017-03-22 武汉理工大学 旋翼飞行器安全捕获装置及捕获方法
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制***及方法
CN106628211A (zh) * 2017-03-16 2017-05-10 山东大学 基于led点阵的地面引导式无人机飞行降落***及方法
CN106791716A (zh) * 2017-02-27 2017-05-31 四川豪特实业集团有限公司 移动式机器人图像采集***
CN107065894A (zh) * 2016-01-28 2017-08-18 松下电器(美国)知识产权公司 无人飞行器、飞行高度控制装置、方法以及程序
CN107451788A (zh) * 2017-09-09 2017-12-08 厦门大壮深飞科技有限公司 基于自主导航的无人机物流集中自动投递方法及投递站
CN107515622A (zh) * 2017-07-27 2017-12-26 南京航空航天大学 一种旋翼无人机在移动目标上自主着降的控制方法
WO2018024069A1 (zh) * 2016-08-04 2018-02-08 北京京东尚科信息技术有限公司 用于引导无人机降落的方法、装置和***
CN107985556A (zh) * 2017-11-29 2018-05-04 天津聚飞创新科技有限公司 无人机悬停***及方法
CN108694728A (zh) * 2017-04-11 2018-10-23 北京乐普盛通信息技术有限公司 无人机引导降落方法、装置及***
CN109032166A (zh) * 2018-03-08 2018-12-18 李绪臣 基于无人机即时跟踪行驶车辆的方法
WO2018227350A1 (zh) * 2017-06-12 2018-12-20 深圳市大疆创新科技有限公司 无人机返航控制方法、无人机和机器可读存储介质
CN109407700A (zh) * 2018-11-05 2019-03-01 周口师范学院 一种采用图像引导的无人机自主着陆方法及其实施装置
CN109445432A (zh) * 2018-10-31 2019-03-08 中国科学技术大学 基于图像的无人机和地面移动机器人编队定位方法
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN109521789A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 标识方法及装置
CN109521787A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 用于飞行器标识降落的方法及装置
CN109521799A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 基于地面标识进行识别的飞行控制方法及装置
CN109911237A (zh) * 2019-04-02 2019-06-21 赵嘉睿 基于紫外光对空编码信标的无人机助降与引导***及应用
CN110861779A (zh) * 2019-12-02 2020-03-06 中电科特种飞机***工程有限公司 一种垂直起降无人机着舰***及着舰方法
CN111325752A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN112455705A (zh) * 2020-12-04 2021-03-09 南京晓飞智能科技有限公司 一种无人机自主精确着陆***及方法
CN112651079A (zh) * 2020-12-17 2021-04-13 陕西宝成航空仪表有限责任公司 用于机电机载产品的角度模拟解算装置
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
TWI746973B (zh) * 2018-05-09 2021-11-21 大陸商北京外號信息技術有限公司 通過光通信裝置對能夠自主移動的機器進行導引的方法
WO2022040942A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 飞行定位方法、无人飞行器及存储介质
CN114596491A (zh) * 2022-03-03 2022-06-07 北京新科汇智科技发展有限公司 一种无人机的诱导方法及***

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065894B (zh) * 2016-01-28 2021-11-26 松下电器(美国)知识产权公司 无人飞行器、飞行高度控制装置、方法以及计算机可读取记录介质
CN107065894A (zh) * 2016-01-28 2017-08-18 松下电器(美国)知识产权公司 无人飞行器、飞行高度控制装置、方法以及程序
CN105857582A (zh) * 2016-04-06 2016-08-17 北京博瑞爱飞科技发展有限公司 调整拍摄角度的方法、装置和无人驾驶飞行器
CN106500699A (zh) * 2016-05-25 2017-03-15 上海铸天智能科技有限公司 一种适用于无人机室内自主降落的位姿估计方法
CN106500699B (zh) * 2016-05-25 2019-06-18 上海铸天智能科技有限公司 一种适用于无人机室内自主降落的位姿估计方法
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制***及方法
AU2017306320B2 (en) * 2016-08-04 2020-07-02 Beijing Jingdong Qianshi Technology Co., Ltd. Method, device and system for guiding unmanned aerial vehicle to land
US11383857B2 (en) 2016-08-04 2022-07-12 Beijing Jingdong Qianshi Technology Co., Ltd. Method, device and system for guiding unmanned aerial vehicle to land
WO2018024069A1 (zh) * 2016-08-04 2018-02-08 北京京东尚科信息技术有限公司 用于引导无人机降落的方法、装置和***
CN106184758A (zh) * 2016-09-18 2016-12-07 成都天麒科技有限公司 一种植保无人机的自动加药***及方法
CN106184758B (zh) * 2016-09-18 2018-07-20 成都天麒科技有限公司 一种植保无人机的自动加药***及方法
CN106502257B (zh) * 2016-10-25 2020-06-02 南京奇蛙智能科技有限公司 一种无人机精准降落抗干扰的控制方法
CN106502257A (zh) * 2016-10-25 2017-03-15 南京奇蛙智能科技有限公司 一种无人机精准降落抗干扰的控制方法
CN106516145A (zh) * 2016-12-16 2017-03-22 武汉理工大学 旋翼飞行器安全捕获装置及捕获方法
CN106516145B (zh) * 2016-12-16 2018-08-07 武汉理工大学 旋翼飞行器安全捕获装置及捕获方法
CN106791716A (zh) * 2017-02-27 2017-05-31 四川豪特实业集团有限公司 移动式机器人图像采集***
CN106628211B (zh) * 2017-03-16 2019-02-26 山东大学 基于led点阵的地面引导式无人机飞行降落***及方法
CN106628211A (zh) * 2017-03-16 2017-05-10 山东大学 基于led点阵的地面引导式无人机飞行降落***及方法
CN108694728A (zh) * 2017-04-11 2018-10-23 北京乐普盛通信息技术有限公司 无人机引导降落方法、装置及***
WO2018227350A1 (zh) * 2017-06-12 2018-12-20 深圳市大疆创新科技有限公司 无人机返航控制方法、无人机和机器可读存储介质
CN107515622A (zh) * 2017-07-27 2017-12-26 南京航空航天大学 一种旋翼无人机在移动目标上自主着降的控制方法
CN107451788A (zh) * 2017-09-09 2017-12-08 厦门大壮深飞科技有限公司 基于自主导航的无人机物流集中自动投递方法及投递站
CN107985556A (zh) * 2017-11-29 2018-05-04 天津聚飞创新科技有限公司 无人机悬停***及方法
CN109032166A (zh) * 2018-03-08 2018-12-18 李绪臣 基于无人机即时跟踪行驶车辆的方法
US11338920B2 (en) 2018-05-09 2022-05-24 Beijing Whyhow Information Technology Co., Ltd. Method for guiding autonomously movable machine by means of optical communication device
TWI746973B (zh) * 2018-05-09 2021-11-21 大陸商北京外號信息技術有限公司 通過光通信裝置對能夠自主移動的機器進行導引的方法
CN109521789A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 标识方法及装置
CN109521787A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 用于飞行器标识降落的方法及装置
CN109521799A (zh) * 2018-09-28 2019-03-26 易瓦特科技股份公司 基于地面标识进行识别的飞行控制方法及装置
CN109460046B (zh) * 2018-10-17 2021-08-06 吉林大学 一种无人机自然地标识别与自主着陆方法
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN109445432A (zh) * 2018-10-31 2019-03-08 中国科学技术大学 基于图像的无人机和地面移动机器人编队定位方法
CN109407700A (zh) * 2018-11-05 2019-03-01 周口师范学院 一种采用图像引导的无人机自主着陆方法及其实施装置
CN111325752A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN111325752B (zh) * 2018-12-17 2023-06-13 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN109911237A (zh) * 2019-04-02 2019-06-21 赵嘉睿 基于紫外光对空编码信标的无人机助降与引导***及应用
CN109911237B (zh) * 2019-04-02 2022-03-22 赵嘉睿 基于紫外光对空编码信标的无人机助降与引导***及应用
CN110861779A (zh) * 2019-12-02 2020-03-06 中电科特种飞机***工程有限公司 一种垂直起降无人机着舰***及着舰方法
WO2022040942A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 飞行定位方法、无人飞行器及存储介质
CN112455705A (zh) * 2020-12-04 2021-03-09 南京晓飞智能科技有限公司 一种无人机自主精确着陆***及方法
CN112455705B (zh) * 2020-12-04 2024-05-03 南京晓飞智能科技有限公司 一种无人机自主精确着陆***及方法
CN112651079A (zh) * 2020-12-17 2021-04-13 陕西宝成航空仪表有限责任公司 用于机电机载产品的角度模拟解算装置
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
CN114596491A (zh) * 2022-03-03 2022-06-07 北京新科汇智科技发展有限公司 一种无人机的诱导方法及***

Similar Documents

Publication Publication Date Title
CN105000194A (zh) 基于地面合作标志的无人机助降视觉引导方法及机载***
CN113597591B (zh) 用于无人飞行器导航的地理基准
CN107402396A (zh) 基于多模导航的无人机着陆引导***及方法
CN109885086B (zh) 一种基于复合多边形标志引导的无人机垂直降落方法
CN109923492A (zh) 飞行路径确定
CN109901580A (zh) 一种无人机与无人地面机器人协作循径避障***及其方法
CN112130579A (zh) 一种隧道无人机巡检方法及***
CN105759829A (zh) 基于激光雷达的微型无人机操控方法及***
CN105492985A (zh) 多传感器环境地图构建
CN107850902A (zh) 可移动物体上的相机配置
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN105045274B (zh) 一种用于无人机巡检航迹规划的智能杆塔连通图构建方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN113050685B (zh) 一种煤矿井下无人机自主巡检的方法
CN110879617A (zh) 一种红外引导无人机降落方法及装置
US20190066522A1 (en) Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry
CN111413708A (zh) 基于激光雷达的无人机自主识别着陆选址方法
CN113156998A (zh) 一种无人机飞控***及控制方法
CN111273679A (zh) 一种视觉引导的小型固定翼无人机撞网回收纵向制导方法
CN103697883A (zh) 一种基于天际线成像的飞行器水平姿态确定方法
Niu et al. SuperDock: A deep learning-based automated floating trash monitoring system
CN114867988A (zh) 包括用于在gnss故障期间为飞行器确定路线的数据的地图
Kamat et al. A survey on autonomous navigation techniques
CN112560751A (zh) 一种阳台高空坠物风险检测方法及***
Guo et al. Airborne vision-aided landing navigation system for fixed-wing UAV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151028

WD01 Invention patent application deemed withdrawn after publication