CN104340371B - 自主且自动的着陆方法和*** - Google Patents

自主且自动的着陆方法和*** Download PDF

Info

Publication number
CN104340371B
CN104340371B CN201410349014.4A CN201410349014A CN104340371B CN 104340371 B CN104340371 B CN 104340371B CN 201410349014 A CN201410349014 A CN 201410349014A CN 104340371 B CN104340371 B CN 104340371B
Authority
CN
China
Prior art keywords
runway
aircraft
image
axis
landing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410349014.4A
Other languages
English (en)
Other versions
CN104340371A (zh
Inventor
吉扬·皮约
维克托·吉贝尔
法比安·佩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations GmbH
Original Assignee
Airbus Operations GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations GmbH filed Critical Airbus Operations GmbH
Publication of CN104340371A publication Critical patent/CN104340371A/zh
Application granted granted Critical
Publication of CN104340371B publication Critical patent/CN104340371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及自主且自动的着陆方法和***。根据本发明的用于使飞行器在着陆跑道上自动着陆的***包括：意在拍摄地面的图像的机载摄像机(110)；从这些图像提取着陆跑道的视觉特征的图像处理装置(120)；以及制导装置(130)，其根据在所述图像中的至少一个图像中着陆跑道的视觉特征的相应位置来确定飞行器的制导命令，以将飞行器带入标称进场平面并且将飞行器与着陆跑道的轴线对准，其中所述制导命令被提供至飞行控制计算机(150)。

Description

自主且自动的着陆方法和***
技术领域
本发明总体上涉及航空领域，并且更具体地涉及自动着陆***领域。
背景技术
着陆阶段是飞行器的飞行中的关键阶段，这是因为大多数事件和事故均在该阶段期间发生。为方便飞行员的任务，已经提出许多自动着陆***。特别地，装配到大容量客机的ILS(仪表着陆***)是公知的，并且其地面基础设施存在于国际机场。在一些欧洲机场中，MLS(微波着陆***)也是可用的。这些***在飞行器进场阶段使用无线电或微波信号不仅沿相对于跑道轴线的横向方向而且沿相对于下滑道的垂直方向来导引飞行器。然而，这些***特别是由于其高成本和其具有显著使用约束的事实而具有并非在所有机场中都可用的缺点。此外，地面基础设施具有10-3/小时的数量级的故障概率。因此飞行器不能肯定其将能够以自动模式着陆。最近，已经生产了使用被称为GLS(GPS着陆***)的卫星定位***或者可替代地使用SLS(基于卫星的着陆***)的自动着陆***。由于目前的卫星定位***不能获得实现着陆所需的精度，所以这些***必须通过地面参考站例如WAAS(广域增强***)或EGNOS(欧洲地球同步导航覆盖服务)网络的地面参考站来增强。上述***至今尚未普及，并且具有相对较低的可用率(99.5％的数量级)，这又使得不能永久地保证以自动模式着陆。
由于这样的地面基础设施的与空间和时间相关的不可用性，所以已将注意力转向利用由机载摄像机拍摄的地面的视频图像的自主着陆***。
这些自主***通常使用由摄像机拍摄的视频图像和关于跑道的数据来判断摄像机的位姿(位姿估计)，并且根据摄像机的位姿来推导飞行器相对于跑道的姿态和位置。然后，根据以此方式确定的位置和姿态来计算飞行器的制导命令。然而，位姿估计是复杂的运算，其通常需要机场的地形的机载数字模型是可用的，或者需要与着陆跑道相关的至少几何数据和地形数据。此外，当含有数字模型的数据库不可用时，或者在随机地形上紧急着陆的情况下，上述自主***不起作用。
由本申请人提交的申请FR-A-2835314提出了不需要获知着陆跑道的特征的着陆辅助***。然而，这种***仅在飞行器距离地面数米时工作，并且使得不能在整个最后进场阶段即在最后约10千米期间导引飞行器。
本发明的目的为提出用于飞行器的自动着陆***，该自动着陆***特别稳健，以及能够在与着陆跑道相关的数据全部或部分缺失的情况下工作并且能够在整个最后进场阶段自主地导引飞行器。
发明内容
本发明限定了一种用于使飞行器在着陆跑道上自动着陆的***，该***包括：
在所述飞行器上的至少一个机载摄像机，其意在拍摄一系列连续的地面图像；
图像处理装置，其能够从所述图像提取着陆跑道的视觉特征；以及
制导装置，其能够根据在所述图像中的至少一个图像中着陆跑道的视觉特征的相应位置来确定用于飞行器的制导命令，以将飞行器带入标称进场平面并且将飞行器与着陆跑道的轴线对准。
在进场阶段期间飞行器的制导命令因而仅基于图像中跑道的视觉特征的位置来确定，而不需要获知跑道的几何和/或地形数据。
在第一实施方式中，制导命令是通过对图像中跑道的视觉特征进行基于图像的视觉伺服而获得的。
在该第一实施方式中，制导装置包括基于图像的视觉伺服装置，该基于图像的视觉伺服装置能够估计图像中在视觉特征的位置与这些特征的要求位置之间的距离，并且根据所述距离来推导用于飞行器的制导命令以将视觉特征带至其在图像中的相应要求位置。
图像中着陆跑道的视觉特征有利地为跑道的轴线和跑道上的触地点。
如果不存在侧风，则跑道的轴线的要求位置为图像的中间垂直轴线，并且触地点的要求位置为所述中间垂直轴线与如下线之间的交点：该线平行于水平线并且以与水平线相距要求距离位于水平线下方。
跑道的轴线与图像的中间垂直轴线之间的距离是通过距离dΩ和角度θr来估计的，该距离dΩ将消失点Ω和在图像的中间垂直轴线与水平线之间的交点H分隔，并且角度θr为跑道的轴线与图像的水平轴线之间的角度。
要求距离优选地等于dP,c＝f.(tan(θ+δ0)-tan(θ))，其中f为摄像机的焦距，θ为飞行器的俯仰角，以及δ0为标称进场平面与水平面之间的角度。
在此情况下，用于飞行器的制导命令由下式确定：
其中，为要求滚转速率，Nzc为要求载荷因数，和分别为飞行器的瞬时滚转角和瞬时滚转速率，以及ki,i＝1,..,6为预定实数，θr,c＝0和dΩ,c为设定点值。
设定点值dΩ,c被有利地选择为侧风速率的递增函数，并且如果不存在这样的风则设定点值dΩ,c为零。
在第二实施方式中，通过根据图像中跑道的视觉特征的位置来确定飞行器相对于跑道的位置和相对姿态并且通过应用制导律，获得制导命令。
在该第二实施方式中，制导装置包括如下装置：该装置用于根据在一系列连续图像中的第一图像和第二图像中跑道的视觉特征的相应位置以及根据飞行器在于其处拍摄第一图像的点和于其处拍摄第二图像的点之间的运动来估计飞行器相对于跑道的位置，其中制导装置还包括制导计算机，该制导计算机能够根据以此方式计算出的相对位置来计算制导命令。
飞行器在于其处拍摄第一图像的点和于其处拍摄第二图像的点之间的运动由飞行器的惯性单元提供。
可以以相对于包含跑道的水平面的垂直距离、沿跑道的轴线相对于触地点的纵向距离以及相对于穿过跑道轴线的垂直平面的横向距离的形式来获得飞行器相对于跑道的位置。
跑道的视觉特征有利地为跑道上的触地点P和跑道的消失点Ω。
分别通过下式来确定垂直距离、横向距离和纵向距离：
其中，x2-x1、y2-y1、z2-z1给出了按照参考点(Γ,x,y,z)飞行器在于其处拍摄第一图像的点和于其处拍摄第二图像的点之间的运动，其中轴线Γx为跑道的轴线，轴线Γz为垂直轴，轴线Γy横向于跑道的轴线； 其中为第一图像和第二图像中点P到水平线的相应距离，以及为第一图像和第二图像中消失点Ω到图像的中间垂直线与水平线的交点的相应距离。
无论何种实施方式，图像处理装置均能够识别图像中的至少一个着陆跑道。
根据第一变型，着陆***包括显示设备，该显示设备显示摄像机的图像并且该显示设备被耦接至用户接口，其中所述用户接口使得能够从由显示设备显示的图像中的多个着陆跑道选择着陆跑道。
根据第二变型，图像处理装置能够确定着陆跑道的轴线和该跑道上的触地点。
自动着陆***可以包括显示设备，该显示设备显示摄像机的图像并且该显示设备被耦接至用户接口，其中所述用户接口使得能够在图像上指定着陆跑道的轴线以及该跑道上的触地点。
本发明还涉及一种用于使飞行器在着陆跑道上自动着陆的方法，该方法包括：
拍摄一系列连续的地面图像；
图像处理软件从所述图像提取着陆跑道的视觉特征；
根据在所述图像中的至少一个图像中着陆跑道的视觉特征的相应位置来确定用于飞行器的制导命令，以将飞行器带入标称进场平面并且将飞行器与着陆跑道的轴线对准。
根据第一实施方式，制导命令的确定包括在图像中进行基于图像的视觉伺服的步骤，以估计图像中在视觉特征的位置与这些特征的要求位置之间的距离，并且根据所述距离来推导用于飞行器的制导命令以将视觉特征带至其在图像中的相应要求位置。
根据第二实施方式，制导命令通过如下来获得：
根据在第一图像和第二图像中跑道的视觉特征的相应位置以及根据飞行器在于其处拍摄第一图像的点和于其处拍摄第二图像的点之间的运动来估计飞行器相对于跑道的位置；以及
根据以此方式计算出的相对位置和飞行器在进场阶段的制导律来计算制导命令。
附图说明
基于参照附图来阅读本发明的优选实施方式，本发明的其它特征和优点将呈现出来，在附图中：
图1示出了根据本发明的第一实施方式的自动着陆***；
图2示出了其上图像处理装置已识别出着陆跑道的显示画面；
图3示出了在机载摄像机的图像平面上形成着陆跑道的图像；
图4示出了在不存在侧风时跑道的视觉特征被控制到其要求位置的情况下的显示画面；
图5示出了根据本发明的第二实施方式的自动着陆***；
图6A和图6B示出了针对两个连续视频图像的跑道的视觉特征；以及
图7和图8示出了飞行器相对于着陆跑道的位置的侧视图和顶视图。
具体实施方式
在下文中，将考虑使用由飞行器上的至少一个机载摄像机拍摄的图像的自动着陆***。术语“自动着陆***”被理解为在下文中表示使得飞行器能够在着陆跑道上着陆而不需要飞行员进行动作的***(自动着陆***)或者在着陆期间协助飞行员的***(辅助着陆***)。特别地，飞行员可以在任何时间根据视觉指示来校正由自动着陆***生成的命令。
根据本发明的自动着陆***使得能够在最后进场的整个长度内导引或协助飞行员。一旦例如借助于图像处理识别了着陆跑道(在机场跑道上的常规着陆)，或者实际上当由飞行员指定着陆跑道时特别是在临时跑道上紧急着陆的情况下，该自动着陆***能够工作。
图1示意性地示出了根据本发明的第一实施方式的自动着陆***。
自动着陆***100包括至少一个摄像机110，该至少一个摄像机110被安装在飞行器上并且能够拍摄连续的地面图像。
机载摄像机可以有利地为被安装到近期构造的大多数飞行器中的具有EVS(增强型视觉***)的摄像机。该***通常包括能够在可见度降低的条件下向飞行员给出地面图像的多个传感器(红外/可见光摄像机、毫米波雷达等)。在下文中，对于提供处于一个或更多个光谱带(例如可见光、红外线、毫米波)的图像的传感器将使用术语“摄像机”。
在不失一般性的情况下，在下文中还将假定摄像机的轴线与飞行器的纵向轴线一致。通常，摄像机的轴线位于飞行器的垂直对称平面上并且可以与上述纵向轴线具有已知角间距θcam，使得该角间距θcam总是可以被减小到先前假定的零角间距。
假定摄像机的固有特性(特别是其焦距)是已知的。此外，还假定摄像机在飞行器的垂直对称平面上的角度位置——即摄像机的轴线与飞行器的纵向轴线之间的角度θcam——是已知的。
飞行器还可以配备有具有相同固有特性的一对摄像机，该对摄像机的轴线分别位于飞行器的垂直对称平面的两旁。那么该对摄像机使得能够以已知方式获得地面的三维(3D)视图。
图像处理装置120接收由摄像机拍摄的连续图像，在跑道存在时从所述图像提取着陆跑道的视觉特征VF1,...,VFN，并且跟踪连续图像内的视觉特征。
可选地，图像处理装置可以有利地借助于如在上述申请FR-A-2835314中描述的检测成对线段来检测存在于图像中的一个或更多个着陆跑道的出现。
由图像处理装置提取的视觉特征被提供至基于图像的视觉伺服装置130，该视觉伺服装置130估计图像内在视觉特征的位置与要求位置之间的距离，并且根据这些距离来推导用于飞行器的制导命令。然后，制导命令被提供至飞行控制计算机150。根据本发明的自动着陆***在其最简单的形式中不包括飞行控制计算机本身，这是因为飞行控制计算机可以仅为安装在飞行器中的电传控制***。因此可以容易地完成飞行器的改装而不必修改电传***。
制导命令的集合限定飞行器必须在最后进场期间遵循的制导律。例如，可以以空气动力载荷因数和角速率(滚转速率、俯仰速率和偏航速率)的形式来表示制导命令。例如，空气动力载荷因数确保飞行器确实遵循在进场平面上的下滑道，并且角速率保证飞行器相对于跑道的动态对准。
基于图像的视觉伺服装置130最后被耦接至IRS(惯性参考***)惯性单元137。该惯性单元向基于图像的视觉伺服装置给出飞行器的位置数据和姿态数据。然而，该位置数据和姿态数据受惯性漂移影响，并且在任何情况下，该位置数据和姿态数据均未准确到能够在着陆阶段由飞行控制计算机直接使用。
无论何种配置，飞行计算机150根据从基于图像的视觉伺服装置接收到的制导命令来计算对飞行控制面的致动器的控制。更具体地，飞行控制计算机借助于控制环路来使对飞行控制面的致动器的控制能够受控于制导命令。
自动着陆***100有利地包括与一个或更多个摄像机110和图像处理装置120连接的显示设备115。该显示设备优选地配备有触摸屏或用户接口(鼠标、拇指滚轮、按钮等)125，其中的一个目的为使飞行员能够指定所显示图像的一部分。例如，该设备将能够在地面的图像上突出显示一个或更多个着陆跑道，或者实际上突出显示这些跑道的由图像处理装置检测到的线段或特征点。
在下文中将关于两种独立的场景来描述根据本发明的第一实施方式的自动着陆***的操作。
根据本发明的优先应用的第一场景，飞行器在能看见一个或更多个着陆跑道的位置处，但却不具有这些跑道的特征的信息或者具有这些跑道的特征的仅部分信息，特别是这些跑道的尺寸、海拔高度、对准中心(alignment)和位置。特别地，该场景覆盖其中飞行器未配备有不同机场的地形数据库的情况，或者其中着陆跑道未包括在该数据库中的场景，或者可替代地其中数据库不可用的(例如故障)的场景。
第二场景对应于紧急着陆状况。飞行员看不见着陆跑道，那么飞行员必须确定他们必须着陆的区域。该区域构成临时着陆跑道，并且在下文中，除了跑道将由飞行员限定而不是由图像处理装置识别之外，该区域将被视为常规着陆跑道。
在第一场景中，图像处理装置识别存在于当前图像中的着陆跑道。这些跑道在视频图像中以网孔轮廓或实心梯形形状来突出显示。然后，飞行员核准显示设备中的着陆跑道，或者从呈现于他们的那些着陆跑道中选择飞行器要在其上着陆的一个着陆跑道；此后可以在需要时校正该选择。可替代地，根据由机场的控制塔提供的数据来自动选择着陆跑道。当着陆跑道已被核准或选择时，图像处理装置使用线性预测方法例如使用如在上述申请FR-A-2835314中描述的卡尔曼滤波和/或使用由惯性单元137提供的飞行器的位置数据和姿态数据来在后续图像中跟踪该着陆跑道。
所检测到的跑道可以根据飞行员的请求而继续在后续图像中显示。通过这种方式，飞行员可以在视觉上检查跟踪是正确的，或者在需要时改变为另一着陆跑道。
图像处理装置还可以识别在所核准或所选择的着陆跑道上的触地点。在跑道上借助于特定标记(在跑道的轴线的两旁的短平行带)来标志着陆跑道的触地点(或触地区域)。
当跑道已被识别时，图像处理装置提取跑道的视觉特征。这些特征表征图像中的着陆跑道，特别是着陆跑道在图像中的形状、位置和对准中心。跑道的视觉特征被有利地选择为图像中跑道的中线Δ和跑道上的触地点P，如图2所示。可替代地，可以选择其他视觉特征，例如与跑道的边缘相对应的线而不是中线，以及属于跑道的边缘的点A和点B，该点A和点B相对于触地点P对称并且位于与虚拟水平线平行的线上。
跑道的视觉特征可以根据飞行员的请求而在所有情况下均在视频图像上突出显示。
图2示出了由自动着陆***的图像处理装置识别的着陆跑道。
在该图中，已示出含有跑道的视频图像200。在图像中突出显示的线211和线212对跑道的左右边缘划界，并且在属于虚拟水平线250的消失点Ω处汇合。跑道的中线Δ因而也在点Ω处与虚拟水平线相交。触地点P已在中线(跑道的轴线)上示出，以及还示出了平行于虚拟水平线的穿过触地点P的线段AB。
出于描述其余部分的需求，在图2中还标注出跑道的消失点Ω与点H之间的距离dΩ以及从触地点P到水平线250的距离dP，点H被限定为水平线250与图像的垂直对称轴线OY之间的交点。
虚拟水平线是借助于由惯性单元137提供的滚转角和俯仰角来确定的。
图3示出了在摄像机的图像平面Π上形成着陆跑道的图像。针对摄像机采用了针孔模型，并且已在F处示出摄像机的焦点。出于简化，对于飞行器还可以假定纵向轴线在跑道的对称平面(图的平面)上。
消失点Ω(在该情况下与点H相同)由穿过F的水平线与图像平面Π的交点限定。要注意的是，通过以下关系式示出距离dP与飞行器的俯仰角θ有关：
dP＝f(tan(θ+δ)-tan(θ)) (1)
其中，f为摄像机的焦距，δ为飞行器的进场平面与地面之间的角度。表达式(1)假定摄像机的轴线平行于飞行器的纵向轴线。如果摄像机与纵向轴线具有(朝向正下方计数的)角度偏移θcam，则该距离由下式表示：
dP＝f.(tan((θ+θcam+δ)-tan((θ+θcam)) (2)
如上面所提及的，在下文中将假定θcam＝0。
一旦已经在图像中识别出着陆跑道的视觉特征，视觉伺服装置就估计图像中这些特征的位置与要求位置之间的距离。在上述示例中，视觉伺服装置首先估计跑道的轴线Δ与和图像的中间垂直轴线相同的第一要求线(如果不存在侧风)之间的距离，以及估计点P与第二要求线之间的距离，该第二要求线如图4所示平行于水平线并且以要求距离dP,c位于该水平线下方。在该图中已经示出了跑道的视觉特征处于其要求位置(采用了无侧风的假设)的情况。跑道的轴线Δ与第一要求线Δc相同，并且触地点P位于第二要求线ΔP,c上。该第二要求线以距离dP,c位于水平线下方。将理解的是，当检查出以下条件时，图像中在视觉特征的位置与其要求位置之间的距离为零：
θr＝θr,c＝0和dΩ＝dΩ,c＝0 (3-1)
dP＝dP,c＝f.(tan(θ+δ0)-tan(θ)) (3-2)
其中，δ0为进场平面与地面之间的标称角度，即作为一般规则δ0＝3°，并且θ为飞行器的俯仰角。在某些情况下，特别是紧急情况下，角度δ0可以由飞行员使用接口125直接输入。
将理解的是，条件(3-1)反映飞行器相对于跑道轴线的侧边对准约束，并且条件(3-2)反映标称进场平面上的垂直对准约束。条件(3-1)假定不存在侧风。如果存在侧风，则通过采用非零要求值dΩ,c进行补偿。
当然，将能够设想除了(3-1)和(3-2)之外的条件来反映相对于要求位置的距离。通过这种方法，条件(3-1)可以由如下条件替换：
|xΩ|+|xP|＝0 (4)
其中，xΩ和xP为点Ω和点P的相应横坐标。此外，如果考虑跑道的其他视觉特征，则本领域技术人员可以在不超出本发明的范围的情况下发现表示横向和垂直对准约束的其他条件。重要的是要注意，这些条件在该情况下仅与图像中跑道的视觉特征有关，并且因此不需要获知跑道的位置、对准中心或实际尺寸。仅需要获知俯仰角θ，而这由惯性单元或倾斜仪提供。
视觉伺服装置根据所估计的距离来计算飞行器的制导命令，以将跑道的视觉特征带至其相应要求位置。
例如，当条件(3-1)和条件(3-2)用于反映至要求位置的距离时，由下式给出制导命令：
其中，为滚转速率要求，Nzc为(垂直)载荷因数要求。要注意的是在空气动力学领域，载荷因数为表观重量与实际重量的比。和分别为飞行器的滚转角和瞬时滚转速率，以及ki,i＝1,..,6为预定实数。
因此，根据等式(5-2)将理解的是，如果距离dP大于要求距离dP,c或者如果该距离增大，则视觉伺服装置设置使载荷因数增大的要求以将点P带至要求线ΔP,c。
以此方式计算的制导命令被提供至飞行控制计算机150。然后，飞行控制计算机150确定应用于飞行控制面的致动器的命令以满足制导命令。特别地，自动驾驶仪可以以已知方式使用用于纵向控制的定律C＊和用于横向控制的定律Y＊。
通过这种方法，定律C＊借助于下式来控制升降舵：
DQ＝K1q+K2nz+K3∫(nz-Nzc)dt+K4Nzc (6-1)
其中，DQ为对控制面致动器的命令，Nzc为先前计算的要求载荷因数，nz为瞬时载荷因数，q为俯仰速率，以及K1,...,K4为预定常数。
以类似的方式，定律Y*分别借助于下式来控制副翼和垂直尾翼：
其中，DP和DR分别为对副翼的控制和对垂直尾翼的控制，为滚转角，p为滚转速率(其中其中r为偏航速率，θ为纵倾角)，q为俯仰速率，β为侧滑角，以及系数kij为预定常数。可以在2004年的美国航空航天协会(AIAA)制导导航与控制(GNC)会议的会议录中公开的Farineau的题为“Lateral electric flight control lawsof the A320based upon eigenstructure assignment techniques”的文章中发现对上述控制律的详细描述。
第二场景对应于在看不见任何着陆跑道的情况下的紧急着陆状况。此时图像处理装置无法识别着陆跑道并且必然无法识别跑道的视觉特征。在这种情况下，飞行员使用接口125在由显示设备115显示的图像上选择临时跑道的要求触地点P和轴线Δ。该选择可以例如通过如下方式来进行：使用触摸屏上的笔或者可替代地使用移动标线和确认键，在要求轴线Δ上首先指向触地点P、然后指向点Q。点P和轴线Δ＝(PQ)构成临时跑道的视觉特征。图像处理装置在图像中跟踪点P和轴线Δ＝(PQ)，然后可以在显示设备的屏幕上突出显示点P和轴线Δ＝(PQ)，从而使飞行员能够进行视觉检查。对视觉特征的跟踪有利地使用由惯性单元137提供的飞行器的高度数据和姿态数据。
如在第一场景中一样，视觉伺服装置估计视觉特征(P,Δ)的位置与其相应要求位置之间的距离，并且根据所述距离来推导飞行器的制导命令。如上文所阐述的，飞行控制计算机根据制导命令来确定飞行控制。
图5示出了根据本发明的第二实施方式的自动着陆***。
如在第一实施方式中一样，着陆***500包括：至少一个机载摄像机510；处理由摄像机提供的地面的视频图像的图像处理装置520；以及与用户接口525、摄像机510和图像处理装置520耦接的显示设备515。
如上所述，着陆跑道可以由图像处理装置520检测，后面可能由飞行员进行选择或者借助于由控制塔所提供的数据进行选择。可替代地，跑道可以由飞行员借助于用户接口525在显示设备515上指定。
图像处理装置520还可以提取着陆跑道的视觉特征，并且跟踪这些视觉特征。所选择的跑道的视觉特征有利地为在图像中所示的跑道上的触地点和跑道的消失点Ω。
不同于第一实施方式，第二实施方式包括用于估计飞行器相对于跑道的位置的装置530。通过垂直距离Δz(飞行器相对于跑道的高度)、纵向距离Δx(沿跑道的轴线飞行器到触地点的距离)以及侧向或横向距离Δy(飞行器到穿过跑道轴线的垂直平面的距离)来限定该相对位置。根据在跑道的至少两个连续图像中视觉特征的位置并且根据由惯性单元537提供的飞行器的位置数据来估计飞行器相对于跑道的位置。术语“连续图像”被理解为表示根据视频速率通过一个或更多个周期而分隔开的两个图像。可以仅每隔n个周期进行一次估计，其中n是根据估计装置的计算能力、相对位置所需的精度、视频速率以及飞行器的速率来选择的。
相对位置估计装置530将垂直距离Δz、纵向距离Δx和横向距离Δy传送至制导计算机540。该制导计算机可以是ILS(仪表着陆***)、GLS(GPS着陆***)或SLS(卫星着陆***)的制导计算机。该计算机计算制导律，即飞行器在进场期间必须遵循的标称轨迹。标称轨迹包含在穿过跑道的轴线的垂直平面和标称进场平面中。
制导计算机540计算飞行器相对于标称轨迹的偏差，并且根据该偏差来推导将飞行器带至该轨迹的制导命令。然后这些制导命令被传送至飞行控制计算机550，该飞行控制计算机计算要应用于飞行控制面的致动器的控制以执行制导命令。
图6A和图6B示出了两个连续的地面视频图像。假定先前已经由图像处理装置520检测到着陆跑道。在这两个图像中还示出了该跑道的视觉特征，即通过图像处理所提取的表示触地点的点(图6A中的点P1和图6B中的点P2)和跑道的消失点(图6A中的Ω1和图6B中的Ω2)。点P1、点P2与水平线250之间的相应距离被标注为类似地，点Ω1、点Ω2与对称轴OY之间的相应距离被标注为
在图7中示出了飞行器在进场阶段中的两个连续位置的侧视图，这两个连续位置分别对应于拍摄图6A和图6B的图像的时刻。类似地，在图8中示出了飞行器的相同的两个位置的顶视图。在图7和图8中，触地点由p表示。该点在图6A的图像中由点P1表示而在图6B的图像中由点P2表示。
常规地采用参考点(Γ,x,y,z)，其中轴线Γx为跑道的轴线，轴线Γy横向于跑道，以及轴线Γz为垂直轴线。
在图7中，飞行器相对于跑道的纵向距离和垂直距离由用于飞行器的第一位置的Δx1和Δz1和用于飞行器的第二位置的Δx2和Δz2表示。类似地，在图8中示出了飞行器相对于跑道的纵向距离和横向距离。对于飞行器的第一位置和第二位置，横向距离分别被标注为Δy1和Δy2。这两个位置之间的纵向距离差、横向距离差和垂直距离差被标注为Δx12、Δy12和Δz12。那么在横向视图中存在以下关系式：
其中，ψ1,ψ2为在第一位置和第二位置处点p的仰角。
以类似的方式，那么在顶视图中存在以下关系式：
通过简单的三角关系可以示出，飞行器相对于跑道的位置可以借助于以下表达式来获得：
其中，x2-x1、y2-y1、z2-z1给出了按照参考点(Γ,x,y,z)飞行器在第一位置与第二位置之间的运动。观察到表达式(9-1)、(9-2)和(9-3)仅需要获知飞行器的运动，而并不需要飞行器在这两个位置处的准确位置。由于惯性漂移的偏差不影响计算，所以可以由惯性单元以此方式来提供上述运动。
因此，在第一场景中，在图像处理装置520已经检测到着陆跑道并且估计装置530已经估计出飞行器相对于跑道的位置之后，制导装置540导引飞行器沿着飞行器的标称轨迹。要注意的是，如在第一实施方式中一样，不需要获知跑道的特征(尺寸、位置、对准中心)。
最后，第二实施方式还可以用于第二场景(在临时跑道上的紧急着陆)。为了实现这一点，飞行员使用用户接口525来指定跑道的要求触地点P和方向，该方向例如是通过指定要求跑道的轴线的第二点Q来确定的。自动着陆***导引飞行器沿着标称进场轨迹以在该跑道上着陆。

Claims (9)

1.一种用于使飞行器在着陆跑道上自动着陆的***，其特征在于包括：
在所述飞行器上的至少一个机载摄像机(110，510)，所述至少一个机载摄像机意在拍摄一系列连续的地面图像；
图像处理装置(120，520)，所述图像处理装置能够从所述图像提取所述着陆跑道的视觉特征；以及
制导装置(130；530，540)，所述制导装置能够根据在所述图像中的至少一个图像中所述着陆跑道的所述视觉特征的相应位置来确定所述飞行器的制导命令，以将所述飞行器带入标称进场平面并且将所述飞行器与所述着陆跑道的轴线对准，其中所述制导装置包括视觉伺服装置(130)，所述视觉伺服装置能够估计图像中在所述视觉特征的位置与这些特征的要求位置之间的距离，并且根据所述距离来推导所述飞行器的制导命令以将所述视觉特征带至其在所述图像中的相应要求位置，其中在所述图像中所述着陆跑道的所述视觉特征为所述跑道的轴线(Δ)和所述跑道上的触地点(P)，并且其中如果不存在侧风则所述跑道的轴线的要求位置为所述图像的中间垂直轴线，以及所述触地点的要求位置为所述中间垂直轴线与如下线之间的交点：所述线平行于水平线(250)并且以与所述水平线相距要求距离位于所述水平线下方，所述跑道的轴线与所述图像的中间垂直轴线之间的距离是作为距离dΩ和角度θr来被估计的，所述距离dΩ将消失点Ω和在所述图像的中间垂直轴线与所述水平线(250)之间的交点H分隔，并且所述角度θr为所述水平线与所述图像的水平轴线之间的角度。
2.根据权利要求1所述的***，其特征在于，所述要求距离等于dP,c＝f·(tan(θ+δ0)-tan(θ))，其中f为所述至少一个机载摄像机的焦距，θ为所述飞行器的俯仰角，以及δ0为所述标称进场平面与水平面之间的角度。
3.根据权利要求1或2所述的***，其特征在于，所述飞行器的所述制导命令由下式确定：
<mrow> <msub> <mi>Nz</mi> <mi>c</mi> </msub> <mo>=</mo> <msub> <mi>k</mi> <mn>5</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mi>P</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>c</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>k</mi> <mn>6</mn> </msub> <msub> <mover> <mi>d</mi> <mo>&amp;CenterDot;</mo> </mover> <mi>P</mi> </msub> </mrow>
其中，为要求滚转速率，Nzc为要求载荷因数，和分别为所述飞行器的瞬时滚转角和瞬时滚转速率，以及ki,i＝1,..,6为预定实数，θr,c＝0和dΩ,c为设定点值。
4.根据权利要求3所述的***，其特征在于，要求值dΩ,c为侧风速率的递增函数，并且如果不存在这样的风则所述要求值dΩ,c为零。
5.根据权利要求1所述的***，其特征在于，所述图像处理装置能够识别一个图像中的至少一个着陆跑道。
6.根据权利要求5所述的***，其特征在于，所述***包括显示设备(115，515)，所述显示设备显示所述至少一个机载摄像机(110，510)的图像并且所述显示设备被耦接至用户接口(125，525)，其中所述用户接口使得能够从由所述显示设备显示的图像中的多个着陆跑道选择着陆跑道。
7.根据权利要求5所述的***，其特征在于，所述图像处理装置能够确定着陆跑道的轴线和所述跑道上的触地点。
8.根据权利要求1所述的***，其特征在于，所述***包括显示设备(115，515)，所述显示设备显示所述至少一个机载摄像机(110，510)的图像并且所述显示设备被耦接至用户接口(125，525)，其中所述用户接口使得能够在所述图像上指定着陆跑道的轴线以及所述跑道上的触地点。
9.一种用于使飞行器在着陆跑道上自动着陆的方法，其特征在于包括：
拍摄一系列连续的地面图像；
图像处理软件从所述图像提取所述着陆跑道的视觉特征；以及
根据在所述图像中的至少一个图像中所述着陆跑道的所述视觉特征的相应位置来确定所述飞行器的制导命令，以将所述飞行器带入标称进场平面并且将所述飞行器与所述着陆跑道的轴线对准，其中所述确定制导命令包括在所述图像中进行视觉伺服的步骤，以估计图像中在所述视觉特征的位置与这些特征的要求位置之间的距离，并且根据所述距离来推导所述飞行器的制导命令以将所述视觉特征带至其在所述图像中的相应要求位置，其中所述视觉特征为所述跑道的轴线(Δ)和所述跑道上的触地点(P)，并且其中如果不存在侧风则所述跑道的轴线的要求位置为所述图像的中间垂直轴线，以及所述触地点的要求位置为所述中间垂直轴线与如下线之间的交点：所述线平行于水平线(250)并且以与所述水平线相距要求距离位于所述水平线下方，所述跑道的轴线与所述图像的中间垂直轴线之间的距离是作为距离dΩ和角度θr来被估计的，所述距离dΩ将消失点Ω和在所述图像的中间垂直轴线与所述水平线(250)之间的交点H分隔，并且所述角度θr为所述水平线与所述图像的水平轴线之间的角度。
CN201410349014.4A 2013-07-24 2014-07-22 自主且自动的着陆方法和*** Active CN104340371B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1357288 2013-07-24
FR1357288A FR3009117B1 (fr) 2013-07-24 2013-07-24 Procede et systeme d'atterrissage automatique autonome

Publications (2)

Publication Number Publication Date
CN104340371A CN104340371A (zh) 2015-02-11
CN104340371B true CN104340371B (zh) 2018-04-03

Family

ID=49546550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410349014.4A Active CN104340371B (zh) 2013-07-24 2014-07-22 自主且自动的着陆方法和***

Country Status (3)

Country Link
US (1) US9260180B2 (zh)
CN (1) CN104340371B (zh)
FR (1) FR3009117B1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL226696A (en) * 2013-06-02 2015-11-30 Elbit Systems Ltd A method and system for determining an area of interest for a device-based imaging system imaging device
FR3024127B1 (fr) 2014-07-25 2016-08-26 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
FR3033924B1 (fr) * 2015-03-16 2017-03-03 Sagem Defense Securite Procede d'assistance automatique a l'atterrissage d'un aeronef
CN104932522B (zh) * 2015-05-27 2018-04-17 深圳市大疆创新科技有限公司 一种飞行器的自主降落方法和***
FR3038991B1 (fr) * 2015-07-16 2018-08-17 Safran Electronics & Defense Procede d'assistance automatique a l'atterrissage d'un aeronef
US9752893B2 (en) * 2015-07-30 2017-09-05 Honeywell International Inc. Onboard aircraft systems and methods to identify moving landing platforms
US9703293B2 (en) * 2015-08-31 2017-07-11 The Boeing Company Aircraft stall protection system
CN105278541B (zh) * 2015-09-02 2018-08-17 盐城智博科技有限公司 一种飞行器辅助降落控制方法及***
US9916765B2 (en) * 2015-11-04 2018-03-13 Honeywell International Inc. Aircraft systems and methods for providing landing approach alerts
CN105730705B (zh) * 2016-02-14 2017-11-10 中国船舶工业***工程研究院 一种飞行器摄像定位***
CN105758397B (zh) * 2016-02-14 2018-09-25 中国船舶工业***工程研究院 一种飞行器摄像定位方法
US9989972B2 (en) * 2016-02-22 2018-06-05 The Boeing Company Systems and methods to prevent an aircraft from tail contact with the ground
US10472086B2 (en) 2016-03-31 2019-11-12 Sikorsky Aircraft Corporation Sensor-based detection of landing zones
US9643736B1 (en) * 2016-04-14 2017-05-09 Goodrich Corporation Systems and methods for landing lights
RU2634092C1 (ru) * 2016-06-20 2017-10-23 Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) Способ определения угловой ориентации беспилотного летательного аппарата
WO2018027338A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Automatic terrain evaluation of landing surfaces, and associated systems and methods
CN106371460A (zh) * 2016-09-07 2017-02-01 四川天辰智创科技有限公司 寻找目标的方法及装置
CN106325299A (zh) * 2016-09-13 2017-01-11 上海顺砾智能科技有限公司 基于视觉的无人机返航着陆方法
IL249870B (en) 2016-12-29 2022-02-01 Israel Aerospace Ind Ltd Autonomous landing with the help of an image
CN107272024B (zh) * 2017-06-09 2019-08-13 南京航空航天大学 一种飞行器在高动态环境下的基准站布设方法
US10040576B1 (en) * 2017-09-14 2018-08-07 Ilya Daniel Rosenberg Tram system and methods for autonomous takeoff and landing of aircraft
CN108945397B (zh) * 2018-04-24 2021-05-04 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行驾驶***
US11749126B2 (en) 2018-08-07 2023-09-05 Reliable Robotics Corporation Landing site localization for dynamic control of an aircraft toward a landing site
US10935987B2 (en) 2018-08-07 2021-03-02 Reliable Robotics Corporation Landing site localization for dynamic control of an aircraft toward a landing site
US10793286B1 (en) * 2018-08-23 2020-10-06 Rockwell Collins, Inc. Vision based autonomous landing using flight path vector
CN109613929B (zh) * 2018-12-12 2022-11-25 北京卫星信息工程研究所 一种航班精密进近与着陆方法及***
US11055875B2 (en) * 2018-12-20 2021-07-06 The Boeing Company Computer-vision-based autonomous or supervised- autonomous landing of aircraft
CN110673622B (zh) * 2019-10-25 2022-11-25 大连东软信息学院 一种基于视觉图像的无人机自动着舰引导方法与***
FR3110985A1 (fr) * 2020-05-29 2021-12-03 Airbus Interface homme-machine d’un aéronef en phase de décollage ou d’atterrissage
CN111897366A (zh) * 2020-07-16 2020-11-06 清华大学 多尺度、多手段融合的无人机轨迹规划方法
CN112797982A (zh) * 2020-12-25 2021-05-14 中国航空工业集团公司沈阳飞机设计研究所 一种基于机器视觉的无人机自主着陆测量方法
US11479365B2 (en) 2021-01-22 2022-10-25 Honeywell International Inc. Computer vision systems and methods for aiding landing decision
US11753181B2 (en) * 2021-03-30 2023-09-12 Honeywell International Inc. System and method for visual aided landing
CN113295164B (zh) * 2021-04-23 2022-11-04 四川腾盾科技有限公司 一种基于机场跑道的无人机视觉定位方法及装置
FR3122408B1 (fr) * 2021-04-29 2023-06-09 Airbus Sas Syteme et procede d’assistance d’approche d’aeroports
CN113495575B (zh) * 2021-08-18 2023-05-23 北京航空航天大学 一种基于注意力机制的无人机自主着陆视觉引导方法
CN114063625B (zh) * 2021-11-23 2024-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用作飞机着陆操纵参考的飞行航迹符计算方法及***
CN114898597A (zh) * 2022-04-15 2022-08-12 中国航空工业集团公司沈阳飞机设计研究所 一种目视航线导航方法及***
FR3139654A1 (fr) * 2022-09-13 2024-03-15 Safran Electronics & Defense Procédé et dispositif de navigation pour un aéronef, système, aéronef, programme d'ordinateur et support d'informations associés

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2302318A (en) * 1995-06-14 1997-01-15 Bodenseewerk Geraetetech Aircraft landing procedure
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2809372B1 (fr) 2000-05-29 2002-09-20 Aerospatiale Matra Airbus Aeronef a commandes de vol electriques, pourvu d'un pilote automatique
FR2835314B1 (fr) * 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
JP4253239B2 (ja) * 2003-10-07 2009-04-08 富士重工業株式会社 画像認識を用いた航法装置
US7693617B2 (en) * 2006-09-19 2010-04-06 The Boeing Company Aircraft precision approach control
DE102012111010A1 (de) 2012-11-15 2014-06-12 Eads Deutschland Gmbh Verfahren und Vorrichtung zur bildgestützten Landebahnlokalisierung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2302318A (en) * 1995-06-14 1997-01-15 Bodenseewerk Geraetetech Aircraft landing procedure
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航***

Also Published As

Publication number Publication date
US9260180B2 (en) 2016-02-16
FR3009117B1 (fr) 2016-11-25
CN104340371A (zh) 2015-02-11
FR3009117A1 (fr) 2015-01-30
US20150032299A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
CN104340371B (zh) 自主且自动的着陆方法和***
US9939818B2 (en) Method and system for automatic autonomous landing of an aircraft
Al-Kaff et al. Survey of computer vision algorithms and applications for unmanned aerial vehicles
KR102483714B1 (ko) 이미지 센서 기반 자율 착륙
KR101494654B1 (ko) 무인항공기 착륙유도 방법 및 장치와 착륙제어 방법 및 장치
US10878709B2 (en) System, method, and computer readable medium for autonomous airport runway navigation
AU2024202156A1 (en) A backup navigation system for unmanned aerial vehicles
KR101157484B1 (ko) 무인항공기 자동회수 방법
CN105644785B (zh) 一种基于光流法和地平线检测的无人机着陆方法
US9477230B2 (en) Method for the acquisition and processing of geographical information of a path
US11453512B2 (en) System and a method for assisting landing an aircraft, and a corresponding aircraft
US10437261B2 (en) Formation flying method and system
US10643481B2 (en) Method and a device for avoiding an object by detecting its approach to an aircraft
WO2014169353A1 (en) Landing site tracker
JP7000085B2 (ja) 合成慣性ローカライザ偏差による飛行制御システムおよびその利用方法
EP2442201B1 (en) Formation flying method and system
Wolkow et al. Benefits and challenges of optical positioning during landing approach
CN111341154A (zh) 低/无能见度起飞***
US7702428B2 (en) Method and device to assist in the piloting of an aircraft
US10013887B2 (en) Method and a device for calculating a safe path from the current position of an aircraft to an attachment point
US20230023069A1 (en) Vision-based landing system
US20210407307A1 (en) Method and device for assisting piloting of an aircraft moving on the ground
JPH0663500U (ja) 航空機の自動着陸装置
CN115183780A (zh) 飞行器进近阶段的飞行导引***、用于其图像采集模块的验证方法和飞行导引方法
CN118258413A (zh) 用于无人飞行器的备用导航***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant