CN106415422A - 利用多传感器增益调度的先进飞机视觉*** - Google Patents
利用多传感器增益调度的先进飞机视觉*** Download PDFInfo
- Publication number
- CN106415422A CN106415422A CN201580023238.9A CN201580023238A CN106415422A CN 106415422 A CN106415422 A CN 106415422A CN 201580023238 A CN201580023238 A CN 201580023238A CN 106415422 A CN106415422 A CN 106415422A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- image
- visual
- gain
- runway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 13
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
- G08G5/025—Navigation or guidance aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Optics & Photonics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
提供一种进行降落操作的飞机用的增强视觉***。根据非限制性实施例,飞机上的处理器从飞机上的传感器或***接收数据,并且使用该数据确定相对于跑道的飞机的位置。处理器根据该确定调节第一视觉***和第二视觉***的增益。来自第一视觉***和第二视觉***的图像被合并,并且显示给飞行员,直到降落操作完成。
Description
相关申请
本申请要求2014年5月12日提交的美国临时申请61/992,010号的优先权。
技术领域
本发明的实施例一般涉及飞机,尤其涉及向飞行员提供增强视觉信息的飞机用的视觉***。
背景技术
在飞行期间企图使飞机降落的飞行员进行安全降落操作时要面对几项挑战。在降落操作期间,飞机必须沿着下滑道(glideslope)正确地接近机场跑道,对准跑道着陆,并且在着陆后剩余的跑道距离内放慢到停止或者达到适当的地面速度。在低能见度条件下,降落操作是更大的挑战。天气条件或者弱光条件可能使飞行员难以或者不能看清跑道或跑道条件。
因此,希望在飞行的进场和降落阶段帮助飞行员。其他有利特征和特点将从以下发明内容、具体实施方式和所附权利要求并结合附图和上述技术领域和背景技术而变得明显。
发明内容
所公开的实施例涉及一种飞机以及可在该飞机进行降落操作时使用的包括一个或多个传感器的增强视觉***。根据非限制性实施例,该飞机上的处理器从该飞机上的传感器或***接收数据,并且使用该数据判断该飞机相对于跑道的位置。该处理器根据该判断调节第一视觉***和第二视觉***的增益。来自第一视觉***和第二视觉***的图像被合并,并且显示给飞行员,直到降落操作完成。
附图说明
下面将结合附图描述本发明的实施例,其中相同的附图标记表示相同的元件,并且
图1是根据一个非限制性实施方式的进行降落操作的飞机的视图,在该降落操作中可以实施所公开的实施例。
图2是根据一个非限制性实施方式的先进飞机视觉***的框图。
图3是根据所公开的实施例的示例性实施方式的增益控制图。
图4是根据所公开的实施例的一个示例性实施方式的方法的流程图。
具体实施方式
在此使用的词语“示例性”意思是“作为例子、实例或示例”。以下详细描述本质上仅是示例性的,并且不意图限制本发明或者本发明的应用和使用。在此作为“示例性”描述的任何实施例都不应必然地理解为比其他实施例更优选或更有利。在“具体实施方式”中描述的所有实施例都是示例性实施例,它们被提供用来使本领域的技术人员能够完成或使用本发明,并且不限制由所附权利要求限定的本发明的范围。此外,也不意图受到前述“技术领域”、“背景技术”、“发明内容”或以下描述中明示或暗示的理论所限制。
所公开的实施例涉及一种飞机用的先进视觉***。许多当代商务喷气式飞机制造商都提供通常称为平视显示仪(heads-up display,HUD)的视觉引导***(visualguidance system,VGS)。VGS典型地与增强视觉***相结合,增强视觉***提供覆盖有HUD符号的红外(IR)图像,并且使飞行员具有看穿肉眼看不清的一些情况的能力。所公开的实施例融合了红外视觉***和被选择为与IR***具有不同有效范围的第二视觉***的成像的优点。适当的第二视觉***的一个非限制性例子包括毫米波(MMW)视觉***。尽管以下描述以MMW***给出所公开的实施例,但是将会理解,在任何具体实施方式中可以采用具有不同于IR***的有效范围的众多其他第二视觉***。非限制性的例子包括:气象雷达、LIDAR或者具有不同波长的其他IR传感器。来自红外视觉***和毫米波***的图像被调节增益,然后被合并并且提供给飞行员。该增益调节是根据飞机相对于跑道的位置(高度或距离)自动进行的,并且不需要飞行员来调节或关注。在一些实施例中,通过根据降落操作期间的跑道可视范围(Runway Visual Range,RVR)使用RVR因子对增益进行补充调节来进行该增益调节。以减小来自两个视觉***的合并图像中的视差扭曲的方式对图像进行合并。这样,飞行员被提供有支持安全完成降落操作的增强视觉信息。
图1是根据一个示例性而非限制性的实施方式的进行降落操作的飞机100的视图,在该降落操作中可以实施所公开的实施例。根据所公开的实施例的一个非限制性实施方式,飞机100包括:机身102,其承载乘客和货物;两个主翼104,其提供使飞机100飞行所需的升力;垂直尾翼106和两个水平尾翼108,用于确保稳定的飞行;以及两个喷气式发动机110,其提供向前推进飞机100所需的推力。飞行控制表面位于机翼112、水平尾翼116和垂直尾翼114上以引导飞机100。如图1中所示,飞机100通过沿着下滑道112向跑道114航行来进行降落操作。当飞机100沿着下滑道112行进到飞机100’的位置,然后到飞机100”的位置时,红外视觉***和工作中的毫米波视觉***的增益被飞机上的处理器自动调节,合并并且通过显示器呈现给飞行员,在一些实施例中该显示器是平视显示仪。
尽管图1中没有示出,但是飞机100还包括各种机载计算机、飞机仪表和各种控制***。这些机载计算机可以包括飞行控制计算机,并且飞机仪表可以包括构成航电***的部件的各种传感器,现在参照图2进行描述。
图2是根据所公开的实施例的示例性实施方式的先进飞机视觉***200的框图。视觉***200包括各种传感器204、一个或多个定位***206以及红外视觉***208、第二成像***210、合成器212和显示器214,在一些实施例中显示器214包括平视显示仪。尽管没有示出,但是将会理解,飞机可以包括任何适当数量的冗余***或者构成视觉***200的任何数量的子***。
传感器204可以包括例如空气数据传感器、空气数据参考(air data reference,ADR)部件或传感器、声传感器(例如,音响、麦克风、地震仪、加速计等)、振动传感器、飞机传感器(例如,空气速度指示器、高度计、姿态指示器、陀螺仪、磁罗盘、导航仪表传感器、速度传感器、角速率传感器等)、位置、角度、位移、距离、速度、加速器传感器(例如,加速计、倾斜计、位置传感器、旋转编码器、旋转/线性可变差动转换器、转速表等)。传感器204还可以包括皮托(pitot)和静态压力传感器,它们可以用来测量冲压(Ram)空气压力和静态压力,并且提供数据或信息,这些数据或信息可被用来确定/计算气流速度、马赫数、攻角、温度和气压高度数据等。定位***206可以包括全球定位***(GPS)、全球导航卫星***(GNSS)或者其他基于卫星的传感器***。
根据所公开的实施例,计算机202使用传感器204和/或定位***206提供的数据来确定降落操作期间飞机的位置。在一个非限制性例子中,该计算机可以使用GPS***确定相对于跑道的飞机位置,以确定飞机与跑道的距离。由于进场航线和跑道的下滑道被存档并且可以被飞行员利用,所以计算机102还可以通过接收飞机高度数据并使用本领域已知的三角方程来确定飞机相对于跑道的位置。由于红外视觉***和毫米波成像***具有不同的有效范围,所以计算机102根据所确定的相对于跑道的飞机位置来调节这两个***的增益,以向飞行员提供可能的最佳图像。可选地,跑道可视范围(RVR)数据也可被用于补充红外视觉***208和第二视觉***210的增益控制处理。
增益调节后的图像在合成器212中被合成,以向显示器214提供合并图像。两个视频图像的合并或融合在本领域中是公知的,并且按照所公开的实施例的教导可以采用任何适当的融合处理。根据针对第二视觉***210选择的技术,一种融合处理可能优于另一种融合处理,本领域技术人员将会领会并理解这一点。
在红外图像和MMW图像在合成器212中被合并之后,合并图像在显示器214上呈现给飞行员,在一些实施例中显示器214包括平视显示仪。根据所公开的实施例,飞行员具有手动选择红外视觉***208或MMW成像***210的选项,或者可以选择自动模式,在自动模式中,计算机202根据进场操作期间确定的相对于跑道的飞机位置自动进行红外视觉***208和MMW视觉***210的增益调节。
接着图2,图3是MMW(第二)成像***210的增益控制(调度(scheduling))曲线300的视图。将会理解,红外视觉***208的增益控制曲线是对应于产生具有100%增益因子的合并图像的曲线。因此,所公开的实施例通过将MMW视觉***210的增益设置为零或接近零,直到在第二视觉***的有效性达到峰值306的高度304之前大约200英尺,来优先考虑红外视觉***208。当飞机沿着下滑道靠近跑道时,计算机202根据增益控制曲线300调节红外视觉***208和MMW视觉***210的增益。当飞机接近着陆时,再次优先考虑到红外视觉***208,计算机快速降低MMW成像***的增益,如图3所示。在一些实施例中,基于跑道可视范围(RVR)数据来移动增益控制(调度)曲线300。作为非限制性例子,在较高RVR(例如,1200)时,增益控制曲线可以如箭头308所示移动。在较低RVR(例如,500)时,增益控制曲线可以如箭头310所示移动,这是因为红外成像***在较低RVR时有效性较低。如将会理解的,实际RVR移动点和增益控制曲线移动的量将取决于针对第二视觉***210选择的技术。通常,所公开的实施例在飞行员仅用红外成像***208和肉眼可能无法看到跑道或跑道条件的低可见度条件下(即,较低的RVR)最有利。
图4是示出根据所公开的实施例的一个示例性实施方式的方法400的流程图。将参考结合图2描述的某些部件来描述图4。
例程在步骤402开始,在步骤402,计算机202从传感器204或定位***206获得数据。传感器204可以包括但不限于一个或多个声传感器(例如,音响、麦克风、地震仪、加速计等)、振动传感器、空气数据传感器(例如,空气速度指示器、高度计、姿态指示器、导航仪表传感器、速度传感器、角速率传感器等)、位置、角度、位移、距离、速度、加速度传感器(例如,倾斜计、位置传感器、旋转编码器、旋转/线性可变差动转换器、转速表等)。定位***206可以包括全球定位***(GPS)、全球导航卫星***(GNSS)或其它基于卫星的传感器***。在步骤404中,计算机202确定相对于跑道的飞机位置。如上所述,这可以通过确定飞机与跑道的距离或通过确定沿着下滑道的飞机高度来完成。判定406确定飞机是否已经降落。肯定的判定表示飞机已经完成降落操作,并且在步骤408中可以停用该视觉***。可选地,视觉***200可以在降落之后和在对飞机征税期间保持使用,如步骤410所示。
如果判定406确定为飞机未降落,则判定412确定飞行员是否已手动选择红外视觉***208。如果是,则计算机202将红外视觉***的增益设置为100%,并且将MMW(第二)视觉***的增益设置为零,然后在步骤416中显示来自红外视觉***的图像。此后,例程循环回到步骤402,直到飞机降落。如果判定412确定为红外视觉***尚未被手动选择,则例程前进到判定418,确定是否已经选择了自动增益控制模式。如果不是,则计算机202将第二视觉***的增益设置为百分之百,并且将红外视觉***208的增益设置为零,然后在显示器214上显示来自第二视觉***的图像。例程再次循环回到步骤402,直到飞机降落。
如果判定418确定为自动增益控制模式已被选择,则步骤420根据增益控制曲线(调度)调节红外视觉***208和MMW视觉***210的增益,可选地,如果可用的话,可以用RVR数据补充该增益控制曲线。参见图3,图3为一个非限制性例子。在增益调节之后,按照上述融合方法,在合成器212中对来自红外视觉***208和第二视觉***210的图像进行合并。在步骤424中将合并的图像显示给飞行员,然后例程循环回到步骤402,并继续直到飞机降落。
与利用先前的视觉***的飞机相比,所公开的实施例可以使飞机具有增强的安全性。通过向飞行员提供在主动毫米波视觉***内应用红外视觉***的贡献的先进飞机视觉***,所公开的实施例提供了具有不同有效范围和优点的两个***的优点。
所属领域的技术人员将进一步了解,结合本文中公开的实施例描述的各种说明性逻辑块、任务、步骤、模块、电路和算法步骤可实施为电子硬件、计算机软件或二者的组合。上面以功能和/或逻辑块部件(或模块)和各种处理步骤描述了一些实施例和实施方式。然而,应当理解,这样的块部件(或模块)可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。为了清楚地说明硬件和软件的这种可互换性,上文已经以它们的功能一般性地描述了各种说明性部件、块、模块、电路和步骤。这种功能作为硬件还是作为软件来实现取决于具体应用和施加在整个***的设计约束。所属领域的技术人员可针对每个具体应用以不同方式实施所描述的功能,但此类实施决策不应被解释为导致脱离本发明的范围。例如,***或部件的实施例可以采用各种集成电路部件,例如,存储器元件、数字信号处理元件、逻辑元件、查找表等,它们可以在一个或多个微处理器或其他控制装置的控制下执行各种功能。另外,本领域技术人员将理解,本文描述的实施例仅仅是示例性的实施方式。
结合本文公开的实施例描述的各种说明性逻辑块、模块和电路可被设计用于执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或它们的任意组合来实现或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合,例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核或任何其他这样的配置。词语“示例性”在本文中专门用于表示“用作例子、实例或示例”。本文描述为“示例性”的任何实施例不应必被解释为比其他实施例优选或有利。
结合本文所公开的实施例描述的方法或算法的步骤可以直接用硬件、由处理器执行的软件模块或两者的组合来实现。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器,使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中,存储介质可以集成到处理器。处理器和存储介质可以驻留在ASIC中。
在本文中,诸如第一和第二等关系术语可以仅用于将一个实体或动作与另一个实体或动作区分开,而不必要求或暗示这些实体或动作之间的任何实际的关系或顺序。除非由权利要求语言特别定义,否则诸如“第一”,“第二”,“第三”等序数词仅仅表示多个中的不同个体,并且不暗示任何顺序或序列。除非由权利要求的语言特别定义,否则任何权利要求中的文本的顺序都不意味着必须根据这种顺序以时间或逻辑顺序执行处理步骤。在不脱离本发明的范围的情况下,处理步骤可以以任何顺序互换,只要这种交换不与权利要求语言相矛盾并且不是逻辑上无意义的即可。
此外,根据上下文,在描述不同元件之间的关系时使用的诸如“连接”或“耦合到”的词语不暗示在这些元件之间必须进行直接物理连接。例如,两个元件可以通过一个或多个附加元件物理地、电子地、逻辑地或以任何其它方式相互连接。
尽管在前面的详细描述中已经给出了至少一个示例性实施例,但是应当理解,存在大量的变型。例如,尽管参考飞机用的先进飞机视觉***描述了所公开的实施例,但是本领域技术人员将理解,所公开的实施例可以在其他类型的运载工具中实现,这种运载工具包括但不限于水面船舶、汽车、火车、摩托车等。还应当理解,所述一个或多个示例性实施例仅仅是例子,并且不旨在以任何方式限制本发明的范围、适用性或配置。相反,前面的详细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的方便的路线图。应当理解,在不脱离如所附权利要求及其法律等同物所阐述的本发明的范围的情况下,可以对元件的功能和布置进行各种改变。
Claims (20)
1.一种用于在进行降落操作的飞机中增强飞行员视觉的方法,包括:
由所述飞机上的处理器接收来自所述飞机上的传感器或***的数据;
(a)由所述处理器使用所述数据确定相对于跑道的所述飞机的位置;
(b)调节第一视觉***的增益以提供经调节的第一图像;
(c)调节第二视觉***的增益以提供经调节的第二图像;
(d)合并所述经调节的第一图像和所述经调节的第二图像以提供合并图像;
(e)显示所述合并图像;并且
(f)重复步骤(a)-(e),直到所述飞机完成降落操作。
2.根据权利要求1所述的方法,其中确定所述飞机的位置包括由所述处理器使用来自高度传感器的数据确定相对于跑道的所述飞机的位置。
3.根据权利要求1所述的方法,其中确定所述飞机的位置包括由所述处理器使用来自定位***的数据确定相对于跑道的所述飞机的位置。
4.根据权利要求1所述的方法,其中调节所述第一视觉***的增益包括调节红外视觉***的增益以提供所述经调节的第一图像。
5.根据权利要求1所述的方法,其中调节所述第二视觉***的增益包括调节毫米波视觉(MMW)***的增益。
6.根据权利要求1所述的方法,其中调节所述第二视觉***的增益还包括基于跑道可视范围数据调节增益控制调度。
7.根据权利要求1所述的方法,其中显示所述合并图像包括在平视显示仪上显示所述合并图像。
8.一种用于飞机的视觉***,包括:
第一成像***,用于提供第一图像;
第二成像***,用于提供第二图像;
传感器或***,用于提供所述飞机的位置数据;
处理器,其耦合到所述传感器或***、所述第一成像***和所述第二成像***,所述处理器被配置为:
确定相对于跑道的所述飞机的位置;
基于相对于所述跑道的所述飞机的位置来调节所述第一成像***和所述第二成像***的增益;
合并所述第一图像和第二图像以提供合并图像;以及
将所述合并图像显示在显示器上。
9.根据权利要求8所述的视觉***,其中所述传感器包括高度传感器。
10.根据权利要求8所述的视觉***,其中所述***包括定位***。
11.根据权利要求8所述的视觉***,其中所述第一视觉***包括红外视觉***。
12.根据权利要求8所述的视觉***,其中所述第二成像***包括毫米波视觉***。
13.根据权利要求8所述的视觉***,其中所述处理器被配置为基于跑道可视范围数据调节所述第一成像***和所述第二成像***的增益。
14.根据权利要求8所述的视觉***,其中所述显示器包括平视显示仪。
15.一种飞机,包括:
机身,其具有用于提供空中旅行的舱室;
发动机,其在飞行期间推进飞机;
视觉***,包括:
第一成像***,用于提供第一图像;
第二成像***,用于提供第二图像;
传感器或***,用于提供所述飞机的位置数据;
处理器,其耦合到所述传感器或***、所述第一成像***和所述第二成像***,所述处理器被配置为:
确定相对于跑道的所述飞机的位置;
基于相对于所述跑道的所述飞机的位置来调节所述第一成像***和所述第二成像***的增益;
合并所述第一图像和第二图像以提供合并图像;以及
将所述合并图像显示在显示器上。
16.根据权利要求15所述的飞机,其中所述传感器包括高度传感器。
17.根据权利要求15所述的飞机,其中所述***包括定位***。
18.根据权利要求15所述的飞机,其中所述第一视觉***包括红外视觉***。
19.根据权利要求15所述的飞机,其中所述第二成像***包括毫米波视觉***。
20.根据权利要求15所述的飞机,其中所述显示器包括平视显示仪。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461992010P | 2014-05-12 | 2014-05-12 | |
US61/992,010 | 2014-05-12 | ||
PCT/US2015/030117 WO2016018491A2 (en) | 2014-05-12 | 2015-05-11 | Advanced aircraft vision system utilizing multi-sensor gain scheduling |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106415422A true CN106415422A (zh) | 2017-02-15 |
CN106415422B CN106415422B (zh) | 2020-08-28 |
Family
ID=55180551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580023238.9A Active CN106415422B (zh) | 2014-05-12 | 2015-05-11 | 利用多传感器增益调度的先进飞机视觉*** |
Country Status (6)
Country | Link |
---|---|
US (1) | US9569848B2 (zh) |
EP (1) | EP3143468B1 (zh) |
CN (1) | CN106415422B (zh) |
CA (1) | CA2945150C (zh) |
IL (1) | IL248599A0 (zh) |
WO (1) | WO2016018491A2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107202983A (zh) * | 2017-05-19 | 2017-09-26 | 深圳佑驾创新科技有限公司 | 基于图像识别和毫米波雷达融合的自动刹车方法和*** |
CN112904881A (zh) * | 2021-01-19 | 2021-06-04 | 杭州电子科技大学 | 一种高超声速飞行器动态增益调度控制器设计方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043402B1 (en) * | 2015-09-04 | 2018-08-07 | Rockwell Collins, Inc. | Flight path cross check |
US10440293B1 (en) | 2018-06-22 | 2019-10-08 | Jurgen R. Ihns | Avionics imaging control method and apparatus |
US10777013B1 (en) * | 2018-12-21 | 2020-09-15 | Rockwell Collins, Inc. | System and method for enhancing approach light display |
FR3111120B1 (fr) | 2020-06-04 | 2022-04-29 | Airbus Operations Sas | Système de vision de vol amélioré pour aéronef. |
US11851215B2 (en) * | 2021-05-27 | 2023-12-26 | Honeywell International Inc. | Systems and methods for calibrating a synthetic image on an avionic display |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850185B1 (en) * | 2003-07-31 | 2005-02-01 | Rockwell Collins | Runway obstacle detection system and method |
CN100421122C (zh) * | 2002-08-28 | 2008-09-24 | Bae***航空控制公司 | 图像融合***和方法 |
US20090138138A1 (en) * | 2006-09-29 | 2009-05-28 | Bran Ferren | Imaging and display system to aid helicopter landings in brownout conditions |
KR100928292B1 (ko) * | 2008-01-18 | 2009-11-25 | 동국대학교 산학협력단 | 합성 영상 생성 장치 및 그 방법 |
US20110089325A1 (en) * | 2005-07-01 | 2011-04-21 | Ottney Joseph C | Fusion night vision system |
CN103287584A (zh) * | 2012-03-01 | 2013-09-11 | 上海工程技术大学 | 一种飞机视频降落辅助*** |
CN104301666A (zh) * | 2013-07-15 | 2015-01-21 | 霍尼韦尔国际公司 | 用于提供具有自适应组合视觉***的显示器的显示***和方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5585791A (en) * | 1995-04-24 | 1996-12-17 | Alliedsignal, Inc. | GPWS autopilot monitor |
US6792141B2 (en) * | 2001-04-19 | 2004-09-14 | Raytheon Company | Infrared detection system and method with histogram based manual level and gain control with local gain clipping |
US7382288B1 (en) | 2004-06-30 | 2008-06-03 | Rockwell Collins, Inc. | Display of airport signs on head-up display |
US7605774B1 (en) * | 2004-07-02 | 2009-10-20 | Rockwell Collins, Inc. | Enhanced vision system (EVS) processing window tied to flight path |
DE102005053899A1 (de) * | 2005-11-09 | 2007-05-10 | Vaisala Gmbh | Verfahren zur Bestimmung einer optimalen Landebahnbefeuerungsintensität |
US8371852B2 (en) * | 2008-01-21 | 2013-02-12 | Dror Michael ALLON | Implant and a method for using the same |
WO2009128065A1 (en) * | 2008-04-16 | 2009-10-22 | Elbit Systems Ltd. | Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions |
US8089375B1 (en) | 2008-06-09 | 2012-01-03 | Rockwell Collins, Inc. | Head-up display/synthetic vision system predicted flight path depiction |
US8170729B2 (en) * | 2008-08-08 | 2012-05-01 | Honeywell International Inc. | Method and system for operating a display device on-board an aircraft |
US20110106345A1 (en) | 2009-11-03 | 2011-05-05 | Takacs Robert S | Low visibility landing system |
US8654149B2 (en) * | 2011-12-20 | 2014-02-18 | Honeywell International Inc. | System and method for displaying enhanced vision and synthetic images |
US9001030B2 (en) * | 2012-02-15 | 2015-04-07 | Google Inc. | Heads up display |
FR2996927B1 (fr) | 2012-10-12 | 2014-12-26 | Airbus Operations Sas | Poste de pilotage avec dispositif de visualisation tete haute, notamment pour un aeronef |
US9625716B2 (en) | 2013-05-08 | 2017-04-18 | Gulfstream Aerospace Corporation | Omnidirectional HUD |
-
2015
- 2015-05-11 EP EP15828146.9A patent/EP3143468B1/en active Active
- 2015-05-11 CA CA2945150A patent/CA2945150C/en active Active
- 2015-05-11 CN CN201580023238.9A patent/CN106415422B/zh active Active
- 2015-05-11 WO PCT/US2015/030117 patent/WO2016018491A2/en active Application Filing
- 2015-05-11 US US14/708,687 patent/US9569848B2/en active Active
-
2016
- 2016-10-30 IL IL248599A patent/IL248599A0/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100421122C (zh) * | 2002-08-28 | 2008-09-24 | Bae***航空控制公司 | 图像融合***和方法 |
US6850185B1 (en) * | 2003-07-31 | 2005-02-01 | Rockwell Collins | Runway obstacle detection system and method |
US20110089325A1 (en) * | 2005-07-01 | 2011-04-21 | Ottney Joseph C | Fusion night vision system |
US20090138138A1 (en) * | 2006-09-29 | 2009-05-28 | Bran Ferren | Imaging and display system to aid helicopter landings in brownout conditions |
KR100928292B1 (ko) * | 2008-01-18 | 2009-11-25 | 동국대학교 산학협력단 | 합성 영상 생성 장치 및 그 방법 |
CN103287584A (zh) * | 2012-03-01 | 2013-09-11 | 上海工程技术大学 | 一种飞机视频降落辅助*** |
CN104301666A (zh) * | 2013-07-15 | 2015-01-21 | 霍尼韦尔国际公司 | 用于提供具有自适应组合视觉***的显示器的显示***和方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107202983A (zh) * | 2017-05-19 | 2017-09-26 | 深圳佑驾创新科技有限公司 | 基于图像识别和毫米波雷达融合的自动刹车方法和*** |
CN112904881A (zh) * | 2021-01-19 | 2021-06-04 | 杭州电子科技大学 | 一种高超声速飞行器动态增益调度控制器设计方法 |
Also Published As
Publication number | Publication date |
---|---|
IL248599A0 (en) | 2016-12-29 |
CN106415422B (zh) | 2020-08-28 |
EP3143468A4 (en) | 2018-01-03 |
US20160035080A1 (en) | 2016-02-04 |
CA2945150C (en) | 2020-09-01 |
CA2945150A1 (en) | 2016-02-04 |
EP3143468A2 (en) | 2017-03-22 |
US9569848B2 (en) | 2017-02-14 |
WO2016018491A3 (en) | 2016-03-24 |
WO2016018491A2 (en) | 2016-02-04 |
EP3143468B1 (en) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106415422A (zh) | 利用多传感器增益调度的先进飞机视觉*** | |
CN102343980B (zh) | 用于增强视觉图像中的姿态辨别的方法和*** | |
RU2550887C2 (ru) | Бортовая интегрированная система информационной поддержки экипажа и когнитивный формат представления полетной информации на этапе "взлет" многодвигательного воздушного судна | |
US6484072B1 (en) | Embedded terrain awareness warning system for aircraft | |
EP2908303B1 (en) | System for providing landing exceedance warnings and avoidance | |
EP2101155A1 (en) | Method and apparatus for displaying flight path information in rotocraft | |
US8810435B2 (en) | Apparatus and method for displaying a helicopter approach to an airport landing pad | |
EP2204639A1 (en) | Systems and methods for enhancing terrain elevation awareness | |
EP3111170A2 (en) | Projected synthetic vision | |
EP2154484A2 (en) | Method and system for operating a display device on-board an aircraft | |
EP2360452A2 (en) | Methods and systems for displaying a symbol representative of an aircraft in flight | |
EP3029653A1 (en) | System and method for displaying predictive conformal configuration cues for executing a landing | |
EP2759805A2 (en) | Method and system for displaying a helicopter terrain intercept point during landing | |
CN108983796A (zh) | 用于调整飞行器的视觉显示视角与飞行路径之间的相关性的***和方法 | |
EP2679961A2 (en) | Aircraft systems and methods for attitude recovery | |
US20070273544A1 (en) | Method and a device for processing and displaying aircraft piloting information | |
US9000952B1 (en) | Airport surface information presentation methods for the pilot including taxi information | |
CA2160759C (fr) | Dispositif optoelectronique d'aide au pilotage d'un aeronef | |
RU2514293C2 (ru) | Способ содействия пилотированию, устройство содействия пилотированию и летательный аппарат | |
EP2846134B1 (en) | Helicopter system and method for integrating collective flight director cues | |
Jackson et al. | Real-time simulation model of the HL-20 lifting body | |
US9719793B2 (en) | Synthetic vision system including means for modifying the displayed view | |
CN106949904A (zh) | 可视化***中图形化表示外部景观的合成三维视图的方法 | |
WO2003096303A1 (en) | Feature display | |
CN108204823B (zh) | 在飞机的机载显示***中图形化管理俯仰标尺的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |