CN107451988A - 在飞行器的检视***中对感兴趣的元素合成表示的方法 - Google Patents

在飞行器的检视***中对感兴趣的元素合成表示的方法 Download PDF

Info

Publication number
CN107451988A
CN107451988A CN201710207886.0A CN201710207886A CN107451988A CN 107451988 A CN107451988 A CN 107451988A CN 201710207886 A CN201710207886 A CN 201710207886A CN 107451988 A CN107451988 A CN 107451988A
Authority
CN
China
Prior art keywords
interested
aircraft
element interested
image
inspection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710207886.0A
Other languages
English (en)
Inventor
T·加尼耶
B·艾默里克
J·勒克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN107451988A publication Critical patent/CN107451988A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005—Flight directors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/913—Radar or analogous systems specially adapted for specific applications for traffic control for landing purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G01S13/935—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft for terrain-avoidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24—Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明总体领域为在飞行器的检视***中对感兴趣的元素合成表示的方法，所述检视***包括：位置传感器、地图数据库、感兴趣的元素的数据库、图像传感器、用于处理图像的单元、用于产生表示飞过的地形的三维数字图像的单元、以及检视设备，其特征在于，当飞过的地形包括感兴趣的元素时，所述合成表示的方法包括：第一步骤，在一系列图像的每个图像中搜索并检测所述感兴趣的元素；第二步骤，产生表示飞过的地形的三维数字图像，如果在一系列图像的任何图像中没有检测到感兴趣的元素，则根据第一表示来表示感兴趣的元素，如果检测到了感兴趣的元素，则根据第二表示来表示感兴趣的元素。

Description

在飞行器的检视***中对感兴趣的元素合成表示的方法
技术领域
本发明的领域为检视***，其将利用数据库构造的合成图像与源于一个或多个传感器的一个或多个图像进行结合。这些***被称为“结合视景***”(CVS，Combined VisionSystems)。其用于交通工具(尤其是飞行器)的驾驶。其使得交通工具的操作者能够在恶劣天气下利用与良好天气下相同的规则执行任务，并具有与良好天气下相同的安全性。例如，在航空用途中，其尤其在滚转、起飞和着陆阶段使用。
背景技术
实施的传感器为红外传感器、毫米雷达或激光雷达。图像可以显示于位于仪表板的检视设备，或者显示于透明检视设备(该透明检视设备显示覆盖于外部景观的图像)。
为了让飞行员能够对自身进行准确的定位，寻求的是检测并显示容易识别和辨识的目标。在下文的描述中，这些目标被称为“感兴趣的元素”。应当理解的是，这些感兴趣的元素必须尽可能以最清楚且最直观的方式显示。
对于航空应用，这些目标尤其是着陆跑道。在基于仪表的进场期间，按规定需要机组成员获取一定高度之上的或距跑道一定高度处的外部视觉参考，以便能够继续着陆，否则机组乘员进行复飞。从几年前开始，特别的规定允许机组乘员通过飞行器的前视传感器而不是直接通过视觉来获取视觉参考。因此，必要的是，来自传感器的信息的展示尽可能以最好的方式呈现，以在机组乘员决策时辅助机组乘员。
第一方案包括，在所谓的“合成视景***”(SVS，Synthetic Vision System)***中仅显示合成图像，而不考虑来自图像传感器的信息。因此，在航空用途中，***基于飞行器的“GPS”***和惯性平台提供的飞行器的位置而仅显示地形和着陆跑道。但是，飞机位置的不确定性以及存储在数据库中的跑道位置的精确度阻碍了SVS在飞行器接近地面(例如着陆和起飞)的关键阶段中的使用。
第二方案包括，仅显示来自一个或多个传感器的图像。这些***称为“增强视景***”(EVS，Enhanced Vision Systems)或“增强飞行视景***”(EFVS，Enhanced FlightVision Systems)。然而，感兴趣的元素不一定可以简单地识别。从而，在特定气象条件下(例如，在有雾的天气下)，难以利用红外检测器检测着陆跑道。因此，着陆所需的信息不能供机组乘员使用。
最后，现有的CVS方案基于同时显示全部或部分的合成图像以及来自一个或多个传感器的图像，例如通过各种图像的覆盖以及可选地记录传感器图像的显著元素的合成图像、或者通过将传感器图像嵌入合成图像的内部、或通过裁剪图像传感器的显著元素并且将这些元素嵌入到合成图像。作为示例，标题为“Methods and apparatus for runwaysegmentation using sensor analysis”的专利US 7 826 666以及标题为“Fusion ofsensor data and synthetic data to form an integrated image”的专利US 7 925 117描述了该类型的方案。
这些CVS方案的主要缺陷在于，机组乘员难以对其进行阅读和解释。另一个缺陷为，其依赖传感器图像的产生频率，而对于一些传感器(例如，雷达类)而言，这可能导致图像显示的不连续的变化。红外式传感器显示出如上文已经提到的其他缺陷。
最后，“自主精确进场和着陆***”(APALS，Autonomous Precision Approach andLanding System)***提出基于导航数据和已修改的天气雷达的检测而构造的着陆跑道的合成表示。该***无法知道雷达是否实际检测到了跑道，并且没有提出在传感器检测前与检测后的跑道的合成表示之间的任何过渡。
发明内容
根据本发明的感兴趣的元素的合成表示的方法不会显示出前述缺点。该方法的核心为，仅显示合成图像，但是采用的配置和表示依据传感器对感兴趣的元素的识别。因此，一个优点在于传感器给出的信息，不会具有质量可能较差的传感器图像的缺点。
更精确而言，本发明的主题为一种在飞行器的检视***中对感兴趣的元素合成表示的方法，所述检视***至少包括：所述飞行器的位置的传感器、第一地图数据库、感兴趣的元素的第二数据库、图像传感器、用于处理来自所述图像传感器的图像的单元、用于根据来自位置传感器的数据、来自地图数据库和感兴趣的元素的数据库的数据、以及来自图像处理单元的数据来产生表示飞行器飞过的地形的三维数字图像的单元、以及检视设备。
其特征在于，当飞过的地形包括感兴趣的元素的数据库中存在的至少一个感兴趣的元素时，所述元素显示于表示飞过的地形的三维数字图像，所述合成表示的方法至少包括：
-第一步骤，其在来自图像传感器的一系列图像的每个图像中搜索并检测所述感兴趣的元素，该检测由处理单元执行；
-第二步骤，其产生表示飞过的地形的三维数字图像，如果在来自图像传感器的一系列图像的任何图像中没有检测到感兴趣的元素，则根据第一表示来表示感兴趣的元素，而如果在一系列图像的至少一个图像中检测到了感兴趣的元素，则根据第二表示来表示感兴趣的元素。
有益地，在第二步骤中，如果在所述一系列图像的确定的相继图像中不再检测到感兴趣的元素，则将以第二表示来表示的感兴趣的元素表示为根据第三表示。
有益地，当在一系列图像的至少一个图像中检测到了感兴趣的元素时，使得该感兴趣的元素在三维数字图像中的位置与其在来自图像传感器的所述图像中占据的位置一致。
有益地，当在一系列图像的至少一个图像中检测到了感兴趣的元素时，三维数字图像的位置与来自图像传感器的所述图像的位置一致。
有益地，第一表示、第二表示以及第三表示彼此差异之处在于其轮廓的颜色、或其轮廓的线型、或与所述感兴趣的元素相关的符号的出现、消失或修改。
有益地，感兴趣的元素为着陆跑道、或着陆跑道的元素、或停机坪、或固定的障碍。
有益地，图像传感器为红外摄像机、毫米雷达或激光检测和测距装置(LADAR，Laser Detection And Ranging)。
有益地，检视***为：飞行器的仪表板的彩色屏幕中的一个、或在外部景观上显示三维图像的平视式显示器、或头盔检视***、或用于在飞行器风挡上进行显示和投影的设备。
附图说明
通过阅读下文非限定性的描述，借助于所附附图，将更好地理解本发明，并且本发明的其他优点将变得明显，所述附图为：
图1示出了实施根据本发明的感兴趣的元素的合成表示的方法的检视***；
图2示出了表现根据本发明的方法的功能图；
图3、图4和图5示出了根据本发明的方法在检视设备中的示例性实施。
具体实施方式
作为非限制性示例，图1表示在航空应用的框架内实施根据本发明的感兴趣的元素的合成表示的检视***。该检视***至少包括：
-所述飞行器的位置的传感器1；
-第一地图数据库2；
-感兴趣的元素的第二数据库3；
-一个或多个图像传感器4；
-用于处理来自所述图像传感器的图像的单元5；
-用于产生三维数字图像的单元6，该三维数字图像根据来自位置传感器的数据、来自地图数据库和感兴趣的元素的数据库的数据、以及来自图像处理单元的数据表示飞行器飞过的地形。该单元也称为SVS单元；
-检视设备7。
位置传感器1总体包括称为“全球定位***”(GPS，Global Positioning System)或“全球导航卫星***”(GNSS，Global Navigation Satellite System)的卫星导航***以及所谓的“惯性参考***”(IRS，Inertial Reference System)惯性平台，其整体能够确定飞行器在地形框架内的位置以及其在该框架内的海拔。
感兴趣的元素的数据库3可以是称为“飞行管理***”(FMS，Flight ManagementSystem)的飞行器的导航***的导航库，或者是称为“地形感知和警告***”(TAWS，TerrainAwareness and Warning System)***的障碍库。该库的感兴趣的元素可以是着陆跑道、停机坪或固定的障碍。移动障碍的位置不能来自数据库。另一方面，其可以由“广播式自动相关监视”(ADS-B，Automatic Dependent Surveillance–Broadcast)***提供。
图像传感器4可以是红外摄像机、毫米雷达或“激光检测和测距”(LADAR，LaserDetection And Ranging)式的有源雷达。需要设置传感器，以从飞行器向前观察。
用于处理来自所述图像传感器4的图像的单元5的主要功能为标记图像中存在的感兴趣的元素。考虑到飞行器相对于地形的位置，通过应该在图像中存在的感兴趣的元素的近似知识来促进该分析。另外，感兴趣的元素的形状也是已知的。
SVS单元6基于来自位置传感器的信息、来自地图数据库和感兴趣的元素的数据库的信息、以及来自图像处理单元的信息而产生三维数字图像。更具体地，SVS单元6实施根据本发明的感兴趣的元素的合成表示的方法。
检视设备可以是多种类型的。其可以是飞行器的仪表板的彩色屏幕的一个、或在外部景观上显示三维图像的平视式显示器、或头盔检视***、或位于飞行器风挡的显示器。
根据本发明的方法实施为一系列图像，其可以包括几个图像至几十个图像。该系列图像当然是可更新的。作为非限制性示例，图2表示根据本发明的方法的简化流程图，并且该方法由单元6实施。
在附图标记10表示的初始步骤，图像传感器记录一系列的图像并且将其发送至处理单元6。
在包括附图标记11、12、13和14的第一步骤中，处理单元在该图像搜索包含在数据库中并且可能存在于图像中的感兴趣的元素E.I.。该搜索由菱形11表示。
会出现两种情况。搜索没有找到任何感兴趣的元素。该情况由从图2的菱形11发出的“否”箭头表示。计算单元考虑由矩形13表示的飞行器的位置。接下来，计算单元验证在之前的图像中是否检测到感兴趣的元素。该步骤由菱形14表示。
如果在之前的图像中没有检测到感兴趣的元素，该情况由图2的菱形14发出的“否”箭头表示，基于可选地由卫星(这些***称为“星基增强***”(SBAS，Satellite-BasedAugmentation Systems)，或IRS惯性平台)增强的、由位置装置(例如，GPS或GNSS***)给出的位置信息来构造三维合成图像，或基于将来自惯性平台和来自卫星导航***的信息组合在一起的混合***给出的飞行器位置信息而构造三维合成图像。这些混合***在每个轴上具有的误差范围为：30米具有10-7的误差可能性。
但是，如果感兴趣的元素存在于外部景观的合成图像中，则其以第一表示的形式生成，如图2的矩形16所示。飞行员则理解到，地形上必然存在该感兴趣的元素，但是该感兴趣的元素未被图像传感器检测到。
如果搜索找到了感兴趣的元素，或者之前已经检测到了感兴趣的元素，则这些情况由图2的菱形11和14发出的“是”箭头表示。然后，在相关轴上按算法计算飞行器相对于该感兴趣的元素的位置。该计算出的位置之后用于构架(frame)所显示的合成图像。该构架(framing)或该记录(registration)考虑到了来自飞行器的导航***的飞行器的位置与基于检测到的元素的位置而计算出的位置之间的不同。
可以有两个选项。在第一选项中，记录仅涉及感兴趣的元素。合成图像的剩余部分不记录地显示。在第二选项中，记录整个合成图像。在全部典型情况下，根据不同于第一表示的第二表示来显示一个或多个感兴趣的元素，从而告诉用户所显示的一个或多个感兴趣的元素已经由飞行器的传感器检测到并且实际存在于图像。
可以改善根据本发明的方法。当在一个或多个图像中已经检测到了感兴趣的元素且在多个相继图像中不再检测出该感兴趣的元素时(例如，如果飞行器暂时经过损害传感器的接收的较厚的雾带)，则感兴趣的元素采用不同于之前两种形式的第三表示形式来显示。
第一表示、第二表示以及第三表示彼此差异之处可以在于：其轮廓的颜色、或其轮廓的线型、或与所述感兴趣的元素相关的符号的出现、消失或修改。
作为示例性应用，实施根据本发明的方法，以保证飞行器在能见度下降的条件下的起飞和/或着陆。因此，感兴趣的元素为着陆跑道，着陆跑道的合成显示所需的着陆跑道的信息可以由ARINC 424标准导航数据库(现代飞行器通常都具有的定期更新的数据库)提供。
更具体而言，分析模块则包含这样的算法：其用于在飞行器的图像传感器提供的图像中检测着陆跑道以及其引道坡。
当检测到跑道和/或其引道坡时，该模块计算飞行器在跑道框架中的位置，即，相对于跑道的“HAT”高度、相对于跑道轴线的横向差异以及可选的距阈值的水平距离，HAT表示“高度上阈值(Height Above Threshold)”。沿跑道的纵向轴线的位置误差比前述两个差异的关键性小得多。
这两个或可选的三个值被分派到飞行器的SVS模块，所述SVS模块将这些值与基于惯性平台提供的飞机的假设位置以及来自感兴趣的元素的数据库的一个或多个跑道的位置而计算出的值进行比较。实际上，多个平行的跑道可以存在于同一个的机场中。如果差的两个或三个绝对值小于预定阈值，则在传感器检测出的跑道与来自感兴趣的元素的数据库的跑道之间建立关联。该预定阈值取决于惯性平台的可能误差、传感器的可能误差以及数据库中的跑道阈值的位置的可能误差，竖直轴线的阈值可能不同于用于跑道平面的轴线的阈值。还可以在飞行器的飞行管理***或FMS中验证，实际所处理的是被认为要着陆的跑道。
如果记录在导航库中的跑道朝向的值的精确度不足，可以识别数据库给出的跑道的轴线与传感器检测出的跑道轴线之间的角度差异，或者可以根据磁朝向来表达该角度差异，磁朝向可能随时间变化而不是真实朝向。该跑道轴线的朝向的差异(如果存在的话)也被存储，并且在合成跑道的绘制中得到补偿。
然后，沿这三条轴线的差异被用于在地形的合成图像中记录和存储跑道的绘制的新原点。如果识别出沿竖直轴线的差异，则还可以进行地形的绘制的竖直记录。如果传感器对跑道的检测被中断，则利用最后计算的原点和IRS平台提供的位置继续进行对跑道的绘制，从而可以利用基于跑道的最后记录的位置而计算出的合成跑道来继续着陆。
第二方案包括，计算并存储源于IRS平台的经度、纬度和海拔数据的差异，使得跑道显示与来自传感器的数据一致，而不是计算跑道的新原点。
因此，跑道按第二表示来表示，指示飞行员跑道实际就在显示跑道的位置。
着陆跑道的两种表示可以例如通过其轮廓的颜色来区分。对于“下视”仪表板显示器，在没有检测到跑道时，跑道的轮廓可以表示为琥珀色或红色；在检测到跑道时，跑道的轮廓可以表示为绿色。
这些表示可以通过轮廓的线型而变化。对于平视单色显示器，当没有检测到跑道时，表示跑道的线是虚线；当检测到跑道时，这些线表示为实线。
还可以使用跑道阈值的灯的符号表示。例如，当没有检测到跑道时，灯表示为空圆环或琥珀色十字的形式；当检测到了跑道时，跑道灯表示为白色或绿色实心圆的形式。
图3至图5示出了在感兴趣的元素为着陆跑道P的情况下的该跑道在平视检视设备中的三种可能的表示。在图3的情况中，没有检测到跑道，跑道被表示为包括间距很近的虚线的第一表示P1。在图4的情况中，检测到了跑道，跑道被表示为包括连续线的第二表示P2。在图5的情况中，至少一次检测到了跑道，然后在相继的图像中不再检测到跑道。其表示为包括宽虚线的第三表示P3。
根据本发明的方法的很大的益处在于，其使用了来自飞行器的图像传感器的信息的有用的项，而不必对其进行管理或显示。从而，飞行员具有感兴趣的元素实际上存在于三维合成图像显示这些感兴趣的元素的位置之外的信息项，而没有不一定易于利用的实际图像的不足。

Claims (9)

1.一种在飞行器的检视***中对感兴趣的元素合成表示的方法，所述检视***至少包括：所述飞行器的位置传感器(1)、第一地图数据库(2)、感兴趣的元素的第二数据库(3)、图像传感器(4)、用于来自所述图像传感器的图像的处理单元(5)、用于根据来自位置传感器的数据、来自地图数据库和感兴趣的元素的数据库的数据、以及来自图像处理单元的数据来产生表示飞行器飞过的地形的三维数字图像的单元(6)、以及检视设备(7)，其特征在于，
当飞过的地形包括感兴趣的元素的数据库中存在的至少一个感兴趣的元素时，所述元素显示在表示飞过的地形的三维数字图像中，所述合成表示的方法至少包括：
-第一步骤(11、12、13、14)，其在来自图像传感器的一系列图像的每个图像中搜索并检测所述感兴趣的元素，该检测由处理单元执行；
-第二步骤(15、16、17)，其产生表示飞过的地形的三维数字图像，如果在来自图像传感器的一系列图像的任何图像中没有检测到感兴趣的元素，则根据第一表示来表示感兴趣的元素，如果在一系列图像的至少一个图像中检测到了感兴趣的元素，则根据第二表示来表示感兴趣的元素。
2.根据权利要求1所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，在第二步骤，如果在所述一系列图像的所确定的相继图像中不再检测到感兴趣的元素，则将由第二表示来表示的感兴趣的元素根据第三表示来表示。
3.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，当在一系列图像的至少一个图像中检测到感兴趣的元素时，使得该感兴趣的元素在三维数字图像中的位置与其在来自图像传感器的所述图像中占据的位置一致。
4.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，当在一系列图像的至少一个图像中检测到感兴趣的元素时，使得三维数字图像的位置与来自图像传感器的所述图像的位置一致。
5.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，感兴趣的元素的第一表示、第二表示以及第三表示彼此差异之处在于，其轮廓的颜色，或其轮廓的线型，或与所述感兴趣的元素相关的符号的出现、消失或修改。
6.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，感兴趣的元素为着陆跑道、或着陆跑道的元素、或停机坪。
7.根据权利要求1至5中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，感兴趣的元素为固定的障碍。
8.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，图像传感器为毫米雷达、或激光检测和测距装置、或红外摄像机。
9.根据在前权利要求中的任一项所述的在飞行器的检视***中对感兴趣的元素合成表示的方法，其特征在于，检视***为：飞行器的仪表板的彩色屏幕的一个、或在外部景观上显示三维图像的平视式显示器、或头盔检视***、或用于在飞行器风挡上进行显示和投影的设备。
CN201710207886.0A 2016-04-01 2017-03-31 在飞行器的检视***中对感兴趣的元素合成表示的方法 Pending CN107451988A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1600547 2016-04-01
FR1600547A FR3049744B1 (fr) 2016-04-01 2016-04-01 Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef

Publications (1)

Publication Number Publication Date
CN107451988A true CN107451988A (zh) 2017-12-08

Family

ID=56801591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710207886.0A Pending CN107451988A (zh) 2016-04-01 2017-03-31 在飞行器的检视***中对感兴趣的元素合成表示的方法

Country Status (4)

Country Link
US (1) US10249094B2 (zh)
EP (1) EP3226062B1 (zh)
CN (1) CN107451988A (zh)
FR (1) FR3049744B1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313312A (zh) * 2018-01-25 2018-07-24 芜湖应天光电科技有限责任公司 一种无人机防坠落***
CN110794854A (zh) * 2019-11-27 2020-02-14 陈会强 一种固定翼无人机自主起降方法
CN110838246A (zh) * 2019-10-16 2020-02-25 中国航空工业集团公司洛阳电光设备研究所 一种机载svs障碍物告警显示方法
CN112052864A (zh) * 2020-10-20 2020-12-08 网易（杭州）网络有限公司 一种图像绘制方法、装置、电子设备及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3103047B1 (fr) 2019-11-07 2021-11-26 Thales Sa Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
FR3103050B1 (fr) 2019-11-07 2021-11-26 Thales Sa Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
US11479365B2 (en) * 2021-01-22 2022-10-25 Honeywell International Inc. Computer vision systems and methods for aiding landing decision

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075682A (zh) * 2009-11-20 2011-05-25 索尼公司 图像捕获装置、图像处理装置、及其控制方法和程序
US20130215148A1 (en) * 2010-07-19 2013-08-22 Smart Technologies Ulc Interactive input system having a 3d input space
CN103377476A (zh) * 2012-04-30 2013-10-30 波音公司 使用三维地理弧的多模型数据的图像配准
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克***有限公司 用于检测飞机场中的外物、碎片或损坏的监视***和方法
CN104063214A (zh) * 2013-03-22 2014-09-24 霍尼韦尔国际公司 用于在告警期间对增强的图像进行着色的方法和***
CN104182769A (zh) * 2014-09-17 2014-12-03 深圳市捷顺科技实业股份有限公司 一种车牌检测方法及***
US8917191B1 (en) * 2011-09-22 2014-12-23 Rockwell Collins, Inc. Dual threaded system for low visibility operations
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
US9174746B1 (en) * 2014-06-26 2015-11-03 Rockwell Collins, Inc. Visual aid generating system, device, and method
US9243910B1 (en) * 2013-08-27 2016-01-26 Rockwell Collins, Inc. Route image generating system, device, and method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
US9733349B1 (en) * 2007-09-06 2017-08-15 Rockwell Collins, Inc. System for and method of radar data processing for low visibility landing applications
US7826666B2 (en) 2008-02-27 2010-11-02 Honeywell International Inc. Methods and apparatus for runway segmentation using sensor analysis
US8425520B2 (en) * 2009-10-30 2013-04-23 Depuy Spine, Inc. Bone plate holder
US20130300587A1 (en) * 2012-05-14 2013-11-14 Honeywell International Inc. System and method for displaying runway approach texture objects
FR2996671B1 (fr) * 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour un aeronef en approche d'une piste d'atterrissage et procede de visualisation associe
US9117370B1 (en) * 2014-03-12 2015-08-25 Honeywell International Inc. System and method for identifying runway position during an intersection takeoff
US9489575B1 (en) * 2015-01-30 2016-11-08 Rockwell Collins, Inc. Sensor-based navigation correction
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US9752893B2 (en) * 2015-07-30 2017-09-05 Honeywell International Inc. Onboard aircraft systems and methods to identify moving landing platforms
US9936191B2 (en) * 2016-01-27 2018-04-03 Honeywell International Inc. Cockpit display systems and methods for generating cockpit displays including enhanced flight visibility indicators

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075682A (zh) * 2009-11-20 2011-05-25 索尼公司 图像捕获装置、图像处理装置、及其控制方法和程序
US20130215148A1 (en) * 2010-07-19 2013-08-22 Smart Technologies Ulc Interactive input system having a 3d input space
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克***有限公司 用于检测飞机场中的外物、碎片或损坏的监视***和方法
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
US8917191B1 (en) * 2011-09-22 2014-12-23 Rockwell Collins, Inc. Dual threaded system for low visibility operations
CN103377476A (zh) * 2012-04-30 2013-10-30 波音公司 使用三维地理弧的多模型数据的图像配准
CN104063214A (zh) * 2013-03-22 2014-09-24 霍尼韦尔国际公司 用于在告警期间对增强的图像进行着色的方法和***
US9243910B1 (en) * 2013-08-27 2016-01-26 Rockwell Collins, Inc. Route image generating system, device, and method
US9174746B1 (en) * 2014-06-26 2015-11-03 Rockwell Collins, Inc. Visual aid generating system, device, and method
CN104182769A (zh) * 2014-09-17 2014-12-03 深圳市捷顺科技实业股份有限公司 一种车牌检测方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313312A (zh) * 2018-01-25 2018-07-24 芜湖应天光电科技有限责任公司 一种无人机防坠落***
CN110838246A (zh) * 2019-10-16 2020-02-25 中国航空工业集团公司洛阳电光设备研究所 一种机载svs障碍物告警显示方法
CN110838246B (zh) * 2019-10-16 2021-09-17 中国航空工业集团公司洛阳电光设备研究所 一种机载svs障碍物告警显示方法
CN110794854A (zh) * 2019-11-27 2020-02-14 陈会强 一种固定翼无人机自主起降方法
CN112052864A (zh) * 2020-10-20 2020-12-08 网易（杭州）网络有限公司 一种图像绘制方法、装置、电子设备及可读存储介质
CN112052864B (zh) * 2020-10-20 2024-06-04 网易（杭州）网络有限公司 一种图像绘制方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
EP3226062A1 (fr) 2017-10-04
EP3226062B1 (fr) 2019-08-14
FR3049744B1 (fr) 2018-03-30
FR3049744A1 (fr) 2017-10-06
US20170287224A1 (en) 2017-10-05
US10249094B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
CN107451988A (zh) 在飞行器的检视***中对感兴趣的元素合成表示的方法
CN107161141B (zh) 无人驾驶汽车***及汽车
US20210247193A1 (en) Creation and use of enhanced maps
EP1906151B1 (en) Imaging and display system to aid helicopter landings in brownout conditions
US9347793B2 (en) Synthetic vision systems and methods for displaying detached objects
US8718915B1 (en) System, module, and method for generating an image of a flight route corridor on a display unit
US8615337B1 (en) System supporting flight operations under instrument meteorological conditions using precision course guidance
US8976042B1 (en) Image combining system, device, and method of multiple vision sources
CN107010239A (zh) 用于生成驾驶舱显示的驾驶舱显示***和方法
EP2618322B1 (en) System and method for detecting and displaying airport approach lights
FR2773609A1 (fr) Procede et dispositif d'anti-collision terrain pour aeronef, a visualisation perfectionnee
FR2915611A1 (fr) Systeme d'aide au roulage d'un aeronef
US9347794B1 (en) Image data combining systems and methods of multiple vision systems
CN101833104A (zh) 一种基于多传感器信息融合的三维可视化导航方法
US8498758B1 (en) ILS-based altitude data generation system, device, and method
JP4174559B2 (ja) 衛星画像を利用した高度視界情報提供システムとその方法及び飛行障害認識システムとその方法
CN108024070A (zh) 在合成图像上覆盖传感器图像的方法及相关显示***
US8185301B1 (en) Aircraft traffic awareness system and methods
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
KR102450383B1 (ko) 무인 비행체 모니터링 시스템
US9584791B1 (en) Image misalignment correcting system, device, and method
RU2234739C1 (ru) Способ предотвращения столкновения летательного аппарата с землей
CN106688018A (zh) 对目标进行成像、监视和/或指示的机载光电设备
Ververs et al. Design and flight test of a primary flight display combined vision system
Korn et al. A System is More Than the Sum of Its Parts"-Conclusion of DLR'S Enhanced Vision Project" ADVISE-PRO

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171208