FR3122408A1 - Syteme et procede d’assistance d’approche d’aeroports - Google Patents
Syteme et procede d’assistance d’approche d’aeroports Download PDFInfo
- Publication number
- FR3122408A1 FR3122408A1 FR2104510A FR2104510A FR3122408A1 FR 3122408 A1 FR3122408 A1 FR 3122408A1 FR 2104510 A FR2104510 A FR 2104510A FR 2104510 A FR2104510 A FR 2104510A FR 3122408 A1 FR3122408 A1 FR 3122408A1
- Authority
- FR
- France
- Prior art keywords
- interest
- aircraft
- region
- image
- landing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013459 approach Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims description 11
- 238000012986 modification Methods 0.000 claims abstract description 13
- 230000004048 modification Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
- G08G5/025—Navigation or guidance aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
Un système d’assistance d’approche d’aéroports pour aéronef, inclut un contrôleur comportant de la circuiterie électronique configurée pour: obtenir une première image capturée par une caméra configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal selon un résultat de comparaison. Ainsi, un pilote de l’aéronef est assisté pour confirmer que l’atterrissage s’opère sur la piste d’atterrissage attendue. Figure à publier avec l’abrégé : Fig. 2
Description
La présente invention concerne un système destiné à être embarqué dans un aéronef et à assister le pilotage lors d’approches d’aéroports. La présente invention concerne aussi un procédé implémenté par un tel système. La présente invention concerne aussi un aéronef embarquant un tel système.
ETAT DE LA TECHNIQUE ANTERIEURE
Lorsqu’un pilote d’aéronef doit faire atterrir l’aéronef sur une piste d’atterrissage d’un aéroport qui lui a été affectée, le pilote doit évidemment prêter une attention particulière pour effectuer l’atterrissage sur la piste d’atterrissage en question et non ailleurs dans l’aéroport, et notamment pas sur une piste de roulage (« taxiway » en anglais).
Il est donc souhaitable de fournir une solution automatique d’assistance au pilote qui permette de confirmer que l’atterrissage s’opère effectivement sur la piste d’atterrissage attendue. Il est de plus souhaitable de fournir une solution qui soit simple à mettre en œuvre et à faible coût.
A cet effet, il proposé un système d’assistance d’approche d’aéroports pour aéronef, incluant un contrôleur comportant de la circuiterie électronique configurée pour : obtenir une première image capturée par une caméra configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste, dite piste d’atterrissage attendue, où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent. Ainsi, un pilote de l’aéronef est assisté pour confirmer que l’atterrissage s’opère sur la piste d’atterrissage attendue.
Selon un mode de réalisation particulier, le système d’assistance d’approche d’aéroports inclut en outre ladite caméra.
Selon un mode de réalisation particulier, le système d’assistance d’approche d’aéroports inclut en outre ladite base de données.
Selon un mode de réalisation particulier, les modifications sur la première image et/ou sur la deuxième image incluent des opérations de reprojection.
Selon un mode de réalisation particulier, les deuxièmes images étant des images de la piste d’atterrissage prises à la verticale et les premières images étant des images en perspective, les opérations de reprojection sont des opérations de reprojection verticale des premières images les transformant en images équivalentes prises à la verticale. En variante, les opérations de reprojection sont des opérations de reprojection en perspective des deuxièmes images les transformant en images équivalentes prises en perspective.
Selon un mode de réalisation particulier, la circuiterie électronique est configurée pour déterminer, en fonction de l’attitude de l’aéronef, si l’aéronef s’aligne sur la piste d’atterrissage attendue, et dans le cas contraire, générer le signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue.
Selon un mode de réalisation particulier, la deuxième région d’intérêt de la deuxième image est associée avec une étiquette représentative du contenu de la deuxième région d’intérêt, et la circuiterie électronique est configurée pour vérifier, grâce à l’étiquette, que l’aéronef s’aligne sur une piste d’atterrissage.
Il est aussi proposé un aéronef comportant une caméra installée et configurée pour capturer des images d’un champ de vision devant l’aéronef, ainsi que le système d’assistance d’approche d’aéroports évoqué ci-dessus, dans l’un quelconque de ces modes de réalisation.
Selon un mode de réalisation particulier, la circuiterie électronique du contrôleur du système d’assistance d’approche d’aéroports est configurée pour transmettre ledit signal à une interface homme machine du cockpit de l’aéronef.
Il est aussi proposé un procédé implémenté par de la circuiterie électronique d’un contrôleur d’un système d’assistance d’approche d’aéroports pour aéronef, incluant : obtenir une première image capturée par une caméra installée sur l’aéronef et configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste, dite piste d’atterrissage attendue, où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent.
Il est aussi proposé un programme d’ordinateur qui peut être exécuté par un processeur. Ce programme d’ordinateur comprend des instructions pour implémenter le procédé mentionné ci-dessus, lorsque ces instructions sont exécutées par le processeur. Il est aussi proposé un support de stockage d’informations qui stocke un tel programme d’ordinateur et qui est destiné à être lu par le processeur afin d’implémenter le procédé.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'au moins un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
EXPOSE DETAILLE DE MODES DE REALISATION
La Fig. 1 illustre schématiquement, en vue de côté, un aéronef 100. L’aéronef 100 embarque un système d’assistance d’approche d’aéroports. Le système d’assistance d’approche d’aéroports comporte un contrôleur d’assistance d’approche d’aéroports AAAC (« Airport Approach Assistant Controller » en anglais) 101.
L’aéronef 100 embarque en outre une caméra CAM 102. La caméra CAM 102 est installée sur l’aéronef 100, et est configurée pour capturer des images d’un champ de vision devant (« ahead » en anglais) l’aéronef 100. Le champ de vision, encore appelé champ visuel ou angle de vue, correspond à l’espace que l’objectif de la caméra CAM 102 perçoit lorsque ledit objectif fixe un point de l’espace devant l’aéronef 100. La caméra CAM 102 peut être installée à tout endroit permettant d’observer devant l’aéronef 100, de sorte que lorsque l’aéronef 100 est en approche pour atterrir, la caméra CAM 102 capture des images du terrain (sol) en approche. Selon une première réalisation particulière, la caméra CAM 102 est installée dans le cockpit de l’aéronef 100 de sorte à capturer des images à travers le pare-brise du cockpit. Selon une deuxième réalisation particulière, la caméra CAM 102 est installée sur le nez de l’aéronef 100. Selon une troisième réalisation particulière, la caméra CAM 102 est installée sous le fuselage de l’aéronef 100.
La caméra CAM 102 est connectée au système d’assistance d’approche d’aéroports ou est incluse dans le système d’assistance d’approche d’aéroports. La caméra CAM 102 est connectée au contrôleur AAAC 101 et est configurée pour fournir au contrôleur AAAC 101 des images capturées dudit champ de vision devant l’aéronef 100.
La illustre schématiquement un agencement particulier du système d’assistance d’approche d’aéroports. Apparaît sur la Fig. 2A le contrôleur AAAC 101, qui est connecté à la caméra CAM 102, à une avionique 200 de l’aéronef 100 (notée « A/C AV » sur la Fig. 2A), à un gestionnaire de base de données 202 (noté « DB_MGR » sur la Fig. 2A) et à une interface homme machine HMI (« Human Machine Interface » en anglais) 204.
L’avionique 200 inclut différents équipements électroniques d’aide au pilotage, et notamment un système de gestion de vol FMS (« Flight Management System » en anglais) et un système de référencement inertiel ADIRS (« Air Data and Inertial Reference System » en anglais).
L’interface homme machine HMI 204 est destinée à permettre des interactions avec un ou plusieurs pilotes de l’aéronef 100 et plus particulièrement à permettre de diffuser (e.g., par affichage) des informations au ou aux pilotes. L’interface homme machine HMI 204 est préférentiellement intégrée au cockpit de l’aéronef 100, et peut être intégrée à l’avionique 200. L’interface homme machine HMI 204 est ainsi par exemple l’écran principal de vol PFD (« Primary Flight Display » en anglais) du cockpit. L’interface homme machine HMI 204 peut en variante être un afficheur tête haute HUD (« Head Up Display » en anglais) ou un casque afficheur HMD (« Head Mounted Display » en anglais) de réalité augmentée. L’interface homme machine HMI 204 peut en variante être un dispositif de reproduction sonore, tel qu’un haut-parleur. L’agencement de la Fig. 2A permet donc au contrôleur AAAC 101 de transmettre, sous conditions (comme détaillé par la suite), un signal SIG au ou aux pilotes de l’aéronef 100 grâce à l’interface homme machine HMI 204.
La Fig. 2A fait aussi apparaître un système de communication 203 (noté « A/C COMM » sur la Fig. 2A) de l’aéronef 100, incluant préférentiellement un dispositif de communication sol-air AGC (« Air-Ground Communications » en anglais). Ainsi, en complément ou en variante du signal SIG envoyé grâce à l’interface homme machine HMI 204, l’agencement de la Fig. 2A permet au contrôleur AAAC 101 de transmettre, sous conditions (comme détaillé par la suite), ce signal SIG au sol (e.g. à un centre de contrôle aérien) grâce au système de communication 203.
Dans un autre mode de réalisation particulier, le signal SIG est transmis à un système de contrôle de l’avionique 200 en charge de la gestion des procédures de remise de gaz (« Go-Around » en anglais) en cas d’interruption d’atterrissage de l’aéronef 100 en approche finale. Le signal SIG peut ainsi être utilisé pour configurer une remise de gaz automatique.
Le gestionnaire de base de données DB_MGR 202 est connecté à une base de données DB (« DataBase » en anglais) 201. Le gestionnaire de base de données DB_MGR 202 et la base de données DB 201 peuvent être intégrés en une seule et même entité. Le gestionnaire de base de données DB_MGR 202 exécute des commandes de recherche d’images dans la base de données DB 201 sur ordre du contrôleur AAAC 101 et retourne au contrôleur AAAC 101 une ou plusieurs images résultant de la recherche.
La base de données DB 201 stocke des images géoréférencées d’aéroports et plus particulièrement de pistes d’atterrissage desdits aéroports. Les images en question sont préférentiellement des photos aériennes. En variante, les images en question peuvent être des images virtuelles résultant d’une modélisation desdites pistes d’atterrissage. La base de données DB 201 peut être totalement intégrée à un système informatique de l’aéronef 100. La base de données DB 201 peut être partiellement intégrée au système informatique de l’aéronef 100. Dans ce cas, avant le décollage, la base de données DB 201 partiellement embarquée dans l’aéronef 100 est mise à jour avec des images géoréférencées d’aéroports se trouvant dans un périmètre prédéfini du plan de vol de l’aéronef 100. La base de données DB 201 peut être totalement intégrée, au sol, à un système informatique d’une compagnie aérienne pour lequel opère l’aéronef 100. Le gestionnaire de base de données DB_MGR 202 interagit alors avec le contrôleur AAAC 101 grâce à des communications sol - air AGC (« Air - Ground Communications » en anglais).
Ainsi, grâce à l’agencement de la Fig. 2A, le système d’assistance d’approche d’aéroports est configuré de sorte que le contrôleur AAAC 101 reçoit des images de la caméra CAM 102, ainsi que des images obtenues de la base de données DB 201. Les images obtenues de la base de données DB 201 correspondent à des images d’une piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir, au regard d’une programmation de l’avionique 200 de l’aéronef 100. Le contrôleur AAAC 101 manipule les images de la caméra CAM 102, et éventuellement les images obtenues de la base de données DB 201, afin de les mettre dans un même repère spatial pour permettre une comparaison pertinente de leurs contenus respectifs et ainsi de déterminer si l’aéronef 100 est en approche de la piste d’atterrissage attendue.
La illustre schématiquement un agencement particulier du contrôleur AAAC 101. Le contrôleur AAAC 101 comporte alors un gestionnaire de région d’intérêt ROI_MGR 251 (où ROI signifie « Region Of Interest » en anglais), ainsi qu’un comparateur COMP 252.
Le contrôleur AAAC 101 est configuré de sorte que le gestionnaire de région d’intérêt ROI_MGR 251 reçoit des images CAM_IMG capturées par la caméra CAM 102. Le contrôleur AAAC 101 est configuré de sorte que le gestionnaire de région d’intérêt ROI_MGR 251 reçoit tout ou partie d’un ensemble d’informations INF en provenance de l’avionique 200 de l’aéronef 100, pour permettre au gestionnaire de région d’intérêt ROI_MGR 251 de tenter d’extraire au moins une région d’intérêt ROI des images CAM_IMG et d’éventuellement effectuer des opérations de reprojection sur les images CAM_IMG. Le gestionnaire de région d’intérêt ROI_MGR 251 est configuré pour fournir en sortie des images ROI_IMG résultant de l’extraction de la ou des régions d’intérêt ROI. Préférentiellement, les images ROI_IMG sont les images CAM_IMG, éventuellement modifiées par les opérations de reprojection, auxquelles sont adjointes des métadonnées décrivant la ou les régions d’intérêt ROI extraites (dans la mesure où une telle extraction a été possible).
Les informations INF fournies par l’avionique 200 au contrôleur AAAC 101 incluent la position (géographique) de l’aéronef 100 et l’attitude (orientation dans l’espace) de l’aéronef 100, ainsi que des données de géoréférencement de la piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir.
Le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit des images DB_IMG fournies par la base de données DB 201 par l’intermédiaire du gestionnaire de base de données DB_MGR 202. Le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit en outre les images ROI_IMG fournies par le gestionnaire de région d’intérêt ROI_MGR 251.
Le contrôleur AAAC 101 est configuré de sorte à fournir en sortie un signal SIG représentatif du résultat d’une comparaison, par le comparateur COMP 252, entre les images DB_IMG fournies par la base de données DB 201 par l’intermédiaire du gestionnaire de base de données DB_MGR 202 et les images fournies par le gestionnaire de région d’intérêt ROI_MGR 251. Pour permettre au comparateur COMP 252 de requérir auprès du gestionnaire de base de données DB_MGR 202 des images de la piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir, et d’éventuellement manipuler ces images en vue de leur alignement et comparaison avec les images ROI_IMG, le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit tout ou partie de l’ensemble d’informations INF en provenance de l’avionique 200 de l’aéronef 100.
De plus amples détails sur le fonctionnement du contrôleur AAAC 101, et plus particulièrement du gestionnaire de région d’intérêt ROI_MGR 251 et du comparateur COMP 252, sont fournis ci-après en relation avec la Fig. 4.
La illustre schématiquement un exemple d’architecture matérielle du contrôleur AAAC 101, qui comprend alors, reliés par un bus de communication 300 : un processeur ou CPU (pour « Central Processing Unit » en anglais) 301 ; une mémoire vive RAM (pour « Random Access Memory » en anglais) 302 ; une mémoire morte ROM (pour « Read Only Memory » en anglais) 303, par exemple une mémoire Flash ; un dispositif de stockage de données, tel qu’un disque dur HDD (pour « Hard Disk Drive » en anglais), ou un lecteur de support de stockage, tel qu’un lecteur de cartes SD (pour « Secure Digital » en anglais) 304 ; au moins une interface de communication 305 permettant au contrôleur AAAC 101 d’interagir dans le système d’assistance d’approche d’aéroports et avec d’autres éléments de l’aéronef 100, comme par exemple l’avionique 200.
Le processeur 301 est capable d’exécuter des instructions chargées dans la RAM 302 à partir de la ROM 303, d’une mémoire externe (non représentée), d’un support de stockage, tel qu’une carte SD, ou d’un réseau de communication (non représenté). Lorsque le contrôleur AAAC 101 est mis sous tension, le processeur 301 est capable de lire de la RAM 302 des instructions et de les exécuter. Ces instructions forment un programme d’ordinateur causant la mise en œuvre, par le processeur 301, des comportements, étapes et algorithmes décrits ici.
Tout ou partie des comportements, étapes et algorithmes décrits ici peut ainsi être implémenté sous forme logicielle par exécution d’un ensemble d’instructions par une machine programmable, telle qu’un DSP (« Digital Signal Processor » en anglais) ou un microcontrôleur, ou être implémenté sous forme matérielle par une machine ou un composant (« chip » en anglais) dédié, tel qu’un FPGA (pour « Field-Programmable Gate Array » en anglais) ou un ASIC (pour « Application-Specific Integrated Circuit » en anglais). D’une manière générale, le contrôleur AAAC 101 comprend de la circuiterie électronique agencée et configurée pour implémenter les comportements, étapes et algorithmes décrits ici.
La illustre schématiquement un algorithme d’assistance d’approche d’aéroports implémenté par le contrôleur AAAC 101. L’algorithme de la Fig. 4 est exécuté après qu’une piste d’atterrissage d’un aéroport a été sélectionnée dans l’avionique 200, typiquement par configuration du système de gestion de vol FMS.
Dans une étape 401, le contrôleur AAAC 101 obtient des images CAM_IMG capturées par la caméra CAM 102. Dans l’agencement particulier de la Fig. 3, l’étape 401 est effectuée par le gestionnaire de région d’intérêt ROI_MGR 251.
Dans une étape 402, le contrôleur AAAC 101 obtient au moins une image DB_IMG qui est contenue dans la base de données DB 201 et qui est associée avec la piste d’atterrissage d’aéroport qui a été sélectionnée dans l’avionique 200. Comme déjà indiqué, les images DB_IMG sont pré-stockées dans une base de données embarquée dans l’aéronef 100 ou sont obtenues en vol, après sélection de la piste d’atterrissage en question dans l’avionique 200 (configuration du système de gestion de vol FMS), grâce à des communication sol - air. Dans l’agencement particulier de la Fig. 3, l’étape 402 est effectuée par le comparateur COMP 252.
Dans une étape 403, le contrôleur AAAC 101 effectue des modifications sur les images CAM_IMG et/ou les images DB_IMG, afin de les transposer dans un même référentiel spatial. Ces modifications peuvent inclure des translations, rotations… Dans l’agencement particulier de la Fig. 3, les modifications éventuellement apportées aux images CAM_IMG sont effectuées par le gestionnaire de région d’intérêt ROI_MGR 251 et les modifications éventuellement apportées aux images DB_IMG sont effectuées par le comparateur COMP 252.
Plus particulièrement, les modifications de l’étape 403 incluent des opérations de reprojection.
Selon un premier mode de réalisation, les images IMG_DB sont des images de la piste d’atterrissage prises à la verticale et les images CAM_IMG sont des images en perspective. Des opérations de reprojection verticale des images CAM_IMG sont alors effectuées par le gestionnaire de région d’intérêt ROI_MGR 251, permettant ainsi de transformer les images CAM_IMG en images équivalentes prises à la verticale. Le gestionnaire de région d’intérêt ROI_MGR 251 utilise pour ce faire la position et l’attitude (orientation) de l’aéronef, ainsi que les coordonnées géographiques de la piste d’atterrissage en question.
Selon un deuxième mode de réalisation, les images IMG_DB sont des images de la piste d’atterrissage prises à la verticale et les images CAM_IMG sont des images en perspective. Mais dans ce cas, des opérations de reprojection en perspective des images DB_IMG sont effectuées par le comparateur COMP 252, permettant ainsi de transformer les images DB_IMG en images équivalentes en perspective. Le comparateur COMP 252 utilise aussi pour ce faire la position et l’attitude (orientation) de l’aéronef, ainsi que les coordonnées géographiques de la piste d’atterrissage en question.
D’autres opérations de reprojection peuvent être effectuées en variante, par exemple lorsque les images IMG_DB sont aussi des images de la piste d’atterrissage prises en perspective, mais selon vraisemblablement un angle de vue différent de celui ayant permis de capturer les images CAM_IMG.
Les opérations de reprojection sont des conversions géométriques triviales et ne sont pas plus amplement décrites ici.
Dans un mode de réalisation particulier, les modifications sur les images CAM_IMG et/ou les images DB_IMG incluent des opérations de mise à l’échelle les unes par rapport aux autres.
Dans une étape 404, le contrôleur AAAC 101 effectue des opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG, de manière à isoler une aire d’atterrissage dans lesdites images, et ainsi générer les images ROI_IMG susmentionnées. La région d’intérêt ROI en question est une portion polygonale des images CAM_IMG qui inclut l’aire d’atterrissage. L’aire d’atterrissage a des caractéristiques de forme et de texture reconnaissables dans des images aériennes qui permettent d’extraire la région d’intérêt ROI en question par application de techniques de traitement d’image. Notamment, la piste d’atterrissage dans une image est un rectangle long en perspective, avec un contraste fort entre ses bords et l’environnement immédiat. Ainsi, les opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG incluent de ressortir des changements de luminosité (contrastes) dans les images CAM_IMG en question, puis de chercher des intersections entre contrastes horizontaux et verticaux, pour finalement chercher quatre de ces intersections qui forment un rectangle long en perspective. Ainsi, par exemple, la région d’intérêt ROI isole une aire d’atterrissage constituée de la piste d’atterrissage avec une marge de 50 mètres sur chaque côté.
Dans un mode de réalisation particulier, le contrôleur AAAC 101 effectue des opérations de recentrage de la région d’intérêt ROI représentative de l’aire d’atterrissage isolée.
Dans un mode de réalisation particulier, le contrôleur AAAC 101 effectue en outre des opérations d’extraction d’au moins une région d’intérêt ROI représentative d’éléments significatifs autour de la région d’intérêt ROI représentative de l’aire d’atterrissage isolée. Cela permet ensuite de comparer ces régions d’intérêt ROI représentatives d’éléments significatifs (bâtiments, ) avec des régions d’intérêt ROI correspondantes dans les images DB_IMG, et permettre ainsi de discriminer deux pistes d’atterrissages qui apparaîtraient semblables.
Dans l’agencement particulier de la Fig. 3, les opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG sont effectuées par le gestionnaire de région d’intérêt ROI_MGR 251.
Les images DB_IMG sont aussi accompagnées d’informations de région d’intérêt ROI, qui sont préférentiellement prédéterminées et stockées en association avec lesdites images DB_IMG dans la base de données DB 201. Ces informations de région d’intérêt ROI associées avec les images DB_IMG fournies au contrôleur AAAC 101 délimitent une aire d’atterrissage qui inclut la piste d’atterrissage sur laquelle l’aéronef 100 est supposé atterrir. Par exemple, la région d’intérêt ROI associée à chaque image DB_IMG isole une aire d’atterrissage constituée de la piste d’atterrissage en question avec une marge de 50 mètres sur chaque côté. La région d’intérêt ROI ou d’autres régions d’intérêt complémentaires peuvent inclure des bâtiments, ou tout autre élément distinctif dans l’environnement de la piste d’atterrissage en question. Cela fournit une information de repérage supplémentaire, notamment avantageuse lorsque les aéroports comportent plusieurs pistes parallèles. Des étiquettes, selon un nommage prédéfini, apposées aux régions d’intérêt ROI des images DB_IMG peuvent être utilisées pour ce faire. De telles étiquettes peuvent être aussi utilisées pour valider que l’aéronef 100 s’aligne effectivement sur une piste d’atterrissage (et plus particulièrement sur la piste d’atterrissage attendue), comme décrit plus loin. Ces informations de région d’intérêt ROI sont obtenues selon les mêmes règles que lors des opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG, de sorte que les régions d’intérêt ROI des images CAM_IMG et des images DB_IMG puissent être comparées de manière pertinente par le contrôleur AAAC 101. En variante, les informations de région d’intérêt ROI associées avec les images DB_IMG sont déterminées en temps-réel par le contrôleur AAAC 101 (par le comparateur COMP 252) de la même manière que pour les images CAM_IMG.
Les opérations d’extraction de région d’intérêt ROI sont des techniques largement répandues dans le domaine du traitement d’image et ne sont pas plus amplement décrites ici.
Dans une étape 405, le contrôleur AAAC 101 effectue une comparaison des images CAM_IMG et des images DB_IMG adaptée pour déterminer si leurs régions d’intérêt associées correspondent (e.g., montrent un pic de corrélation). La comparaison peut être effectuée grâce à une fonction de corrélation. Dans l’agencement particulier de la Fig. 3, l’étape 405 est effectuée par le comparateur COMP 252.
Dans une étape 406, le contrôleur AAAC 101 détermine si les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG comparées correspondent, c’est-à-dire qu’elles sont semblables avec une marge de tolérance prédéterminée. Dans l’agencement particulier de la Fig. 3, l’étape 406 est effectuée par le comparateur COMP 252. Si tel est le cas, l’étape 401 est réitérée ; sinon, une étape 407 est effectuée.
Dans un mode de réalisation particulier, notamment adapté aux aéroports disposant de plusieurs pistes d’atterrissage parallèles, le contrôleur AAAC 101 détermine, en fonction de l’attitude de l’aéronef 100 (telle que fournie par l’avionique 200), si l’aéronef 100 s’aligne sur la piste d’atterrissage attendue (celle qui correspond à la région d’intérêt ROI associée avec les images CAM_IMG). Un alignement sur une mauvaise piste d’atterrissage est alors considéré par le contrôleur AAAC 101 comme un défaut de correspondance entre les régions d’intérêt associées avec les images CAM_IMG et aux images DB_IMG.
Dans un mode de réalisation particulier, chaque région d’intérêt ROI des images DB_IMG sont associées avec des étiquettes représentatives du contenu de la région d’intérêt ROI en question. Les étiquettes sont établies en respectant un nommage prédéfini. Lorsque le contrôleur AAAC 101 trouve une ou plusieurs régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG qui correspondent, le contrôleur AAAC 101 vérifie, grâce au nommage prédéfini, si l’étiquette de la région d’intérêt ROI des images DB_IMG qui correspond à la région d’intérêt ROI des images CAM_IMG sur laquelle l’aéronef 100 s’aligne (pour atterrir) est représentative d’une piste d’atterrissage. Préférentiellement, lorsqu’un aéroport comporte plusieurs pistes d’atterrissage, le nommage prédéfini permet de savoir à quelle piste d’atterrissage la région d’intérêt ROI correspond exactement. Le contrôleur AAAC 101 vérifie alors que l’étiquette de la région d’intérêt ROI des images DB_IMG qui correspond à la région d’intérêt ROI des images CAM_IMG sur laquelle l’aéronef 100 s’aligne (pour atterrir) est représentative de la piste d’atterrissage attendue. Cela facilite la détection d’un alignement sur une région d’intérêt ROI ne correspondant pas à une piste d’atterrissage ou une piste d’atterrissage non autorisée.
Dans l’étape 407, le contrôleur AAAC 101 génère un signal SIG représentatif d’un défaut de correspondance entre les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG, et donc d’une approche potentielle de l’aéronef 100 sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue. L’étape 401 est ensuite réitérée. Dans l’agencement particulier de la Fig. 3, la génération du signal SIG est effectuée par le comparateur COMP 252. Dans un mode de réalisation particulier, le signal SIG n’est généré que lorsque l’aéronef 100 est en phase d’approche, telle que connue par l’avionique 200 et plus particulièrement par le système de gestion de vol FMS.
En réalisation optionnelle ou en variante, lorsque les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG comparées correspondent, le contrôleur AAAC 101 génère un signal SIG représentatif d’une concordance entre les régions d’intérêt associées avec les images CAM_IMG et aux images DB_IMG, et donc d’une approche de l’aéronef 100 sur une aire d’atterrissage qui correspond effectivement à la piste d’atterrissage attendue.
Claims (11)
- Système d’assistance d’approche d’aéroports pour aéronef (100), incluant un contrôleur (101) comportant de la circuiterie électronique configurée pour :
- obtenir (401) une première image capturée par une caméra (102) configurée pour capturer des images d’un champ de vision devant l’aéronef (100) ;
- obtenir (402) une deuxième image stockée dans une base de données (201) représentant une piste, dite piste d’atterrissage attendue, où l’aéronef (100) est supposé atterrir ;
- effectuer (403) des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ;
- extraire (404) une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ;
- comparer (405) la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et
- générer (407) un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent. - Système selon la revendication 1, incluant en outre ladite caméra (102).
- Système selon la revendication 1 ou 2, incluant en outre ladite base de données (201).
- Système selon l’une quelconque des revendications 1 à 3, dans lequel les modifications sur la première image et/ou sur la deuxième image incluent des opérations de reprojection.
- Système selon l’une quelconque des revendications 1 à 4, dans lequel la circuiterie électronique est configurée pour déterminer, en fonction de l’attitude de l’aéronef (100), si l’aéronef (100) s’aligne sur la piste d’atterrissage attendue, et dans le cas contraire, générer le signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue.
- Système selon la revendication 5, dans lequel la deuxième région d’intérêt de la deuxième image est associée avec une étiquette représentative du contenu de la deuxième région d’intérêt, et dans lequel la circuiterie électronique est configurée pour vérifier, grâce à l’étiquette, que l’aéronef (100) s’aligne sur une piste d’atterrissage.
- Aéronef (100) comportant une caméra (102) installée et configurée pour capturer des images d’un champ de vision devant l’aéronef (100), ainsi que le système d’assistance d’approche d’aéroports selon l’une quelconque des revendications 1 à 6.
- Aéronef (100) selon la revendication 7, dans lequel la circuiterie électronique du contrôleur (101) du système d’assistance d’approche d’aéroports est configurée pour transmettre ledit signal à une interface homme machine (204) du cockpit de l’aéronef (100).
- Procédé implémenté par de la circuiterie électronique d’un contrôleur (101) d’un système d’assistance d’approche d’aéroports pour aéronef (100), incluant :
- obtenir (401) une première image capturée par une caméra (102) configurée pour capturer des images d’un champ de vision devant l’aéronef (100) ;
- obtenir (402) une deuxième image stockée dans une base de données (201) représentant une piste, dite piste d’atterrissage attendue, où l’aéronef (100) est supposé atterrir ;
- effectuer (403) des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ;
- extraire (404) une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ;
- comparer (405) la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et
- générer (407) un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent. - Produit programme d’ordinateur comportant des instructions pour implémenter le procédé selon la revendication 9, lorsque lesdites instructions sont exécutées par un processeur.
- Support de stockage d’informations stockant un programme d’ordinateur comportant des instructions pour implémenter le procédé selon la revendication 9, lorsque lesdites instructions sont lues depuis le support de stockage d’informations et exécutées par un processeur.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2104510A FR3122408B1 (fr) | 2021-04-29 | 2021-04-29 | Syteme et procede d’assistance d’approche d’aeroports |
US17/730,299 US20220348353A1 (en) | 2021-04-29 | 2022-04-27 | Airport approach assistance system and method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2104510 | 2021-04-29 | ||
FR2104510A FR3122408B1 (fr) | 2021-04-29 | 2021-04-29 | Syteme et procede d’assistance d’approche d’aeroports |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3122408A1 true FR3122408A1 (fr) | 2022-11-04 |
FR3122408B1 FR3122408B1 (fr) | 2023-06-09 |
Family
ID=77710824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2104510A Active FR3122408B1 (fr) | 2021-04-29 | 2021-04-29 | Syteme et procede d’assistance d’approche d’aeroports |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220348353A1 (fr) |
FR (1) | FR3122408B1 (fr) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014075657A1 (fr) * | 2012-11-15 | 2014-05-22 | Eads Deutschland Gmbh | Procédé et dispositif de localisation d'une piste d'atterrissage assistée par imagerie |
US20140236398A1 (en) * | 2013-02-21 | 2014-08-21 | Chengdu Haicun Ip Technology Llc | Vision-Based Aircraft Landing Aid |
US20150032299A1 (en) * | 2013-07-24 | 2015-01-29 | Airbus Operations (S.A.S.) | Autonomous and automatic landing method and system |
US20170283087A1 (en) * | 2016-03-31 | 2017-10-05 | Sikorsky Aircraft Corporation | Sensor-based detection of landing zones |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7579978B1 (en) * | 2006-07-31 | 2009-08-25 | Rockwell Collins, Inc. | Radar based runway confirmation database acquisition system |
EP3198524B1 (fr) * | 2014-09-22 | 2023-05-10 | Sikorsky Aircraft Corporation | Perception autonome basée sur un contexte |
US11749126B2 (en) * | 2018-08-07 | 2023-09-05 | Reliable Robotics Corporation | Landing site localization for dynamic control of an aircraft toward a landing site |
-
2021
- 2021-04-29 FR FR2104510A patent/FR3122408B1/fr active Active
-
2022
- 2022-04-27 US US17/730,299 patent/US20220348353A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014075657A1 (fr) * | 2012-11-15 | 2014-05-22 | Eads Deutschland Gmbh | Procédé et dispositif de localisation d'une piste d'atterrissage assistée par imagerie |
US20140236398A1 (en) * | 2013-02-21 | 2014-08-21 | Chengdu Haicun Ip Technology Llc | Vision-Based Aircraft Landing Aid |
US20150032299A1 (en) * | 2013-07-24 | 2015-01-29 | Airbus Operations (S.A.S.) | Autonomous and automatic landing method and system |
US20170283087A1 (en) * | 2016-03-31 | 2017-10-05 | Sikorsky Aircraft Corporation | Sensor-based detection of landing zones |
Also Published As
Publication number | Publication date |
---|---|
FR3122408B1 (fr) | 2023-06-09 |
US20220348353A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11454988B2 (en) | Systems and methods for automated landing of a drone | |
US9177481B2 (en) | Semantics based safe landing area detection for an unmanned vehicle | |
EP2296129B1 (fr) | Dispositif et procédé d'aide à l'atterrissage avec indications aidant à la visibilité du monde extérieur | |
EP3187826B1 (fr) | Affichage de donnees meteorologiques dans un aeronef | |
EP3270365B1 (fr) | Dispositif d'aide au pilotage d'un giravion, giravion associe et procede d'aide au pilotage correspondant | |
EP2975362B1 (fr) | Calcul de performance pour aeronef | |
JP2013229022A (ja) | 近赤外線映像取得を用いる交通監視および写真による取締りアプリケーションのためのリアルタイム映像トリガ | |
EP3956807A1 (fr) | Réseau neuronal pour une estimation de pose de tête et de regard utilisant des données synthétiques photoréalistes | |
EP2378460A1 (fr) | Dispositif d'assistance embarque au suivi d'une route aeroportuaire par un aeronef | |
EP1335258A1 (fr) | Procédé de guidage d'un aéronef en phase finale d'atterrissage et dispositif correspondant | |
US8239179B2 (en) | Geospatial modeling system using single optical images and associated methods | |
US10281916B1 (en) | Detection of transparent elements using specular reflection | |
Speth et al. | Deep learning with RGB and thermal images onboard a drone for monitoring operations | |
FR2736149A1 (fr) | Dispositif de reconnaissance et de poursuite d'objets | |
FR3103047A1 (fr) | Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef | |
JP2021157847A (ja) | 異常なナンバープレート認識方法、装置、デバイス及び読み取り可能な記憶媒体 | |
WO2018087462A1 (fr) | Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles | |
US11989870B2 (en) | Method and assembly for detecting objects on systems | |
FR3065801B1 (fr) | Procede de visualisation du trafic aux environs d'un aeronef de reference dans une zone d'affichage conforme, produit programme d'ordinateur et systeme de visualisation associes | |
EP2896936B1 (fr) | Procédé d'assistance à la navigation pour giravion, par affichage dynamique d'une représentation du monde extérieur construite en vol instantanément et/ou en différé | |
Vygolov et al. | Enhanced, synthetic and combined vision technologies for civil aviation | |
Krylov et al. | Object geolocation from crowdsourced street level imagery | |
FR3122408A1 (fr) | Syteme et procede d’assistance d’approche d’aeroports | |
Babiceanu et al. | An onboard UAS visual privacy guard system | |
FR3103050A1 (fr) | Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20221104 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |