FR3103047A1 - Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef - Google Patents

Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef Download PDF

Info

Publication number
FR3103047A1
FR3103047A1 FR1912482A FR1912482A FR3103047A1 FR 3103047 A1 FR3103047 A1 FR 3103047A1 FR 1912482 A FR1912482 A FR 1912482A FR 1912482 A FR1912482 A FR 1912482A FR 3103047 A1 FR3103047 A1 FR 3103047A1
Authority
FR
France
Prior art keywords
neural network
landing
aircraft
runway
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1912482A
Other languages
English (en)
Other versions
FR3103047B1 (fr
Inventor
Thierry Ganille
Jean-Emmanuel HAUGEARD
Andrei Stoian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1912482A priority Critical patent/FR3103047B1/fr
Priority to US17/084,501 priority patent/US20210158157A1/en
Publication of FR3103047A1 publication Critical patent/FR3103047A1/fr
Application granted granted Critical
Publication of FR3103047B1 publication Critical patent/FR3103047B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/913—Radar or analogous systems specially adapted for specific applications for traffic control for landing purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

L’invention concerne un procédé d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef, le procédé comprenant au moins des étapes de : - recevoir un jeu de données d’apprentissage labélisées comprenant des données capteur associées à une vérité-terrain représentant au moins une piste d’atterrissage et une rampe d’approche ; - exécuter un algorithme d’apprentissage profond par réseau de neurones artificiels sur le jeu de données d’apprentissage, ledit algorithme d’apprentissage profond utilisant une fonction de coût dite trapèze de seuil de piste, paramétrée pour la reconnaissance d’un seuil de piste et de rampes d’approche ; et - générer un modèle d’intelligence artificielle entrainé pour l’aide à l’atterrissage d’aéronef de reconnaissance de piste. Figure pour l’abrégé : Fig. 3

Description

Procédé et dispositif d’apprentissage par réseau de neurones artificiels pour l’aide à l’atterrissage d’aéronef.
L’invention concerne le domaine des systèmes d’aide à l’atterrissage pour aéronefs basés sur des caméras ou capteurs d’imagerie embarqués.
L’invention adresse plus précisément le problème de l’aide à l’atterrissage d’aéronefs sur une piste d’atterrissage par conditions météorologiques difficiles, en particulier des conditions de visibilité réduite ou dégradée en cas de brouillard par exemple.
Les normes aériennes imposent des règles d’obtention de visibilité pendant la phase d’atterrissage. Ces règles se traduisent par des seuils de décision qui se réfèrent à l’altitude de l’avion lors de sa phase de descente. A chacun de ces seuils, des repères visuels identifiés doivent être obtenus pour poursuivre la manœuvre d’atterrissage, sans quoi elle doit être abandonnée. Les manœuvres d’atterrissage abandonnées représentent un réel problème pour la gestion du trafic aérien et pour la planification des vols. Il faut estimer avant le décollage la capacité à pouvoir atterrir à destination sur la base de prévisions météorologiques, plus ou moins fiables, et le cas échéant prévoir des solutions de repli.
Aussi le problème de l’atterrissage des aéronefs par conditions de visibilité réduite a fait l’objet du développement de plusieurs techniques.
L’une de ces techniques est le système d’atterrissage aux instruments ILS (« Instrument Landing System » en anglais). Le système ILS repose sur plusieurs équipements de radiofréquence installés au sol, au niveau de la piste d’atterrissage, et un instrument compatible placé à bord de l’aéronef. L’utilisation d’un tel système de guidage requiert des équipements onéreux et une qualification spécifique des pilotes. Il ne peut par ailleurs pas être installé sur tous les aéroports. Ce système est présent sur les aéroports principaux seulement car son coût rend rédhibitoire son installation sur les autres. En outre, de nouvelles technologies basées les systèmes de positionnement par satellite remplaceront probablement les systèmes ILS dans le futur.
Une solution de visualisation synthétique dite SVS (« Synthetic Vision System » en anglais) permet d’afficher un terrain et les pistes d’atterrissage à partir de la position de l’aéronef fournie par un GPS et de son attitude fournie par sa centrale inertielle. Cependant, l’incertitude sur la position de l’avion ainsi que la précision des positions des pistes qui sont stockées dans les bases de données interdisent l’utilisation d’un SVS dans des phases critiques où l’aéronef est proche du sol comme l’atterrissage et le décollage. Plus récemment, des solutions SVGS (« Synthetic Vision with Guidance System » en anglais), ajoutant certains contrôles à un SVS permettent une réduction limitée des minima d’atterrissage (la hauteur de décision DH est réduite de 50 ft uniquement sur les approches ILS SA CAT I).
Une autre approche est la technique de vision augmentée dite EVS ou EFVS (« Enhanced (Flight) Vision System » en anglais) basée sur l’affichage sur un afficheur tête haute qui permet d’afficher sur l’écran primaire du pilote une image de l’environnement vers l’avant de l’aéronef qui est meilleure que la vision naturelle. Cette solution utilise des capteurs électro-optiques, infra-rouges ou radar pour filmer l’environnement aéroportuaire lors de l’atterrissage d’un aéronef. Le principe est d’utiliser des senseurs plus performants que l’œil du pilote par conditions météorologiques dégradées, et d’incruster les informations collectées par les senseurs dans le champ de vision du pilote, par le biais d’un affichage tête haute ou sur la visière d’un casque porté par le pilote. Cette technique repose essentiellement sur l’emploi de capteurs pour détecter le rayonnement des lampes disposées le long de la piste et sur la rampe d’approche. Les lampes à incandescence produisent de la lumière visible mais elles émettent aussi dans le domaine infrarouge. Des capteurs dans le domaine infrarouge permettent de détecter ces rayonnements et la portée de détection est meilleure que celle de l’être humain dans le domaine visible, lors de conditions météorologiques dégradées. Une amélioration de la visibilité permet donc dans une certaine mesure d’améliorer les phases d’approche et de limiter les approches abandonnées. Toutefois, cette technique repose sur le rayonnement infrarouge parasite des lampes présentes au voisinage de la piste. Pour des soucis de durabilité des lampes, la tendance actuelle est au remplacement des lampes à incandescence par les lampes à LED. Ces dernières ont un spectre moins étendu dans le domaine infrarouge. Un effet collatéral est donc de provoquer une obsolescence technique des systèmes EVS à base de capteurs infrarouge.
Une alternative aux senseurs infrarouges est l’obtention d’images par un senseur radar, en bande centimétrique ou millimétrique. Certaines bandes de fréquence choisies en dehors des pics d’absorption de la vapeur d’eau présentent une sensibilité très faible aux conditions météorologiques difficiles. De tels senseurs permettent donc de produire une image au travers de brouillard par exemple. Cependant, même si ces capteurs ont une résolution en distance fine, ils présentent une résolution angulaire bien plus grossière que les solutions optiques. La résolution est directement liée à la taille des antennes utilisées, et elle est souvent trop grossière pour obtenir un positionnement précis de la piste d’atterrissage à une distance suffisante pour effectuer les manœuvres de recalage.
Des solutions utilisant des systèmes de visualisation CVS (« Combined Vision Systems » en anglais) sont basées sur l’affichage simultané de tout ou partie d’une image synthétique et d’une image capteur, par exemple par superposition des différentes images et éventuellement recalage de l’image synthétique sur un élément remarquable de l’image capteur, ou encore par incrustation de l’image capteur dans un médaillon de l’image synthétique ou encore par détourage d‘éléments remarquables ou éléments d’intérêts de l’image capteur et incrustation de ces éléments sur l’image synthétique. La demande de brevet FR3049744 issue de la demanderesse décrit une solution CVS basée sur une représentation synthétique seule de l’environnement extérieur mais repositionnée lorsqu’un capteur qui regarde vers l’avant de l’aéronef détecte la piste d’atterrissage (élément d’intérêt). Dans ces solutions CVS avec recalage du SVS, la détection d’éléments d’intérêt sur lequel recaler le SVS comme par exemple la piste d’atterrissage, est basée sur des algorithmes conventionnels de détection de droites, de pattern, … Le brevet US 7,925,117 B2 de Hamza et al. décrit une telle solution.
L’émergence de l’usage de capteurs actifs, comme par exemple les LIDAR (« Light Detection and Ranging » en anglais) ou les radars millimétriques, qui sont capables de détecter la piste d’atterrissage de plus loin et par quasiment n’importe quelles conditions de visibilité, amène de bien meilleurs résultats que les capteurs passifs comme les caméras IR. Cependant, les données issues de tels capteurs ne permettent pas de fournir au pilote une image nette et facilement interprétable comme l’est une image IR.
Il existe alors le besoin d’une aide à l’interprétation d’images pour permettre l’identification d’une piste par le pilote, notamment par conditions météorologiques dégradées, dans des données capteurs issues de capteurs actifs regardant vers l’avant de l’aéronef.
Des solutions de traitement d’images à base de capteurs actifs, dédient la tâche d’identification de la piste à un algorithme plutôt qu’au pilote. Les traitements d’images actuels utilisent des algorithmes conventionnels (détection de droites, de coins, …) pour identifier la piste. Or la reconnaissance d’une piste d’atterrissage dans une image capteur par mauvaise visibilité peut manquer de fiabilité avec les algorithmes conventionnels. En effet, chaque météo dégradée est particulière et certaines conditions peuvent rendre inefficace les algorithmes de détection de piste. Il en résulte alors une fiabilité réduite des calculateurs de pilotage ou d’affichage qui utilisent de l’imagerie pour les opérations aériennes.
Il existe donc le besoin d’améliorer les algorithmes de traitements d’images pour les opérations aériennes, notamment les opérations liées à l’atterrissage lors de conditions météorologiques mauvaises amenant une visibilité réduite ou dégradée.
De plus les traitements d’images actuels sont liés à des typologies d’image qui sont particulières à chaque senseur, et qui sont effectuées a priori, par calibration et expérience. Une limite est que ces traitements d’images sont calibrés sur la base de quelques aéroports uniquement. Dans certains cas, des vols sont effectués par temps clair en journée pour calibrer les capteurs en question. Cependant compte-tenu du coût des vols pour générer des images, le nombre de vols reste très limité et par conséquent la banque d’images qui regroupe l’ensemble des images collectées reste de taille réduite. Ainsi, les banques d’images actuelles sont incomplètes car elles ne prennent pas en compte la diversité des situations météorologiques et la variabilité de l’environnement (comme la présence d’obstacles temporaires par exemple). Le volume d’une telle banque d’images doit atteindre un seuil suffisant pour que le contenu soit fiable tant en termes de précision qu’en termes de couverture géographique.
Ainsi, un objet de l’invention est de pallier les inconvénients des techniques connues.
A cet effet, l’invention a pour objet de répondre aux besoins précités en proposant une solution pour l’aide à l’atterrissage des aéronefs, utilisant des machines d’apprentissage profond pour la détection d’objets, notamment des réseaux de neurones artificiels.
Un réseau de neurones artificiels ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d’apprentissage automatique.
Ainsi, la large majorité des réseaux de neurones artificiels possède un algorithme d’apprentissage ou d’entrainement, qui consiste à modifier des poids synaptiques en fonction d’un jeu de données présentées en entrée du réseau. Le but de cet entraînement est de permettre au réseau de neurones d'apprendre à partir des exemples et de produire des modèles d’intelligence artificielle entrainés.
Dans un mode de réalisation, le réseau de neurones artificiels est un réseau de neurones à convolution CNN (« Convolutional Neural Network » en anglais).
Avantageusement, l’algorithme d’intelligence artificielle (IA) met en œuvre une fonction de coût spécifique, développée pour le contexte aéronautique et particulièrement adaptée à la reconnaissance du seuil de piste et des rampes d’approche d’une piste d’atterrissage. La nouvelle fonction de coût s’adapte mieux au problème de détection et d’orientation d’une piste en détectant un trapèze représentant plus précisément le seuil de piste et les rampes d’approche.
Dans un mode de réalisation, l’algorithme d’IA applique préalablement un modèle de segmentation pour obtenir l’axe de la piste.
Dans un mode de réalisation, la base de données d’apprentissage pour mettre en œuvre l’apprentissage profond est constituée de manière collective et collaborative, les données étant issues d’images obtenues par des capteurs embarqués sur une pluralité d’aéronefs, qu’il s’agisse d’images dans le visible, dans l’infra-rouge ou d’images radar.
A cet effet, l’invention peut mettre en œuvre des mécanismes d’incitation à participer à la collecte et la fourniture d’images. De tels mécanismes comprennent une rétribution juste et certaine des contributeurs qui fournissent les images et/ou qui fournissent les processus permettant les traitements des images. En effet, un autre frein à l’amélioration des traitements d’images est le faible taux de contributeurs d’images et il existe le besoin d’inciter tout acteur producteur et/ou utilisateur, à participer à l’enrichissement de la banque d’images de manière collaborative et sans intermédiaire. Les acteurs fournisseurs et/ou gestionnaires de données d’images peuvent être assez variés incluant de manière non limitative, des fournisseurs de capteurs d’image, des avionneurs, des spécialistes du traitement d’images, des états (concepteurs de procédures de navigation), des chercheurs, des compagnies aériennes.
Avantageusement, des images supplémentaires peuvent être obtenues par un mécanisme de génération d’images synthétiques qui sont ajoutées à la banque d’images.
Avantageusement, la base de données d’apprentissage constituée au sens de l’invention contient un très grand nombre de jeux de données qui permet d’avoir une masse critique suffisante pour mettre en œuvre des algorithmes d’apprentissage profond, et ainsi améliorer la fiabilité des calculateurs et renforcer la sécurité des opérations aéronautiques basées sur l’utilisation de ces traitements d’images.
Avantageusement, les données mises à disposition dans la base de données d’apprentissage sont utilisées pour entrainer différents algorithmes d’intelligence artificielle pour classifier les images et détecter les objets, notamment pour entrainer des algorithmes à base de réseaux de neurones profonds (« Deep Learning » en anglais).
Dans un mode de réalisation, l’algorithme d’intelligence artificielle pour l’apprentissage profond est basé sur un réseau de neurones convolutifs CNN.
Avantageusement, la base de données d’images capteurs peut être utilisée pour valider la robustesse ou la faiblesse de différents algorithmes vis-à-vis de différents scénarios (« use cases » en anglais) considérés comme problématiques, en permettant de faire tourner en parallèle différents algorithmes sur un jeu de données présent dans la base d’images et de détecter sur les résultats fournis des écarts trop importants entre les différents algorithmes.
La présente invention trouvera de nombreux domaines d’application et notamment des applications pour la détection de piste, de contour de piste, de rampe lumineuse, de rampes d’approche.
Pour obtenir les résultats recherchés, il est proposé un procédé mis en œuvre par ordinateur d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef, le procédé comprenant les étapes de :
- recevoir un jeu de données d’apprentissage labélisées comprenant des données capteur associées à une vérité-terrain représentant au moins une piste d’atterrissage et une rampe d’approche ;
- exécuter un algorithme d’apprentissage profond par réseau de neurones artificiels sur le jeu de données d’apprentissage, ledit algorithme d’apprentissage profond utilisant une fonction de coût dite trapèze de seuil de piste, paramétrée pour la reconnaissance d’un seuil de piste et de rampes d’approche ; et
- générer un modèle d’intelligence artificielle entrainé pour l’aide à l’atterrissage d’aéronef de reconnaissance de piste.
Selon des modes de réalisation alternatifs ou combinés :
-l’étape d’exécution d’un algorithme d’apprentissage profond est mise en œuvre sur un réseau de neurones convolutifs.
-l’étape d’exécution d’un algorithme d’apprentissage profond comprend plusieurs itérations du calcul d’erreur de prédiction sur le jeu de données d’apprentissage afin d’optimiser ladite fonction de coût.
-les itérations pour l’apprentissage sont terminées quand le calcul d’erreur est égal ou en-dessous d’un seuil d’erreur prédéfini.
-l’étape d’exécution d’un algorithme d’apprentissage profond comprend une étape de reconnaissance d’un quadrilatère trapézoïdal défini par le seuil de piste et une ligne de lampes plus large positionnée avant le seuil de piste.
-la ligne de lampes plus large est positionnée à 300 mètres avant le seuil de piste.
-les données d’apprentissage sont des données réelles ou simulées.
L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef revendiqué, lorsque le programme est exécuté sur un ordinateur.
L’invention couvre de plus un dispositif d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef, le dispositif comprenant des moyens pour mettre en œuvre les étapes du procédé d’apprentissage par réseau de neurones selon l’une quelconque des revendications.
Un autre objet de l’invention est l’utilisation en phase d’inférence du modèle d’intelligence artificielle entrainé obtenu par le procédé de l’une quelconque des revendications.
Un autre objet de l’invention est un système d’aide à l’atterrissage, notamment de type SVS, SGVS, EVS, EFVS ou CVS embarquant un modèle d’intelligence artificielle entrainé généré selon le procédé d’apprentissage par réseau de neurones revendiqué.
L’invention adresse aussi un aéronef comprenant un système d’aide à l’atterrissage comprenant un modèle d’intelligence artificielle entrainé généré selon le procédé d’apprentissage par réseau de neurones revendiqué.
D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :
une architecture permettant de mettre en œuvre le procédé de l’invention ;
une architecture de traitement d’images par réseau de neurones convolutifs selon un mode de réalisation de l’invention ;
un procédé de génération de modèle d’intelligence artificielle entrainé pour la reconnaissance de piste et de rampe d’approche selon un mode de réalisation de l’invention ;
une représentation d’une boite englobante trapézoïdale générée par la fonction de coût de l’algorithme d’apprentissage de l’invention;
une architecture générale d’un système de visualisation permettant de mettre en œuvre un modèle d’intelligence artificielle entrainé obtenu par le procédé d’apprentissage de l’invention;
illustrent sur une image IR le résultat d’un traitement d’image selon le procédé de l’invention.
La figure 1 illustre une architecture 100 d’un système permettant un traitement d’images capteur par un algorithme de réseau de neurones artificiels, selon un mode de réalisation de l’invention.
Le système comprend généralement des sources « fournisseurs d’images » 110, 112 aptes à envoyer des données capteur vers une base d’apprentissage 102 couplée à un module de traitement d’images 104 configuré pour mettre en œuvre un algorithme d’apprentissage profond et générer des modèles d’intelligence artificielle (IA) entrainés.
La base de données d’apprentissage 102 doit contenir un très grand nombre de données représentant un maximum de situations possibles, englobant différentes approches sur différentes pistes avec différentes rampes lumineuses d’approches pour différentes conditions météorologiques. Afin de mettre en œuvre le procédé d’apprentissage par réseau profond de l’invention et apprendre à reconnaître la piste d’atterrissage dans les données, la base de données est constituée d’une pluralité de jeux de données labélisées ou étiquetées, où chaque jeu de données labélisées correspond à un couple (données capteur, vérité-terrain VT). Une vérité-terrain VT (« ground truth » en anglais) au sens de la présente invention est une description des différents éléments d’intérêt devant être reconnus dans les données capteurs. De tels éléments représentent au moins une piste d’atterrissage et une rampe d’approche.
Les données de la base d’apprentissage proviennent de plusieurs sources 110, 112. Elles peuvent être des images capteur réelles, qu’il s’agisse d’images dans le visible, dans l’infra-rouge ou d’images radar. Les images sont prises par au moins un capteur orienté vers l’avant d’un aéronef et capable de fournir des informations caractéristiques d’une piste d’atterrissage avant que l’œil du pilote ne puisse la voir. Ce capteur peut être une caméra IR fixe et positionnée dans le nez de l’aéronef et orientée selon l’axe longitudinal de l’aéronef et usuellement légèrement vers le bas, fournissant un flux continue d’images en noir et blanc. Les capteurs les plus récents combinent généralement plusieurs caméras spécifiques pour différentes plages de longueur d’onde dans l’infra-rouge et le visible afin de maximiser la capacité du capteur à détecter des éléments d’intérêt par visibilité dégradée. Malgré ces récents progrès, ce type de capteur ne permet pas de détecter systématiquement par visibilité dégradée la piste d’atterrissage avant les minima réglementaires, typiquement avant que l’aéronef soit sous une hauteur de 200ft au-dessus du seuil de piste pour une approche ILS de catégorie I. Pour pallier cet inconvénient, l’utilisation de capteurs actifs est à l’étude comme par exemple des radars millimétriques ou des lidars. Ces capteurs ont une bien meilleure capacité de détection d’éléments d’intérêt quelles que soient les conditions météorologiques. Leur inconvénient est un champ plus étroit, particulièrement gênant par vent de travers, une plus faible résolution et une faible capacité à générer une image facilement interprétable par un pilote. Ces capteurs fournissent un flux de données 3D (site, azimut, distance). La mise en œuvre d’un algorithme de reconnaissance automatique de piste d’atterrissage selon l’invention est particulièrement avantageuse avec ce type de capteur.
La base d’apprentissage 102 est enrichie par des images fournies par une multitude de capteurs différents équipant une pluralité d’aéronefs effectuant soit des vols réels, soit des vols dédiés à la prise d’images. Chaque image est associée à des paramètres du vol correspondant, et notamment les paramètres de position 3D et d’orientation 3D de l’appareil au moment de la prise de vue.
En complément, des paramètres aéronef peuvent être ajoutés, comme par exemple l’écart de cap, la hauteur, ou encore la distance DME par rapport à la piste. Dans le cas d’une image infra-rouge (IR), la vérité terrain associée est une image de même taille avec une couleur spécifique pour chaque élément de l’image que l’on souhaite apprendre à reconnaître.
Avantageusement, des données capteurs simulées peuvent être ajoutées à la base d’apprentissage en plus des données réelles. Les données simulées sont fournies par un dispositif simulateur d’images 112, apte à générer des données d’apprentissage simulées.
Les fournisseurs d’images au sens de la présente invention s’entendent comme un ensemble de dispositifs où chaque dispositif est apte à fournir une/des images capteurs. Les fournisseurs d’images peuvent être une flotte d’aéronefs, un aéronef au sens de la présente invention prenant une définition générique couvrant tout engin volant, que ce soit un avion, un hélicoptère, un drone, un ballon, qu’il soit piloté ou non.
Dans un mode de réalisation, les données d’apprentissage sont distribuées sur un réseau décentralisé de type registre distribué ou DLT (« Distributed Ledger Technology » en anglais) qui est composé d’une pluralité d’entités de calcul (processeurs, ordinateurs) et où un registre est simultanément enregistré et synchronisé sur les entités du réseau. Le réseau peut évoluer par l'addition de nouvelles informations préalablement validées par l'entièreté du réseau, et la mise à jour d'un registre distribué se répercute sur l'ensemble du réseau. Chaque dispositif ou entité du réseau possède en permanence la dernière version du registre.
Dans un mode de réalisation particulier, les données d’apprentissage sont distribuées sur une chaîne de blocs (« Blockchain » en anglais), où chaque bloc est lié au précédent par une clé de hachage. Une chaîne de blocs est une base de données distribuée et sécurisée par des techniques cryptographiques. Des transactions échangées sur la chaîne de blocs sont groupées en « blocs » à intervalles de temps réguliers, de manière sécurisée par cryptographie, et forment une chaîne.
Dans un mode de réalisation, des mécanismes d’horodatage sûrs des images capteurs peuvent être mis en œuvre lors de l’ajout de nouvelles données d’apprentissage dans la base d’apprentissage, chaque image capteur étant associée à des paramètres du vol correspondant, du capteur, et notamment des paramètres d’identification, de position 3D et d’orientation 3D de l’appareil au moment de la prise de vue.
Dans un mode de réalisation, l’intégrité des images à ajouter à la base d’apprentissage peut être validée par un algorithme de validation par consensus. Notamment, la vérification de la qualité des images capteurs qui doivent être mises à disposition dans la base, peut être faite via des règles de validation dépendant des fournisseurs d’images, en particulier dépendant de la qualité de chaque fournisseur d’images, la qualité couvrant la qualité des aéronefs et des membres d’équipage par exemple pour des procédures. Les règles de validation prennent aussi en compte la qualité d’acteurs spécialistes du traitement d’image qui peuvent valider également la qualité des prises de vue et leur utilité pour entraîner les algorithmes de traitement d’image.
Revenant à la figure 1, le module de traitement d’images 104 est configuré pour mettre en œuvre un algorithme d’intelligence artificielle d’apprentissage profond sur les données d’apprentissage 102 et générer des modèles d’intelligence artificielle (ou modèles IA) entrainés.
Dans un mode de réalisation, les modèles d’IA entrainés peuvent être embarqués dans des aéronefs, soit envoyés avant un vol, soit téléchargés pendant un vol, pour utilisation opérationnelle pour l’aide à l’atterrissage.
Dans un mode de réalisation, les modèles d’IA entrainés peuvent être stockés dans une base de données de modèles IA entrainés 106.
La problématique abordée par la présente invention vient du fait que le balisage lumineux des pistes des aéroports est l'outil essentiel de la sécurité des appareils et de leurs passagers. Les lampes qui composent le balisage et leurs associations permettent aux pilotes de repérer la piste dans la phase d'atterrissage, de poser les roues au bon endroit, de rester dans l'axe de la piste et d'évaluer la distance jusqu'au bout de la piste.
Par conditions de visibilité dégradée, la rampe lumineuse d’approche est généralement détectable avant la piste d’atterrissage. Cependant, ce n’est pas toujours le cas et parfois, c’est directement la piste d’atterrissage qui peut être détectable en premier, par exemple dans les cas où la rampe lumineuse est constituée de LEDs au lieu de lampes à incandescence, un capteur IR peut alors détecter la piste avant la rampe lumineuse. C’est également le cas d’un radar qui de loin, peut détecter le contraste entre le sol et l’asphalte de la piste bien avant le contraste entre le sol et le métal de la rampe dont les surfaces de réflexions sont trop petites de loin.
Afin d’obtenir une détection au plus tôt, il est alors important d’entraîner le réseau de neurones à reconnaître les différents types de rampes lumineuses, et reconnaître également la piste d’atterrissage.
Aussi, le module de traitement d’images de l’invention 104 met en œuvre un algorithme d’apprentissage profond par réseau de neurones artificiels pour la détection de piste et de rampe. Dans un mode de réalisation avantageux, l’algorithme est basé sur un réseau de neurones convolutifs CNN.
Dans le domaine de vision par ordinateur, l’objectif de l’apprentissage profond est de modéliser avec un haut niveau d’abstraction les données. De manière synthétique, il y a deux phases : une phase d’apprentissage et une phase d’inférence. La phase d’apprentissage permet de définir et générer un modèle d’IA entrainé qui répond au besoin opérationnel. Ce modèle est ensuite utilisé dans le contexte opérationnel lors de la phase d’inférence. La phase d’apprentissage est donc primordiale. Afin d’obtenir le meilleur modèle, la phase d’apprentissage nécessite d’avoir collecté une large base de données la plus représentative du contexte opérationnel et de les avoir labélisées au regard d’une vérité-terrain (VT).
La vérité-terrain est une image de référence qui représente un résultat attendu après une opération de segmentation. Dans le contexte de l’invention, la vérité terrain d'une image représente au moins une piste et une rampe d’approche ainsi que le sol visible. Le résultat d’une segmentation d’une image est comparé avec l’image de référence ou vérité-terrain afin d'évaluer la performance de l'algorithme de classification.
Un apprentissage est considéré performant s’il permet de définir un modèle prédictif qui s’adapte bien aux données d’apprentissage mais qui est aussi capable de bien prédire sur des données qui n’ont pas été vues lors de l’apprentissage. Si le modèle ne s’adapte pas aux données d’apprentissage, le modèle souffre de sous-apprentissage. Si le modèle s’adapte trop bien aux données d’apprentissage et n’est pas capable de généraliser, le modèle souffre de sur-apprentissage. Ainsi à partir des nombreuses images labélisées de la base d’apprentissage 102, la phase d’apprentissage permet de définir l’architecture du réseau de neurones et les hyper-paramètres (le nombre de couches, les types de couches, le pas d’apprentissage…) et de chercher les meilleurs paramètres (les pondérations des couches et entre les couches) qui modélisent le mieux les différents labels (piste/rampe). A chaque itération de l’apprentissage, le réseau de neurones propage (extraire/abstraire des caractéristiques propres aux objets d’intérêts) et estime la présence et la position des objets. A partir de cette estimation et de la vérité terrain, l’algorithme d’apprentissage calcule une erreur de prédiction et la rétropropage dans le réseau afin de mettre à jour les paramètres du modèle.
La figure 2 illustre une architecture d’un module de traitement d’images implémentant un réseau de neurones convolutifs CNN, selon un mode de réalisation de l’invention. L’homme de l’art pourra se reporter à la littérature existante pour obtenir plus de détails sur la structure connue des réseaux de type CNN.
Une étape du traitement consiste en la reconnaissance de la rampe comme un quadrilatère trapézoïdal défini par le seuil de piste et une ligne de lampes plus large positionnée avant le seuil de piste. En effet, sur les rampes d’approche, quel que soit leur type, il existe une rangée de lampes plus large, à 1000 pieds, soit environ 300 mètres avant le seuil de piste.
Cette étape est basée sur l’utilisation d’un réseau de neurones profond qui dans le contexte de l’invention permet de détecter un quadrilatère de type trapézoïdal dont le coté inférieur correspond à la ligne de lampes plus large 300 mètres avant le seuil de piste et le coté supérieur correspond au seuil de piste.
Dans un mode de réalisation, le réseau de neurones profond pour l’étape de reconnaissance de rampe est un réseau de neurones convolutifs basé sur une architecture de type YOLO, en particulier de type YOLO v3, décrit dans le document « YOLO v3: An Incremental Improvement – Redmon et al. 2018 ».
La figure 2 illustre une architecture d’un réseau CNN de type YOLO v3 adaptée au cas d’usage de reconnaissance de piste et de rampe, avec ses différents hyper-paramètres (nombres de couches avec couches de détection, couches convolutionnelles, couches de ré-échantillonnage). Dans le contexte des pistes et rampes, l’apprentissage est réalisé avec une fonction de coût spécifique répondant au nouveau besoin pour l’aide à l’atterrissage d’aéronefs de détection du seuil de piste et de la ligne de lampes 300 mètres avant le seuil, afin de connaitre son orientation relative par rapport à l’aéronef.
Avantageusement, la nouvelle fonction de coût est basée sur les caractéristiques trapézoïdales d’un seuil de piste et de la ligne de lampes plus large avant le seuil de piste. Le réseau de neurones cherche à modéliser les paramètres du trapèze dont le coté inférieur correspond à la ligne de lampes plus large avant le seuil de piste et le coté supérieur correspond au seuil de piste. La détection du trapèze est réalisée à différentes échelles (échelles 1, 2, 3 sur l’exemple illustré).
Dans un mode de réalisation, le procédé d’apprentissage peut comprendre une étape initiale en fonction de la visibilité de la rampe.
L’étape initiale consiste en la reconnaissance de la rampe et de son axe lorsque l’aéronef est loin et qu'il n'est pas possible de détecter les différentes parties de cette rampe. Cette étape est basée sur l’utilisation d’un deuxième réseau de neurones profond qui permet de segmenter l’instance ou objet rampe. Cette étape est optionnelle, et le procédé d’apprentissage de l’invention peut mettre en œuvre uniquement l’étape de reconnaissance de piste précédemment décrite.
Dans un mode de réalisation, le modèle du réseau de neurones utilisé pour l’apprentissage de la reconnaissance de rampe, utilise une architecture « Mask R-CNN – resNet 101 » (Regions with CNN features – 101 couches) qui est décrite dans le document « Mask R-CNN – Kaiming et al. 2017 ». Dans une réalisation concrète utilisant ce modèle, un apprentissage par transfert suivi d’un apprentissage plus fin a été réalisé pour s’adapter au cas d’usage piste et rampe, où 1900 images synthétiques étiquetées (avec piste et rampe vues de différentes positions et dans différentes conditions jour/nuit) avec 30 000 itérations ont servi pour réaliser l’apprentissage.
La figure 3 illustre un procédé 300 de génération de modèle entrainé par réseau de neurones profond pour la reconnaissance de piste et de rampe d’approche selon un mode de réalisation de l’invention.
Le procédé débute à réception 302 d’un jeu de données d’apprentissage labélisées. Un jeu de données d’apprentissage dans le contexte de l’invention consiste en une pluralité de données labélisées, les données labélisées correspondant à une pluralité d’images capteur ou données radar où chaque image est associée à sa vérité terrain, c’est-à-dire une description des différents éléments à reconnaître dans chaque image capteur. Dans le cas d’une image issue d’un capteur Infra-Rouge, la vérité terrain associée est une image de même taille avec une couleur spécifique attribuée à chaque élément de l’image que l’on souhaite que le réseau apprenne à reconnaître. La vérité terrain est générée lors de la phase de construction de la base donnée d’apprentissage, soit manuellement à l’aide d’un outil spécifique, soit automatiquement.
Dans une étape suivante 304, le procédé permet d’exécuter sur les données d’entrée, un algorithme par apprentissage profond basé sur des réseaux de neurones artificiels. Dans un mode de réalisation, l’algorithme par apprentissage profond est basé sur un réseau de neurones convolutifs CNN tel qu’illustré sur la figure 2.
Pour qu’un algorithme puisse apprendre efficacement, une fonction de calcul d’efficacité est définie, appelée généralement fonction de coût, dont le résultat diminue d'autant plus que le modèle en apprentissage va prédire des valeurs qui s'approchent des observations. Dans un réseau de détection classique, la détection est définie par un rectangle (largeur, hauteur, position en x et position en y). Cette fonction de coût utilisée dans les algorithmes d’apprentissage connus, comme les réseaux de neurones CNN, présente des inconvénients dans le contexte de l’aéronautique. En effet, elle ne permet pas une détection suffisamment précise pour répondre aux exigences de sécurité requises dans ce domaine. Aussi, une fonction de coût spécifique a été développée par les inventeurs de manière à s’adapter au cas d’usage aéronautique de la reconnaissance de piste d’atterrissage et de rampes. Cette fonction de coût dite « trapèze de seuil de piste » est paramétrée pour permettre de détecter plus efficacement une piste d’atterrissage et la rampe d’approche, en particulier dans des conditions météorologiques amenant une visibilité réduite ou dégradée, là où une fonction de coût standard « boite rectangulaire » ne le permet pas de manière fiable. La phase d’apprentissage comprend des itérations de calcul d’erreur sur le jeu de données d’apprentissage afin d’optimiser la fonction de coût et converger vers une erreur faible et une précision forte du modèle entrainé.
La figure 4 illustre une représentation d’un trapèze de seuil de piste 402 générée par la fonction de coût de l’invention pendant le processus d’apprentissage profond. Le trapèze de seuil de piste  (et donc la fonction de coût) est plus complexe qu’une boite rectangulaire car elle doit prendre en compte la position et la taille de la grande base du trapèze (xB, yB, wB) représentant le seuil de piste, la position et la taille de la petite base du trapèze (xb, yb, wb) représentant la ligne de lampes plus large avant le seuil (300 mètres), l’espace entre ces bases (h) et l’angle (θ) entre la grande base et l’axe horizontal. Ces différentes variables sont prises en compte dans la nouvelle fonction de coût pour évaluer la différence entre la prédiction / détection par le réseau de neurones et la vérité terrain.
En phase d’inférence, cette forme de trapèze spécifique est identifiée par le moteur d’IA embarqué. Les coordonnées en pixels des coins du trapèze qui est identifié sont transformées en coordonnées 3D pour permettre de calculer la position relative de l’aéronef par rapport au seuil et à l’axe de piste en termes de distance, de hauteur et d’écart latéral.
Revenant à la figure 3, après avoir terminé les itérations nécessaires à l’apprentissage, c’est-à-dire avoir optimisé la fonction de coût et obtenu un calcul d’erreur égal ou en-dessous d’un seuil d’erreur prédéfini, le procédé permet de générer dans une étape suivante 306 un modèle entrainé pour la reconnaissance de piste.
Avantageusement, le modèle entrainé peut être utilisé dans un système d’aide à l’atterrissage embarqué.
La figure 5 illustre une architecture générale d’un système 500 de visualisation permettant de mettre en œuvre en phase d’inférence, un modèle entrainé obtenu selon le procédé d’apprentissage par réseau de neurones de l’invention.
Dans une première implémentation, un modèle d’IA validé (architecture et les hyper-paramètres appris) peut être intégré dans un système embarqué à bord d’un aéronef comprenant au moins un capteur de même type que celui utilisé pour l’apprentissage. Le système embarqué 500 comprend une base de données terrain (BDT) 502, une base de données d’éléments d’intérêts (BDEI) 504, un module de génération d’une vue synthétique 506 en 3D vers l’avant de l’aéronef (SVS) à partir de la position et de l’attitude de l’aéronef reçues par des senseurs 508, et des capteurs 510, un module d’analyse 512 comprenant au moins un modèle d’IA généré selon le procédé de l’invention dans une phase d’apprentissage par un réseau d’apprentissage profond, et un dispositif d’affichage 514 du SVS pour l’équipage de l’aéronef. Ce dispositif d’affichage 514 peut être un écran en tête basse (HDD), un écran transparent en tête haute (HUD), un écran transparent porté sur la tête (HWD), le pare-brise de l’aéronef. Avantageusement, la symbologie usuelle de pilotage présentant les paramètres de pilotage de l’aéronef (attitude, cap, vitesse, altitude, vitesse verticale, vecteur vitesse, …) est superposée à la vue synthétique en 3D.Le module d’analyse 512 peut être configuré pour corriger la position de la piste d’atterrissage présentée sur le SVS 506. Dans un mode de réalisation, où le modèle d’IA embarqué comprend un modèle relatif à la reconnaissance de l’axe de piste (obtenu en phase d’apprentissage selon l’étape initiale décrite précédemment), dans un premier temps, les coordonnées en pixels du segment (l’axe) détecté sont envoyées au module d’analyse qui calcule à partir de ces coordonnées, des paramètres de l’aéronef (attitude et position), de la position de la piste issue de la base de données et des paramètres du capteur, l’erreur de cap et l’erreur de position perpendiculairement à la piste d’atterrissage.
Dans un second temps, à partir des coordonnées en pixels du trapèze qui est détecté, le module d’analyse calcule comme précédemment l’erreur de cap et l’erreur de position perpendiculairement à la piste d’atterrissage mais cette fois, il calcule en plus l’erreur d’altitude et l’erreur de position longitudinalement à la piste d’atterrissage. Tous ces calculs sont effectués par comparaison avec les données de position de la piste d’atterrissage de la base de données terrain 502, la position et l’attitude reçues par les senseurs de l’aéronef 508, et les paramètres du capteur 510 (champ horizontal, champ vertical, orientation, …) Ces erreurs calculées sont ensuite utilisées pour améliorer la précision des données d’entrée du module de génération de la vue synthétique 3D qui présente ainsi une vue corrigée grâce à la détection par le modèle d’IA de la piste d’atterrissage dans des données capteur 510. Un tel système est dit CVS (Combined Vision System) et permet de poursuivre sous les minima d’atterrissage si la piste est détectée par un capteur.
Dans une autre implémentation, le système embarqué comprend un dispositif de Pilotage Automatique (PA) qui reçoit une position et une attitude de l’aéronef dont la précision a été améliorée comme décrit dans le paragraphe précédent par le modèle d’IA, permettant ainsi un abaissement des minima de décision et/ou un atterrissage automatique de l’aéronef. Dans cette implémentation le module de génération de vue synthétique SVS est optionnel.
Les figures 6a et 6b illustrent sur une image IR le résultat d’un traitement d’image utilisant un modèle d’IA entrainé obtenu selon le procédé de l’invention dans la version avec deux étapes de reconnaissance. Dans un premier temps une vue assez loin permet au système grâce à l'axe longitudinal de la piste 602 de recaler le cas échéant le SVS en cap et de manière latérale à la piste d’atterrissage, puis en se rapprochant, dans un second temps, le trapèze de seuil de piste  604 est détecté permettant au système de repérer le seuil de piste et les rampes d’approche, et le cas échéant de recaler le SVS toujours en cap et de manière latérale à la piste d’atterrissage mais aussi en altitude et longitudinalement à la piste d’atterrissage.
Ainsi, la présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.
L’invention peut s’implémenter à partir d’éléments matériels et/ou logiciels. Elle peut être disponible en tant que produit programme d’ordinateur sur un support lisible par ordinateur et comprend des instructions de code pour exécuter les étapes des procédés dans leurs différents modes de réalisation.

Claims (13)

  1. Procédé (300) d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef, le procédé comprenant au moins des étapes de :
    - recevoir (302) un jeu de données d’apprentissage labélisées comprenant des données capteur associées à une vérité-terrain représentant au moins une piste d’atterrissage et une rampe d’approche ;
    - exécuter (304) un algorithme d’apprentissage profond par réseau de neurones artificiels sur le jeu de données d’apprentissage, ledit algorithme d’apprentissage profond utilisant une fonction de coût dite trapèze de seuil de piste, paramétrée pour la reconnaissance d’un seuil de piste et de rampes d’approche ; et
    - générer (306) un modèle d’intelligence artificielle entrainé pour l’aide à l’atterrissage d’aéronef de reconnaissance de piste.
  2. Le procédé selon la revendication 1 dans lequel l’étape d’exécution d’un algorithme d’apprentissage profond est mise en œuvre sur un réseau de neurones convolutifs.
  3. Le procédé selon la revendication 1 ou 2 dans lequel l’étape d’exécution d’un algorithme d’apprentissage profond comprend plusieurs itérations du calcul d’erreur de prédiction sur le jeu de données d’apprentissage afin d’optimiser ladite fonction de coût.
  4. Le procédé selon la revendication 3 dans lequel les itérations pour l’apprentissage sont terminées quand le calcul d’erreur est égal ou en-dessous d’un seuil d’erreur prédéfini.
  5. Le procédé selon l’une quelconque des revendications 1 à 4 dans lequel l’étape d’exécution d’un algorithme d’apprentissage profond comprend une étape de reconnaissance d’un quadrilatère trapézoïdal défini par le seuil de piste et une ligne de lampes plus large positionnée avant le seuil de piste.
  6. Le procédé selon la revendication 5 dans lequel la ligne de lampes plus large est positionnée à 300 mètres avant le seuil de piste.
  7. Le procédé selon l’une quelconque des revendications 1 à 6 dans lequel les données d’apprentissage sont des données réelles ou simulées.
  8. Un dispositif d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef comprenant des moyens pour mettre en œuvre les étapes du procédé d’apprentissage par réseau de neurones selon l’une quelconque des revendications 1 à 7.
  9. Utilisation en phase d’inférence du modèle d’intelligence artificielle entrainé obtenu par le procédé de l’une quelconque des revendications 1 à 7.
  10. Un système d’aide à l’atterrissage, notamment de type SVS, SGVS, EVS, EFVS ou CVS embarquant un modèle d’intelligence artificielle entrainé généré selon le procédé d’apprentissage par réseau de neurones selon l’une quelconque des revendications 1 à 7.
  11. Le système d’aide à l’atterrissage selon la revendication 10 comprenant de plus un modèle d’intelligence artificiel entrainé pour la reconnaissance de la rampe et de son axe.
  12. Un aéronef comprenant un système d’aide à l’atterrissage selon la revendication 11.
  13. Programme d'ordinateur comportant des instructions de code pour l'exécution des étapes du procédé d’apprentissage par réseau de neurones pour l’aide à l’atterrissage d’aéronef, selon l’une quelconque des revendications 1 à 7, lorsque ledit programme est exécuté par un processeur.
FR1912482A 2019-11-07 2019-11-07 Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef Active FR3103047B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1912482A FR3103047B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
US17/084,501 US20210158157A1 (en) 2019-11-07 2020-10-29 Artificial neural network learning method and device for aircraft landing assistance

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1912482A FR3103047B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
FR1912482 2019-11-07

Publications (2)

Publication Number Publication Date
FR3103047A1 true FR3103047A1 (fr) 2021-05-14
FR3103047B1 FR3103047B1 (fr) 2021-11-26

Family

ID=70154465

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1912482A Active FR3103047B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef

Country Status (2)

Country Link
US (1) US20210158157A1 (fr)
FR (1) FR3103047B1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4300053A1 (fr) 2022-07-01 2024-01-03 Airbus Helicopters Procede d'apprentissage d'au moins un modele d'intelligence artificielle d'estimation en vol de la masse d'un aeronef a partir de donnees d'utilisation

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007459B2 (ja) * 2018-03-15 2022-01-24 日本音響エンジニアリング株式会社 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム
US11479365B2 (en) * 2021-01-22 2022-10-25 Honeywell International Inc. Computer vision systems and methods for aiding landing decision
CN113052106B (zh) * 2021-04-01 2022-11-04 重庆大学 一种基于PSPNet网络的飞机起降跑道识别方法
WO2022254863A1 (fr) * 2021-05-31 2022-12-08 日本電産株式会社 Procédé de détection d'angle et dispositif de détection d'angle
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN114756037B (zh) * 2022-03-18 2023-04-07 广东汇星光电科技有限公司 一种基于神经网络图像识别的无人机***及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
FR3049744A1 (fr) 2016-04-01 2017-10-06 Thales Sa Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef
CN108388641A (zh) * 2018-02-27 2018-08-10 广东方纬科技有限公司 一种基于深度学习的交通设施地图生成方法与***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2419600A1 (fr) * 2000-08-22 2002-02-28 3-Dimensional Pharmaceuticals, Inc. Procede, systeme et progiciel servant a determiner des proprietes de produits d'une bibliotheque combinatoire a partir d'elements de modules de bibliotheque
US7324691B2 (en) * 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
FR3038047B1 (fr) * 2015-06-24 2019-08-09 Dassault Aviation Systeme d'affichage d'un aeronef, propre a afficher un marquage de localisation d'une zone de presence d'une rampe lumineuse d'approche et procede associe
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
FR3049744A1 (fr) 2016-04-01 2017-10-06 Thales Sa Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef
CN108388641A (zh) * 2018-02-27 2018-08-10 广东方纬科技有限公司 一种基于深度学习的交通设施地图生成方法与***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING ET AL., MASK R-CNN, 2017
REDMON ET AL., YOLO V3: AN INCREMENTAL IMPROVEMENT, 2018

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4300053A1 (fr) 2022-07-01 2024-01-03 Airbus Helicopters Procede d'apprentissage d'au moins un modele d'intelligence artificielle d'estimation en vol de la masse d'un aeronef a partir de donnees d'utilisation
FR3137447A1 (fr) * 2022-07-01 2024-01-05 Airbus Helicopters Procédé d’apprentissage d’au moins un modèle d’intelligence artificielle d’estimation en vol de la masse d’un aéronef à partir de données d’utilisation

Also Published As

Publication number Publication date
US20210158157A1 (en) 2021-05-27
FR3103047B1 (fr) 2021-11-26

Similar Documents

Publication Publication Date Title
FR3103047A1 (fr) Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
US9702830B1 (en) Pavement marking determination
EP3657213B1 (fr) Procede d'apprentissage d'un reseau de neurones embarque dans un aeronef pour l'aide a l'atterrissage dudit aeronef et serveur pour la mise en oeuvre d'un tel procede
US11430224B2 (en) Systems and methods for camera-LiDAR fused object detection with segment filtering
FR3103048A1 (fr) Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
CN106503653A (zh) 区域标注方法、装置和电子设备
Li et al. Toward automated power line corridor monitoring using advanced aircraft control and multisource feature fusion
GB2493249A (en) Context searching in images for target object
FR3003989A1 (fr) Procede pour localiser et guider un vehicule par voie optique par rapport a un aeroport
FR3054357A1 (fr) Procede et dispositif de determination de la position d'un aeronef lors d'une approche en vue d'un atterrissage
EP3226062A1 (fr) Procede de representation synthetique d elements d'interet dans un systeme de visualisation pour aeronef
DE112021005607T5 (de) Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion
US20220215759A1 (en) Flight leg termination visualization systems and methods for flight leg termination visualization
EP4055343A1 (fr) Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
Dersch et al. Towards complete tree crown delineation by instance segmentation with Mask R–CNN and DETR using UAV-based multispectral imagery and lidar data
EP3656681A1 (fr) Dispositif et procede d'aide a l'atterrissage d'un aeronef par conditions de visibilite reduite
WO2021089536A1 (fr) Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
FR3112013A1 (fr) Procédé et dispositif d’aide à la conduite d’un aéronef se déplaçant au sol.
US9584791B1 (en) Image misalignment correcting system, device, and method
FR3103040A1 (fr) Procede et dispositif de gestion securisee d'une banque d'images pour l'aide a l'atterrissage d'aeronef
FR3093573A1 (fr) Procédé et système de mise à jour automatique d’au moins une base de données aéroportuaires
EP3578926B1 (fr) Procédé de sécurisation du fonctionnement d'un système de vision synthétique d'un aéronef, produit programme d'ordinateur et système associés
KR102616435B1 (ko) 지도 갱신 방법 및 이를 실행하기 위하여 기록매체에기록된 컴퓨터 프로그램
US20240144435A1 (en) Method for generate training data for transportation facility and computer program recorded on record-medium for executing method therefor
US20220128700A1 (en) Systems and methods for camera-lidar fused object detection with point pruning

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210514

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5