FR3065545B1 - Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes - Google Patents

Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes Download PDF

Info

Publication number
FR3065545B1
FR3065545B1 FR1700451A FR1700451A FR3065545B1 FR 3065545 B1 FR3065545 B1 FR 3065545B1 FR 1700451 A FR1700451 A FR 1700451A FR 1700451 A FR1700451 A FR 1700451A FR 3065545 B1 FR3065545 B1 FR 3065545B1
Authority
FR
France
Prior art keywords
signal
user
detected
command
control mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
FR1700451A
Other languages
English (en)
Other versions
FR3065545A1 (fr
Inventor
Stephanie LAFON
Francois Michel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1700451A priority Critical patent/FR3065545B1/fr
Priority to US15/951,828 priority patent/US20180307323A1/en
Publication of FR3065545A1 publication Critical patent/FR3065545A1/fr
Application granted granted Critical
Publication of FR3065545B1 publication Critical patent/FR3065545B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ce procédé de détection d'un signal d'un utilisateur pour générer au moins une instruction de commande d'un équipement avionique d'un aéronef est mis en oeuvre par un dispositif électronique de détection. Il comprend la détection (100) d'un premier signal de l'utilisateur, et la détermination (110), en fonction du premier signal détecté, d'un mode de commande parmi une pluralité de modes de commande. Il comprend la détection (130) d'un deuxième signal de l'utilisateur, distinct du premier signal, et la confirmation (140) du mode de commande déterminé, en fonction du deuxième signal détecté. Il comprend la détection (160) d'un troisième signal de l'utilisateur, distinct du deuxième signal, et la sélection (170), en fonction du troisième signal détecté, d'une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé. Au moins un signal parmi les premier, deuxième et troisième signaux détectés est un signal gestuel.

Description

Procédé de détection d’un signal d’un utilisateur pour générer au moins une instruction de commande d’un équipement avionique d’un aéronef, programme d’ordinateur et dispositif électronique associés
La présente invention concerne un procédé de détection d’un signal d’un utilisateur pour générer au moins une instruction de commande d’un équipement avionique d’un aéronef, le procédé étant mis en œuvre par un dispositif électronique de détection. L’invention concerne également un produit programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé de détection. L’invention concerne également un dispositif électronique de détection d’un signal d’un utilisateur pour générer au moins une instruction de commande d’un équipement avionique d’un aéronef. L’invention concerne alors le domaine des interfaces homme-machine, également appelées IHM ou MMI (de l’anglais Man-Machine Interface) pour la commande d’un équipement avionique d’un aéronef, de préférence destinées à être implantées dans un cockpit d'aéronef.
Les cockpits d'aéronefs sont habituellement équipés de différents moyens interactifs qui permettent à un utilisateur d’interagir avec l’aéronef, dans le but d’effectuer une commande, telle qu’une commande de pilotage ou une modification de l’affichage sur un écran d’affichage. L’ensemble de ces moyens interactifs forme alors un dispositif de détection de signaux de l’utilisateur, également appelé interface homme-système, ou encore IHS. A titre d’exemple, les cockpits d’avions comportent des moyens interactifs, généralement mécaniques, de type rotacteur, contacteur, boutons poussoirs ou encore interrupteurs.
En complément, des moyens interactifs tactiles permettent d’effectuer une commande par un simple toucher sur une surface tactile. Il est notamment connu d’intégrer de telles surfaces tactiles à un afficheur. FR 2 695 745 décrit un dispositif de détection de signaux gestuels. Les signaux gestuels successifs sont détectés par des capteurs équipant un gant porté par l’utilisateur, puis un mode de commande est déterminé pour sélectionner une instruction de commande associée.
Avec un tel un dispositif de détection, l’utilisateur doit toutefois porter un grand spécifique, et les risques de commande erronée ou involontaire sont en outre relativement élevés.
Un but de l’invention est alors de proposer un procédé de détection d’un signal d’un utilisateur, et un dispositif électronique associé, qui soient ergonomiques et faciles à mettre en œuvre, tout en limitant le risque de commande involontaire de l’utilisateur. A cet effet, l’invention a pour objet un procédé de détection d’un signal d’un utilisateur pour générer au moins une instruction de commande d’un équipement avionique d’un aéronef, le procédé étant mis en œuvre par un dispositif électronique de détection et comprenant : - détection d’un premier signal de l’utilisateur ; - détermination, en fonction du premier signal détecté, d’un mode de commande parmi une pluralité de modes de commande, au moins une instruction de commande étant associée à chaque mode de commande ; - détection d’un deuxième signal de l’utilisateur, le deuxième signal étant distinct du premier signal ; - confirmation du mode de commande déterminé, en fonction du deuxième signal détecté ; - détection d’un troisième signal de l’utilisateur, le troisième signal étant distinct du deuxième signal ; et - sélection, en fonction du troisième signal détecté, d’une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé ; au moins un signal parmi les premier, deuxième et troisième signaux détectés étant un signal gestuel.
Ainsi, avec le procédé de détection selon l’invention, la détection d’un deuxième signal, distinct du premier signal, permet de confirmer le mode de commande préalablement déterminé, et de réduire alors un risque d’erreur relatif à la détermination du mode de commande.
Suivant d’autres aspects avantageux de l’invention, le procédé comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : - chaque signal détecté est un signal choisi parmi le groupe consistant : un signal gestuel, un signal vocal, un signal visuel et un signal physiologique ; - suite à la détermination du mode de commande, le procédé comprend en outre l’affichage d’un indicateur, l’indicateur indiquant le mode de commande déterminé ; - suite à la confirmation du mode de commande, le procédé comprend en outre l’indication de la confirmation du mode de commande ; - lorsque le signal est un signal gestuel, la détection du signal comporte la mesure de coordonnées de la position et de l’orientation d’un élément du corps humain de l’utilisateur dans un repère géométrique prédéterminé ; - le signal est un signal gestuel, la détection du signal comporte en outre une transformation géométrique de vecteurs de position et d’orientation résultant de la mesure des coordonnées de la position et de l’orientation de l’élément du corps humain, en vecteurs de position et d’orientation transformés, la transformation géométrique correspondant à un changement de repère d’un premier repère prédéterminé vers un deuxième repère distinct du premier repère, le deuxième repère étant associé au champ visuel de l’utilisateur ; - le premier signal détecté est un signal gestuel ; de préférence le pointage d’un doigt de l’utilisateur vers une zone prédéfinie ; et - l’instruction de commande est une instruction de modification d’un affichage de données ; de préférence un agrandissement d’une zone d’affichage, un rétrécissement d’une zone d’affichage, ou encore un déplacement d’une zone d’affichage. L’invention a également pour objet un produit programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé tel que défini ci-dessus. L’invention a également pour objet un dispositif électronique de détection d’un signal d’un utilisateur pour générer au moins une instruction de commande d’un équipement avionique d’un aéronef, le dispositif comprenant : - un premier module de détection configuré pour détecter un premier signal de l’utilisateur ; - un module de détermination configuré pour déterminer, en fonction du premier signal détecté, un mode de commande parmi une pluralité de modes de commande, au moins une instruction de commande étant associée à chaque mode de commande ; - un deuxième module de détection configuré pour détecter un deuxième signal de l’utilisateur, le deuxième signal étant distinct du premier signal ; - un module de confirmation configuré pour confirmer le mode de commande déterminé, en fonction du deuxième signal détecté ; - un troisième module de détection configuré pour détecter un troisième signal de l’utilisateur, le troisième signal étant distinct du deuxième signal ; et - un module de sélection configuré pour sélectionner, en fonction du troisième signal détecté, une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé ; au moins un signal parmi les premier, deuxième et troisième signaux détectés étant un signal gestuel.
Ces caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple, et faite en référence aux dessins annexés, sur lesquels : - la figure 1 est une représentation schématique d’un dispositif électronique de détection, selon l’invention, configuré pour détecter un signal d’un utilisateur afin de générer au moins une instruction de commande d’un équipement avionique d’un aéronef ; - la figure 2 est un organigramme d’un procédé, selon l’invention, de détection d’un signal de l’utilisateur pour générer au moins une instruction de commande de l’équipement avionique de la figure 1 ; et - les figures 3 à 7 sont des vues schématiques de cas d’utilisation respectifs, mettant en œuvre le dispositif de détection de la figure 1.
Sur la figure 1, un dispositif électronique de détection 10 est configuré pour détecter un signal d’un utilisateur 12 afin de générer ensuite au moins une instruction de commande d’un équipement avionique 14 d’un aéronef. L’aéronef est de préférence un avion. En variante, l’aéronef est un hélicoptère ou encore un drone piloté à distance par un pilote.
Le dispositif électronique de détection 10 comprend un premier module de détection 16 configuré pour détecter un premier signal de l’utilisateur 12, et un module de détermination 18 configuré pour déterminer, en fonction du premier signal détecté, un mode de commande parmi une pluralité de modes de commande, au moins une instruction de commande étant associée à chaque mode de commande. Le mode de commande est également appelé contexte d’emploi.
Le dispositif électronique de détection 10 comprend un deuxième module de détection 20 configuré pour détecter un deuxième signal de l’utilisateur 12, le deuxième signal étant distinct du premier signal, et un module de confirmation 22 configuré pour confirmer le mode de commande déterminé, en fonction du deuxième signal détecté.
Le dispositif électronique de détection 10 comprend un troisième module de détection 24 configuré pour détecter un troisième signal de l’utilisateur, le troisième signal étant distinct du deuxième signal, et un module de sélection 26 configuré pour sélectionner, en fonction du troisième signal détecté, une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé.
En complément facultatif, le dispositif électronique de détection 10 comprend en outre un module d’affichage 28. Le module d’affichage 28 est par exemple configuré pour afficher, suite à la détermination du mode de commande, un indicateur indiquant le mode de commande déterminé, ou encore configuré pour afficher, suite à la confirmation du mode de commande, une indication de la confirmation du mode de commande.
Dans l’exemple de la figure 1, le dispositif électronique de détection 10 comprend une unité de traitement d’informations 30 formée par exemple d’un processeur 32 associé à une mémoire 34.
Dans l’exemple de la figure 1, le dispositif électronique de détection 10 est relié à un ensemble de capteur(s) 36 pour la détection des premier, deuxième et troisième signaux de l’utilisateur 12, l’ensemble de capteur(s) 36 étant notamment connecté aux premier, deuxième et troisième modules de détection 16, 20, 24. L'ensemble de capteur(s) 36 comporte au moins un capteur.
Dans l’exemple de la figure 1, le premier module de détection 16, le module de détermination 18, le deuxième module de détection 20, le module de confirmation 22, le troisième module de détection 24 et le module de sélection 26, ainsi qu’en complément facultatif le module d’affichage 28, sont réalisés chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutable par le processeur 32. La mémoire 34 du dispositif de détection 10 est alors apte à stocker un premier logiciel de détection configuré pour détecter le premier signal de l’utilisateur 12 et un logiciel de détermination configuré pour déterminer, en fonction du premier signal détecté, le mode de commande, ou contexte d’emploi, parmi la pluralité de modes de commande, ou contextes d’emploi. La mémoire 34 est également apte à stocker un deuxième logiciel de détection configuré pour détecter le deuxième signal de l’utilisateur 12 et un logiciel de confirmation configuré pour confirmer le mode de commande déterminé, en fonction du deuxième signal détecté. La mémoire 34 est également apte à stocker un troisième logiciel de détection configuré pour détecter le troisième signal de l’utilisateur et un logiciel de sélection configuré pour sélectionner, en fonction du troisième signal détecté, l’instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé. En complément facultatif, la mémoire 34 est apte à stocker un logiciel d’affichage, par exemple configuré pour afficher, suite à la détermination du mode de commande, l’indicateur indiquant le mode de commande déterminé, ou encore pour afficher, suite à la confirmation du mode de commande, l’indication de la confirmation du mode de commande. Le processeur 32 est alors apte à exécuter chacun des logiciels parmi le premier logiciel de détection, le logiciel de détermination, le deuxième logiciel de détection, le logiciel de confirmation, le troisième logiciel de détection et le logiciel de sélection, ainsi qu’en complément facultatif le logiciel d’affichage.
En variante non représentée, le premier module de détection 16, le module de détermination 18, le deuxième module de détection 20, le module de confirmation 22, le troisième module de détection 24 et le module de sélection 26, ainsi qu’en complément facultatif le module d’affichage 28, sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gâte Array), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application Spécifie Integrated Circuit).
Lorsque le dispositif de détection 10 est réalisé sous forme d’un ou plusieurs logiciels, c’est-à-dire en forme d’un programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est, par exemple, un médium adapté à mémoriser des instructions électroniques et capable d’être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est une disquette ou disque souple, (de la dénomination anglaise Floppy disk), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non volatile (par exemple, EPROM, EEPROM, FLASH, NVRAM) une carte magnétique ou une carte optique. Sur le support lisible est alors mémorisé un programme d’ordinateur comprenant des instructions logicielles.
Au moins un signal parmi les premier, deuxième et troisième signaux détectés est un signal gestuel de l’utilisateur 12. Chaque signal détecté de l’utilisateur 12 est de préférence un signal choisi parmi le groupe consistant : un signal gestuel, un signal vocal, un signal visuel et un signal physiologique.
Par signal gestuel, on entend un geste effectué par l’utilisateur 12, c’est-à-dire un mouvement de l’un de ses membres. Le signal gestuel est, par exemple, un pointage d’un doigt de l’utilisateur 12 vers une zone prédéfinie, un mouvement d’une main 40, ou un mouvement d’un avant-bras, ou encore un mouvement d’un bras de l’utilisateur 12. Chaque signal gestuel est par exemple perçu, ou capté, par un capteur de mouvement ou encore un capteur d’images de l’ensemble de capteur(s) 36.
Par signal vocal, on entend un signal sonore émis par l’utilisateur 12, en particulier par ses cordes vocales. Chaque signal vocal est par exemple perçu, ou capté, par un capteur sonore, tel qu’un microphone acoustique, ou encore par un microphone ostéophonique placé au contact du visage de l’utilisateur 12.
Par signal visuel, on entend un signal généré par un œil ou les deux yeux de l’utilisateur 12, par un exemple un mouvement du regard de l’utilisateur 12 ou encore un clignement d’œil ou d’yeux de l’utilisateur 12. Chaque signal visuel est par exemple perçu, ou capté, par un capteur de suivi du regard.
Par signal physiologique, on entend un signal physiologique de l’utilisateur 12, tel qu’un pouls, des pulsations cardiaques de l’utilisateur 12. Chaque signal physiologique est perçu, ou capté, par un capteur physiologique, tel qu’un capteur cardiaque ou encore un accéléromètre disposé au contact de l’utilisateur 12.
Dans l’exemple de la figure 1, l’équipement avionique 14 est relié au dispositif de détection 10, et comporte un écran d’affichage 42. L'écran d’affichage 42 est configuré pour afficher des informations relatives au fonctionnement de l’équipement avionique, et est en outre, en complément facultatif, configuré pour afficher les informations issues du module d’affichage 28, telles que l’indicateur indiquant le mode de commande déterminé et/ou l’indication de la confirmation du mode de commande. L’ensemble de capteur(s) 36 comporte de préférence au moins deux capteurs, à savoir un premier capteur disposé à proximité de l’écran d’affichage 42, par exemple à moins de 30 cm de l’écran d’affichage 42, et un deuxième capteur disposé à distance de l’écran d’affichage 42, de préférence à au moins 50 cm de l’écran d’affichage 42, par exemple à un mètre de l’écran d’affichage 42.
Le premier capteur est alors configuré pour capter un signal de l’utilisateur 12 sous forme d'une désignation directe, le signal de l’utilisateur 12, tel qu'un signal gestuel, étant alors dirigé vers l’écran d’affichage 42.
Le deuxième capteur est alors configuré pour capter un signal de l’utilisateur 12 sous forme d’une désignation déportée, le signal de l’utilisateur 12, tel qu’un signal gestuel, étant alors dirigé vers le deuxième capteur, à l’écart de l’écran d’affichage 42.
Lorsque le signal de l’utilisateur 12 est un signal gestuel, chaque module de détection 16, 20, 24 est configuré pour mesurer des coordonnées de la position et de l’orientation d’un élément du corps humain de l’utilisateur 12 dans un repère géométrique prédéterminé, telles que les coordonnées de la position et l’orientation d’une de ses mains 40.
En complément facultatif, lorsque le signal de l’utilisateur 12 est un signal gestuel et notamment en cas de désignation déportée, chaque module de détection 16, 20, 24 est configuré en outre pour effectuer une transformation géométrique de vecteurs de position et d’orientation résultant de la mesure des coordonnées de la position et de l’orientation de l’élément du corps humain, en vecteurs de position et d’orientation transformés. La transformation géométrique correspond à un changement de repère d’un premier repère prédéterminé vers un deuxième repère distinct du premier repère, le deuxième repère étant associé au champ visuel de l’utilisateur 12. En cas de désignation déportée, le premier repère prédéterminé est alors le repère associé au deuxième capteur, dans lequel est capté le signal gestuel de l’utilisateur 12.
Le module de sélection 26 est configuré pour sélectionner l’instruction de commande de l’équipement avionique 14 à partir du troisième signal détecté, telle qu’une instruction de modification d’un affichage de données, de préférence un agrandissement d’une zone affichée, un rétrécissement d’une zone affichée, ou encore un déplacement d’une zone affichée.
Le fonctionnement du dispositif de détection 10 selon l’invention va désormais être expliqué à l’aide de la figure 2 représentant un organigramme du procédé, selon l’invention, de détection d’un signal de l’utilisateur 12 pour générer au moins une instruction de commande de l’équipement avionique 14, le procédé étant mis en œuvre par le dispositif électronique de détection 10.
Lors d’une étape initiale 100, le dispositif de détection 10 détecte, via son premier module de détection 16, un premier signal de l’utilisateur 12. Le premier signal détecté est de préférence un signal gestuel, ainsi que cela sera expliqué plus en détails ci-après en regard des exemples des figures 3 à 7.
Le dispositif de détection 10 détermine ensuite, via son module de détermination 18 et lors de l’étape 110, un mode de commande parmi une pluralité de modes de commande, cette détermination étant faite à partir du premier signal qui a été détecté lors de l’étape initiale 100. Le mode de commande correspond à un contexte d’emploi, en fonction duquel vont être interprétés les signaux ultérieurs de l’utilisateur 12, et au moins une instruction de commande est associée à chaque mode de commande, ou contexte d’emploi.
Suite à la détermination du mode de commande 110, le dispositif de détection 10 affiche, en complément facultatif lors de l’étape 120 et via son module d’affichage 28, l’indicateur indiquant le mode de commande déterminé. Cet affichage de l’indicateur permet alors à l’utilisateur 12 d’avoir un retour du dispositif de détection 10 quant au mode de commande déterminé, c’est-à-dire le contexte d’emploi dans lequel vont être interprétés ses signaux ultérieurs.
Lors de l’étape suivante 130, le dispositif de détection 10 détecte, via son deuxième module de détection 20, le deuxième signal de l’utilisateur 12, le deuxième signal étant distinct du premier signal.
Bien qu’étant distinct du premier signal, le deuxième signal peut, tout à fait, être de même type que le premier signal, le type du signal étant par exemple gestuel, vocal, visuel ou encore physiologique, comme indiqué précédemment. Autrement dit, les premier et deuxième signaux de l’utilisateur 12 sont par exemple des signaux gestuels, tout en étant des signaux distincts.
Le dispositif de détection 10 confirme ensuite, via son module de confirmation 22 et lors de l’étape 140, le mode de commande déterminé, la confirmation étant effectuée à partir du deuxième signal qui a été détecté lors de l’étape précédente 130.
Suite à la confirmation du mode de commande 140, le dispositif de détection 10 indique, en complément facultatif lors de l’étape 150, la confirmation du mode de commande. Cette indication de la confirmation du mode de commande est par exemple affichée sur l’écran 42 via le module d’affichage 28. En variante, cette indication de la confirmation du mode de commande est émise sous forme d’un signal lumineux, par exemple via un voyant lumineux, ou encore sous forme d’un signal sonore, ou encore sous forme d’un signal mécanique, tel qu’une vibration.
Cette indication de la confirmation du mode de commande permet alors à l’utilisateur 12 d’avoir un retour du dispositif de détection 10 quant à la confirmation du mode de commande, c’est-à-dire quant à la confirmation du contexte d’emploi, dans lequel va être interprété le troisième signal pour l’envoi de l’instruction de commande souhaitée, à destination de l’équipement avionique 14 correspondant.
Lors de l’étape suivante 160, le dispositif de détection 10 détecte, via son troisième module de détection 24, le troisième signal de l’utilisateur 12, le troisième signal étant distinct du deuxième signal.
Bien qu’étant distinct du deuxième signal, le troisième signal peut, tout à fait, être de même type que le deuxième signal. Autrement dit, les deuxième et troisième signaux de l’utilisateur 12 sont par exemple des signaux gestuels, tout en étant des signaux distincts.
Les premier, deuxième et troisième signaux sont de préférence des signaux distincts les uns des autres, afin de limiter les risques de confusion entre signaux par le dispositif de détection 10. De manière analogue, bien qu’étant distincts les uns des autres, les premier, deuxième et troisième signaux peuvent tout à fait être tous de même type. Les premier, deuxième et troisième signaux sont, par exemple, tous des signaux gestuels.
Au moins un signal parmi les premier, deuxième et troisième signaux détectés est un signal gestuel.
Le dispositif de détection 10 sélectionne enfin, via son module de sélection 26 et lors de l’étape 170, une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé, cette sélection étant faite à partir du troisième signal qui a été détecté lors de l’étape précédente 160. L’instruction de commande sélectionnée est, par exemple, une instruction de modification d’un affichage de données, de préférence un agrandissement d’une zone d’affichage, un rétrécissement d’une zone d’affichage, ou encore un déplacement d’une zone d’affichage.
Lorsque le signal détecté parmi les premier, deuxième et troisième signaux est un signal gestuel, la détection du signal 100, 130, 160 correspondante comporte la mesure de coordonnées de la position et de l’orientation d’un élément du corps humain de l’utilisateur 12 dans un repère géométrique prédéterminé.
En complément facultatif, lorsque le signal détecté parmi les premier, deuxième et troisième signaux est un signal gestuel et notamment en cas de désignation déportée, la détection du signal 100, 130, 160 correspondante comporte en outre une transformation géométrique de vecteurs de position et d’orientation résultant de la mesure des coordonnées de la position et de l’orientation de l’élément du corps humain, en vecteurs de position et d’orientation transformés. La transformation géométrique correspond à un changement de repère du premier repère prédéterminé vers un deuxième repère distinct du premier repère, le deuxième repère étant associé au champ visuel de l’utilisateur 12. L’homme du métier comprendra alors que le premier repère prédéterminé correspond alors au repère dans lequel est effectuée la détection du signal gestuel correspondant, en désignation déportée.
Dans l’exemple de la figure 3, l’utilisateur 12 désigne avec sa main 40, de préférence avec un doigt, selon la direction D1, une zone Z affichée sur l’écran d’affichage 42, telle qu’un format tactile, qui lui semble trop éloignée de sa main 40. Le pointage de la zone Z avec la main 40 ou avec le doigt est alors le premier signal de l’utilisateur 12. Puis, l’utilisateur 12 ferme par exemple le poing pour confirmer le mode de commande, ou contexte d’emploi. Ceci permet alors de sécuriser l'entrée dans le mode commande choisi via le premier signal. La fermeture du poing est alors le deuxième signal de l’utilisateur 12. En variante, le deuxième signal de l’utilisateur 12 est une rotation du poignet, ou encore par exemple un signal sonore émis par l’utilisateur 12.
Il déplace ensuite suivant la flèche F1 sa main 40 en direction de l’emplacement où il souhaite déplacer la zone Z, en pointant selon la direction D2 le nouvel emplacement souhaité de la zone Z. Le mouvement de la main est alors le troisième signal de l’utilisateur 12. En variante, le troisième signal de l’utilisateur 12 est un signal vocal, tel que le nom d’un autre écran du cockpit, pour déplacer la zone Z vers cet autre écran.
Dans un exemple analogue à celui de la figure 3, lorsque la zone Z, vers laquelle pointe selon la direction D1 l’utilisateur 12, contient une valeur, alors la succession précitée de signaux permet d’effectuer un copier de ladite valeur, puis un coller au nouvel emplacement souhaité selon la direction D2.
Dans l’exemple des figures 4 à 6, l’utilisateur 12 commence par désigner avec sa main 40, de préférence avec un doigt, une zone de l’écran d’affichage 42. Le pointage de l’écran 42 avec la main 40 ou avec le doigt est alors le premier signal de l’utilisateur 12. Puis, l’utilisateur 12 effectue un autre geste, tel qu’une fermeture du poing, ou encore émet un signal sonore, comme deuxième signal pour confirmer le mode de commande qui a été déterminé via le premier signal. Cet autre geste, telle que la fermeture du poing, est alors le deuxième signal de l’utilisateur 12. Enfin, l’utilisateur 12 approche sa main 40 de l’écran d’affichage 42 suivant la flèche F2 dans l’exemple de la figure 4, respectivement suivant la flèche F3 dans l’exemple de la figure 5, et respectivement suivant la flèche F4 dans l’exemple de la figure 6. Le mouvement de la main suivant la flèche F2, respectivement suivant la flèche F3, et respectivement suivant la flèche F4, est alors le troisième signal de l’utilisateur 12.
Dans l’exemple de la figure 4, lorsque l’utilisateur 12 approche sa main 40 d'un clavier C, alors ce troisième signal entraîne un agrandissement du clavier C sur l’écran d’affichage 42, ce qui facilite l'interaction de l’utilisateur 12 avec l’équipement avionique 14, notamment en cas de turbulences.
Dans l’exemple de la figure 5, lorsque l’utilisateur 12 approche sa main d’un ensemble d’indicateurs trop proches les uns des autres, comme par exemple un ensemble de points de passage W sur un écran de navigation, alors ce troisième signal entraîne un agrandissement local de l’ensemble d’indicateurs, ce qui permet de faciliter la sélection tactile d’un indicateur en particulier.
Dans l’exemple de la figure 6, lorsque l’utilisateur 12 approche sa main 40 de l’écran 42 alors ce troisième signal entraîne l’apparition, c’est-à-dire l’ouverture, d’un menu M dédié, tel qu’un menu d’objets graphiques, pour éviter de multiplier les appuis tactiles.
Dans l’exemple de la figure 7, l’utilisateur 12 observe un écran via un casque en réalité augmentée, et effectue un premier signal gestuel en désignation déportée, par exemple avec sa main 40 positionnée dans le prolongement de l’accoudoir. Le pointage en désignation déportée, avec la main 40 ou avec le doigt, est alors le premier signal de l’utilisateur 12. Puis, l’utilisateur 12 ferme par exemple le poing pour confirmer le mode de commande, ou autrement dit pour sécuriser l'entrée en mode commande. La fermeture du poing est alors le deuxième signal de l’utilisateur 12. En variante, le deuxième signal de l’utilisateur 12 est une rotation du poignet, ou encore un signal sonore de l’utilisateur 12, tel qu’un signal vocal. L’utilisateur 12 désigne alors des objets de l’écran qu’il observe dans le casque, la désignation se faisant, dans ce cas et comme indiqué précédemment, avec une fonction de transfert permettant de pointer les objets de l’écran de manière déportée. Le casque de réalité virtuelle affiche en outre un retour visuel D indiquant à chaque instant l’objet désigné, par exemple via un mouvement de la main suivant la flèche F5. Le mouvement de la main est alors le troisième signal de l’utilisateur 12, et permet, par exemple et de manière analogue aux exemples précédentes en regard de la figure 3, d’effectuer un copier/coller ou un déplacement d’une zone d’affichage ou d’informations vers d'autres afficheurs du cockpit, notamment en tête basse ou en tête haute du co-pilote pour du partage d’information(s). L’homme du métier comprendra que le dispositif de détection 10 a de nombreuses applications permettant de faciliter l’interaction de l’utilisateur 12 avec différents équipements avioniques 14, comme dans les exemples complémentaires suivants : - interactions avec un système de gestion de vol, également appelé FMS (de l’anglais Flight Management System) : o ouverture de menu(s), copier-coller : pour la saisie et/ou la modification du plan de vol (points de passage, contraintes, procédures terminales ou en route) ou de la trajectoire latérale ou verticale (fil continu qui relie les points de passage), o ouverture de menu(s), copier-coller, agrandissement local : affichage et/ou sélection d’aéroports de déroutement, de points de décision (points équivalents en temps de parcours, points de non-retour), de balises de radionavigation ; interactions avec une fonction météo du système de gestion de vol ou d’un système radar météo ou encore d’un sac de vol électronique, également appelé EFB (de l’anglais Electronic Flight Bag), ou interaction avec un système de surveillance de terrain, également appelé TAWS (de l’anglais Terrain Awareness and Warning System), ou interaction avec un système de surveillance de trafic, également appelé TCAS (de l’anglais Traffic alert and Collision Avoidance System) : o agrandissement local sur des cellules météos (orages, cumulonimbus, jetstreams, etc.) en deux ou trois dimensions, sur des zones géographiques, sur des zones d’espace aérien, o agrandissement / réduction d’une carte aéronautique, déplacement(s) sur la carte aéronautique, agrandissement local de la carte aéronautique, sélection et/ou copier-copier d’objets de la carte aéronautique ; - interactions avec un système de gestion de radios, également appelé RMS (de l’anglais Radio Management System) : o ouverture de menu(s), copier/coller : pour la saisie et/ou modification de fréquences radio ; - interactions avec un équipement de gestion du roulage, également appelé ANF (de l’anglais Airport Navigation Function) : o ouverture de menu(s), copier-coller : saisie et/ou modification du plan de roulage (dit aussi plan de cheminement) : portes, taxiways, pistes, contraintes de passage, sens uniques ; - interactions avec un pilote automatique : o ouverture de menu(s), copier-coller : saisie et/ou modification de consignes de vitesse, d’altitude, de roulis, etc., afin d’activer des modes de guidage sur les 3 axes de l'aéronef ; - interactions avec un système d’affichage : o défilement de pages, ouverture de sous-menu(s) (moteurs, électronique, hydraulique ...) ; - interactions avec un système d’alerte de vol, également appelé FWS (de l’anglais Flight Warning System) : o ouverture de menu(s), copier/coller : pour affichage et/ou sélection d’une procédure à exécuter (liste d’actions à réaliser), pour validation d’actions ; - interactions avec de multiples systèmes avioniques : o sélection par déplacement, agrandissement local d’une zone sur une carte aéronautique (sur EFB par exemple), puis « copier » d’une fréquence radio correspondant à un espace aérien sur la carte aéronautique en question, puis sélection du format RMS (Radio), ouverture du menu de saisie de fréquence vocale du RMS, et « coller » de la fréquence ; o sélection du format FMS, « copier » de la trajectoire ou du plan de vol, puis sélection du format météo, « coller » du plan de vol et ouverture du menu météo commandant l’affichage des vents/températures autour dudit plan de vol, « copier » de la liste des vents/températures, sélection du format FMS, « coller » des vents/températures dans le FMS ; et o sélection par déplacement/zoom local d’une zone météo à éviter sur affichage météo, puis « copier » de la forme géométrique à éviter, puis sélection du format FMS, ouverture d’un menu de calcul de plan de vol de déroutement local météo, et « coller » de la zone météo, entraînant le calcul d'un nouveau plan de vol par le FMS pour éviter la zone.
On conçoit ainsi que le procédé de détection d’un signal d’un utilisateur selon l’invention, et le dispositif électronique de détection 10 associé, sont ergonomiques et faciles à mettre en œuvre, tout en limitant le risque de commande involontaire de l’utilisateur.
Le dispositif de détection 10 permet alors de faciliter la commande par l’utilisateur 12 du ou des équipements avioniques 14 reliés au dispositif de détection 10.

Claims (10)

  1. REVENDICATIONS
    1. Procédé de détection d’un signal d’un utilisateur (12) pour générer au moins une instruction de commande d’un équipement avionique (14) d’un aéronef, le procédé étant mis en œuvre par un dispositif électronique de détection (10) et comprenant : - détection (100) d’un premier signal de l’utilisateur (12) ; - détermination (110), en fonction du premier signal détecté, d’un mode de commande parmi une pluralité de modes de commande, au moins une instruction de commande étant associée à chaque mode de commande ; - détection (130) d’un deuxième signal de l’utilisateur (12), le deuxième signal étant distinct du premier signal ; - confirmation (140) du mode de commande déterminé, en fonction du deuxième signal détecté ; - détection (160) d’un troisième signal de l’utilisateur (12), le troisième signal étant distinct du deuxième signal ; et - sélection (170), en fonction du troisième signal détecté, d’une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé ; au moins un signal parmi les premier, deuxième et troisième signaux détectés étant un signal gestuel.
  2. 2. Procédé selon la revendication 1, dans lequel chaque signal détecté est un signal choisi parmi le groupe consistant : un signal gestuel, un signal vocal, un signal visuel et un signal physiologique.
  3. 3. Procédé selon l’une quelconque des revendications précédentes, dans lequel, suite à la détermination (110) du mode de commande, le procédé comprend en outre : - affichage (120) d’un indicateur, l’indicateur indiquant le mode de commande déterminé.
  4. 4. Procédé selon l’une quelconque des revendications précédentes, dans lequel, suite à la confirmation (140) du mode de commande, le procédé comprend en outre : - indication (150) de la confirmation du mode de commande.
  5. 5. Procédé selon l’une quelconque des revendications précédentes, dans lequel, lorsque le signal est un signal gestuel, la détection du signal (100, 130, 160) comporte la mesure de coordonnées de la position et de l’orientation d’un élément du corps humain de l’utilisateur (12) dans un repère géométrique prédéterminé.
  6. 6. Procédé selon la revendication 5, dans lequel, lorsque le signal est un signal gestuel, la détection du signal (100, 130, 160) comporte en outre une transformation géométrique de vecteurs de position et d’orientation résultant de la mesure des coordonnées de la position et de l’orientation de l’élément du corps humain, en vecteurs de position et d’orientation transformés, la transformation géométrique correspondant à un changement de repère d’un premier repère prédéterminé vers un deuxième repère distinct du premier repère, le deuxième repère étant associé au champ visuel de l’utilisateur (12).
  7. 7. Procédé selon l’une quelconque des revendications précédentes, dans lequel le premier signal détecté est un signal gestuel, de préférence le pointage d’un doigt de l’utilisateur (12) vers une zone prédéfinie.
  8. 8. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’instruction de commande est une instruction de modification d’un affichage de données, de préférence un agrandissement d’une zone d’affichage, un rétrécissement d’une zone d’affichage, ou encore un déplacement d’une zone d’affichage.
  9. 9. Programme d'ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé selon l'une quelconque des revendications précédentes.
  10. 10. Dispositif électronique (10) de détection d’un signal d’un utilisateur (12) pour générer au moins une instruction de commande d’un équipement avionique (14) d’un aéronef, le dispositif (10) comprenant : - un premier module de détection (16) configuré pour détecter un premier signal de l’utilisateur (12) ; - un module de détermination (18) configuré pour déterminer, en fonction du premier signal détecté, un mode de commande parmi une pluralité de modes de commande, au moins une instruction de commande étant associée à chaque mode de commande ; - un deuxième module de détection (20) configuré pour détecter un deuxième signal de l’utilisateur (12), le deuxième signal étant distinct du premier signal ; - un module de confirmation (22) configuré pour confirmer le mode de commande déterminé, en fonction du deuxième signal détecté ; - un troisième module de détection (24) configuré pour détecter un troisième signal de l’utilisateur (12), le troisième signal étant distinct du deuxième signal ; et - un module de sélection (26) configuré pour sélectionner, en fonction du troisième signal détecté, une instruction de commande parmi la ou les instructions de commandes associées au mode de commande confirmé ; au moins un signal parmi les premier, deuxième et troisième signaux détectés étant un signal gestuel.
FR1700451A 2017-04-25 2017-04-25 Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes Active FR3065545B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1700451A FR3065545B1 (fr) 2017-04-25 2017-04-25 Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
US15/951,828 US20180307323A1 (en) 2017-04-25 2018-04-12 Method for detecting a signal from a user to generate at least one control instruction for controlling avionics equipment of an aircraft, related computer program and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1700451A FR3065545B1 (fr) 2017-04-25 2017-04-25 Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
FR1700451 2017-04-25

Publications (2)

Publication Number Publication Date
FR3065545A1 FR3065545A1 (fr) 2018-10-26
FR3065545B1 true FR3065545B1 (fr) 2019-06-28

Family

ID=60182602

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1700451A Active FR3065545B1 (fr) 2017-04-25 2017-04-25 Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes

Country Status (2)

Country Link
US (1) US20180307323A1 (fr)
FR (1) FR3065545B1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10946977B2 (en) * 2017-11-20 2021-03-16 Honeywell International Inc. Method and system for integrating offboard generated parameters into a flight management system
US20200372743A1 (en) * 2019-05-20 2020-11-26 Popid, Inc. Face based door entry
FR3110007B1 (fr) * 2020-05-05 2022-05-13 Thales Sa Système d'interaction avec une pluralité de zones visuelles et ensemble d'interaction dans le cockpit d'un aéronef comprenant un tel système d'interaction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148607A1 (fr) * 2010-05-28 2011-12-01 パナソニック株式会社 Dispositif de reconnaissance de gestes et procédé de reconnaissance de gestes
KR101896947B1 (ko) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US9223494B1 (en) * 2012-07-27 2015-12-29 Rockwell Collins, Inc. User interfaces for wearable computers
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
US11347316B2 (en) * 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display

Also Published As

Publication number Publication date
FR3065545A1 (fr) 2018-10-26
US20180307323A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
US10540903B2 (en) Flight planning and communication
US10710710B2 (en) Unmanned aerial vehicle (UAV) compliance using standard protocol requirements and components to enable identifying and controlling rogue UAVS
EP2362183B1 (fr) Système de diagramme d'avion doté de gestes d'interaction multitouches pour gérer un itinéraire d'un avion
EP2365287B1 (fr) Système et procédé pour l'affichage embarqué dans un avion des procédures In-Trail Procedure (ITP).
EP2922046B1 (fr) Système et procédé permettant d'obtenir une meilleure gestion de plan de vol
US8712605B1 (en) Apparatus for touch screen avionic device
EP2533016B1 (fr) Procédés et systèmes permettant d'effectuer des tâches de graphique
US20170186203A1 (en) Display of meteorological data in aircraft
US20160063866A1 (en) Aircraft systems and methods for displaying spacing information
US10382746B1 (en) Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
FR3065545B1 (fr) Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
FR3026508A1 (fr) Aide contextuelle a la gestion du vol
US12033250B2 (en) Capability envelope display methods and systems
US11915596B2 (en) Methods and systems for resolving tactile user input selections
US20100131481A1 (en) Methods for locating an item when a search mode is not selected
EP2846134B1 (fr) Système d'hélicoptère et procédé d'intégration de repères directeurs de vol collectifs
EP4002078B1 (fr) Procédés et systèmes pour résoudre des sélections d'entrées d'utilisateur tactiles
US20220244898A1 (en) Methods and systems for propagating user inputs to different displays
EP2813920B1 (fr) Système et procédé de calcul volumétrique
FR2984538A1 (fr) Systeme de gestion de vol en espace aerien segregue pour aeronef
US8797278B1 (en) Aircraft charting system with multi-touch interaction gestures for managing a map of an airport
EP4043833A1 (fr) Procédés et systèmes pour propager des entrées d'utilisateur à plusieurs écrans
US20240143151A1 (en) Graphical user interface builder for a heads-up display

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181026

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8