FR3057966A1 - Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes - Google Patents

Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes Download PDF

Info

Publication number
FR3057966A1
FR3057966A1 FR1660341A FR1660341A FR3057966A1 FR 3057966 A1 FR3057966 A1 FR 3057966A1 FR 1660341 A FR1660341 A FR 1660341A FR 1660341 A FR1660341 A FR 1660341A FR 3057966 A1 FR3057966 A1 FR 3057966A1
Authority
FR
France
Prior art keywords
drone
user
gesture
segments
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1660341A
Other languages
English (en)
Other versions
FR3057966B1 (fr
Inventor
Arthur Kahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Drones SAS
Original Assignee
Parrot Drones SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Drones SAS filed Critical Parrot Drones SAS
Priority to FR1660341A priority Critical patent/FR3057966B1/fr
Priority to US15/792,150 priority patent/US20180114058A1/en
Publication of FR3057966A1 publication Critical patent/FR3057966A1/fr
Application granted granted Critical
Publication of FR3057966B1 publication Critical patent/FR3057966B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un dispositif électronique (10) de pilotage d'un drone (12) comprend un module d'acquisition (20) pour acquérir une succession d'images d'une scène comportant un utilisateur (14), prises par un capteur d'images (22) équipant le drone (12), un module de détection (24) pour détecter, dans la succession d'images acquises, une gestuelle de l'utilisateur (14), et un module de commande (26) pour commander un mouvement du drone (12) en fonction de la gestuelle détectée. Le module de détection (24) est configuré pour détecter une gestuelle avec au moins deux segments (18) de membres distincts (16) de l'utilisateur, et le module électronique de commande (26) est configuré pour commander le mouvement du drone (12) dans un repère sphérique associé à l'utilisateur (14), en calculant des instructions de pilotage dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments (18) de membres (16) détectée.

Description

® RÉPUBLIQUE FRANÇAISE
INSTITUT NATIONAL DE LA PROPRIÉTÉ INDUSTRIELLE © N° de publication :
(à n’utiliser que pour les commandes de reproduction)
©) N° d’enregistrement national
057 966
60341
COURBEVOIE © Int Cl8 : G 05 D 1/00 (2017.01), B 64 C 39/02, G 06 K9/00, G 06 T 7/00
DEMANDE DE BREVET D'INVENTION A1
©) Date de dépôt : 25.10.16. (© Demandeur(s) : PARROT DRONES Société par
(© Priorité : actions simplifiée — FR.
@ Inventeur(s) : KAHN ARTHUR.
©) Date de mise à la disposition du public de la
demande : 27.04.18 Bulletin 18/17.
©) Liste des documents cités dans le rapport de
recherche préliminaire : Se reporter à la fin du
présent fascicule
(© Références à d’autres documents nationaux ©) Titulaire(s) : PARROT DRONES Société par actions
apparentés : simplifiée.
©) Demande(s) d’extension : (© Mandataire(s) : LAVOIX.
DRONE PILOTE DANS UN REPERE SPHERIQUE PAR UNE GESTUELLE A PLUSIEURS SEGMENTS DE MEMBRES, PROCEDE DE PILOTAGE ET PROGRAMME D'ORDINATEUR ASSOCIES.
FR 3 057 966 - A1 (5/) Un dispositif électronique (10) de pilotage d'un drone (12) comprend un module d'acquisition (20) pour acquérir une succession d'images d'une scène comportant un utilisateur (14), prises par un capteur d'images (22) équipant le drone (12), un module de détection (24) pour détecter, dans la succession d'images acquises, une gestuelle de l'utilisateur (14), et un module de commande (26) pour commander un mouvement du drone (12) en fonction de la gestuelle détectée.
Le module de détection (24) est configuré pour détecter une gestuelle avec au moins deux segments (18) de membres distincts (16) de l'utilisateur, et le module électronique de commande (26) est configuré pour commander le mouvement du drone (12) dans un repère sphérique associé à l'utilisateur (14), en calculant des instructions de pilotage dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments (18) de membres (16) détectée.
Q
L^i
f : -λ
4-.. i ·. '
Drone piloté dans un repère sphérique par une gestuelle à plusieurs segments de membres, procédé de pilotage et programme d’ordinateur associés
La présente invention concerne un dispositif électronique de pilotage d’un drone. Le dispositif électronique comprend un module d’acquisition configuré pour acquérir une succession d’images d’une scène comportant un utilisateur, prises par un capteur d’images équipant le drone ; un module électronique de détection configuré pour détecter, dans la succession d’images acquises, une gestuelle de l’utilisateur, l’utilisateur ayant des membres, chaque membre comportant un ou plusieurs segments ; et un module électronique de commande configuré pour commander un mouvement du drone en fonction de la gestuelle détectée, le module électronique de commande étant configuré pour calculer des instructions de pilotage correspondant audit mouvement.
L’invention concerne également un drone comprenant un capteur d’images et un tel dispositif électronique de pilotage.
L’invention concerne également un procédé de pilotage du drone.
L’invention concerne également un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé de pilotage.
L’invention concerne le domaine des drones, c’est-à-dire des appareils motorisés volants pilotés à distance. L'invention s'applique notamment aux drones à voilure tournante, tels que les quadricoptères, tout en s’appliquant également à d'autres types de drones, par exemple les drones à voilure fixe.
On connaît du document US 2015/0370250 A1 un drone du type précité. Le drone est un drone à voilure tournante, de type quadricoptère, pilotable à l’aide d’un dispositif électronique portable, tel qu’un ordiphone (de l’anglais smartphone) ou une tablette électronique. Le drone est apte à détecter une gestuelle de l’utilisateur, la gestuelle étant effectuée avec le bras tenant le dispositif électronique portable, tout en pressant un bouton sur le dispositif électronique portable avec un doigt.
Le drone est alors apte à effectuer une manœuvre en fonction de la gestuelle détectée. Un mouvement de bas en haut du bras tenant le dispositif électronique portable entraîne le décollage du drone, et un mouvement latéral de la gauche vers la droite dudit bras de l’utilisateur entraîne le déplacement du drone de la gauche vers la droite.
Toutefois, un tel drone est parfois complexe à piloter, un tel pilotage du drone avec une gestuelle effectuée avec le bras tenant le dispositif électronique portable n’étant pas très aisé.
Le but de l’invention est alors de proposer un dispositif électronique de pilotage qui facilite pour l’utilisateur le pilotage du drone, tout en ne nécessitant pas nécessairement l’utilisation d’une manette de pilotage du drone.
A cet effet, l’invention a pour objet un dispositif électronique de pilotage du type précité, dans lequel le module électronique de détection est configuré pour détecter une gestuelle avec au moins deux segments de membres distincts, et le module électronique de commande est configuré pour commander le mouvement du drone dans un repère sphérique associé à l’utilisateur, les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments de membres détectée.
Avec le dispositif électronique de pilotage selon l’invention, il suffit alors d’effectuer une gestuelle avec deux segments de membres distincts pour provoquer un mouvement du drone, sans avoir nécessairement à tenir d’une main un dispositif électronique portable qui permet par ailleurs de piloter le drone à distance.
Le pilotage du drone à l’aide d’une telle gestuelle selon l’invention offre alors un pilotage du drone qui est complémentaire du pilotage via le dispositif électronique portable, ce pilotage complémentaire étant particulièrement utile lorsque l’utilisateur ne tient pas le dispositif électronique portable dans l’une de ses mains, le dispositif électronique portable étant alors par exemple rangé dans une poche d’un vêtement.
En outre, le ou les mouvements du drone ainsi commandés sont des mouvements dans un repère sphérique associé à l’utilisateur, tels qu’une variation de colatitude entre le drone et l’utilisateur, une variation de longitude entre le drone et l’utilisateur ou encore une variation de distance entre le drone et l’utilisateur, et ces mouvements calculés dans ce repère sphérique sont mieux adaptés au pilotage du drone que des mouvements dans un repère cartésien. Le repère sphérique permet en effet un meilleur suivi de l’utilisateur lors des mouvements du drone, le drone ayant son capteur d’images orienté vers la cible. Un tel pilotage est particulièrement bien adapté lors d’utilisation du drone en mode de suivi de cible.
Un repère cartésien implique a contrario de définir une commande supplémentaire par rapport au repère sphérique pour la rotation du drone lors du suivi de cible, en particulier lorsque le capteur d’images a une orientation fixe par rapport à la voilure du drone.
Suivant d’autres aspects avantageux de l’invention, le dispositif électronique de pilotage comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- la gestuelle détectée pour la commande du mouvement du drone est une gestuelle avec au moins deux segments des deux membres supérieurs de l’utilisateur ;
- le repère sphérique utilisé pour le calcul des instructions de pilotage est le repère sphérique centré sur l’utilisateur ;
- le module électronique de commande est configuré pour commander une variation de colatitude entre le drone et l’utilisateur, à distance et longitude sensiblement constantes entre le drone et l’utilisateur, en cas de détection d’une gestuelle avec variation d’une distance verticale entre les deux segments, la distance verticale étant définie selon une direction verticale, parallèle à une direction d’extension de l’utilisateur en position debout ;
- le module électronique de commande est configuré pour commander une variation de longitude entre le drone et l’utilisateur, à distance et colatitude sensiblement constantes entre le drone et l’utilisateur, en cas de détection d’une gestuelle avec variation d’une distance horizontale entre les deux segments, la distance horizontale étant définie selon une direction horizontale, perpendiculaire à une direction d’extension de l’utilisateur en position debout ;
- le module électronique de commande est configuré pour commander une variation de la distance entre le drone et l’utilisateur, à colatitude et longitude sensiblement constantes entre le drone et l’utilisateur, en cas de détection d’une gestuelle avec variation d’angle entre les deux segments, les deux segments formant un V ;
-une dérivée temporelle de la variation commandée par le module électronique de commande dépend d’une vitesse de déplacement d’un segment par rapport à l’autre pour les deux segments générant la gestuelle, le module électronique de détection étant configuré pour mesurer ladite vitesse de déplacement ;
- le module électronique de commande est configuré pour commander un atterrissage du drone, en cas de détection d’une gestuelle avec rotation des deux segments par rapport à une direction horizontale, perpendiculaire à une direction d’extension de l’utilisateur en position debout, les deux segments formant de préférence un V ;
- le module électronique de commande est configuré pour commander un déplacement du drone en rotation autour de l’utilisateur sur un cercle à colatitude sensiblement constante, en cas de détection d’une gestuelle avec oscillation d’un des deux segments dans la direction du déplacement du drone, les deux segments formant un
T, la vitesse de rotation du drone étant de préférence fonction de la vitesse d’oscillation dudit membre par rapport à l’autre membre.
L’invention a également pour objet un drone comprenant un capteur d’images configuré pour prendre une succession d’images d’une scène comportant un utilisateur et un dispositif électronique de pilotage, dans lequel le dispositif électronique de pilotage est tel que défini ci-dessus.
L’invention a également pour objet un procédé de pilotage d’un drone comportant un capteur d’images, de pilotage d’un drone comportant un capteur d’images, le procédé étant mis en œuvre par un dispositif électronique et comprenant l’acquisition d’une succession d’images, prises par le capteur, d’une scène comportant un utilisateur, la détection, dans la succession d’images acquises, d’une gestuelle de l’utilisateur, l’utilisateur ayant des membres, chaque membre comportant un ou plusieurs segments, la commande d’un mouvement du drone en fonction de la gestuelle détectée, via le calcul d’instructions de pilotage correspondant audit mouvement, dans lequel la gestuelle détectée est une gestuelle avec au moins deux segments de membres distincts, et le mouvement commandé est un mouvement du drone dans un repère sphérique associé à l’utilisateur, les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments de membres détectée.
L’invention a également pour objet un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé tel que défini ci-dessus.
Ces caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
- la figure 1 est une représentation schématique d’un dispositif électronique de pilotage d’un drone via détection d’une gestuelle d’un utilisateur ;
- la figure 2 est une représentation schématique d’une variation de colatitude du drone de la figure 1, en cas de détection d’une première gestuelle de l’utilisateur ;
- la figure 3 est une représentation schématique d’une variation de longitude du drone de la figure 1, en cas de détection d’une deuxième gestuelle de l’utilisateur ;
- la figure 4 est une représentation schématique d’une variation de distance entre le drone de la figure 1 et l’utilisateur, en cas de détection d’une troisième gestuelle de l’utilisateur ;
- la figure 5 est une représentation schématique d’un atterrissage du drone de la figure 1, en cas de détection d’une quatrième gestuelle de l’utilisateur ; et
- la figure 6 est un organigramme d’un procédé de pilotage selon l’invention.
Dans la suite de la description, l’expression « sensiblement constant(e) >> s’entend comme une identité à plus ou moins 10%, c’est-à-dire avec une variation d’au plus 10%, de préférence encore comme une identité à plus ou moins 5%, c’est-à-dire avec une variation d’au plus 5%.
Sur la figure 1 est représenté un dispositif électronique 10 de pilotage de drone 12 via une gestuelle d’un utilisateur 14 ayant plusieurs membres 16 distincts, chaque membre 16 comportant un ou plusieurs segments 18.
Dans l’exemple de la figure 1, le dispositif électronique de pilotage 10 est embarqué à bord du drone 12.
En variante, le dispositif électronique de pilotage 10 est embarqué dans un appareil électronique, de préférence portable, distinct du drone 12, l’appareil électronique étant par exemple un ordiphone (de l’anglais smartphone) ou une tablette électronique.
Le dispositif électronique de pilotage 10 comprend un module d’acquisition 20 configuré pour acquérir une succession d’images d’une scène comportant l’utilisateur 14, prises par un capteur d’images 22 équipant le drone 12.
Le dispositif électronique de pilotage 10 comprend en outre un module électronique de détection 24 configuré pour détecter, dans la succession d’images acquises, une gestuelle de l’utilisateur 14, en particulier une gestuelle avec au moins deux segments 18 de membres distincts 16.
Le dispositif électronique de pilotage 10 comprend en outre un module électronique de commande 26 configuré pour commander un mouvement du drone 12 en fonction de la gestuelle détectée, le module électronique de commande 26 étant configuré pour calculer des instructions de pilotage correspondant audit mouvement, le mouvement étant dans un repère sphérique associé à l’utilisateur 14 et les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments 18 de membres 16 détectée.
Dans l’exemple de la figure 1, le dispositif électronique de pilotage 10 comprend une unité de traitement d’informations 30, formée par exemple d’une mémoire 32 et d’un processeur 34 associé à la mémoire 32.
Le drone 12 est connu en soi, et est un engin volant motorisé pilotable à distance, notamment via une manette, non représentée.
Le drone 12 est par exemple un drone à voilure tournante, comportant au moins un rotor 36. Sur la figure 1, le drone comporte une pluralité de rotors 36, et est alors appelé drone multirotor. Le nombre de rotors 36 est en particulier égal à 4 dans cet exemple, et le drone 12 est alors un drone quadrirotor. En variante, non représentée, le drone 12 est un drone à voilure fixe.
Le drone 12 comporte un module de transmission 38 configuré pour échanger des données, de préférence par ondes radioélectriques, avec un ou plusieurs équipements électroniques, notamment avec la manette, voire avec d’autres éléments électroniques, par exemple pour la transmission de la ou des images acquises par le capteur d’images 22.
L’utilisateur 14 est par exemple le pilote du drone 10, le dispositif électronique de pilotage 10 étant particulièrement utile lorsque le drone 12 est dans un mode de poursuite pour suivre l’utilisateur 14, notamment lorsque le pilote du drone 12 pratique une activité sportive. Le dispositif électronique de pilotage 10 est également utile lorsque le drone 12 est dans un mode de pointage vers l’utilisateur 14, permettant au drone 12 de toujours viser l’utilisateur 14, laissant à l’utilisateur 14 la possibilité de changer la position relative du drone 12, par exemple en tournant autour de lui.
L’utilisateur 14 a préférentiellement deux membres 16 supérieurs et deux membres 16 inférieurs, chaque membre 16 comportant un ou plusieurs segments 18. Les segments 18 des membres supérieurs 16 sont par exemple le bras, l’avant-bras et la main. Les segments 18 des membres inférieurs 16 sont par exemple la cuisse, la jambe et le pied. Pour le pilotage du drone 12, les membres 16 qui sont préférentiellement utilisés pour effectuer la ou les gestuelles destinées à être détectées en vue de la commande d’un mouvement du drone 12 sont les membres supérieurs 16 de l’utilisateur.
La manette est connue en soi, et permet de piloter le drone 12. La manette est optionnelle au sens de l’invention, le dispositif électronique de pilotage 10 permettant précisément de piloter le drone 12 via une détection de gestuelle(s) de l’utilisateur 14, sans nécessiter au moins à ce moment-là l’utilisation de la manette, la manette étant par exemple rangée dans une poche d’un vêtement de l’utilisateur 14.
La manette est, par exemple, mise en œuvre via un ordiphone (de l’anglais smartphone) ou une tablette électronique. En variante, la manette comprend deux poignées de préhension, chacune étant destinée à être saisie par une main respective du pilote, une pluralité d’organes de commande, dont deux manches à balai (de l’anglais joystick), chacun étant disposé à proximité d’une poignée de préhension respective et étant destiné à être actionné par le pilote, de préférence par un pouce respectif.
La manette comprend une antenne radioélectrique et un émetteur-récepteur radioélectrique, non représentés, pour l’échange de données par ondes radioélectriques avec le drone 12, à la fois en liaison montante et en liaison descendante.
Dans l’exemple de la figure 1, le module d’acquisition 20, le module de détection 24 et le module de commande 26 sont réalisés chacun sous forme d’un logiciel exécutable par le processeur 34. La mémoire 32 de l’unité de traitement d’informations 30 est alors apte à stocker un logiciel d’acquisition configuré pour acquérir une succession d’images d’une scène comportant l’utilisateur 14, prises par le capteur d’images 22, un logiciel de détection configuré pour détecter, dans la succession d’images acquises, une gestuelle de l’utilisateur 14, avec au moins deux segments 18 de membres 16 distincts, et un logiciel de commande configuré pour commander un mouvement du drone 12 en fonction de la gestuelle détectée, dans un repère sphérique associé à l’utilisateur 14, les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments 18 de membres 16 détectée. Le processeur 34 de l’unité de traitement d’informations 30 est alors apte à exécuter le logiciel d’acquisition, le logiciel de détection et le logiciel de commande.
En variante non représentée, le module d’acquisition 20, le module de détection 24 et le module de commande 26 sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gâte Array), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Applications Spécifie Integrated Circuit).
Le capteur d’images 22 est par exemple une caméra à visée frontale permettant d’obtenir une image de la scène vers laquelle est orienté le drone 12. En variante, le capteur d’images 22 est une caméra à visée verticale, non représentée, pointant vers le bas et configurée pour capter des images successives d’un terrain survolé par le drone 12.
Le module de détection 24 est configuré pour détecter chaque gestuelle effectuée par l’utilisateur 14 via un ou plusieurs algorithmes de traitement d’images connus en soi. Le module de détection 24 est par exemple configuré pour déceler la gestuelle, suivre la gestuelle et reconnaître la gestuelle. Le décèlement est réalisé par exemple via un algorithme de segmentation configuré pour segmenter la gestuelle dans les images par rapport au fond de l'image, par exemple par modèle de couleur, modèle de forme et/ou modèle de mouvement. Le suivi est par exemple effectué par filtre particulaire, ou par tout autre méthode de propagation. La reconnaissance est effectuée par exemple en utilisant un modèle de Markov caché (ou HMM pour « Hiden Markov Model >> en anglais) ou un classifieur linéaire ou non linéaire, par exemple un algorithme de partitionnement en Kmoyennes (« K-means >> en anglais), une machine à vecteur de support (ou SVM pour « Support Verctor Machine >> en anglais), un réseau de neurones ou autre. La gestuelle détectée pour la commande du mouvement du drone 12 est de préférence une gestuelle avec au moins deux segments 18 des deux membres supérieurs 16 de l’utilisateur 14.
Le module de commande 26 est alors configuré pour commander un mouvement du drone 12 en fonction de la gestuelle détectée, en calculant des instructions de pilotage correspondant audit mouvement, le mouvement étant calculé dans un repère sphérique associé à l’utilisateur 14, de préférence dans le repère sphérique centré sur l’utilisateur 14 comme représenté sur les figures 2 à 5, les instructions de pilotage étant alors calculées dans ledit repère sphérique en fonction de la gestuelle détectée.
Le module de commande 26 est de préférence configuré pour transmettre les instructions de pilotage ainsi calculées à destination d’un autopilote du drone 12, pour la mise en œuvre du mouvement commandé.
Le module de commande 26 est, par exemple, configuré pour commander une variation de la colatitude θ entre le drone 12 et l’utilisateur 14, à distance R et longitude Φ sensiblement constantes entre le drone 12 et l’utilisateur 14, comme représenté par la flèche F1 à la figure 2, en cas de détection d’une première gestuelle avec variation d’une distance verticale entre les deux segments 18. La distance verticale est définie selon une direction verticale Z, visible sur la figure 1, parallèle à une direction d’extension de l’utilisateur 14 en position debout. La première gestuelle est de préférence une gestuelle avec les deux mains à plat l’une au-dessus de l’autre, pour laquelle la distance verticale entre les mains augmente ou diminue. En variante, la première gestuelle est une gestuelle avec les avant-bras.
Pour la première gestuelle, une augmentation de la distance verticale entre les deux segments 18 est, par exemple, associée à une augmentation de l’altitude du drone 12, c’est-à-dire associée à une diminution de sa colatitude Θ, et inversement une diminution de la distance verticale entre les deux segments 18 est associée à une diminution de l’altitude du drone 12, c’est-à-dire associée à une augmentation de sa colatitude Θ.
En complément facultatif, la variation de la colatitude θ est commandée par incrément(s) de variation, chaque déplacement de segment 18 permettant de commander au plus une variation maximale de colatitude A6max, où ladite variation maximale A6max est par exemple prédéfinie.
En complément ou en variante, le module de commande 26 est configuré pour commander une variation de la longitude Φ entre le drone 12 et l’utilisateur 14, à distance R et colatitude θ sensiblement constantes entre le drone 12 et l’utilisateur 14, comme représenté par la flèche F2 à la figure 3, en cas de détection d’une deuxième gestuelle avec variation d’une distance horizontale entre les deux segments 18. La distance horizontale est définie selon une direction horizontale Y, visible sur la figure 1, perpendiculaire à la direction d’extension de l’utilisateur 14 en position debout. La deuxième gestuelle est de préférence une gestuelle avec les deux mains l’une à côté de l’autre, pour laquelle la distance horizontale entre les mains augmente ou diminue, une main étant de préférence immobile pendant que l’autre est déplacée. En variante, la deuxième gestuelle est une gestuelle avec les avant-bras.
Pour la deuxième gestuelle, un déplacement de la main droite vers la droite tout en maintenant la main gauche immobile est par exemple associé à un mouvement du drone 12 vers la droite, et inversement un déplacement de la main gauche vers la gauche tout en maintenant la main droite immobile est associé à un mouvement du drone 12 vers la gauche.
En complément facultatif, la variation de la longitude Φ est commandée par incrément(s) de variation, chaque déplacement de segment 18 permettant de commander au plus une variation maximale de longitude ΔΦη3Χ, où ladite variation maximale ΔΦη3Χ est par exemple prédéfinie.
En complément ou en variante, le module de commande 26 est configuré pour commander une variation de la distance R entre le drone 12 et l’utilisateur 14, à colatitude θ et longitude Φ sensiblement constantes entre le drone 12 et l’utilisateur 14, comme représenté par la flèche F3 à la figure 4, en cas de détection d’une troisième gestuelle avec variation d’angle entre les deux segments 18, les deux segments 18 formant un V. La troisième gestuelle est de préférence une gestuelle avec les deux bras en l’air en forme de V, pour laquelle l’écart entre les bras augmente ou diminue. En variante, la troisième gestuelle est une gestuelle avec les avant-bras.
Pour la troisième gestuelle, une augmentation de l’écart, c’est-à-dire une augmentation de l’angle, entre les deux segments 18 est, par exemple, associée à une augmentation de la distance R entre le drone 12 et l’utilisateur 14, et inversement une diminution de l’écart, c’est-à-dire une diminution de l’angle, entre les deux segments 18 est associée à une diminution de ladite distance R.
En complément facultatif, la variation de la distance R est commandée par incrément(s) de variation, chaque déplacement de segment 18 permettant de commander au plus une variation maximale de distance ARmax, où ladite variation maximale ARmax est par exemple prédéfinie.
Une dérivée temporelle de la variation commandée par le module électronique de commande 26 dépend d’une vitesse de déplacement d’un segment 18 par rapport à l’autre 18 pour les deux segments 18 générant la gestuelle, qu’il s’agisse par exemple de la première gestuelle, de la deuxième gestuelle et/ou de la troisième gestuelle, le module électronique de détection 24 étant configuré pour mesurer ladite vitesse de déplacement.
En complément ou en variante, le module de commande 26 est configuré pour commander un atterrissage du drone 12, comme représenté par la flèche F4 à la figure 5, en cas de détection d’une quatrième gestuelle avec rotation des deux segments 18 par rapport à la direction horizontale Y, perpendiculaire à la direction d’extension de l’utilisateur 14 en position debout, les deux segments 18 formant de préférence un V. La quatrième gestuelle est de préférence une gestuelle avec les deux bras en forme de V, où la rotation correspond à un abaissement des bras vers l’avant. En variante, la quatrième gestuelle est une gestuelle avec les avant-bras.
En complément facultatif, le module de commande 26 est configuré, en cas de détection de la quatrième gestuelle, pour commander dans un premier temps une descente du drone 12 jusqu’à une altitude prédéfinie par rapport au sol, par exemple jusqu’à un mètre du sol, puis pour commander dans un deuxième temps l’atterrissage du drone 12 seulement en cas de détection d’une confirmation de la part de l’utilisateur 14. La confirmation est par exemple effectuée via une action prédéfinie sur la manette, ou encore via une gestuelle additionnelle prédéfinie, cette gestuelle additionnelle étant alors distincte de la quatrième gestuelle.
En complément ou en variante, le module de commande 26 est configuré pour commander un déplacement du drone 12 en rotation autour de l’utilisateur 14 sur un cercle à colatitude Θ sensiblement constante, en cas de détection d’une cinquième gestuelle avec oscillation d’un des deux segments 18 dans la direction du déplacement du drone 12, les deux segments 18 formant un T.
La vitesse de rotation du drone 12 est de préférence fonction de la vitesse d’oscillation dudit membre 18 par rapport à l’autre membre 18.
La cinquième gestuelle est de préférence une gestuelle avec les deux bras en forme de T, avec un bras immobile et l’autre bras oscillant dans la direction dans laquelle le drone 12 doit effectuer son mouvement de rotation, également appelé mouvement d’orbite. En variante, la cinquième gestuelle est une gestuelle avec les avant-bras.
Le fonctionnement du drone 12 selon l’invention, en particulier du dispositif électronique de pilotage 10, va être à présent décrit à l’aide de la figure 6 illustrant un organigramme du procédé de pilotage selon l’invention, mis en œuvre par ordinateur.
Lors d’une étape 100, le module d’acquisition 20 acquiert une succession d’images de la scène comportant l’utilisateur 14, les images ayant été préalablement prises par le capteur d’images 22.
Le module de détection 24 détecte ensuite, lors de l’étape 110 et dans la succession d’images acquises, une gestuelle effectuée par l’utilisateur 14, lorsque la gestuelle est une gestuelle avec au moins deux segments 18 de membres distincts 16, telle qu’une gestuelle parmi les première, deuxième, troisième, quatrième et cinquième gestuelles décrites précédemment.
Le module de commande 26 commande alors, lors de l’étape 120, le mouvement du drone 12 dans le repère sphérique associé à l’utilisateur 14, de préférence dans le repère sphérique centré sur l’utilisateur 14, en fonction de la gestuelle détectée lors de l’étape 110 précédente, les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de cette gestuelle. Pour la mise en œuvre effective du mouvement du drone 12, le module de commande 26 transmet, par exemple, les instructions de pilotage calculées à destination de l’autopilote du drone 12.
Le dispositif électronique de pilotage 10 et le procédé de pilotage selon l’invention permettent alors à l’utilisateur 14 de commander certaines manœuvres du drone 12 de manière simplifiée, en particulier sans utiliser une manette, ces manœuvres étant en effet commandées via des gestuelles prédéfinies de l’utilisateur 14.
Ces gestuelles prédéfinies sont des gestuelles avec deux segments 18 de membres distincts 16 afin d’être plus facilement détectables par le module de détection 24.
Les mouvements commandés sont calculés dans le repère sphérique qui permet un meilleur suivi de l’utilisateur lors des mouvements du drone 12, le drone 12 ayant son capteur d’images 22 orienté vers l’utilisateur 14. Un tel pilotage est particulièrement bien adapté lors d’utilisation du drone 12 en mode de suivi de cible.
Le pilotage du drone 12 à l’aide de telle(s) gestuelle(s) selon l’invention offre alors un pilotage du drone 12 qui est complémentaire du pilotage via la manette, ce pilotage complémentaire étant particulièrement utile lorsque l’utilisateur ne tient pas la manette dans l’une de ses mains, la manette étant alors par exemple rangée dans une poche de vêtement.
On conçoit ainsi que le dispositif électronique de pilotage 10 et le procédé de pilotage selon l’invention permettent de faciliter le pilotage du drone 12, tout en ne nécessitant alors pas l’utilisation d’une manette de pilotage du drone 12 dans ce cas.

Claims (12)

  1. REVENDICATIONS
    1. Dispositif électronique (10) de pilotage d’un drone (12), le dispositif comprenant :
    - un module d’acquisition (20) configuré pour acquérir une succession d’images d’une scène comportant un utilisateur (14), prises par un capteur d’images (22) équipant le drone (12),
    - un module électronique de détection (24) configuré pour détecter, dans la succession d’images acquises, une gestuelle de l’utilisateur (14), l’utilisateur (14) ayant des membres (16), chaque membre (16) comportant un ou plusieurs segments (18),
    - un module électronique de commande (26) configuré pour commander un mouvement du drone (12) en fonction de la gestuelle détectée, le module électronique de commande (26) étant configuré pour calculer des instructions de pilotage correspondant audit mouvement, caractérisé en ce que le module électronique de détection (24) est configuré pour détecter une gestuelle avec au moins deux segments (18) de membres distincts (16), et le module électronique de commande (26) est configuré pour commander le mouvement du drone (12) dans un repère sphérique associé à l’utilisateur (14), les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments (18) de membres (16) détectée.
  2. 2. Dispositif électronique (10) selon la revendication 1, dans lequel la gestuelle détectée pour la commande du mouvement du drone (12) est une gestuelle avec au moins deux segments (18) des deux membres supérieurs de l’utilisateur (14).
  3. 3. Dispositif électronique (10) selon la revendication 1 ou 2, dans lequel le repère sphérique utilisé pour le calcul des instructions de pilotage est le repère sphérique centré sur l’utilisateur (14).
  4. 4. Dispositif électronique (10) selon l’une quelconque des revendications précédentes, dans lequel le module électronique de commande (26) est configuré pour commander une variation de colatitude (Θ) entre le drone (12) et l’utilisateur (14), à distance (R) et longitude (Φ) sensiblement constantes entre le drone (12) et l’utilisateur (14), en cas de détection d’une gestuelle avec variation d’une distance verticale entre les deux segments (18), la distance verticale étant définie selon une direction verticale, parallèle à une direction d’extension de l’utilisateur (14) en position debout.
  5. 5. Dispositif électronique (10) selon l’une quelconque des revendications précédentes, dans lequel le module électronique de commande (26) est configuré pour commander une variation de longitude (Φ) entre le drone (12) et l’utilisateur (14), à distance (R) et colatitude (Θ) sensiblement constantes entre le drone (12) et l’utilisateur (14), en cas de détection d’une gestuelle avec variation d’une distance horizontale entre les deux segments (18), la distance horizontale étant définie selon une direction horizontale, perpendiculaire à une direction d’extension de l’utilisateur (14) en position debout.
  6. 6. Dispositif électronique (10) selon l’une quelconque des revendications précédentes, dans lequel le module électronique de commande (26) est configuré pour commander une variation de la distance (R) entre le drone (12) et l’utilisateur (14), à colatitude (Θ) et longitude (Φ) sensiblement constantes entre le drone (12) et l’utilisateur (14), en cas de détection d’une gestuelle avec variation d’angle entre les deux segments (18), les deux segments (18) formant un V.
  7. 7. Dispositif électronique (10) selon l’une quelconque des revendications 4 à 6, dans lequel une dérivée temporelle de la variation commandée par le module électronique de commande (26) dépend d’une vitesse de déplacement d’un segment (18) par rapport à l’autre (18) pour les deux segments (18) générant la gestuelle, le module électronique de détection (24) étant configuré pour mesurer ladite vitesse de déplacement.
  8. 8. Dispositif électronique (10) selon l’une quelconque des revendications précédentes, dans lequel le module électronique de commande (26) est configuré pour commander un atterrissage du drone (12), en cas de détection d’une gestuelle avec rotation des deux segments (18) par rapport à une direction horizontale, perpendiculaire à une direction d’extension de l’utilisateur (14) en position debout, les deux segments (18) formant de préférence un V.
  9. 9. Dispositif électronique (10) selon l’une quelconque des revendications précédentes, dans lequel le module électronique de commande (26) est configuré pour commander un déplacement du drone (12) en rotation autour de l’utilisateur (14) sur un cercle à colatitude (Θ) sensiblement constante, en cas de détection d’une gestuelle avec oscillation d’un des deux segments (18) dans la direction du déplacement du drone (12), les deux segments (18) formant un T, la vitesse de rotation du drone (12) étant de préférence fonction de la vitesse d’oscillation dudit membre (18) par rapport à l’autre membre (18).
  10. 10. Drone (12) comprenant un capteur d’images (22) configuré pour prendre une succession d’images d’une scène comportant un utilisateur (14) et un dispositif électronique de pilotage (10), caractérisé en ce que le dispositif électronique de pilotage (10) est selon l’une quelconque des revendications précédentes.
  11. 11. Procédé de pilotage d’un drone (12) comportant un capteur d’images (22), le procédé étant mis en œuvre par un dispositif électronique (10) et comprenant :
    - l’acquisition (100) d’une succession d’images, prises par le capteur, d’une scène comportant un utilisateur (14),
    - la détection (110), dans la succession d’images acquises, d’une gestuelle de l’utilisateur (14), l’utilisateur (14) ayant des membres (16), chaque membre (16) comportant un ou plusieurs segments (18),
    - la commande (120) d’un mouvement du drone (12) en fonction de la gestuelle détectée, via le calcul d’instructions de pilotage correspondant audit mouvement, caractérisé en ce que la gestuelle détectée est une gestuelle avec au moins deux segments (18) de membres distincts (16), et le mouvement commandé est un mouvement du drone (12) dans un repère sphérique associé à l’utilisateur (14), les instructions de pilotage étant calculées dans ledit repère sphérique en fonction de la gestuelle à plusieurs segments (18) de membres (16) détectée.
  12. 12. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé selon la revendication précédente.
FR1660341A 2016-10-25 2016-10-25 Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes Expired - Fee Related FR3057966B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1660341A FR3057966B1 (fr) 2016-10-25 2016-10-25 Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes
US15/792,150 US20180114058A1 (en) 2016-10-25 2017-10-24 Drone piloted in a spherical coordinate system by a gestural with multi-segment members, control method and associated computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1660341A FR3057966B1 (fr) 2016-10-25 2016-10-25 Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes
FR1660341 2016-10-25

Publications (2)

Publication Number Publication Date
FR3057966A1 true FR3057966A1 (fr) 2018-04-27
FR3057966B1 FR3057966B1 (fr) 2018-12-07

Family

ID=57485800

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1660341A Expired - Fee Related FR3057966B1 (fr) 2016-10-25 2016-10-25 Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d'ordinateur associes

Country Status (2)

Country Link
US (1) US20180114058A1 (fr)
FR (1) FR3057966B1 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094861B (zh) * 2016-06-02 2024-01-12 零度智控(北京)智能科技有限公司 无人机、无人机控制方法及装置
KR20180062267A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
USD1010004S1 (en) 2019-11-04 2024-01-02 Amax Group Usa, Llc Flying toy
WO2021195944A1 (fr) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 Procédé et dispositif de commande de plate-forme mobile, plate-forme mobile et support de stockage
USD1001009S1 (en) 2021-06-09 2023-10-10 Amax Group Usa, Llc Quadcopter
USD1003214S1 (en) 2021-06-09 2023-10-31 Amax Group Usa, Llc Quadcopter
US11675445B1 (en) * 2022-04-13 2023-06-13 Tomahawk Robotics Inertially isolated spatial control
USD1035787S1 (en) 2022-06-24 2024-07-16 Amax Group Usa, Llc Flying toy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085598A1 (fr) * 2013-12-13 2015-06-18 SZ DJI Technology Co., Ltd. Procédés destinés au lancement et à l'atterrissage d'un véhicule aérien sans pilote
US20150370250A1 (en) * 2014-06-19 2015-12-24 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085598A1 (fr) * 2013-12-13 2015-06-18 SZ DJI Technology Co., Ltd. Procédés destinés au lancement et à l'atterrissage d'un véhicule aérien sans pilote
US20150370250A1 (en) * 2014-06-19 2015-12-24 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAYYAB NASEER ET AL: "Interactive Person Following and Gesture Recognition with a Flying Robot", 31 December 2013 (2013-12-31), XP055361637, Retrieved from the Internet <URL:https://jsturm.de/publications/data/naseer13iros_ws.pdf> [retrieved on 20170404] *
WAI SHAN NG ET AL: "Collocated interaction with flying robots", RO-MAN, 2011 IEEE, IEEE, 31 July 2011 (2011-07-31), pages 143 - 149, XP032048303, ISBN: 978-1-4577-1571-6, DOI: 10.1109/ROMAN.2011.6005280 *
YALE SONG: "Multi-Signal Gesture Recognition Using Body and Hand Poses", 3 September 2010 (2010-09-03), XP055361968, Retrieved from the Internet <URL:http://people.csail.mit.edu/yalesong/publications/Song2010SMThesis.pdf> [retrieved on 20170405] *

Also Published As

Publication number Publication date
FR3057966B1 (fr) 2018-12-07
US20180114058A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
FR3057966A1 (fr) Drone pilote dans un repere spherique par une gestuelle a plusieurs segments de membres, procede de pilotage et programme d&#39;ordinateur associes
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
EP3316068B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et maintien de l&#39;angle de prise de vue de la cible
EP3086195B1 (fr) Système de pilotage de drone en immersion
EP3078402B1 (fr) Système de pilotage de drone en immersion
EP2242552B1 (fr) Procédé de pilotage d&#39;un drone à voilure tournante avec stabilisation automatique en vol stationnaire
EP3273318B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et localisation améliorée de la cible
FR3056921A1 (fr) Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l&#39;angle de prise de vue de la cible.
EP3276591A1 (fr) Drone ayant un systeme d&#39;evitement d&#39;obstacles
FR2957266A1 (fr) Procede et appareil de telecommande d&#39;un drone, notamment d&#39;un drone a voilure tournante.
US20170244937A1 (en) Apparatus and methods for aerial video acquisition
FR3031402A1 (fr) Procede de pilotage automatique d&#39;un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee
EP3321861A1 (fr) Drone comprenant un dispositif de détermination d&#39;une représentation d&#39;une cible via un réseau de neurones, procédé de détermination et programme d&#39;ordinateur associés
FR3000813A1 (fr) Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol.
EP2613214A1 (fr) Procédé de pilotage d&#39;un drone à voilure tournante pour opérer une prise de vue par une caméra embarquée avec minimisation des mouvements perturbateurs
FR3054334A1 (fr) Systeme autonome de prise de vues animees comprenant un drone et une station au sol, et procede associe.
FR3055078A1 (fr) Procede de capture d&#39;image(s), programme d&#39;ordinateur, et systeme electronique de capture d&#39;une video associes
EP3392728A1 (fr) Procédé de pilotage d&#39;un drone à voilure tournante, programme d&#39;ordinateur, appareil électronique et drone associés
EP3281870A1 (fr) Procédé de capture d&#39;une vidéo par un drone, programme d&#39;ordinateur, et système électronique de capture d&#39;une vidéo associés
WO2015132281A1 (fr) Procédé de contrôle d&#39;un système de détection et de suivi d&#39;une cible
FR3030033A1 (fr) Dispositif d&#39;affichage et de mise a jour d&#39;un motif de trajectoire aerienne en regard d&#39;une zone au sol, notamment pour une mission de largage
EP3362811B1 (fr) Procédé et dispositif de mesures magnétiques mobiles pour contrôler la signature magnétique d&#39;un navire
FR2957265A1 (fr) Procede et appareil de telecommande d&#39;un drone, notamment d&#39;un drone a voilure tournante.
FR3054070A1 (fr) Procede d&#39;affichage de vignettes sur un ecran d&#39;affichage, programme d&#39;ordinateur, appareil electronique et systeme electronique de visualisation associes
FR3079943A1 (fr) Dispositif electronique et procede de commande d&#39;un drone avec effet de travelling compense, programme d&#39;ordinateur associe

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180427

PLFP Fee payment

Year of fee payment: 3

ST Notification of lapse

Effective date: 20200910