FR3116135A1 - System for capturing and monitoring the attentional visual field and/or the piloting of an individual's gaze and/or the visual designation of targets. - Google Patents
System for capturing and monitoring the attentional visual field and/or the piloting of an individual's gaze and/or the visual designation of targets. Download PDFInfo
- Publication number
- FR3116135A1 FR3116135A1 FR2011558A FR2011558A FR3116135A1 FR 3116135 A1 FR3116135 A1 FR 3116135A1 FR 2011558 A FR2011558 A FR 2011558A FR 2011558 A FR2011558 A FR 2011558A FR 3116135 A1 FR3116135 A1 FR 3116135A1
- Authority
- FR
- France
- Prior art keywords
- individual
- gaze
- support
- camera
- attentional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 238000012544 monitoring process Methods 0.000 title abstract description 3
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000011477 surgical intervention Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
Système de capture et du suivi du champ visuel attentionnel et/ou du pilotage du regard d’un individu et/ou la désignation visuelle de cibles. L’invention concerne un système portable (1) qui intègre dans un même support (10) des composants optiques et électroniques avec une électronique de commande (11, 12, 13, 14, 15), qui permettent des captures d’image et/ou des projections optiques asservies à la direction du regard d’un utilisateur portant le support et/ou à un dispositif référentiel de pilotage externe qui est à distance de l’utilisateur. Figure pour l’abrégé : Fig. 1System for capturing and monitoring the attentional visual field and/or the piloting of an individual's gaze and/or the visual designation of targets. The invention relates to a portable system (1) which integrates in a single support (10) optical and electronic components with control electronics (11, 12, 13, 14, 15), which allow image capture and/or or optical projections slaved to the direction of gaze of a user wearing the support and/or to an external control reference device which is at a distance from the user. Figure for abstract: Fig. 1
Description
La présente invention concerne les domaines de la téléassistance et de la formation.The present invention relates to the fields of remote assistance and training.
Elle vise principalement à améliorer la capture du champ visuel d’un utilisateur et permettre un pilotage de son regard et/ou la désignation visuelle de cibles.Its main purpose is to improve the capture of a user's visual field and allow the piloting of his gaze and/or the visual designation of targets.
Bien que décrite en référence à une application médicale, plus particulièrement dans l’assistance à une intervention chirurgicale, l’invention peut être mise en œuvre dans de nombreux domaines, comme la maintenance assistée, ou l'assistance à un conducteur de véhicule.Although described with reference to a medical application, more particularly in assistance with a surgical intervention, the invention can be implemented in many fields, such as assisted maintenance, or assistance to a vehicle driver.
Dans sa plus large définition, la téléassistance désigne une action ou un service qui permet d'aider à distance des utilisateurs, d'un système ou d'un produit, à l'aide d'un moyen de communication.In its broadest definition, remote assistance designates an action or a service which makes it possible to help users, a system or a product remotely, using a means of communication.
Des systèmes de téléassistance connus sont configurés pour permettre à un premier utilisateur qui se trouve dans un premier endroit de se sentir comme si il était présent, de donner l'impression d'être présente, ou d'avoir un effet, à un endroit autre que son véritable emplacement physique, c'est-à-dire le premier endroit. Known remote assistance systems are configured to allow a first user who is in a first place to feel as if he were present, to give the impression of being present, or to have an effect, in another place. than its true physical location, i.e. the first location.
Le premier utilisateur peut avoir la capacité de donner un effet sur un deuxième endroit situé à distance du premier endroit. Dans ce cas, la position, les mouvements, les actions, la voix, etc. du premier utilisateur peuvent être détectés, transmis et dupliqués dans le deuxième endroit pour provoquer l’effet escompté.The first user may have the ability to provide an effect at a second location remote from the first location. In this case, the position, movements, actions, voice, etc. of the first user can be detected, transmitted and duplicated in the second place to cause the desired effect.
Les informations de téléassistance peuvent être communiquées via un réseau de communication entre des systèmes informatiques, dans les deux sens entre le premier utilisateur qui se trouve au premier endroit et un deuxième utilisateur qui se trouve à un deuxième endroit.The remote support information may be communicated via a communication network between computer systems, in both directions between the first user who is at the first location and a second user who is at a second location.
La téléassistance peut être un acte médical lorsqu’un médecin, expert clinique, ou un représentant d'une entreprise de dispositifs médicaux (premier utilisateur) assiste à distance un autre médecin (deuxième utilisateur) en train de réaliser un acte médical ou chirurgical. Le médecin peut également assister un autre professionnel de santé qui réalise un acte de soins ou d’imagerie, voire dans le cadre de l’urgence, assister à distance un secouriste ou toute personne portant assistance à personne en danger en attendant l’arrivée d’un médecin.Teleassistance can be a medical act when a doctor, clinical expert, or a representative of a medical device company (first user) remotely assists another doctor (second user) performing a medical or surgical act. The doctor can also assist another health professional who performs an act of care or imaging, or even in the context of an emergency, remotely assist a rescuer or any person assisting a person in danger while waiting for the arrival of 'doctor.
Du fait de l'importance croissante de la téléassistance, divers systèmes de capture d'image, portables et simples d'utilisation ont été proposés. On peut citer ici le brevet US7539504B2 qui mentionne l’intégration au sein d’un système portable d’une caméra, d’un moniteur, d’un haut-parleur et d’un microphone.Due to the growing importance of remote assistance, various image capture systems, portable and easy to use, have been proposed. We can cite here the patent US7539504B2 which mentions the integration within a portable system of a camera, a monitor, a loudspeaker and a microphone.
Dans certains environnements contraignants, les systèmes actuels ne sont pas bien adaptés. Par exemple, lorsque le champ visuel d’une caméra fixe, qui restitue une scène à un utilisateur distant, peut être cachée par le mouvement d’un ou plusieurs individus, la zone de capture visuelle souhaitée n’est pas réellement restituée à l’utilisateur distant. Cette situation peut se rencontrer dans une salle d’intervention chirurgicale où le champ de la caméra fixe en général agencée dans le plafond est obturé par un soignant qui est en mouvement autour du patient.In some constraining environments, current systems are not well suited. For example, when the field of view of a fixed camera, which renders a scene to a remote user, may be obscured by the movement of one or more individuals, the desired visual capture area is not actually rendered to the remote user. This situation can be encountered in a surgical intervention room where the field of the fixed camera generally arranged in the ceiling is blocked by a caregiver who is moving around the patient.
Par ailleurs, même si dans les systèmes actuels, les flux des données peuvent circuler dans les deux sens, il est nécessaire de faire cohabiter le canal d’information remontant du premier utilisateur vers le second et les données de téléassistance descendant vers le premier utilisateur.Moreover, even if in current systems, data flows can circulate in both directions, it is necessary to coexist the information channel going up from the first user to the second and the remote assistance data going down to the first user.
Il existe par conséquent un besoin de système portable par un utilisateur, qui s’adapte à tous les environnements et qui présente plusieurs modes de pilotage pour une téléassistance.There is therefore a need for a system portable by a user, which adapts to all environments and which has several control modes for remote assistance.
Un besoin supplémentaire est que le système portable soit facile d’utilisation, qu’il puisse être mis en œuvre dans de nombreux domaines de téléassistance, et qu’il ne vienne pas encombrer ou réduire le champ de vision de l’utilisateur, comme cela arrive par exemple avec les dispositifs actuels de réalité augmentée.An additional need is that the portable system be easy to use, that it can be implemented in many areas of remote assistance, and that it does not encumber or reduce the user's field of vision, as happens for example with current augmented reality devices.
Le but général de l'invention est alors de répondre au moins en partie à ce(s) besoin(s).The general object of the invention is then to respond at least in part to this (these) need(s).
Pour ce faire, l’invention a tout d’abord pour objet un système de capture et du suivi du champ visuel attentionnel et/ou du pilotage du regard d’un individu et/ou la désignation visuelle de cibles, le système comprenant :To do this, the invention firstly relates to a system for capturing and monitoring the attentional visual field and/or the control of an individual's gaze and/or the visual designation of targets, the system comprising:
- un support, destiné à être positionné de manière fixe par rapport au visage de l’individu;- a support, intended to be positioned in a fixed manner in relation to the face of the individual;
- au moins une caméra à objectif grand angle, fixée au support;- at least one wide-angle lens camera, fixed to the support;
- un dispositif automatique de détection de la direction du regard de l’individu;- an automatic device for detecting the direction of the gaze of the individual;
- au moins une caméra d’analyse du champ visuel attentionnel, la caméra d’analyse étant fixée au support de sorte qu’elle puisse pivoter horizontalement et/ou verticalement autour de son centre ;- at least one attentional visual field analysis camera, the analysis camera being fixed to the support so that it can pivot horizontally and/or vertically around its center;
- au moins un actionneur pour piloter le pivotement horizontal et/ou vertical de la caméra d’analyse;- at least one actuator to control the horizontal and/or vertical pivoting of the analysis camera;
- un dispositif de projection optique d’au moins une mire dans le visible et/ou l’infrarouge, le dispositif de projection étant solidaire ou indépendant des mouvements de pivotement de la caméra d’analyse ;- an optical projection device with at least one pattern in the visible and/or infrared, the projection device being integral with or independent of the pivoting movements of the analysis camera;
- une unité électronique de commande adaptée pour asservir le pilotage de l’actionneur en fonction de la direction du regard de l’individu détectée par le dispositif automatique de détection ou, en fonction des images captées par la caméra à objectif grand angle et/ou d’un dispositif de pilotage externe qui est à distance de l’individu, de sorte à projeter la mire visible pour afficher ou pour orienter la direction du regard de l’individu vers un point attentionnel périphérique.- an electronic control unit adapted to control the piloting of the actuator according to the direction of the individual's gaze detected by the automatic detection device or, according to the images captured by the wide-angle lens camera and/or an external control device which is at a distance from the individual, so as to project the visible target to display or to orient the direction of the individual's gaze towards a peripheral attention point.
Par « champ visuel attentionnel », on entend ici et dans le cadre de l’invention la scène observée par l’utilisateur qui porte le support du système et la position de son regard dans la scène.By "attentional visual field" is meant here and in the context of the invention the scene observed by the user who wears the support of the system and the position of his gaze in the scene.
La caméra d’analyse et l’actionneur peuvent ne former qu’un seul et même composant : il peut s’agir en effet d’une caméra désignée sous l’expression anglo-saxonne « pan tilt zoom » (d’acronyme PTZ).The analysis camera and the actuator can form only one and the same component: it can indeed be a camera designated by the English expression "pan tilt zoom" (acronym PTZ) .
La projection optique par voie holographique dans le visible et/ou dans l'infra-rouge peut être détectable par la vision humaine ou seulement par une caméra. Un exemple de dispositif de projection optique qui peut être envisagé dans le cadre de l’invention est un laser fibré couplé à un élément optique diffractif pour projeter un motif (mire) choisi. La mire peut être un symbole ou un pictogramme, par exemple une flèche indiquant dans quel sens l’individu portant le support doit bouger la tête et/ou la direction du regard visible tant que la consigne qui lui a été indiquée n'est pas appliquée. La mire peut être aussi un point, une croix ou un élément structuré. Dans le cadre de l’invention, il est possible de projeter plusieurs mires, identiques ou différentes, simultanément ou successivement. Plusieurs dispositifs optiques de projection de mire (s) peuvent être mis en œuvre, dans le visible ou dans l'infra-rouge, détectable par la vision humaine et/ou par une caméra.Optical projection by holography in the visible and/or in the infrared may be detectable by human vision or only by a camera. An example of an optical projection device which can be envisaged in the context of the invention is a fiber laser coupled to a diffractive optical element to project a chosen pattern (pattern). The target can be a symbol or a pictogram, for example an arrow indicating in which direction the individual wearing the support must move his head and/or the direction of the visible gaze as long as the instruction which has been indicated to him is not applied. . The target can also be a point, a cross or a structured element. In the context of the invention, it is possible to project several sights, identical or different, simultaneously or successively. Several optical devices for projecting target(s) can be implemented, in the visible or in the infrared, detectable by human vision and/or by a camera.
Selon une variante avantageuse de réalisation, le support est une coque logeant au moins les caméras et l’actionneur, et de préférence l’unité électronique de commande, la coque étant destinée à être portée et maintenue sur la tête de l’individu.According to an advantageous variant embodiment, the support is a shell housing at least the cameras and the actuator, and preferably the electronic control unit, the shell being intended to be worn and held on the head of the individual.
Avantageusement, la coque est reliée à un bandeau souple de type serre-tête ou à un casque pour maintenir la coque solidaire de la tête de l’individu.Advantageously, the shell is connected to a flexible headband of the headband type or to a helmet to hold the shell secured to the head of the individual.
Le dispositif automatique de détection de la direction du regard de l’individu est de préférence un oculomètre ou une lentille de contact intégrant un pointeur laser.The automatic device for detecting the direction of gaze of the individual is preferably an eye tracker or a contact lens incorporating a laser pointer.
L’oculomètre est fixé au support tandis que la lentille de contact est portée par un œil de l’individu qui porte par ailleurs le support.The eye tracker is fixed to the support while the contact lens is carried by an eye of the individual who also wears the support.
Dans le cadre de l’invention, l’oculomètre peut être un oculomètre déjà commercialisé, portable qui comporte un dispositif d’illumination éclairant les yeux, par exemple des sources LEDs émettant dans l’infrarouge portées sur une monture de lunettes et une ou plusieurs caméra(s) enregistrant l’image d’un ou des deux yeux, en général portée(s) sur la même monture que les sources LEDs et intègre une unité électronique avec un logiciel permettant de calculer à partir de ces images la direction du regard, par exemple en analysant la position de la pupille, des reflets.In the context of the invention, the oculometer can be an oculometer already marketed, portable which comprises an illumination device illuminating the eyes, for example LED sources emitting in the infrared carried on a spectacle frame and one or more camera(s) recording the image of one or both eyes, generally worn on the same mount as the LED sources and incorporates an electronic unit with software making it possible to calculate the direction of gaze from these images , for example by analyzing the position of the pupil, reflections.
Une lentille de contact intégrant un pointeur laser, particulièrement avantageuse dans le cadre de l’invention, est décrite dans la demande internationale déposée le 15 avril 2020 sous le n° PCT/EP20/060541, au nom de la déposante.A contact lens incorporating a laser pointer, which is particularly advantageous in the context of the invention, is described in the international application filed on April 15, 2020 under number PCT/EP20/060541, in the name of the applicant.
Selon une autre variante avantageuse, le dispositif de projection optique est un dispositif de projection holographique constitué par au moins un laser et d’un hologramme s’imageant dans le plan d’observation de l’individu.According to another advantageous variant, the optical projection device is a holographic projection device consisting of at least one laser and a hologram imaged in the observation plane of the individual.
Avantageusement, le dispositif de pilotage externe peut comprendre au moins un capteur de détection du mouvement et/ou d’orientation et/ou d’accélération, et/ou une interface homme-machine du type manette de commande ou bouton de commande tactile et un assistant de navigation (GPS).Advantageously, the external control device can comprise at least one sensor for detecting movement and/or orientation and/or acceleration, and/or a man-machine interface of the joystick or touch control button type and a navigation assistant (GPS).
Le support peut intégrer une batterie et/ou comprendre une prise d’alimentation électrique pour alimenter électriquement les composants électroniques du système.The support may incorporate a battery and/or include a power supply socket to power the electronic components of the system.
De préférence, l’unité électronique de commande est adaptée pour communiquer par protocole de communication sans fil ou par liaison optique ou filaire avec un ou plusieurs terminaux externes. Il peut s’agir d’un ordinateur, une tablette ou d’un smartphone.Preferably, the electronic control unit is adapted to communicate by wireless communication protocol or by optical or wired link with one or more external terminals. It can be a computer, a tablet or a smartphone.
Le support peut intégrer un ou plusieurs moyens d’éclairage, de préférence des diodes électroluminescentes fixes ou montées pivotantes à l’horizontal et/ou à la verticale.The support may incorporate one or more lighting means, preferably fixed light-emitting diodes or mounted pivoting horizontally and/or vertically.
Avantageusement, l’unité électronique de commande est adaptée pour asservir le pilotage du pivotement des moyens d’éclairage en fonction de la direction du regard de l’individu détectée par le dispositif automatique de détection.Advantageously, the electronic control unit is adapted to control the control of the pivoting of the lighting means according to the direction of the gaze of the individual detected by the automatic detection device.
Ainsi, l’invention consiste en un système portable qui intègre dans un même support des composants optiques et électroniques avec une électronique de commande, qui permettent des captures d’image et/ou des projections optiques asservies à la direction du regard d’un utilisateur portant le support et/ou à un dispositif référentiel de pilotage externe qui est à distance de l’utilisateur.Thus, the invention consists of a portable system which integrates in the same support optical and electronic components with control electronics, which allow image capture and/or optical projections slaved to the direction of a user's gaze. carrying the support and/or to an external control reference device which is remote from the user.
Le système intègre donc un dispositif motorisé d'asservissement d'une caméra et/ou du dispositif de projection optique. Ce dispositif est par exemple une centrale mécanique assurant les deux rotations de la caméra en panoramique (« pan ») et/ou en orientation (« tilt »). Ce dispositif peut être asservi soit à la direction du regard, soit à une consigne activée à distance ou une commande externe, à distance de l’individu (utilisateur), porteur du support. Un faisceau laser désignant la cible peut-être est par conséquent piloté de manière externe pour indiquer par exemple à l’utilisateur (le porteur du support) une zone d’intérêt. Le dispositif permet donc la projection de la cible visible dans le champ de vue de l’utilisateur.The system therefore incorporates a motorized device for controlling a camera and/or the optical projection device. This device is for example a mechanical unit ensuring the two rotations of the camera in panning (“pan”) and/or in orientation (“tilt”). This device can be slaved either to the direction of gaze, or to a setpoint activated remotely or an external command, remote from the individual (user), carrying the medium. A laser beam designating the target perhaps is therefore controlled externally to indicate for example to the user (the holder of the support) an area of interest. The device therefore allows the projection of the visible target in the field of view of the user.
La(les) caméra(s) enregistre(nt) la scène observée par le porteur du support dont le champ visuel attentionnel de ce dernier ou un champ périphérique où il serait nécessaire de reporter son attention.The camera(s) record(s) the scene observed by the wearer of the medium, including the attentional visual field of the latter or a peripheral field where it would be necessary to transfer his attention.
De manière générale, le système selon l’invention comprend avantageusement trois composants qui peuvent avoir des mouvements relativement au support: une caméra d’analyse et deux dispositifs de projection optique (pointeurs), un émettant dans l’infra-rouge (IR) pour désigner la direction, l’autre dans le visible pour pointer une zone d’intérêt. Les dispositifs de projection optique sont avantageusement des lasers.In general, the system according to the invention advantageously comprises three components which can move relative to the support: an analysis camera and two optical projection devices (pointers), one emitting in the infrared (IR) to designate the direction, the other in the visible to point to an area of interest. The optical projection devices are advantageously lasers.
Lorsque le système intègre un oculomètre, le pointeur IR qui désigne la direction du regard est motorisé et asservi à celle-ci.When the system incorporates an eye tracker, the IR pointer which designates the direction of gaze is motorized and slaved to it.
Lorsque le système intègre une lentille de contact avec pointeur IR, ce dernier est automatiquement asservi à l’œil.When the system incorporates a contact lens with an IR pointer, the latter is automatically slaved to the eye.
Le second pointeur émet dans le visible. Il est asservi à la direction du regard ou est piloté de manière externe et est donc motorisé.The second pointer emits in the visible. It is slaved to the direction of gaze or is controlled externally and is therefore motorized.
La caméra d’analyse est motorisée de sorte qu’elle vienne se focaliser sur une zone d’intérêt dans laquelle émettent les deux pointeurs : le pointeur de direction (IR) et le pointeur de zone d’intérêt (visible).The analysis camera is motorized so that it focuses on an area of interest in which the two pointers emit: the direction pointer (IR) and the area of interest pointer (visible).
Dans un mode de réalisation préférentiel, un seul moteur de déplacement peut être mis en œuvre. Dans ce mode, le pointeur IR est porté par la lentille de contact et le second pointeur visible et la caméra sont solidaires et motorisées par le même moteur. Les pointeurs peuvent être activés séparément ou simultanément.In a preferred embodiment, only one movement motor can be implemented. In this mode, the IR pointer is carried by the contact lens and the second visible pointer and the camera are integral and motorized by the same motor. Pointers can be activated separately or simultaneously.
Les avantages de l’invention sont nombreux parmi lesquels on peut citer :The advantages of the invention are numerous, among which we can cite:
- la possibilité d’avoir plusieurs modes de pilotage pour une parfaite téléassistance même dans des environnements contraignants (salles d’opération, assistance à la conduite) ;the possibility of having several control modes for perfect remote assistance even in restrictive environments (operating rooms, driving assistance);
- un système portable, très léger, qui ne gêne absolument pas les mouvements de l’utilisateur ni n’obstrue son champ de vision contrairement à certains casques de réalité augmentée selon l’état de l’art.a portable system, very light, which absolutely does not hinder the movements of the user or obstruct his field of vision unlike some augmented reality helmets according to the state of the art.
L’invention concerne également l’utilisation d’un système qui vient d’être décrit pour la téléassistance à une intervention chirurgicale.The invention also relates to the use of a system which has just been described for remote assistance to a surgical intervention.
De nombreuses autres applications peuvent être envisagées parmi lesquelles on peut citer la maintenance assistée, l'assistance à un conducteur de véhicule, la formation à distance.Numerous other applications can be envisaged, among which mention may be made of assisted maintenance, assistance to a vehicle driver, remote training.
D'autres avantages et caractéristiques ressortiront mieux à la lecture de la description détaillée, faite à titre illustratif et non limitatif, en référence aux figures suivantes.Other advantages and characteristics will emerge better on reading the detailed description, given by way of illustration and not limitation, with reference to the following figures.
Description détailléedetailed description
On précise que sur les figures 1 et 2, les flèches en traits continus indiquent les commandes des composants du système, les flèches en pointillés indiquant les flux vidéo qui peuvent être transmis.It is specified that in FIGS. 1 and 2, the arrows in solid lines indicate the commands of the components of the system, the arrows in dotted lines indicating the video streams which can be transmitted.
Le système selon l’invention 1 comprenant tout d’abord un support 10, destiné à être positionné de manière fixe par rapport au visage d’un individu. Il peut s’agir avantageusement d’une coque destinée à être portée sur le visage de l’individu, par exemple fixée sur une paire de lunettes de vue.The system according to the invention 1 firstly comprising a support 10, intended to be positioned in a fixed manner relative to the face of an individual. It may advantageously be a shell intended to be worn on the face of the individual, for example fixed on a pair of eyeglasses.
Le système 1 comprend un dispositif automatique 11 de détection de la direction du regard de l’individu, fixé au support. Il peut s’agir d’un oculomètre.The system 1 comprises an automatic device 11 for detecting the direction of the gaze of the individual, fixed to the support. It could be an eye tracker.
En outre, une caméra d’analyse 12 du champ visuel attentionnelle est fixée sur le support 10 de sorte qu’elle puisse pivoter horizontalement et/ou verticalement autour de son centre.In addition, an analysis camera 12 of the attentional visual field is fixed on the support 10 so that it can pivot horizontally and/or vertically around its center.
Un actionneur 13 permet de piloter le pivotement horizontal et/ou vertical de la caméra d’analyse. La caméra d’analyse 12 et l’actionneur 13 peuvent constituer un seul et même composant, à savoir une caméra «pan-tilt-zoom ».An actuator 13 controls the horizontal and/or vertical pivoting of the analysis camera. The analysis camera 12 and the actuator 13 can constitute one and the same component, namely a “pan-tilt-zoom” camera.
Une caméra à objectif grand angle 14 est fixée au support 10.A wide-angle lens camera 14 is attached to the bracket 10.
Le système comprend un dispositif de projection optique 15 d’au moins une mire dans le visible et/ou l’infrarouge, ce dispositif de projection étant solidaire ou indépendant des mouvements de pivotement de la caméra d’analyse.The system comprises an optical projection device 15 of at least one pattern in the visible and/or the infrared, this projection device being integral with or independent of the pivoting movements of the analysis camera.
Enfin, le système intègre une unité électronique de commande qui va permettre le pilotage des différents composants optiques/électroniques.Finally, the system integrates an electronic control unit which will allow the control of the various optical/electronic components.
Un premier mode de mise en œuvre d’un système 1 selon l’invention est montré en
Selon ce premier mode, l’unité électronique de commande du système asservit le pilotage de l’actionneur 13 et donc la caméra 12 en fonction de la direction du regard de l’individu qui porte le support, détectée par le dispositif automatique de détection 11 ou, en fonction des images captées par la caméra à objectif grand angle 14.According to this first mode, the electronic control unit of the system slaves the control of the actuator 13 and therefore the camera 12 according to the direction of the gaze of the individual wearing the support, detected by the automatic detection device 11 or, depending on the images captured by the wide-angle lens camera 14.
Ainsi, le dispositif de projection 15 projette une mire pour afficher ou pour orienter la direction du regard de l’individu vers un point attentionnel périphérique. Autrement dit, selon ce premier mode, l’individu qui porte le support du système est son propre pilote de la projection.Thus, the projection device 15 projects a pattern to display or to orient the direction of the individual's gaze towards a peripheral attention point. In other words, according to this first mode, the individual who supports the system is his own pilot of the projection.
Un deuxième mode de mise en œuvre d’un système 1 selon l’invention est montré en
Selon ce deuxième mode, l’unité électronique de commande du système asservit le pilotage de l’actionneur 13 et donc la caméra 12 en fonction d’un dispositif de pilotage externe, à distance du porteur du support 10. Cette commande à distance par une consigne externe peut être avantageusement être faite par un autre utilisateur.According to this second mode, the electronic control unit of the system controls the control of the actuator 13 and therefore the camera 12 according to an external control device, remote from the holder of the support 10. This remote control by a external instruction can advantageously be made by another user.
Plusieurs configurations de fonctionnement peuvent être envisagées avec un système selon l’invention.Several operating configurations can be envisaged with a system according to the invention.
Une première configuration peut consister à afficher dans une scène enregistrée/captée par la caméra 12, le point de fixation du regard du porteur du support 10 en matérialisant ce point par une mire dans le domaine de l’infrarouge ou visible dans le champ de vue d’un observateur externe.A first configuration can consist in displaying in a scene recorded/captured by the camera 12, the point of fixation of the gaze of the wearer of the support 10 by materializing this point by a sight in the infrared range or visible in the field of view from an outside observer.
Une deuxième configuration peut être de ramener le centre d'attention du porteur du support 10 sur une partie de la scène en périphérie du centre d'attention en l'indiquant sur la scène, par exemple par un symbole visible dans l’infrarouge ou projeté et visible par le porteur.A second configuration can be to bring the center of attention of the bearer of the support 10 to a part of the scene on the periphery of the center of attention by indicating it on the scene, for example by a symbol visible in the infrared or projected and visible to the wearer.
Une autre configuration peut consister à ramener l'attention du porteur du support 10 sur une périphérie hors champ de la caméra 12 et/ou du champ visuel, en pilotant par exemple un zoom de la caméra ou en indiquant le sens de mouvement de la tête du porteur pour faire rentrer l'objet à visualiser dans le champ d'attention et le désigner par une mire.Another configuration may consist in bringing the attention of the wearer of the support 10 to a periphery out of the field of the camera 12 and/or of the visual field, by controlling for example a zoom of the camera or by indicating the direction of movement of the head of the wearer to bring the object to be visualized into the field of attention and designate it with a crosshair.
Toute autre configuration consistant à asservir la captation au champ du porteur du support 10, et/ou asservir le champ attentionnel à une zone d'intérêt hors champ de la caméra 12 et/ou du champ visuel peut être envisagée.Any other configuration consisting of enslaving the capture to the field of the wearer of the support 10, and/or enslaving the attentional field to a zone of interest outside the field of the camera 12 and/or the visual field can be envisaged.
La
La coque 10 intègre en son sein un oculomètre 11, un actionneur non représenté permettant d'orienter à la fois en inclinaison une caméra grand champ 12 et un système de pointage de mire (pointeur) 15 et l’unité électronique de commande nécessaire à la fois au pilotage des composants et à la communication des flux vidéo.The shell 10 incorporates within it an eye-tracker 11, an actuator (not shown) making it possible to orient both in inclination a wide-field camera 12 and a sight pointing system (pointer) 15 and the electronic control unit necessary for the both the control of components and the communication of video streams.
Comme illustré, l’oculomètre 11 est sous la forme de deux branches articulées latéralement sur la coque 10.As illustrated, the eye tracker 11 is in the form of two branches hinged laterally on the shell 10.
La caméra 12 est une caméra de type pan-tilt est donc solidaire en déplacement du pointeur 15.The camera 12 is a pan-tilt type camera and is therefore integral in movement with the pointer 15.
Une caméra à objectif grand angle 14 et une caméra de surveillance 16 sont également intégrées dans la coque 10. Cette caméra de surveillance 16 peut être nécessaire ou pas, en fonction de l’oculomètre mis en œuvre. Elle est nécessaire lorsque l’oculomètre nécessite l’utilisation d’une caméra propre.A wide-angle lens camera 14 and a surveillance camera 16 are also integrated into the hull 10. This surveillance camera 16 may or may not be necessary, depending on the eye tracker implemented. It is necessary when the eye tracker requires the use of its own camera.
La coque 10 intègre en outre une diode électroluminescente 17. Elle peut être fixe ou montée pivotante à l’horizontal et/ou à la verticale dans la coque 10.The shell 10 also incorporates a light-emitting diode 17. It can be fixed or pivotally mounted horizontally and/or vertically in the shell 10.
Enfin, un câble avec une prise d’interface 18 vers l’extérieur, par exemple de type USB, est reliée directement à l’électronique de commande intégrée dans la coque 10.Finally, a cable with an interface socket 18 to the outside, for example of the USB type, is connected directly to the control electronics integrated in the shell 10.
Un exemple d’utilisation avantageuse du système selon l’invention est maintenant décrit en référence aux figures 4 à 6. Il s’agit d’assister un chirurgien interventionniste qui est le porteur du support 10 du système et qui doit opérer une zone d’intérêt Z.I. d’un patient P allongé dans une salle d’opération.An example of advantageous use of the system according to the invention is now described with reference to FIGS. 4 to 6. interest Z.I. of a patient P lying in an operating room.
La salle d’opération peut disposer d’une caméra 3 grand champ déjà installée et destinée justement à filmer la zone d’intérêt ZI.The operating room may have a wide-field camera 3 already installed and intended precisely to film the zone of interest ZI.
Un chirurgien expert peut voir sur un écran dans sa salle d’expertise exactement la scène filmée par le système 1 porté par le chirurgien interventionniste, distant du chirurgien expert et qui peut en outre échanger avec lui simultanément par un dispositif audio (microphone/écouteurs).An expert surgeon can see on a screen in his expertise room exactly the scene filmed by the system 1 carried by the interventionist surgeon, distant from the expert surgeon and who can also exchange with him simultaneously by an audio device (microphone/headphones) .
En outre, une mire par exemple un faisceau 19 matérialise précisément sur cet écran ce que les yeux du chirurgien interventionniste fixent précisément.In addition, a target for example a beam 19 materializes precisely on this screen what the eyes of the interventionist surgeon fix precisely.
Le chirurgien expert peut à tout moment piloter à distance le pointeur pour indiquer au chirurgien interventionniste la zone d’intérêt précise à cibler. Cette cible peut avantageusement matérialiser par une mire émise par le dispositif de projection embarqué 15.The expert surgeon can remotely control the pointer at any time to indicate to the interventionist surgeon the precise area of interest to target. This target can advantageously materialize by a pattern emitted by the on-board projection device 15.
Autrement dit, avec un système 1 selon l’invention, il est possible d’analyser la direction des yeux du chirurgien interventionniste et de cibler les détails anatomiques au moyen d'un faisceau visible.In other words, with a system 1 according to the invention, it is possible to analyze the direction of the eyes of the interventionist surgeon and to target the anatomical details by means of a visible beam.
L’invention n’est pas limitée aux exemples qui viennent d’être décrits; on peut notamment combiner entre elles des caractéristiques des exemples illustrés au sein de variantes non illustrées.The invention is not limited to the examples which have just been described; it is in particular possible to combine together characteristics of the examples illustrated within variants not illustrated.
D’autres variantes et améliorations peuvent être envisagées sans pour autant sortir du cadre de l’invention.Other variants and improvements can be considered without departing from the scope of the invention.
Claims (11)
- un support (10), destiné à être positionné de manière fixe par rapport au visage de l’individu;
- au moins une caméra à objectif grand angle (14), fixée au support;
- un dispositif automatique (11) de détection de la direction du regard de l’individu;
- au moins une caméra d’analyse (12) du champ visuel attentionnelle, la caméra d’analyse étant fixée sur le support de sorte qu’elle puisse pivoter horizontalement et/ou verticalement autour de son centre ;
- au moins un actionneur (13) pour piloter le pivotement horizontal et/ou vertical de la caméra d’analyse;
- au moins un dispositif de projection optique (15) d’au moins une mire dans le visible et/ou l’infrarouge, le dispositif de projection étant solidaire ou indépendant des mouvements de pivotement de la caméra d’analyse ;
- une unité électronique de commande adaptée pour asservir le pilotage de l’actionneur en fonction de la direction du regard de l’individu détectée par le dispositif automatique de détection ou, en fonction des images captées par la caméra à objectif grand angle et/ou d’un dispositif de pilotage externe qui est à distance de l’individu, de sorte à projeter la mire visible pour afficher ou pour orienter la direction du regard de l’individu vers un point attentionnel périphérique.
- a support (10), intended to be positioned in a fixed manner relative to the face of the individual;
- at least one wide angle lens camera (14), fixed to the support;
- an automatic device (11) for detecting the direction of gaze of the individual;
- at least one analysis camera (12) of the attentional visual field, the analysis camera being fixed on the support so that it can pivot horizontally and/or vertically around its center;
- at least one actuator (13) for controlling the horizontal and/or vertical pivoting of the analysis camera;
- at least one optical projection device (15) of at least one pattern in the visible and/or the infrared, the projection device being integral with or independent of the pivoting movements of the analysis camera;
- an electronic control unit adapted to control the piloting of the actuator according to the direction of the individual's gaze detected by the automatic detection device or, according to the images captured by the wide-angle lens camera and/or d an external control device which is at a distance from the individual, so as to project the visible pattern to display or to orient the direction of the individual's gaze towards a peripheral attention point.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2011558A FR3116135B1 (en) | 2020-11-10 | 2020-11-10 | System for capturing and monitoring the attentional visual field and/or the gaze control of an individual and/or the visual designation of targets. |
| PCT/EP2021/080941 WO2022101136A1 (en) | 2020-11-10 | 2021-11-08 | System for capturing and monitoring the visual field of attention and/or for controlling the gaze of an individual and/or the visual designation of targets |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2011558 | 2020-11-10 | ||
| FR2011558A FR3116135B1 (en) | 2020-11-10 | 2020-11-10 | System for capturing and monitoring the attentional visual field and/or the gaze control of an individual and/or the visual designation of targets. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3116135A1 true FR3116135A1 (en) | 2022-05-13 |
| FR3116135B1 FR3116135B1 (en) | 2023-12-08 |
Family
ID=75339808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2011558A Active FR3116135B1 (en) | 2020-11-10 | 2020-11-10 | System for capturing and monitoring the attentional visual field and/or the gaze control of an individual and/or the visual designation of targets. |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3116135B1 (en) |
| WO (1) | WO2022101136A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1134491A2 (en) * | 2000-03-13 | 2001-09-19 | Kansai Technology Licensing Organization Co., Ltd. | Gazing point illuminating device and surgical operation illuminating system using the same |
| US7539504B2 (en) | 2001-12-05 | 2009-05-26 | Espre Solutions, Inc. | Wireless telepresence collaboration system |
| WO2015179446A1 (en) * | 2014-05-20 | 2015-11-26 | BROWND, Samuel, R. | Systems and methods for mediated-reality surgical visualization |
| US20180325618A1 (en) * | 2017-05-05 | 2018-11-15 | OrbisMV LLC | Surgical projection system and method |
| WO2020129029A2 (en) * | 2018-12-22 | 2020-06-25 | Pankaj Uday Raut | A system for generating an extended reality environment |
-
2020
- 2020-11-10 FR FR2011558A patent/FR3116135B1/en active Active
-
2021
- 2021-11-08 WO PCT/EP2021/080941 patent/WO2022101136A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1134491A2 (en) * | 2000-03-13 | 2001-09-19 | Kansai Technology Licensing Organization Co., Ltd. | Gazing point illuminating device and surgical operation illuminating system using the same |
| US7539504B2 (en) | 2001-12-05 | 2009-05-26 | Espre Solutions, Inc. | Wireless telepresence collaboration system |
| WO2015179446A1 (en) * | 2014-05-20 | 2015-11-26 | BROWND, Samuel, R. | Systems and methods for mediated-reality surgical visualization |
| US20180325618A1 (en) * | 2017-05-05 | 2018-11-15 | OrbisMV LLC | Surgical projection system and method |
| WO2020129029A2 (en) * | 2018-12-22 | 2020-06-25 | Pankaj Uday Raut | A system for generating an extended reality environment |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3116135B1 (en) | 2023-12-08 |
| WO2022101136A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10725535B2 (en) | Head-worn image display apparatus for stereoscopic microsurgery | |
| KR102246310B1 (en) | Systems and methods for gaze-based media selection and editing | |
| KR101352660B1 (en) | Display device and display method | |
| US9451802B2 (en) | Helmet system and methods | |
| US9344612B2 (en) | Non-interference field-of-view support apparatus for a panoramic facial sensor | |
| US20150063777A1 (en) | Personal recording and data transmitting apparatus | |
| JP6350283B2 (en) | Image display device, image display method, and recording medium | |
| US20140270685A1 (en) | Personal recording, illuminating, and data transmitting apparatus | |
| US20070195012A1 (en) | Image display apparatus and method for displaying image | |
| TWI677709B (en) | Display device assembly | |
| CN110100199B (en) | System and method for acquisition, registration and multimedia management | |
| CN113661431B (en) | Optical module of head-mounted device | |
| JP2003225207A (en) | Visual axis detector | |
| EP1300716A1 (en) | Head mounted display apparatus | |
| JP3925222B2 (en) | Gaze detection device | |
| WO2016040776A1 (en) | Personal recording and data transmitting apparatus | |
| WO2019073689A1 (en) | Information processing device, information processing method, and program | |
| WO2011042722A1 (en) | Improvements in and relating to ophthalmic instruments | |
| JP2011101300A (en) | Photographing device and remote operation support system | |
| WO2022101136A1 (en) | System for capturing and monitoring the visual field of attention and/or for controlling the gaze of an individual and/or the visual designation of targets | |
| US20050156816A1 (en) | System for the remote assistance of an operator during a work stage | |
| WO2011058707A1 (en) | Imaging device and remote operations support system | |
| EP3602253B1 (en) | Transparency system for commonplace camera | |
| JP2008113317A (en) | Remote operation support system | |
| JP2014022942A (en) | Head-mounted device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220513 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |