WO2024132690A1 - Système de réalité immersive embarqué sur un véhicule - Google Patents

Système de réalité immersive embarqué sur un véhicule Download PDF

Info

Publication number
WO2024132690A1
WO2024132690A1 PCT/EP2023/085322 EP2023085322W WO2024132690A1 WO 2024132690 A1 WO2024132690 A1 WO 2024132690A1 EP 2023085322 W EP2023085322 W EP 2023085322W WO 2024132690 A1 WO2024132690 A1 WO 2024132690A1
Authority
WO
WIPO (PCT)
Prior art keywords
immersive reality
passenger
reality system
vehicle
immersive
Prior art date
Application number
PCT/EP2023/085322
Other languages
English (en)
Inventor
Bruno ALBESA
Ghaya KHEMIRI
Frederic Autran
Original Assignee
Valeo Comfort And Driving Assistance
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort And Driving Assistance filed Critical Valeo Comfort And Driving Assistance
Publication of WO2024132690A1 publication Critical patent/WO2024132690A1/fr

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates in particular to an immersive reality system, for example virtual reality, intended to be on board a vehicle.
  • the vehicle may be land, sea or air.
  • Patent application US2015378156 describes a virtual reality system in a real vehicle.
  • a vehicle salesman can drive a test vehicle to a potential customer and the system can virtually display a vehicle configuration required by the customer.
  • the potential customer can thus sit in the vehicle, experience the relevant materials of the test vehicle, specify a personalized interior and equipment, and touch elements of the real vehicle, for example the steering wheel and controls, while seeing the chosen virtual configuration, using virtual reality glasses worn by the customer.
  • the control unit evaluates the camera images and, using pattern recognition methods, makes it possible to locate distinctive structures of the vehicle interior in the camera image, the positions of which are known, and to determine the three-dimensional orientation of the glasses.
  • the spatial positions and/or movements of both hands of the wearer of the data glasses are preferably determined when they are within the detection field of the camera of the glasses.
  • Patent application US2016070966 describes a vehicle system that uses a driver's head pose as a metric for estimating driver attention.
  • the system can be configured to measure driver head pose with non-intrusive or intrusive methods.
  • Non-intrusive measurement techniques may include, for example, interior cameras and image processing performed based on captured images of the driver's head.
  • Intrusive methods may include, for example, head-mounted devices configured to more directly measure the orientation or location of the driver's head.
  • Intrusive methods of measuring driver gaze may include glasses worn by the driver, which include motion sensors (e.g., accelerometer, gyroscope) that the vehicle system may use to provide information to estimate the head position and driver activity.
  • motion sensors e.g., accelerometer, gyroscope
  • the invention aims in particular to propose a new immersive reality system, for example virtual reality, intended to be on board a vehicle.
  • the subject of the invention is thus an immersive reality system, for example virtual reality, intended to be on board a vehicle, this system comprising:
  • a detection device configured to detect a movement and/or an orientation and/or a position of the hands and/or the head of a passenger, preferably of a plurality of passengers on board the vehicle, this detection device comprising at least one sensor installed at a fixed location in a passenger compartment of the vehicle,
  • an immersive reality image display device configured to be worn on the head of a passenger, this display device being in particular a head-mounted display (HMD) or glasses configured to display images and allow the passenger to see through them,
  • HMD head-mounted display
  • glasses configured to display images and allow the passenger to see through them
  • a data processing unit configured to provide immersive reality images to the display device, based on data obtained by the detection device, in particular to allow interaction of the hands with an object in a displayed immersive reality scene by the display device.
  • the term “passenger” can refer to the driver himself or a person seated next to him, or in the rear.
  • the detection device is configured to be able to detect a movement and/or an orientation and/or a position of the hands and/or the head of a passenger installed at any space in the passenger compartment.
  • the detection device is configured to be able to detect a movement and/or an orientation and/or a position of the hands and/or the head of a passenger installed in a seat at the front or at the rear of the vehicle.
  • the detection device comprises several sensors fixed in the passenger compartment, at several locations in the passenger compartment, so as to be able to detect a movement and/or an orientation and/or a position of a passenger's hands and/or head anywhere in the passenger compartment.
  • These sensors may be identical or, alternatively, be different, combining for example a three-dimensional type sensor and a two-dimensional type sensor.
  • the system can include, if necessary, several three-dimensional sensors to cover the entire passenger compartment, offering several points of view that complement each other.
  • the system can include, if necessary, several two-dimensional sensors to cover the entire passenger compartment by offering several points of view which complement each other.
  • the detection device is configured to be able to detect a movement and/or an orientation and/or a position of the hands and/or the head of several passengers at the same time, installed in the passenger compartment, whether on the front seats or the rear seats.
  • the detection device and the display device are mechanically separated from each other, namely the sensor of the detection device is not mechanically linked to the display device, to the contrary to certain virtual reality devices in which the head-mounted display integrates sensors to determine the position, orientation and movement of the wearer of the head-mounted display.
  • the sensor(s) of the detection device are placed at fixed locations in the passenger compartment, so that these sensors are capable of detecting the position, orientation and movement of parts of the body (head and hands in particular) of passengers in the passenger compartment, avoiding having to manage blind spots which remain when the sensors are integrated into the head-mounted display.
  • the sensor(s) placed, according to the invention, at suitable locations in the passenger compartment allow 360° detection in the passenger compartment, where sensors integrated into traditional head-mounted displays do not, in general, allow to carry out detections in an area behind the head-mounted display.
  • the invention also makes it possible to do without controllers to interact with objects in the virtual environment, thanks to sensors placed in the passenger compartment around the passenger(s), which directly detect hand gestures.
  • the immersive reality image display device does not have a sensor for detecting movement and/or orientation and/or position of the head or hands. All of these sensors are placed in fixed locations in the passenger compartment.
  • the senor of the detection device is configured to deliver a three-dimensional image of a detection zone. This is preferred for detecting the passenger's position, orientation and hand movement.
  • the sensor of the detection device is chosen from: - a time of flight sensor, such as a time of flight camera, (“Time of Flight” or TOF according to the Anglo-Saxon acronym) adapted to send light towards the passenger and to measure the time that causes this light to return to said time-of-flight sensor to deduce the three-dimensional image in a detection zone,
  • a time of flight sensor such as a time of flight camera
  • TOF Time of Flight
  • the sensor of the detection device is chosen from: - a time of flight sensor, such as a time of flight camera, (“Time of Flight” or TOF according to the Anglo-Saxon acronym) adapted to send light towards the passenger and to measure the time that causes this light to return to said time-of-flight sensor to deduce the three-dimensional image in a detection zone
  • a stereoscopic sensor comprising at least two cameras, each capturing an image of a detection zone from its own point of view, the images from each camera then being combined to deduce a three-dimensional image of the detection zone,
  • a structured light sensor adapted to project a pattern onto the detection zone and to analyze the deformation of this pattern to deduce the three-dimensional image of the conductor.
  • the senor of the detection device is configured to deliver a two-dimensional image of a detection zone. This is suitable for detecting the position, orientation and movement of the passenger's head.
  • the sensor of the detection device is an RGB camera, or an infrared camera, in particular of the near infrared type (or NIR according to the Anglo-Saxon acronym).
  • the detection device comprises a plurality of sensors chosen from the sensors described above, in particular among which there are at least one two-dimensional detection sensor and one three-dimensional detection sensor.
  • the two-dimensional detection sensor could advantageously be used to locally increase the resolution of the three-dimensional detection sensor.
  • the senor is positioned on a ceiling of the vehicle, in particular in a front ceiling light of the vehicle.
  • the senor is arranged in a lower part of the windshield of the vehicle, in particular substantially in front of the driver.
  • the senor(s) are placed on a dashboard of the vehicle, in particular in a central zone of this dashboard. It is also possible to have the sensor(s) placed on a rear-view mirror of the vehicle, in particular integrated on the central rear-view mirror inside the passenger compartment.
  • the immersive reality system is configured to allow the passenger wearing the immersive reality display device to interact with an object in the virtual environment or the real environment, especially with a hand, for example by touching it with one hand or grasping it with one hand.
  • the invention thus makes it possible, thanks to the sensor(s) mounted in the passenger compartment, to detect in a precise and extensive manner (for example at 360°) the hands of the passenger(s) for the purposes of managing virtual reality interactions.
  • the immersive reality system is configured to generate an entirely virtual environment which is perceptible in the virtual reality head-mounted display, which is completely obscured, i.e. the real environment is completely occult.
  • the immersive reality system is configured to generate an augmented reality environment in which three-dimensional or two-dimensional virtual elements are superimposed on a real environment.
  • the immersive reality system is configured to generate an augmented reality environment allowing, in addition, interaction between a virtual environment and a real environment.
  • This type of system is still called mixed reality.
  • the immersive reality system is configured to operate entertainment or a relaxation session intended for the passenger who wears the display device, which passenger can interact, in particular by his hands, with a virtual environment of entertainment or relaxation.
  • the immersive reality system can be used for driving learning purposes or for commercial promotion purposes of a vehicle.
  • a head-mounted display is a display device, worn on the head or in a passenger helmet, comprising a display screen in front of one eye (monocular head-mounted display), or two display screens. display in front of each eye (binocular head-mounted display).
  • Display screens are miniaturized and may, for example, be liquid crystal displays (LCDs), liquid crystal-on-silicon (LCoS) displays, or organic light-emitting diode (OLED) displays.
  • LCDs liquid crystal displays
  • LCDoS liquid crystal-on-silicon
  • OLED organic light-emitting diode
  • the data processing unit is connected by wire to the display device.
  • the data processing unit is connected non-wired to the display device, in particular by a wireless communication protocol such as Bluetooth or WIFI.
  • the data processing unit is part of an on-board computer of the vehicle.
  • the data processing unit is integrated into the display device.
  • the head-mounted display can include the data processing unit which communicates with the sensors and carries out the calculations to determine the interactions between for example the hands of the passenger and the immersive reality scene.
  • the invention also relates to a method for managing an immersive reality system, for example virtual reality, on board a vehicle, this method comprising the following steps: - detect a movement and/or an orientation and/or a position of the hands and/or the head of a passenger, preferably of a plurality of passengers on board the vehicle, using a detection device of the immersive reality system, comprising at least one sensor installed at a fixed location in a passenger compartment of the vehicle,
  • the immersive reality scene is a virtual reproduction of the vehicle interior.
  • the passenger can be immersed in the environment of the vehicle, with additional virtual objects in this virtual scene, for example dedicated to entertainment (for example a virtual pencil for drawing) or to a relaxation session (for example a virtual ball that the passenger can grab).
  • the virtual reality scene may contain an image of another passenger.
  • two or more people in the passenger compartment can interact in the virtual reality world.
  • the sensors installed in the passenger compartment make it possible to detect the movements of all passengers seated in the vehicle.
  • the invention is particularly well suited to an autonomous driving vehicle. This allows passengers, including the driver, to enjoy the immersive reality system, without having to concentrate on driving the vehicle.
  • FIG. 1 illustrates, schematically and partially, an immersive reality system intended to be on board a vehicle, according to an example of implementation of the invention.
  • an immersive reality system 1 here virtual reality, intended to be on board a vehicle V, this system 1 comprising:
  • a detection device 2 configured to detect a movement and/or an orientation and/or a position of the hands 3 and/or the head 4 of a plurality of passengers 5 on board the vehicle V, this detection device 2 comprising sensors 7 and 8 installed at fixed locations 9 and 10 respectively in a passenger compartment H of the vehicle V,
  • an immersive reality image display device 15 configured to be worn on the head of a passenger 5, this display device here being a head mounted display (called Head Mounted Display or HMD in English),
  • a data processing unit 16 configured to provide immersive reality images to the display device 15, based on data obtained by the detection device 2, to allow interaction of the hands 3 with an object in a scene of immersive reality displayed by the display device 15.
  • the term “passenger” can refer to the driver himself or a person seated next to him, or in the rear.
  • the detection device 2 is configured to be able to detect a movement and/or an orientation and/or a position of the hands and/or the head of a passenger 5 installed in a seat at the front or at the rear of the vehicle.
  • the sensors 7 and 8 fixed in the passenger compartment are at several locations 9 and 10 respectively, in the passenger compartment, so as to be able to detect a movement and/or an orientation and/or a position of the hands and/or of a passenger's head anywhere in the passenger compartment.
  • the sensor 7 is positioned on a location 9 of a ceiling 18 of the vehicle, in particular in a front ceiling light of the vehicle or a dome.
  • the sensor 8 is arranged in a lower part 10 of the windshield 19 of the vehicle, in particular substantially in front of the driver. Alternatively, a camera type sensor 8 can be integrated into the central rearview mirror. [52]
  • the detection device 2 is configured to be able to detect a movement and/or an orientation and/or a position of the hands and/or the head of several passengers 5 at the same time, installed in the passenger compartment, whether on the front seats or the rear seats.
  • the detection device 2 and the display device 15 are mechanically separated from each other, i.e. the sensor of the detection device is not mechanically linked to the display device, unlike some virtual reality devices in which the head-mounted display integrates sensors to determine the position, orientation and movement of the wearer of the head-mounted display.
  • the immersive reality image display device 15 does not have a sensor for detecting movement and/or orientation and/or position of the head 4 or the hands 3.
  • the sensor 7 of the detection device 2 is configured to deliver a three-dimensional image of a detection zone 21 which is the entire passenger compartment H.
  • Sensor 7 is chosen from:
  • time of flight sensor such as a time of flight camera, (“Time of Flight” or TOF according to the Anglo-Saxon acronym) adapted to send light towards the passenger and to measure the time that causes this light to return to said time-of-flight sensor to deduce the three-dimensional image in a detection zone,
  • Time of Flight or TOF according to the Anglo-Saxon acronym
  • a stereoscopic sensor comprising at least two cameras, each capturing an image of a detection zone from its own point of view, the images from each camera then being combined to deduce a three-dimensional image of the detection zone,
  • a structured light sensor adapted to project a pattern onto the detection zone and to analyze the deformation of this pattern to deduce the three-dimensional image of the conductor.
  • the sensor 8 is configured to deliver a two-dimensional image of the detection zone 21.
  • Sensor 8 is an RGB camera, or an infrared camera, in particular of the near infrared type (or NIR according to the Anglo-Saxon acronym).
  • the immersive reality system 1 is configured to allow the passenger
  • the immersive reality system 1 is configured to generate an entirely virtual environment which is perceptible in the virtual reality head-mounted display 16, which is completely obscured, i.e. the real environment is completely obscured.
  • the immersive reality system could be configured to generate an augmented reality or mixed reality environment in which three-dimensional or two-dimensional virtual elements are superimposed on a real environment.
  • the immersive reality system is configured to generate an augmented reality or mixed reality environment allowing, in addition, interaction between a virtual environment and a real environment.
  • the immersive reality system 1 is configured to operate entertainment or a relaxation session for the passenger 5 who wears the display device 16, which passenger 5 can interact, through his hands, with a virtual environment of entertainment or relaxation.
  • the immersive reality system 1 could be used for driving learning purposes or for commercial promotion purposes of a vehicle.
  • the head-mounted display 15 is a display device, worn on the head 5 or in a passenger helmet, comprising a display screen facing one eye (monocular head-mounted display), or two display screens facing one of each eye (binocular head-mounted display).
  • the head-mounted display can be completely obscuring (opaque) or pass-through allowing you to see through it, depending on needs.
  • Display screens are miniaturized and may, for example, be liquid crystal displays (LCDs), liquid crystal-on-silicon (LCoS) displays, or organic light-emitting diode (OLED) displays.
  • LCDs liquid crystal displays
  • LCDoS liquid crystal-on-silicon
  • OLED organic light-emitting diode
  • the data processing unit 16 is connected by wire to the display device 15.
  • the data processing unit 16 is connected non-wired to the display device 15, in particular by a wireless communication protocol of the Bluetooth or WIFI type.
  • the data processing unit 16 is part of a vehicle on-board computer.
  • the data processing unit 16 is integrated into the display device 15.
  • the head-mounted display 15 may include the data processing unit 16 which communicates with the sensors 7 and 8 and carries out the calculations to determine the interactions between for example the hands 4 of the passenger and the immersive reality scene.
  • the immersive reality scene is a virtual reproduction of the passenger compartment H of the vehicle.
  • the passenger 6 can be immersed in the environment of the vehicle, with additional virtual objects in this virtual scene, for example dedicated to entertainment (for example a virtual pencil for drawing) or to a relaxation session (for example a ball virtual that the passenger can enter).
  • the virtual reality scene may contain an image of another passenger.
  • two or more people in the passenger compartment can interact in the virtual reality world.
  • the invention is particularly well suited to an autonomous driving vehicle. This allows passengers, including the driver, to enjoy the immersive reality system, without having to concentrate on driving the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un système de réalité immersive (1), par exemple de réalité virtuelle, destiné à être embarqué à bord d'un véhicule, ce système comprenant : un dispositif de détection (2) configuré pour détecter un mouvement et/ou une orientation et/ou une position des mains (3) et/ou de la tête (4) d'un passager (5), de préférence d'une pluralité de passagers à bord du véhicule, ce dispositif de détection comportant au moins un capteur (7; 8) installé à un emplacement fixe (9; 10) dans un habitacle du véhicule, un dispositif d'affichage d'images de réalité immersive (15) configuré pour être porté sur la tête d'un passager, ce dispositif d'affichage étant notamment un visiocasque ou des lunettes configurées pour afficher des images et permettre au passager de voir à travers, une unité de traitement de données (16) configurée pour fournir des images de réalité immersive vers le dispositif d'affichage (15), en fonction de données obtenues par le dispositif de détection (2), notamment pour permettre une interaction des mains avec un objet dans une scène de réalité immersive affichée par le dispositif d'affichage

Description

Description
Titre de l'invention : Système de réalité immersive embarqué sur un véhicule
[1] La présente invention concerne notamment un système de réalité immersive, par exemple de réalité virtuelle, destiné à être embarqué à bord d’un véhicule.
[2] Le véhicule peut être de type terrestre, maritime ou aérien.
[3] La demande de brevet US2015378156 décrit un système de réalité virtuelle dans un véhicule réel. Grâce à ce système, un vendeur de véhicules peut se rendre avec un véhicule d'essai chez un client potentiel et le système permet d'afficher virtuellement une configuration du véhicule requise par le client. Le client potentiel peut ainsi s'asseoir dans le véhicule, découvrir les matériaux pertinents du véhicule d'essai, spécifier un intérieur et les équipements personnalisés, et toucher les éléments du véhicule réel, par exemple le volant et les commandes, tout en voyant la configuration virtuelle choisie, grâce à des lunettes de réalité virtuelle portées par le client.
[4] On connaît par la demande de brevet DE102016225262 des lunettes qui peuvent afficher une image sur des surfaces d'affichage dans le champ de vision du porteur des lunettes. Les surfaces d'affichage des lunettes peuvent être semi- transparentes, de sorte que l'environnement réel peut être perçu de la manière habituelle à travers les lunettes et les informations telles qu’un texte, des symboles, des graphiques ou des affichages vidéo peuvent être affichées en recouvrant la perception de l'environnement. En vue d’avoir la position spatiale des lunettes de données dans le système de coordonnées du véhicule et leur orientation tridimensionnelle, il est prévu une unité de commande connectée à une caméra fixée sur une branche des lunettes, et dirigée approximativement dans la direction de vision du porteur des lunettes. L'unité de commande évalue les images de la caméra et, à l'aide de procédés de reconnaissance de formes, permet de localiser des structures distinctives de l'intérieur du véhicule dans l'image de caméra, dont les positions sont connues, et de déterminer l’orientation tridimensionnelle des lunettes. Les positions spatiales et/ou les mouvements des deux mains du porteur des lunettes de données sont de préférence déterminés lorsqu'ils sont dans le champ de détection de la caméra des lunettes.
[5] La demande de brevet US2016070966 décrit un système de véhicule qui utilise la pose de la tête d'un conducteur comme mesure pour l'estimation de l'attention du conducteur. Le système peut être configuré pour mesurer la pose de la tête du conducteur avec des procédés non intrusifs ou intrusifs. Les techniques de mesure non intrusives peuvent comprendre, par exemple, des caméras intérieures et un traitement d'image effectué sur la base d'images capturées de la tête du conducteur. Les procédés intrusifs peuvent comprendre, par exemple, des dispositifs montés sur la tête, configurés pour mesurer plus directement l'orientation ou l'emplacement de la tête du conducteur. Les méthodes intrusives de mesure du regard du conducteur peuvent comprendre des lunettes portées par le conducteur, qui comprennent des capteurs de mouvement (par exemple, un accéléromètre, un gyroscope) que le système du véhicule peut utiliser pour fournir des informations permettant d'estimer la position de la tête et l'activité du conducteur.
[6] L’invention vise notamment à proposer un nouveau système de réalité immersive, par exemple de réalité virtuelle, destiné à être embarqué à bord d’un véhicule.
[7] L’invention a ainsi pour objet un système de réalité immersive, par exemple de réalité virtuelle, destiné à être embarqué à bord d’un véhicule, ce système comprenant :
- un dispositif de détection configuré pour détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager, de préférence d’une pluralité de passagers à bord du véhicule, ce dispositif de détection comportant au moins un capteur installé à un emplacement fixe dans un habitacle du véhicule,
- un dispositif d’affichage d’images de réalité immersive configuré pour être porté sur la tête d’un passager, ce dispositif d’affichage étant notamment un visiocasque (appelé en anglais Head Mounted Display ou HMD) ou des lunettes configurées pour afficher des images et permettre au passager de voir à travers,
- une unité de traitement de données configurée pour fournir des images de réalité immersive vers le dispositif d’affichage, en fonction de données obtenues par le dispositif de détection, notamment pour permettre une interaction des mains avec un objet dans une scène de réalité immersive affichée par le dispositif d’affichage.
[8] Le terme « passager >> peut désigner le conducteur lui-même ou une personne assise à côté de lui, ou à l’arrière.
[9] Selon l’un des aspects de l’invention, le dispositif de détection est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager installé à toute place dans l’habitacle. Par exemple, le dispositif de détection est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager installé à une place à l’avant ou à l’arrière du véhicule.
[10] Selon l’un des aspects de l’invention, le dispositif de détection comporte plusieurs capteurs fixés dans l’habitacle, à plusieurs emplacements dans l’habitacle, de sorte à pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager n’importe où dans l’habitacle. Ces capteurs peuvent être identiques ou, en variante, être différents, combinant par exemple un capteur de type tridimensionnel et un capteur de type bidimensionnel. Le système peut comporter, le cas échéant, plusieurs capteurs tridimensionnels pour couvrir l’ensemble de l’habitacle en offrant plusieurs points de vue qui se complètent. De même, le système peut comporter, le cas échéant, plusieurs capteurs bidimensionnels pour couvrir l’ensemble de l’habitacle en offrant plusieurs points de vue qui se complètent.
[11] Selon l’un des aspects de l’invention, le dispositif de détection est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête de plusieurs passagers à la fois, installés dans l’habitacle, que ce soit sur les sièges à l’avant ou les sièges à l’arrière. [12] Dans l’invention, le dispositif de détection et le dispositif d’affichage sont disjoints mécaniquement l’un de l’autre, à savoir le capteur du dispositif de détection n’est pas lié mécaniquement au dispositif d’affichage, au contraire de certains dispositifs de réalité virtuelle dans lesquels le visiocasque intègre des capteurs pour déterminer la position, l’orientation et le mouvement du porteur du visiocasque. Dans l’invention, le ou les capteurs du dispositif de détection sont placés à des emplacements fixes dans l’habitacle, de sorte que ces capteurs sont capables de détecter la position, l’orientation et le mouvement de parties du corps (tête et mains notamment) de passagers dans l’habitacle, en évitant d’avoir à gérer des angles morts qui subsistent lorsque les capteurs sont intégrés dans le visiocasque. En quelque sorte, le ou les capteurs placés, selon l’invention, à des emplacements adéquats dans l’habitacle, permettent une détection à 360° dans l’habitable, là où des capteurs intégrés aux visiocasques traditionnels ne permettent pas, en général, de réaliser des détections dans une zone à l’arrière du visiocasque.
[13] L’invention permet en outre de se passer de manettes pour interagir avec des objets dans l’environnement virtuel, grâce aux capteurs placés dans l’habitacle autour du ou des passagers, qui détectent directement les gestes des mains.
[14] Les capteurs montés dans l’habitacle peuvent servir pour plusieurs passagers à la fois. Au contraire, si le ou les capteurs étaient montés sur le visiocasque, il faudrait autant de groupe de capteurs que de casques à suivre. L’invention permet ainsi de mutualiser les capteurs pour plusieurs visiocasques ou lunettes.
[15] Avantageusement le dispositif d’affichage d’images de réalité immersive est dépourvu de capteur de détection de mouvement et/ou d’orientation et/ou de position de la tête ou des mains. Tous ces capteurs sont placés à des emplacements fixes dans l’habitacle.
[16] Selon l’un des aspects de l’invention, le capteur du dispositif de détection est configuré pour délivrer une image tridimensionnelle d’une zone de détection. Ceci est préféré pour détecter la position, l’orientation et le mouvement de mains du passager.
[17] Selon l’un des aspects de l’invention, le capteur du dispositif de détection est choisi parmi : - un capteur de temps de vol, telle qu'une caméra à temps de vol, (« Time of Flight >> ou TOF selon l'acronyme anglo-saxon) adaptée à envoyer de la lumière vers la passager et à mesurer le temps que met cette lumière à revenir vers ledit capteur à temps de vol pour déduire l'image tridimensionnelle dans une zone de détection,
- un capteur stéréoscopique comportant au moins deux caméras, chacune capturant une image d’une zone de détection selon son propre point de vue, les images de chaque caméra étant ensuite combinées pour déduire une image tridimensionnelle de la zone de détection,
- un capteur à lumière structurée adapté à projeter un motif sur la zone de détection et à analyser la déformation de ce motif pour déduire l'image tridimensionnelle du conducteur.
[18] Selon un autre des aspects de l’invention, le capteur du dispositif de détection est configuré pour délivrer une image bidimensionnelle d’une zone de détection. Ceci est adapté pour détecter la position, l’orientation et le mouvement de la tête du passager.
[19] Selon l’un des aspects de l’invention, le capteur du dispositif de détection est une caméra RGB, ou une caméra infrarouge, notamment de type proche infrarouge (ou NIR selon l'acronyme anglo-saxon).
[20] Selon l’un des aspects de l’invention, le dispositif de détection comporte une pluralité de capteurs choisis parmi les capteurs décrits ci-dessus, notamment parmi lesquels figurent au moins un capteur de détection bidimensionnelle et un capteur de détection tridimensionnelle. Le capteur de détection bidimensionnelle pourra être avantageusement utilisé pour augmenter localement la résolution du capteur de détection tridimensionnelle.
[21 ] Selon l’un des aspects de l’invention, le capteur est positionné sur un plafond du véhicule, notamment dans un éclairage plafonnier avant du véhicule.
[22] En variante, le capteur est disposé dans une partie inférieure du pare-brise du véhicule, notamment sensiblement en face du conducteur.
[23] Selon l’un des aspects de l’invention, le ou les capteurs sont placés sur une planche de bord du véhicule, notamment dans une zone centrale de cette planche de bord. Il est aussi possible d’avoir le ou les capteurs placés sur un rétroviseur du véhicule, notamment intégrés sur le rétroviseur central à l’intérieur de l’habitacle.
[24] Selon l’un des aspects de l’invention, le système de réalité immersive est configuré pour permettre au passager portant le dispositif d’affichage de réalité immersive, d’interagir avec un objet de l’environnement virtuel ou de l’environnement réel, notamment avec une main, par exemple en le touchant avec une main ou en le saisissant avec une main.
[25] L’invention permet ainsi, grâce au(x) capteur(s) montés dans l’habitacle, de détecter de manière précise et étendue (par exemple à 360°) les mains du ou des passagers pour les besoins de gestion des interactions de réalité virtuelle.
[26] Selon l’un des aspects de l’invention, le système de réalité immersive est configuré pour générer un environnement entièrement virtuel qui est perceptible dans le visiocasque de réalité virtuelle, lequel est totalement occultant, à savoir l’environnement réel est totalement occulté.
[27] Dans ce système selon l’invention, il est possible, tout en étant immergé totalement dans l’environnement virtuel, de tourner la tête à 360°, se déplacer dans l’espace et interagir avec l’environnement virtuel grâce aux mains dont les mouvements sont détectés par le ou les capteurs du dispositif de détection.
[28] Selon un autre des aspects de l’invention, le système de réalité immersive est configuré pour générer un environnement de réalité augmentée dans lequel des éléments virtuels tridimensionnels ou bidimensionnels sont superposés sur un environnement réel.
[29] Selon un autre des aspects de l’invention, le système de réalité immersive est configuré pour générer un environnement de réalité augmentée permettant, en plus, une interaction entre un environnement virtuel et un environnement réel. Ce type de système est encore appelé à réalité mixte.
[30] Autrement dit, dans une application de réalité mixte, des éléments virtuels tridimensionnels ou bidimensionnels sont superposés sur un environnement réel (réalité augmentée) et il est possible d’interagir avec les éléments virtuels notamment par des gestes des mains, comme dans la réalité virtuelle. [31] Selon l’un des aspects de l’invention, le système de réalité immersive est configuré pour faire fonctionner un divertissement ou une session de relaxation à destination du passager qui porte le dispositif d’affichage, lequel passager peut interagir, notamment par ses mains, avec un environnement virtuel de divertissement ou de relaxation.
[32] Selon un autre des aspects de l’invention, le système de réalité immersive peut être utilisé pour à fins d’apprentissage à la conduite ou à des fins de promotions commerciales d‘un véhicule.
[33] Dans la présente invention, un visiocasque est un dispositif d'affichage, porté sur la tête ou dans un casque du passager, comprenant un écran d'affichage en face d'un œil (visiocasque monoculaire), ou deux écrans d'affichage en face de de chaque œil (visiocasque binoculaire).
[34] Les écrans d'affichage sont miniaturisés et peuvent, par exemple, être des écrans à cristaux liquides (LCD), des écrans à cristaux liquides sur silicium (LCoS) ou des écrans à diodes luminescentes organiques (OLED).
[35] Selon l’un des aspects de l’invention, l’unité de traitement de données est connectée de manière filaire au dispositif d’affichage.
[36] En variante, l’unité de traitement de données est connectée de manière non- filaire au dispositif d’affichage, notamment par un protocole de communication sans fil de type Bluetooth ou WIFI.
[37] Selon l’un des aspects de l’invention, l’unité de traitement de données fait partie d’un ordinateur de bord du véhicule.
[38] Selon un autre des aspects de l’invention, l’unité de traitement de données est intégrée au dispositif d’affichage. Ainsi, par exemple, le visiocasque peut inclure l’unité de de traitement de données qui communique avec les capteurs et réalise les calculs pour déterminer les interactions entre par exemple les mains du passager et la scène de réalité immersive.
[39] L’invention a encore pour objet un procédé de gestion d’un système de réalité immersive, par exemple de réalité virtuelle, embarqué à bord d’un véhicule, ce procédé comprenant les étapes suivantes : - détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager, de préférence d’une pluralité de passagers à bord du véhicule, à l’aide d’un dispositif de détection du système de réalité immersive, comportant au moins un capteur installé à un emplacement fixe dans un habitacle du véhicule,
- afficher des images de réalité immersive dans un dispositif d’affichage du système, porté sur la tête d’un passager, en fonction de données obtenues par le dispositif de détection, notamment pour permettre une interaction des mains avec un objet dans une scène de réalité immersive affichée par le dispositif d’affichage.
[40] Selon l’un des aspects de l’invention, la scène de réalité immersive est une reproduction virtuelle de l’habitacle du véhicule. Ainsi le passager peut être immergé dans l’environnement du véhicule, avec dans cette scène virtuelle des objets virtuels additionnels, par exemple dédiés à un divertissement (par exemple un crayon virtuel pour dessiner) ou à une session de relaxation (par exemple un ballon virtuel que le passager peut saisir).
[41] La scène de réalité virtuelle peut contenir une image d’un autre passager. Ainsi deux personnes, ou plus, dans l’habitacle peuvent interagir dans le monde de réalité virtuelle.
[42] Les capteurs installés dans l’habitacle permettent de détecter les mouvements de l’ensemble des passagers assis dans le véhicule.
[43] L’invention est particulièrement bien adaptée à un véhicule de conduite autonome. Ceci permet aux passagers, y compris le conducteur, de profiter du système de réalité immersive, sans avoir à se concentrer sur la conduite du véhicule.
[44] D’autres caractéristiques et avantages de l’invention apparaitront plus clairement à la lecture de la description suivante, donnée à titre d’exemple illustratif et non limitatif, et du dessin annexé sur lequel :
[45] - la [Figure 1] illustre, schématiquement et partiellement, un système de réalité immersive destiné à être embarqué à bord d’un véhicule, selon un exemple de mise en oeuvre de l’invention. [46] On a représenté, sur la figure 1 , un système de réalité immersive 1 , ici de réalité virtuelle, destiné à être embarqué à bord d’un véhicule V, ce système 1 comprenant :
- un dispositif de détection 2 configuré pour détecter un mouvement et/ou une orientation et/ou une position des mains 3 et/ou de la tête 4 d’une pluralité de passagers 5 à bord du véhicule V, ce dispositif de détection 2 comportant des capteurs 7 et 8 installés à des emplacements fixes respectivement 9 et 10 dans un habitacle H du véhicule V,
- un dispositif d’affichage d’images de réalité immersive 15 configuré pour être porté sur la tête d’un passager 5, ce dispositif d’affichage étant ici un visiocasque (appelé en anglais Head Mounted Display ou HMD),
- une unité de traitement de données 16 configurée pour fournir des images de réalité immersive vers le dispositif d’affichage 15, en fonction de données obtenues par le dispositif de détection 2, pour permettre une interaction des mains 3 avec un objet dans une scène de réalité immersive affichée par le dispositif d’affichage 15.
[47] Le terme « passager >> peut désigner le conducteur lui-même ou une personne assise à côté de lui, ou à l’arrière.
[48] Le dispositif de détection 2 est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager 5 installé à une place à l’avant ou à l’arrière du véhicule.
[49] Les capteurs 7 et 8 fixés dans l’habitacle sont à plusieurs emplacements 9 et 10 respectivement, dans l’habitacle, de sorte à pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager n’importe où dans l’habitacle.
[50] Le capteur 7 est positionné sur un emplacement 9 d’un plafond 18 du véhicule, notamment dans un éclairage plafonnier avant du véhicule ou un dôme.
[51 ] Le capteur 8 est disposé dans une partie inférieure 10 du pare-brise 19 du véhicule, notamment sensiblement en face du conducteur. En variante, un capteur 8 de type caméra peut être intégré dans le rétroviseur central. [52] Le dispositif de détection 2 est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête de plusieurs passagers 5 à la fois, installés dans l’habitacle, que ce soit sur les sièges à l’avant ou les sièges à l’arrière.
[53] Le dispositif de détection 2 et le dispositif d’affichage 15 sont disjoints mécaniquement l’un de l’autre, à savoir le capteur du dispositif de détection n’est pas lié mécaniquement au dispositif d’affichage, au contraire de certains dispositifs de réalité virtuelle dans lesquels le visiocasque intègre des capteurs pour déterminer la position, l’orientation et le mouvement du porteur du visiocasque.
[54] Le dispositif d’affichage d’images de réalité immersive 15 est dépourvu de capteur de détection de mouvement et/ou d’orientation et/ou de position de la tête 4 ou des mains 3.
[55] Le capteur 7 du dispositif de détection 2 est configuré pour délivrer une image tridimensionnelle d’une zone de détection 21 qui est l’habitacle H en entier.
[56] Le capteur 7 est choisi parmi :
- un capteur de temps de vol, telle qu'une caméra à temps de vol, (« Time of Flight >> ou TOF selon l'acronyme anglo-saxon) adaptée à envoyer de la lumière vers la passager et à mesurer le temps que met cette lumière à revenir vers ledit capteur à temps de vol pour déduire l'image tridimensionnelle dans une zone de détection,
- un capteur stéréoscopique comportant au moins deux caméras, chacune capturant une image d’une zone de détection selon son propre point de vue, les images de chaque caméra étant ensuite combinées pour déduire une image tridimensionnelle de la zone de détection,
- un capteur à lumière structurée adapté à projeter un motif sur la zone de détection et à analyser la déformation de ce motif pour déduire l'image tridimensionnelle du conducteur.
[57] Le capteur 8 est configuré pour délivrer une image bidimensionnelle de la zone de détection 21. [58] Le capteur 8 est une caméra RGB, ou une caméra infrarouge, notamment de type proche infrarouge (ou NIR selon l'acronyme anglo-saxon).
[59] Le système de réalité immersive 1 est configuré pour permettre au passager
6 portant le dispositif d’affichage de réalité immersive 16, d’interagir avec un objet de l’environnement virtuel ou de l’environnement réel, notamment avec une main, par exemple en le touchant avec une main ou en le saisissant avec une main.
[60] Le système de réalité immersive 1 est configuré pour générer un environnement entièrement virtuel qui est perceptible dans le visiocasque de réalité virtuelle 16, lequel est totalement occultant, à savoir l’environnement réel est totalement occulté.
[61] Dans ce système selon l’invention, il est possible, tout en étant immergé totalement dans l’environnement virtuel, de tourner la tête à 360°, se déplacer dans l’espace et interagir avec l’environnement virtuel grâce aux mains dont les mouvements sont détectés par le ou les capteurs du dispositif de détection.
[62] En variante, le système de réalité immersive pourrait être configuré pour générer un environnement de réalité augmentée ou de réalité mixte dans lequel des éléments virtuels tridimensionnels ou bidimensionnels sont superposés sur un environnement réel.
[63] En fonction des besoins, le système de réalité immersive est configuré pour générer un environnement de réalité augmentée ou de réalité mixte permettant, en plus, une interaction entre un environnement virtuel et un environnement réel.
[64] Le système de réalité immersive 1 est configuré pour faire fonctionner un divertissement ou une session de relaxation à destination du passager 5 qui porte le dispositif d’affichage 16, lequel passager 5 peut interagir, par ses mains, avec un environnement virtuel de divertissement ou de relaxation.
[65] Le système de réalité immersive 1 pourrait être utilisé pour à fins d’apprentissage à la conduite ou à des fins de promotions commerciales d‘un véhicule.
[66] Le visiocasque 15 est un dispositif d'affichage, porté sur la tête 5 ou dans un casque du passager, comprenant un écran d'affichage en face d'un œil (visiocasque monoculaire), ou deux écrans d'affichage en face de de chaque œil (visiocasque binoculaire). Le visiocasque peut être totalement occultant (opaque) ou passant permettant de voir à travers, en fonction des besoins.
[67] Les écrans d'affichage sont miniaturisés et peuvent, par exemple, être des écrans à cristaux liquides (LCD), des écrans à cristaux liquides sur silicium (LCoS) ou des écrans à diodes luminescentes organiques (OLED).
[68] L’unité de traitement de données 16 est connectée de manière filaire au dispositif d’affichage 15.
[69] En variante, l’unité de traitement de données 16 est connectée de manière non-filaire au dispositif d’affichage 15, notamment par un protocole de communication sans fil de type Bluetooth ou WIFI.
[70] Par exemple, l’unité de traitement de données 16 fait partie d’un ordinateur de bord du véhicule.
[71 ] Il est aussi possible que l’unité de traitement de données 16 est intégrée au dispositif d’affichage 15. Ainsi, par exemple, le visiocasque 15 peut inclure l’unité de de traitement de données 16 qui communique avec les capteurs 7 et 8 et réalise les calculs pour déterminer les interactions entre par exemple les mains 4 du passager et la scène de réalité immersive.
[72] Dans l’exemple décrit, la scène de réalité immersive est une reproduction virtuelle de l’habitacle H du véhicule. Ainsi le passager 6 peut être immergé dans l’environnement du véhicule, avec dans cette scène virtuelle des objets virtuels additionnels, par exemple dédiés à un divertissement (par exemple un crayon virtuel pour dessiner) ou à une session de relaxation (par exemple un ballon virtuel que le passager peut saisir).
[73] La scène de réalité virtuelle peut contenir une image d’un autre passager. Ainsi deux personnes, ou plus, dans l’habitacle peuvent interagir dans le monde de réalité virtuelle.
[74] Les capteurs 7 et 8 installés dans l’habitacle H permettent de détecter les mouvements de l’ensemble des passagers assis dans le véhicule.
[75] L’invention est particulièrement bien adaptée à un véhicule de conduite autonome. Ceci permet aux passagers, y compris le conducteur, de profiter du système de réalité immersive, sans avoir à se concentrer sur la conduite du véhicule.

Claims

Revendications
[Revendication 1] Système de réalité immersive (1 ), par exemple de réalité virtuelle, destiné à être embarqué à bord d’un véhicule, ce système comprenant :
- un dispositif de détection (2) configuré pour détecter un mouvement et/ou une orientation et/ou une position des mains (3) et/ou de la tête (4) d’un passager (5), de préférence d’une pluralité de passagers à bord du véhicule, ce dispositif de détection comportant au moins un capteur (7 ; 8) installé à un emplacement fixe (9 ; 10) dans un habitacle du véhicule,
- un dispositif d’affichage d’images de réalité immersive (15) configuré pour être porté sur la tête d’un passager, ce dispositif d’affichage étant notamment un visiocasque ou des lunettes configurées pour afficher des images et permettre au passager de voir à travers,
- une unité de traitement de données (16) configurée pour fournir des images de réalité immersive vers le dispositif d’affichage (15), en fonction de données obtenues par le dispositif de détection (2), notamment pour permettre une interaction des mains avec un objet dans une scène de réalité immersive affichée par le dispositif d’affichage.
[Revendication 2] Système de réalité immersive (1 ) selon la revendication précédente, dans lequel le dispositif de détection (2) comporte plusieurs capteurs (7, 8) fixés dans l’habitacle, à plusieurs emplacements dans l’habitacle, de sorte à pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’un passager n’importe où dans l’habitacle.
[Revendication 3] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le dispositif de détection (2) est configuré pour pouvoir détecter un mouvement et/ou une orientation et/ou une position des mains et/ou de la tête d’une pluralité de passagers à la fois, installés dans l’habitacle, que ce soit sur les sièges à l’avant ou les sièges à l’arrière.
[Revendication 4] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le dispositif d’affichage d’images de réalité immersive (15) est dépourvu de capteur de détection de mouvement et/ou d’orientation et/ou de position de la tête ou des mains.
[Revendication 5] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le capteur (7) du dispositif de détection est configuré pour délivrer une image tridimensionnelle d’une zone de détection.
[Revendication 6] Système de réalité immersive (1 ) selon la revendication précédente, dans lequel le capteur (7) du dispositif de détection est choisi parmi :
- un capteur de temps de vol, telle qu'une caméra à temps de vol, (« Time of Flight >> ou TOF selon l'acronyme anglo-saxon) adaptée à envoyer de la lumière vers la passager et à mesurer le temps que met cette lumière à revenir vers ledit capteur à temps de vol pour déduire l'image tridimensionnelle dans une zone de détection,
- un capteur stéréoscopique comportant au moins deux caméras, chacune capturant une image d’une zone de détection selon son propre point de vue, les images de chaque caméra étant ensuite combinées pour déduire une image tridimensionnelle de la zone de détection,
- un capteur à lumière structurée adapté à projeter un motif sur la zone de détection et à analyser la déformation de ce motif pour déduire l'image tridimensionnelle du conducteur 4.
[Revendication 7] Système de réalité immersive (1 ) selon l’une des revendications 1 à 4, dans lequel le capteur (8) du dispositif de détection est configuré pour délivrer une image bidimensionnelle d’une zone de détection.
[Revendication 8] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le capteur (8) est positionné sur un plafond (18) du véhicule, notamment dans un éclairage plafonnier avant du véhicule.
[Revendication 9] Système de réalité immersive (1 ) selon l’une des revendications 1 à 7, dans lequel le capteur (8) est disposé dans une partie inférieure du pare-brise (19) du véhicule, notamment sensiblement en face du conducteur.
[Revendication 10] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le système de réalité immersive (1 ) est configuré pour permettre au passager portant le dispositif d’affichage de réalité immersive, d’interagir avec un objet de l’environnement virtuel ou de l’environnement réel, notamment avec une main, par exemple en le touchant avec une main ou en le saisissant avec une main.
[Revendication 11] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le système de réalité immersive (1 ) est configuré pour générer un environnement entièrement virtuel qui est perceptible dans le visiocasque de réalité virtuelle, lequel est totalement occultant, à savoir l’environnement réel est totalement occulté.
[Revendication 12] Système de réalité immersive (1 ) selon l’une des revendications 1 à 10, dans lequel le système de réalité immersive (1 ) est configuré pour générer un environnement de réalité augmentée dans lequel des éléments virtuels tridimensionnels ou bidimensionnels sont superposés sur un environnement réel.
[Revendication 13] Système de réalité immersive (1 ) selon la revendication précédente, dans lequel le système de réalité immersive (1 ) est configuré pour générer un environnement de réalité augmentée permettant, en plus, une interaction entre un environnement virtuel et un environnement réel.
[Revendication 14] Système de réalité immersive (1 ) selon l’une des revendications précédentes, dans lequel le système de réalité immersive (1 ) est configuré pour faire fonctionner un divertissement ou une session de relaxation à destination du passager qui porte le dispositif d’affichage (15), lequel passager peut interagir, notamment par ses mains, avec un environnement virtuel de divertissement ou de relaxation.
[Revendication 15] Procédé de gestion d’un système de réalité immersive (1 ), par exemple de réalité virtuelle, embarqué à bord d’un véhicule, ce procédé comprenant les étapes suivantes :
- détecter un mouvement et/ou une orientation et/ou une position des mains (3) et/ou de la tête (4) d’un passager, de préférence d’une pluralité de passagers à bord du véhicule, à l’aide d’un dispositif de détection (2) du système de réalité immersive, comportant au moins un capteur installé à un emplacement fixe dans un habitacle du véhicule,
- afficher des images de réalité immersive dans un dispositif d’affichage (15) du système, porté sur la tête d’un passager, en fonction de données obtenues par le dispositif de détection, notamment pour permettre une interaction des mains avec un objet dans une scène de réalité immersive affichée par le dispositif d’affichage.
PCT/EP2023/085322 2022-12-23 2023-12-12 Système de réalité immersive embarqué sur un véhicule WO2024132690A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2214439 2022-12-23
FR2214439A FR3144322A1 (fr) 2022-12-23 2022-12-23 Système de réalité immersive embarqué sur un véhicule

Publications (1)

Publication Number Publication Date
WO2024132690A1 true WO2024132690A1 (fr) 2024-06-27

Family

ID=85685659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/085322 WO2024132690A1 (fr) 2022-12-23 2023-12-12 Système de réalité immersive embarqué sur un véhicule

Country Status (2)

Country Link
FR (1) FR3144322A1 (fr)
WO (1) WO2024132690A1 (fr)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378156A1 (en) 2014-06-26 2015-12-31 Audi Ag Method for operating a mobile virtual reality system in a motor vehicle, and mobile virtual reality system
US20160070966A1 (en) 2014-09-05 2016-03-10 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
DE102014015871A1 (de) * 2014-10-25 2016-04-28 Audi Ag Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102016225262A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017211521A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Steuerung von Fahrzeugfunktionen aus einer virtuellen Realität
US20190340815A1 (en) * 2018-05-01 2019-11-07 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US20220244789A1 (en) * 2019-07-15 2022-08-04 Audi Ag Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
US20220303607A1 (en) * 2019-10-04 2022-09-22 Warner Bros. Entertainment Inc. Hardware for entertainment content in vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378156A1 (en) 2014-06-26 2015-12-31 Audi Ag Method for operating a mobile virtual reality system in a motor vehicle, and mobile virtual reality system
US20160070966A1 (en) 2014-09-05 2016-03-10 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
DE102014015871A1 (de) * 2014-10-25 2016-04-28 Audi Ag Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102016225262A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017211521A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Steuerung von Fahrzeugfunktionen aus einer virtuellen Realität
US20190340815A1 (en) * 2018-05-01 2019-11-07 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US20220244789A1 (en) * 2019-07-15 2022-08-04 Audi Ag Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
US20220303607A1 (en) * 2019-10-04 2022-09-22 Warner Bros. Entertainment Inc. Hardware for entertainment content in vehicles

Also Published As

Publication number Publication date
FR3144322A1 (fr) 2024-06-28

Similar Documents

Publication Publication Date Title
US10032429B2 (en) Device control utilizing optical flow
EP3137975B1 (fr) Détermination de trames de coordonnées dans un environnement dynamique
EP2793070B1 (fr) Systeme de visualisation hybride affichant des informations en superposition sur l'exterieur
FR2993509A1 (fr) Dispositif electronique de protection contre l'eblouissement d'un pilote ou d'un conducteur.
EP2533095B1 (fr) Système d'aide au pilotage et aéronef
WO2018149875A1 (fr) Dispositif et procede d'analyse du regard en temps-reel
FR2997046A1 (fr) Systeme d'assistance de conduite et son procede de gestion
FR2999311A1 (fr) Systeme de visualisation comportant un dispositif de visualisation semi-transparent adaptif et des moyens de detection du paysage regarde par l'utilisateur
JP2020536331A (ja) 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること
FR2958741A1 (fr) Procede et systeme d'information pour marquer une destination dans un vehicule
EP3869302A1 (fr) Système, appareil et procédé pour réduire l'apparition du mal des transports
EP3717956B1 (fr) Dispositif de vision pour pilote d'aeronef
FR3073053A1 (fr) Systeme optique a affichage tete-haute et eclairage integre
FR3057685B1 (fr) Procede de designation et d'affichage d'informations dans un systeme de visualisation comportant une pluralite d'ecrans
WO2024132690A1 (fr) Système de réalité immersive embarqué sur un véhicule
WO2019031291A1 (fr) Dispositif d'affichage de véhicule
US11948227B1 (en) Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle
FR3045015A1 (fr) Procede d'affichage d'un "indicateur de directeur d'attitude" dans un systeme de visualisation de tete pour aeronef
FR3086400A1 (fr) Systeme d'affichage tete haute, procede d'affichage et produit programme d'ordinateur associes
EP3671533B1 (fr) Véhicule équipé d'un système d'affichage de caméra et procédé de fonctionnement du véhicule
WO2024132688A1 (fr) Dispositif d'affichage et procédé mis en œuvre dans un dispositif d'affichage
EP3467570B1 (fr) Gestion de la rivalite oculaire
EP4077016B1 (fr) Systeme et procede d'assistance visuelle a un individu souffrant de cinetose
WO2007017596A2 (fr) Dispositif de visualisation d'un habitacle virtuel d'un vehicule en situation reelle
WO2023174678A1 (fr) Dispositif et procédé pour améliorer la conscience d'un pilote sur la situation et l'état d'un aéronef