FR3104743A1 - Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. - Google Patents
Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. Download PDFInfo
- Publication number
- FR3104743A1 FR3104743A1 FR1914557A FR1914557A FR3104743A1 FR 3104743 A1 FR3104743 A1 FR 3104743A1 FR 1914557 A FR1914557 A FR 1914557A FR 1914557 A FR1914557 A FR 1914557A FR 3104743 A1 FR3104743 A1 FR 3104743A1
- Authority
- FR
- France
- Prior art keywords
- display device
- display
- data
- user
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003993 interaction Effects 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 33
- 238000009877 rendering Methods 0.000 abstract description 11
- 230000003190 augmentative effect Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
L’invention concerne un premier dispositif (12) portatif d’affichage optique de contenu 3D stéréoscopique, destiné à être porté par une tête d’un utilisateur (11). Le premier dispositif d’affichage portatif est configuré pour afficher une première représentation 3D de premières données, et pour calibrer un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve, ledit système de coordonnées 3D étant utilisé pour afficher ladite première représentation 3D desdites premières données, en mémorisant une position dans le système de coordonnées 3D d’au moins un deuxième dispositif d’affichage (13) configuré également pour afficher sur une surface d’affichage une deuxième représentation 3D de deuxièmes données en utilisant ledit système de coordonnées 3D. L’invention concerne également un système de restitution 3D et des procédés d’affichage 3D correspondants. Figure pour l’abrégé : Fig. 2
Description
1. Domaine de l'invention
L'invention concerne les dispositifs de restitution de données de réalité virtuelle, et notamment les casques de réalité augmentée et écrans 3D.
2. Art Antérieur
Il existe des dispositifs permettant la restitution de données de réalité virtuelle. De tels dispositifs comprennent par exemple les écrans stéréoscopiques qui affichent à un utilisateur une suite d’images destinées alternativement à l’œil droit et à l’œil gauche de l’utilisateur, créant ainsi une impression de relief 3D du contenu affiché. De tels écrans nécessitent que l’utilisateur portent des lunettes «3D» (dites actives ou passives selon la technologie de l’écran associé) qui permettent à chaque œil de l’utilisateur de ne recevoir que les images qui lui sont destinées.
Il existe également des écrans auto-stéréoscopiques qui permettent de restituer un contenu en relief à un utilisateur sans nécessité de lunettes portées par l’utilisateur.
De tels dispositifs d’affichage offrent à l’utilisateur une impression 3D du contenu affiché. Toutefois, ces dispositifs sont limités par les problèmes d’occlusions qui apparaissent lors de la restitution d’un contenu en 3D. En effet, le rendu 3D perçu par l’utilisateur lors de l’affichage du contenu par ces dispositifs est limité par l’environnement réel dans lequel l’utilisateur se trouve, notamment par des objets placés entre l’utilisateur et l’écran ou la surface de projection. Par exemple, si un objet est placé entre l’utilisateur et un écran stéréoscopique, l’utilisateur ne pourra pas percevoir d’effet 3D devant l’objet, l’objet réel créant une occlusion dans les données de réalité virtuelle affichées.
D’autres dispositifs, tels que les casques de réalité augmentée, permettent également de restituer des données de réalité virtuelle et procurer à l’utilisateur porteur d’un tel casque une impression 3D des données restituées. Toutefois, il est à noter que de tels casques présentent également des inconvénients lorsque des objets réels de l’environnement de l’utilisateur sont situés dans l’espace d’affichage du casque. Notamment, un contenu de réalité virtuelle ne peut être affiché que devant un objet réel placé dans l’espace d’affichage du casque. Un contenu de réalité virtuelle affiché par le casque peut alors comporter des incohérences de rendu 3D lorsque la prise en compte par le casque de l’un objet réel est erronée ou absente, typiquement quand l’objet réel est placé entre le casque et un objet virtuel du contenu de réalité virtuelle. En effet, la détection d’objets réels dans un environnement n’est pas très précise et inefficace dans le cas d’un objet réel en mouvement.
L’impression d’immersion dans un environnement virtuel ressentie par l’utilisateur peut alors être diminuée lorsque l’utilisateur souhaite interagir sur un contenu projeté par le casque avec une certaine impression de distance pour l’utilisateur et que cet utilisateur se heurte à un objet réel de son environnement qui est à une distance plus proche que celle restituée par le casque.
Enfin, il est à noter que les casques de réalité augmentée ont un champ visuel de projection très limité par rapport au champ visuel humain.
Il existe donc un besoin d’améliorer l’état de la technique.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne à cet effet un premier dispositif d’affichage 3D. Le premier dispositif d’affichage 3D est portatif en ce qu’il est destiné à être porté par une tête d’un utilisateur. Selon l‘invention, un tel premier dispositif d’affichage comporte notamment un module d’affichage configuré pour afficher une première représentation 3D de premières données et un calibreur d’un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve, ledit système de coordonnées 3D étant utilisé par le module d’affichage pour afficher ladite première représentation 3D desdites premières données, en mémorisant une position dans le système de coordonnées 3D d’au moins un deuxième dispositif d’affichage configuré pour afficher sur une surface d’affichage une deuxième représentation 3D de deuxièmes données en utilisant ledit système de coordonnées 3D.
L’invention propose ainsi un premier dispositif d’affichage, par exemple un dispositif d’affichage optique portatif tel qu’un casque de réalité augmentée, permettant d’améliorer le rendu 3D perçu par un utilisateur. Avantageusement, un tel premier dispositif d’affichage est utilisé conjointement à au moins un deuxième dispositif d’affichage, par exemple un écran stéréoscopique, pour restituer des données en 3D. Une telle restitution est réalisée à l’aide d’un système de coordonnées 3Dcommunde sorte que le rendu 3D des représentations 3D restituées par chacun des deux dispositifs soit cohérent pour l’utilisateur.
De plus, chaque dispositif du système restitue des données dans son propre espace de projection. De tels espaces de projection sont complémentaires dans l’environnement dans lequel l’utilisateur se trouve. En effet, le premier dispositif d’affichage affiche des données dans un espace de projection situé face au regard de l’utilisateur, et proche de lui et dont les limites sont définies par les angles de champ de projection du système de projection du premier dispositif d’affichage.
L’utilisation d’un deuxième dispositif d’affichage 3D sur une surface permet d’augmenter le champ de vision 3D fourni à l’utilisateur par le premier dispositif d’affichage. En effet, grâce au deuxième dispositif d’affichage, l’utilisateur dispose d’un rendu 3D dans un espace de restitution allant au-delà des limites du champ de projection du premier dispositif d’affichage.
En cas d’objets réels placés dans l’environnement entre l’utilisateur et le deuxième dispositif d’affichage, le phénomène d’occlusion est limité. En effet, des données peuvent être affichées en 3D devant et derrière cet objet par rapport à l’utilisateur, grâce respectivement au premier dispositif d’affichage portatif et au deuxième dispositif d’affichage.
Selon un mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif comporte en outre un détecteur configuré pour détecter au moins une interaction utilisateur sur au moins un élément de la représentation 3D affichée par le deuxième dispositif d’affichage.
Selon un autre mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif comprend un module de communication configuré en outre pour transmettre au deuxième dispositif d’affichage au moins une donnée d’interaction.
Une telle donnée d’interaction correspond par exemple à la position de la tête ou d’une main de l’utilisateur. Selon cette variante de réalisation de l’invention, le deuxième dispositif d’affichage dispose, ainsi, des mêmes données de position de la tête et des mains de l’utilisateur que le premier dispositif d’affichage. Il peut ainsi adapter l’affichage des données 3D en fonction de ces positions.
Selon une autre variante, ou en complément de la variante précédente, la donnée d’interaction correspond à une information représentative d’une interaction utilisateur détectée par le premier dispositif d’affichage.
Selon un autre mode particulier de réalisation de l’invention, le détecteur est configuré pour détecter ladite au moins une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage lorsqu’une main de l’utilisateur avec laquelle il interagit est détectée à une position située en dehors d’un champ de projection dudit premier dispositif d’affichage portatif.
Selon ce mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif utilise avantageusement les différences de champ entre son champ d’affichage selon lequel il affiche la représentation 3D et son champ de vision selon lequel il est apte à détecter la position des mains de l’utilisateur, pour déterminer si l’utilisateur interagit sur la représentation affichée par le premier dispositif d’affichage portatif ou bien sur la représentation affichée par le deuxième dispositif d’affichage.
Selon un autre mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif une mémoire dans laquelle est mémorisé un emplacement d’au moins un élément de la deuxième représentation 3D affiché par le deuxième dispositif d’affichage dans le système de coordonnées 3D. Selon ce mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif a connaissance des emplacements dans le système de coordonnées 3D des éléments de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage et peut ainsi déterminer lors de la détection d’une interaction utilisateur dans l’environnement dans quelle représentation 3D l’utilisateur a interagit.
L’invention concerne également un deuxième dispositif d’affichage 3Dcomportant:
- un module d’affichage configuré pour afficher une deuxième représentation 3D de deuxièmes données sur une surface d’affichage, et
- un calibreur d’un système de coordonnées 3D utilisé pour afficher sur la surface d’affichage ladite deuxième représentation 3D desdites deuxièmes données, en mémorisant au moins une position dans le système de coordonnées 3D d’un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur et configuré pour afficher une première représentation 3D de premières données en utilisant ledit système de coordonnées 3D.
La surface d’affichage peut être comprise dans le deuxième dispositif d’affichage 3D ou bien être reliée à ce deuxième dispositif d’affichage 3D.
Selon un mode particulier de réalisation de l’invention, le deuxième dispositif d’affichage 3D comprend en outre un module de modification de l’affichage de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage en fonction d’au moins une donnée d’interaction reçue en provenance du premier dispositif d’affichage.
Selon ce mode particulier de réalisation de l’invention, l’utilisateur peut interagir sur les deuxièmes données affichées par le deuxième dispositif d’affichage sans que celui-ci nécessite un mécanisme de détection des interactions utilisateur sur la deuxième représentation 3D affichée par le deuxième dispositif d’affichage. En effet, les interactions utilisateur sont ici détectées par le premier dispositif d’affichage portatif et transmises au deuxième dispositif d’affichage lorsqu’elles ne concernent pas les premières données affichées par le premier dispositif d’affichage portatif. Ainsi, il est possible d’utiliser un deuxième dispositif d’affichage simple, tel qu’un écran stéréoscopique ou auto-stéréoscopique, ne nécessitant pas de moyen supplémentaire.
Selon un mode particulier de réalisation de l’invention, la donnée d’interaction correspond à au moins l’une des données suivantes:
- une position de la tête ou d’une main de l’utilisateur,
- une information représentative d’une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage.
Selon un autre mode particulier de réalisation de l’invention, le deuxième dispositif d’affichage 3D comprend en outre un module de communication pour transmettre au premier dispositif d’affichage portatif au moins un sous-ensemble d’éléments affichés dans la deuxième représentation 3D affichée par le deuxième dispositif d’affichage.
L’invention concerne également un système de restitution 3D de données comprenant un premier dispositif d’affichage selon l’un quelconque des modes particuliers cités ci-dessus, et au moins un deuxième dispositif d’affichage selon l’un quelconque des modes particuliers cités ci-dessus.
L’invention concerne également un premier procédé d’affichage 3D, mis en œuvre par un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur. Un tel premier procédé d’affichage comporte:
- un affichage, par le premier dispositif d’affichage, d’une première représentation 3D de premières données, et
- un calibrage d’un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve, ledit système de coordonnées 3D étant utilisé pour afficher ladite première représentation 3D desdites premières données, le calibrage comprenant au moins la mémorisation d’une position dans le système de coordonnées 3D d’au moins un deuxième dispositif d’affichage configuré pour afficher sur une surface d’affichage une deuxième représentation 3D de deuxièmes données en utilisant ledit système de coordonnées 3D.
Selon un mode particulier de réalisation de l’invention, le premier procédé d’affichage 3D comprend en outre, la transmission par le premier dispositif d’affichage au deuxième dispositif d’affichage d’au moins une position de la tête ou d’une main de l’utilisateur.
Selon un mode particulier de réalisation de l’invention, le premier procédé d’affichage 3D de données comprend en outre la détection d’au moins une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage et la transmission au deuxième dispositif d’affichage d’une information représentative de ladite interaction utilisateur détectée.
Selon un autre mode particulier de réalisation de l’invention, le premier procédé d’affichage 3D comprend en outre l’obtention d’un sous-ensemble d’éléments affichés dans la deuxième représentation 3D affichée par le deuxième dispositif d’affichage, et la modification de la première représentation 3D affichée par le premier dispositif d’affichage pour afficher les éléments dudit sous-ensemble. Selon ce mode particulier de réalisation de l’invention, l’utilisateur peut manipuler des éléments d’un ensemble affiché par le deuxième dispositif d’affichage via le premier dispositif d’affichage portatif.
Selon un autre mode particulier de réalisation de l’invention, le premier procédé d’affichage 3D comprend en outre la détection d’une interaction utilisateur sur ledit sous-ensemble d’éléments affiché par le premier dispositif d’affichage portatif modifiant ledit sous-ensemble, et la transmission au deuxième dispositif d’affichage dudit sous-ensemble modifié.
L’invention concerne également un deuxième procédé d’affichage 3D, mis en œuvre par un deuxième dispositif d’affichage, le deuxième procédé d’affichage comprenant:
- un affichage d’une deuxième représentation 3D de deuxièmes données sur une surface d’affichage,
- un calibrage d’un système de coordonnées 3D utilisé pour afficher sur la surface d’affichage ladite deuxième représentation 3D desdites deuxièmes données, le calibrage comprenant au moins la mémorisation d’une position dans le système de coordonnées 3D d’un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur et configuré pour afficher une première représentation 3D d’au moins des premières données en utilisant ledit système de coordonnées 3D.
Selon un mode particulier de réalisation de l’invention, le deuxième procédé d’affichage 3D comprend en outre:
- une réception par le deuxième dispositif d’affichage, en provenance du premier dispositif d’affichage, d’au moins une donnée d’interaction,
- une modification de l’affichage de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage en fonction de ladite au moins une donnée d’interaction reçue.
Selon un autre mode particulier de réalisation de l’invention, le deuxième procédé d’affichage 3D comprend en outre la transmission au premier dispositif d’affichage d’au moins un sous-ensemble d’éléments affichés dans la deuxième représentation 3D affichée par le deuxième dispositif d’affichage.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du premier ou du deuxième procédé d’affichage 3D selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Les premier et deuxième procédés d’affichage 3D de données selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels:
5. Description d'un mode de réalisation de l'invention
La figure 1 illustre un exemple d’environnement (10) de mise en œuvre de l’invention selon un mode particulier de réalisation. L’environnement 10 comprend un utilisateur (11) équipé d’un premier dispositif d’affichage (12) de données en 3D stéréoscopique. Par exemple, un tel premier dispositif d’affichage est un dispositif optique portatif (12) tel qu’un casque de réalité augmentée adapté pour afficher à l’utilisateur des données dite de réalité virtuelle, tel qu’un casque à projection holographique (Microsoft Hololens®). Selon l’invention, le casque de réalité augmentée est un casque permettant à l’utilisateur de voir des données de réalité virtuelles affichées en 3D par le casque sur les optiques des lunettes du casque, ainsi que l’environnement réel dans lequel l’utilisateur se trouve. Le dispositif (12) portatif d’affichage optique constitue un premier dispositif d’affichage de données 3D du système de restitution illustré en figure 1.
L’environnement (10) comprend également au moins un deuxième dispositif d’affichage (13) de données 3D. Un tel deuxième dispositif d’affichage (13) peut être un écran stéréoscopique ou auto-stéréoscopique, ou encore tout type d’écran 3D permettant d’afficher en 3D des données à un utilisateur. Par exemple, il peut s’agir d’écrans installés dans une salle immersive. Lorsque le deuxième dispositif d’affichage (13) est un écran stéréoscopique, l’utilisateur est également muni d’une paire de lunettes correspondantes lui permettant de voir en relief les données affichées par l’écran (13).
Ces lunettes peuvent être placées juste devant les verres du casque de réalité augmentée ou juste derrière par rapport à la direction du regard de l’utilisateur.
Les dispositifs (12) et (13) de l’environnement (10) forment un système de restitution 3D selon l’invention. Un tel système permet à l’utilisateur de visualiser des données affichées en 3D selon plusieurs niveaux ou couches de restitution dans l’environnement.
Afin d’avoir une cohérence dans le rendu 3D des données fourni par chaque dispositif, les dispositifs du système de restitution utilisent un même système de coordonnées 3D pour afficher la représentation 3D des données à l’utilisateur. Autrement dit, un point d’une représentation 3D affichée par le premier dispositif d’affichage portatif (12) correspond à un point de mêmes coordonnées 3D dans le système de coordonnées 3D utilisé par le deuxième dispositif d’affichage (13) pour afficher une représentation 3D, et inversement.
Pour cela, lors d’une phase d’initialisation, les dispositifs (12) et (13) réalisent une calibration selon laquelle ils enregistrent respectivement leur position dans le système de coordonnées 3D qu’ils utilisent pour l’affichage, ainsi que la position de l’autre dispositif.
Par exemple, le point origine du système de coordonnées 3D correspond à la position initiale de l’utilisateur (11) portant le premier dispositif d’affichage portatif (12) dans l’environnement réel.
La position du premier dispositif d’affichage portatif peut évoluer au cours du temps en fonction des déplacements de l’utilisateur. La position de l’utilisateur est alors transmise par le premier dispositif d’affichage portatif (12) au deuxième dispositif d’affichage (13) régulièrement ou sur détection d’un changement de position, de sorte que le deuxième dispositif d’affichage (13) adapte la restitution des données 3D. Dans l’exemple de réalisation décrit ici, le deuxième dispositif d’affichage (13) est fixe, sa position reste donc fixe.
L’enregistrement de la position du deuxième dispositif d’affichage (13) par le premier dispositif d’affichage portatif (12) peut être fait manuellement lors de l’installation du deuxième dispositif d’affichage (13) dans l’environnement ou bien détectée par le premier dispositif d’affichage portatif (12). Pour afficher des données en 3D, le premier dispositif d’affichage portatif (12) établit une représentation 3D des données à restituer selon un système de coordonnées 3D représentatif de l’environnement réel dans lequel le premier dispositif d’affichage portatif (12) est placé. Le système de coordonnées 3D mémorisé par le premier dispositif d’affichage portatif (12) comprend une représentation virtuelle du deuxième dispositif d’affichage (13) localisée en fonction de la position du deuxième dispositif d’affichage (13) dans l’environnement réel.
Selon les modes de réalisations de l’invention mis en œuvre, les données affichées par les dispositifs d’affichage peuvent être identiques ou différentes. Par la suite, on appellera «contenu global» l’ensemble des données affichées par tous les dispositifs du système de restitution.
Selon un mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif (12) et le deuxième dispositif d’affichage (13) restituent un même contenu en 3D, chaque dispositif réalisant la restitution d’une partie distincte des données d’un tel contenu. Par exemple, le deuxième dispositif d’affichage (13) affiche des deuxièmes données du contenu devant être restituées le plus loin de l’utilisateur et le premier dispositif d’affichage portatif (12) restitue des premières données du contenu devant être restituées plus près de l’utilisateur.
Selon ce mode particulier de réalisation de l’invention, les données restituées par chaque dispositif sont différentes mais appartiennent à un même contenu.
Selon un autre mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif (12) et le deuxième dispositif d’affichage (13) restituent respectivement des premières données et des deuxièmes données distinctes. Par exemple, lorsque le contenu global restitué est un environnement de réalité virtuelle, le deuxième dispositif d’affichage (13) affiche des deuxièmes données de l’environnement de réalité virtuelle qui sont visibles de tous. Le premier dispositif d’affichage portatif (12) restitue quant à lui des premières données correspondant à des éléments virtuels d’enrichissement des deuxièmes données. Ces éléments virtuels (premières données) sont affichés en surimpression des deuxièmes données de l’environnement de réalité virtuelle affichées. De tels éléments virtuels sont par exemple des objets virtuels insérés dans l’environnement de réalité virtuelle spécifiquement pour l’utilisateur. Ces éléments virtuels ne sont pas visibles par d’autres utilisateurs qui seraient présents dans l’environnement réel de l’utilisateur. Les premières données sont ainsi personnalisées pour l’utilisateur porteur du premier dispositif d’affichage.
Ainsi, ce mode particulier de réalisation de l’invention permet d’afficher un contenu global personnalisé ou enrichi.
Selon un autre mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif (12) et le deuxième dispositif d’affichage (13) restituent des données complémentaires. Par exemple, lorsque le contenu global restitué est un environnement de réalité virtuelle, le deuxième dispositif d’affichage (13) affiche des deuxièmes données représentatives de l’environnement de réalité virtuelle. Certains éléments de l’environnement de réalité virtuelle peuvent ne pas être visibles par l’utilisateur, par exemple parce que ces éléments sont occlus par des objets réels placés dans l’environnement réel dans lequel l’utilisateur se trouve. Le premier dispositif d’affichage portatif (12) détecte la présence d’objets réels dans le champ de vision de l’utilisateur, et restitue alors les deuxièmes données de l’environnement de réalité virtuelle qui ne sont pas visibles de l’utilisateur lorsqu’elles sont affichées par le deuxième dispositif d’affichage (13). Ainsi, selon ce mode particulier de réalisation de l’invention, le premier dispositif d’affichage et le deuxième dispositif d’affichage affiche un même contenu (l’environnement de réalité virtuelle), une partie des premières données affichées par le premier dispositif d’affichage étant identiques à au moins une partie des deuxièmes données affichées par le deuxième dispositif d’affichage.
La figure 1 illustre un environnement (10) comprenant un seul deuxième dispositif d’affichage (13). Dans d’autres modes particuliers de réalisation, le système de restitution selon l’invention peut comprendre plusieurs deuxièmes dispositifs d’affichage (13) associés et configurés pour afficher des deuxièmes données en 3D sur une surface d’affichage et/ou un ou plusieurs troisièmes dispositifs d’affichage configurés pour afficher des troisièmes données 3D entre la ou les surfaces d’affichages et l’utilisateur (par exemple, projecteurs holographiques 3D). Dans ce cas, chaque deuxième voire troisième dispositifs d’affichage (13) enregistre sa position et la position de tous les autres deuxièmes voire troisièmes dispositifs d’affichage (13) et du premier dispositif d’affichage portatif (12). De même, le premier dispositif d’affichage portatif (12) enregistre la position de tous les deuxièmes voire troisièmes dispositifs d’affichage (13) de l’environnement.
Les dispositifs du système de restitution 3D sont configurés pour communiquer entre eux de manière filaire ou sans fil.
La figure 2 illustre schématiquement la restitution en 3D de données à un utilisateur dans l’environnement (10) par le système de restitution décrit ci-dessus. Sur la figure 2, on observe un premier espace 22 correspondant à un espace de restitution du premier dispositif d’affichage portatif (12) dans lequel il affiche la représentation 3D des premières données à restituer à l’utilisateur. Autrement dit, le premier espace 22 correspond à un espace de l’environnement réel dans lequel l’utilisateur a l’impression que les premières données sont restituées par le premier dispositif d’affichage portatif (12).
La figure 2 comprend également un deuxième espace 20 correspondant à un espace de restitution 3D du deuxième dispositif d’affichage (13). Autrement dit, le deuxième espace 20 correspond à un espace de l’environnement réel dans lequel l’utilisateur a l’impression que les deuxièmes données sont restituées par le deuxième dispositif d’affichage (13).
Dans l’exemple illustré en figure 2, un objet réel 21 (représenté schématiquement par un pavé vertical) est placé dans l’environnement (10) entre l’utilisateur (11) et le deuxième dispositif d’affichage (13). Selon l’invention, le phénomène d’occlusion provoqué par la présence de l’objet réel 21 dans le deuxième espace de restitution (20) du deuxième dispositif d’affichage (13) est limité. En effet, selon le mode particulier de réalisation décrit ici, le premier dispositif d’affichage portatif (12) comporte un détecteur de la présence d’objets réels placés dans l’environnement dans lequel l’utilisateur se trouve et plus particulièrement dans son champ de vision. Le premier dispositif d’affichage portatif (12) comporte un module de détermination du deuxième espace de l’environnement dans lequel le deuxième dispositif d’affichage (13) affiche la deuxième représentation 3D des deuxièmes données. Un tel module de détermination utilise la position, dans l’environnement 10, du deuxième dispositif d’affichage (13).
Le premier dispositif d’affichage portatif (12) comporte un détecteur d’occlusion qui, à partir de la position de la tête de l’utilisateur (11), en déduit au moins une zone de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage (13) qui n’est pas visible par l’utilisateur (11).
Le premier dispositif d’affichage portatif (12) comporte un récepteur obtenant alors des premières données complémentaires correspondantes à la zone non-visible détectée et affiche une première représentation 3D de ces premières données complémentaires dans son premier espace de restitution (22). Comme le premier dispositif d’affichage portatif (12) et le deuxième dispositif d’affichage (13) utilisent le même système de coordonnées 3D, les deux représentations 3D, la première et la deuxième représentations 3D, sont cohérentes, et l’utilisateur a l’impression de visualiser une seule représentation 3D correspondant à une fusion de la première représentation 3D avec la deuxième représentation 3D.
Les premières données correspondantes de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage (13) qui ne sont pas visibles par l’utilisateur sont obtenues par le premier dispositif d’affichage portatif (12):
- soit à partir de la mémoire du premier dispositif d’affichage portatif (12) car les deux dispositifs, le premier et le deuxième dispositifs d’affichage, restituent un seul et même contenu constituées de données qui sont réparties en premières données et deuxièmes données (les premières données et les deuxièmes données correspondant à des données distinctes du contenu) pour être restituer respectivement par le premier et le deuxième dispositif d’affichage. Ainsi les données du contenu correspondant aux deuxièmes données de la zone non-visible détectée sont insérées aux premières données restituées par le premier dispositif d’affichage portatif.
- soit sur requête auprès du deuxième dispositif d’affichage (13).
- soit à partir de la mémoire du premier dispositif d’affichage portatif (12) car les deux dispositifs, le premier et le deuxième dispositifs d’affichage, restituent un seul et même contenu constituées de données qui sont réparties en premières données et deuxièmes données (les premières données et les deuxièmes données correspondant à des données distinctes du contenu) pour être restituer respectivement par le premier et le deuxième dispositif d’affichage. Ainsi les données du contenu correspondant aux deuxièmes données de la zone non-visible détectée sont insérées aux premières données restituées par le premier dispositif d’affichage portatif.
- soit sur requête auprès du deuxième dispositif d’affichage (13).
Avantageusement, selon un mode particulier de réalisation de l’invention, le premier dispositif d’affichage portatif (12) comporte un périphérique d’interaction de l’utilisateur permettant à l’utilisateur d’interagir sur une partie des éléments de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage (13), lorsque ce deuxième dispositif d’affichage (13) ne dispose pas de détecteur d’interaction utilisateur sur la deuxième représentation 3D (par exemple une caméra couplée à l’écran).
En effet, comme représenté en figure 2, et décrit plus en détail en relation avec la figure 3, le premier dispositif d’affichage portatif (12) est équipé d’un détecteur d’interaction utilisateur. Ce détecteur d’interaction définit un espace d’interaction dans l’environnement réel dans lequel l’utilisateur peut interagir. De telles interactions peuvent par exemple être réalisées par une ouverture/fermeture de la main, ou des gestes particuliers déclenchant des actions sur les éléments représentés dans les représentations 3D.
La figure 3 illustre schématiquement un champ de projection et un champ de détection d’interaction d’un premier dispositif d’affichage portatif selon un mode particulier de réalisation de l'invention. Sur la figure 3, un utilisateur (11) est illustré schématiquement portant un casque (12) à projection holographique. Dans l’exemple illustré, le casque à projection holographique (12) comprend un dispositif de projection (non représenté) définissant un espace de restitution (22) et un détecteur d’interaction (non représenté) définissant un espace de détection d’interaction (24).
Par exemple, le dispositif de projection comprend deux écrans pour projection holographique placés respectivement devant l'œil droit et l'œil gauche de l’utilisateur (11) du casque, ainsi que des projecteurs pour projeter des données, par exemple des données de réalité virtuelle.
Un tel dispositif de projection définit ainsi un espace de restitution (22), illustré par des traits en pointillés sur la figure 3. Un tel espace de restitution (22) correspond à l’espace de restitution décrit en relation avec la figure 2. C’est un espace dans lequel l'utilisateur (11) a l'impression que les premières données de réalité virtuelle, par exemple des objets virtuels, sont affichés. Dans l'exemple de réalisation décrit ici, l'espace de restitution (22) est limité par le champ de vision du casque à projection holographique (12).
Le détecteur d’interaction comprend par exemple une caméra 2D et des capteurs de profondeur, ou bien une caméra 2D+profondeur, placés sur le casque (12). Le détecteur d’interaction définit un espace de détection d’interaction (24, défini en trait plein sur la figure 3) qui est plus grand que l’espace de restitution (22).
Selon le mode de réalisation illustré sur la figure 3, lorsqu'une partie du corps de l'utilisateur du casque à projection holographique (12), par exemple une main (30), est dans l'espace de détection d’interaction (24), cette partie du corps est détectée par le détecteur d’interaction et peut manipuler des objets virtuels projetés. De même, si des objets réels sont placés dans l’espace de détection d’interaction, le détecteur d’interaction peut également les détecter et en tenir compte lors de la projection de premières données.
Le détecteur d’interaction et le dispositif de projection sont couplés à une unité de traitement du casque (12) (non représentée) qui est configurée pour traiter les premières données de réalité virtuelle, i.e. les données 2D ou 3D de la scène à projeter par le dispositif de projection, et les données capturées par le détecteur d’interaction, par exemple une partie du corps de l'utilisateur à détecter et/ou des éléments de l'environnement réels de l'utilisateur.
Comme illustré en figure 3, l'espace de restitution (22) et l'espace de détection d’interaction (24) peuvent être différents. Par exemple, en référence avec la figure 3, l'espace de détection d’interaction (24) est plus large que l'espace de restitution (22).
Il apparaît ainsi qu'une partie du corps de l'utilisateur (11) peut être détectée dans l'espace de détection d’interaction (24) mais qu'elle ne soit pas dans l'espace de restitution (22). Une telle zone (25) de l’espace de détection d’interaction (24) dans laquelle une partie du corps de l'utilisateur (11) n’est pas dans l'espace de restitution (22), est illustrée hachurée sur la figure 3.
Selon l’art antérieur, quand bien même l’espace de détection d’interaction est plus grand que l’espace de restitution, l’espace dans lequel l’utilisateur peut effectivement interagir est limité par l’espace de restitution (22). En effet, aucun élément de la représentation 3D projetée par le casque n’est restitué dans la zone 25, l’utilisateur ne peut alors pas interagir sur un élément de cette zone.
Avantageusement, selon l’invention, l’utilisation d’un deuxième dispositif d’affichage (13) conjointement au premier dispositif d’affichage portatif (12) comme décrit en relation avec les figures 1 ou 2 permet d’agrandir l’espace dans lequel l’utilisateur peut effectivement interagir. En effet, le deuxième dispositif d’affichage (13) peut ainsi afficher des éléments de sa deuxième représentation 3D dans la zone 25, de sorte que l’utilisateur puisse ainsi interagir sur des éléments de la deuxième représentation 3D situés dans cette zone.
La figure 4 illustre schématiquement l’organisation des espaces de rendu réels et virtuels expérimentés par un utilisateur selon le mode particulier de réalisation de l’invention. Par exemple, un environnement (10’) comprend des deuxièmes dispositifs d’affichage (13’) tels que des murs immersifs placés sur 3 côtés de l’environnement (10’). Les deuxièmes dispositifs (13’) définissent un deuxième espace de restitution immersif (20’). L’environnement (10’) comprend une succession de couches réelles/virtuelles ordonnées comme suit (sur la figure 4, les couches virtuelles sont illustrées en traits hachurés): l’utilisateur (11’), le premier dispositif d’affichage portatif (12’) porté par l’utilisateur, le premier espace de restitution (22’) du dispositif portatif, un objet réel (21’) placé dans l’environnement, le deuxième espace de restitution immersive (20’).
La figure 5 illustre la structure simplifiée d'un premier dispositif d’affichage optique portatif D_PROJ de données selon un mode particulier de réalisation de l'invention. Un tel dispositif D_PROJ est configuré pour mettre en œuvre le premier procédé d’affichage 3D de données selon l'un quelconque des modes de réalisation décrits. Par exemple, le premier dispositif d’affichage optique portatif D_PROJ est un premier dispositif d’affichage portatif (12) tel que décrit en relation avec les figures 1-3.
Dans l’exemple non limitatif illustré sur la figure 5, le premier dispositif D_PROJ comprend une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du premier procédé d’affichage 3D de données, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre le premier procédé d’affichage 3D de données selon l'un quelconque des modes de réalisation décrits ci-dessus en relation avec les figures 1-3, ou ci-dessous en relation avec les figures 7A ou 7B selon les instructions du programme d'ordinateur PG.
Pour cela, le premier dispositif D_PROJ comprend un détecteur de position CAPT configuré pour détecter la position de la tête et des mains d’un utilisateur porteur du premier dispositif d’affichage portatif D_PROJ.
Le premier dispositif D_PROJ comprend également un dispositif de projection PROJ permettant de restituer visuellement une première représentation 3D des premières données à l'utilisateur, par exemple via une technique de projection holographique.
Le premier dispositif D _PROJ comprend également un émetteur/récepteur ou module de communication COM permettant au premier dispositif D_PROJ de communiquer avec au moins un deuxième dispositif d’affichage. Notamment, l’unité de traitement UT est configurée pour communiquer avec le module de communication COM pour transmettre au deuxième dispositif d’affichage la position de la tête et des mains de l’utilisateur, et/ou une information représentative d’une interaction utilisateur, et/ou pour recevoir en provenance du deuxième dispositif d’affichage des premières données à restituer (notamment des deuxièmes données non visibles à intégrer aux premières données).
Selon un mode particulier de réalisation de l'invention, le premier dispositif D_PROJ décrit précédemment est compris dans un terminal, par exemple un casque de réalité augmentée.
La figure 6 illustre la structure simplifiée d'un deuxième dispositif D_AFF d’affichage de données selon un mode particulier de réalisation de l'invention. Un tel deuxième dispositif D_AFF est configuré pour mettre en œuvre le deuxième procédé d’affichage 3D de données selon l'un quelconque des modes de réalisation décrits. Par exemple, le deuxième dispositif d’affichage D_AFF est le deuxième dispositif d’affichage (13) tel que décrit en relation avec les figures 1-2.
Dans l’exemple non limitatif illustré sur la figure 6, le deuxième dispositif D_AFF comprend une mémoire MEM’, une unité de traitement UT’, équipée par exemple d'un processeur PROC’, et pilotée par le programme d'ordinateur PG’ stocké en mémoire MEM’. Le programme d'ordinateur PG’ comprend des instructions pour mettre en œuvre les étapes du deuxième procédé d’affichage 3D de données, lorsque le programme est exécuté par le processeur PROC’.
A l'initialisation, les instructions de code du programme d'ordinateur PG’ sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC’. Le processeur PROC’ de l'unité de traitement UT’ met notamment en œuvre le deuxième procédé d’affichage 3D de données selon l'un quelconque des modes de réalisation décrits ci-dessus en relation avec les figures 1-3, ou ci-dessous en relation avec les figures 7A ou 7B selon les instructions du programme d'ordinateur PG’.
Pour cela, le deuxième dispositif D_AFF comprend une surface d’affichage ECR, par exemple un écran adapté pour afficher à un utilisateur une suite d’images destinées alternativement à l’œil droit et à l’œil gauche de l’utilisateur, créant ainsi une impression de relief 3D des données affichées.
Selon un mode particulier de réalisation de l’invention, le deuxième dispositif D_AFF est couplé à une paire de lunettes 3D actives ou passives destinées à être portée par l’utilisateur pour percevoir l’effet 3D des deuxièmes données affichées. De telles lunettes 3D sont actives ou passives selon la technologie utilisée par le deuxième dispositif D_AFF pour restituer les deuxièmes données en 3D.
Le deuxième dispositif D_AFF comprend également un émetteur/récepteur ou module de communication COM’ permettant au dispositif D_AFF de communiquer avec un premier dispositif d’affichage (notamment optique) destiné à être porté par un utilisateur. Notamment, l’unité de traitement UT’ est configurée pour communiquer avec le module de communication COM’ pour recevoir en provenance du premier dispositif d’affichage optique la position de la tête et des mains de l’utilisateur, et/ou une information représentative d’une interaction utilisateur, et/ou pour transmettre au premier dispositif d’affichage des premières données à restituer (notamment des deuxièmes données non visibles à intégrer aux premières données).
Selon un mode particulier de réalisation de l'invention, le deuxième dispositif D_AFF décrit précédemment est compris dans un écran.
La figure 7A illustre des étapes des premier et deuxième procédés d’affichage 3D de données selon un mode de réalisation. Le premier procédé d’affichage3D est par exemple mis en œuvre par un premier dispositif d’affichage portatif (12) tel que décrit en relation avec les figures 1-3 et le deuxième procédé d’affichage 3D est par exemple mis en œuvre par le deuxième dispositif d’affichage (13) tel que décrit en relation avec les figures 1-2.
Lors d’une étape E70, le premier dispositif d’affichage optique portatif (12) initialise un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve.
Lors d’une étape E71, le premier dispositif d’affichage optique portatif (12) transmet au deuxième dispositif d’affichage (13) la position du premier dispositif d’affichage optique portatif (12).
Lors d’une étape E72, le deuxième dispositif d’affichage (13) affiche une représentation 3D des données à restituer, par exemple un environnement de réalité virtuelle, ou bien une interface comprenant des éléments d’interaction.
Lors d’une étape E73, le premier dispositif d’affichage optique portatif (12) affiche également une représentation 3D des données à restituer. Comme décrit plus haut, il peut s’agir des mêmes données, ou de données complémentaires.
L’étape E71 est mise en œuvre régulièrement ou sur détection d’un changement de position de la tête de l’utilisateur (par exemple mouvement de la tête ou déplacement de l’utilisateur dans l’environnement réel). Sur réception d’une nouvelle position de la tête de l’utilisateur en provenance du premier dispositif d’affichage optique portatif (12) lors de l’étape E71, le deuxième dispositif d’affichage (13) modifie la représentation 3D des données affichées afin de prendre en compte ce changement.
Lors d’une étape E74, le premier dispositif d’affichage optique portatif (12) détecte une interaction utilisateur.
Lors d’une étape E75, le premier dispositif d’affichage optique portatif (12) détermine si l’interaction utilisateur a été mise en œuvre sur un élément de la représentation 3D affichée par le deuxième dispositif d’affichage (13) ou resituée par le premier dispositif d’affichage optique portatif (12).
Si l’interaction utilisateur a été mise en œuvre sur un élément de la représentation 3D restituée par le premier dispositif d’affichage optique portatif (12), le premier dispositif d’affichage optique portatif (12) modifie en conséquence les données restituées.
Si l’interaction utilisateur a été mise en œuvre sur un élément de la représentation 3D affichée par le deuxième dispositif d’affichage (13), lors d’une étape E76, le premier dispositif d’affichage optique portatif (12) transmet au deuxième dispositif d’affichage (13) une information représentative de l’interaction utilisateur.
Lors d’une étape E77, le deuxième dispositif d’affichage (13) modifie l’affichage de la représentation 3D en fonction de l’interaction utilisateur reçue.
Les étapes E71 à E77 sont itérées tant que des données sont à restituer à l’utilisateur.
La figure 7B illustre, en relation avec la figure 8, des étapes des premier et deuxième procédés d’affichage 3D de données selon un autre mode de réalisation.
Dans ce mode particulier de réalisation de l’invention, le deuxième dispositif d’affichage (13) est configuré pour afficher un grand volume de données (800 sur la figure 8) à l’utilisateur et le premier dispositif d’affichage optique portatif (12) est utilisé par l’utilisateur pour interagir sur un sous-ensemble (810 sur la figure 8) des données affichées par le deuxième dispositif d’affichage (13). Les étapes des premier et deuxième procédés d’affichage sont similaires à celles décrites en relation avec la figure 7A et comprennent en outre les étapes décrites ci-dessous. On suppose ici que lors de l’étape E73, le premier dispositif d’affichage optique portatif (12) ne projette pas encore de données à l’utilisateur.
Lors d’une étape E74’, le premier dispositif d’affichage optique portatif (12) détecte une interaction utilisateur sur la représentation 3D des données affichées par le deuxième dispositif d’affichage (13). Une telle interaction utilisateur correspond à une sélection par l’utilisateur d’un sous-groupe d’éléments parmi un groupe d’éléments de la représentation 3D affichée par le deuxième dispositif d’affichage (13).
Lors d’une étape E76’, le premier dispositif d’affichage optique portatif (12) transmet au deuxième dispositif d’affichage (13) une information représentative de l’interaction utilisateur. Lors d’une étape E77’, éventuellement, le deuxième dispositif d’affichage (13) modifie l’affichage de la représentation 3D, par exemple en modifiant visuellement la représentation des éléments sélectionnés, ou bien en supprimant les éléments sélectionnés de la représentation 3D affichée.
Lors d’une étape E78, le deuxième dispositif d’affichage (13) transmet au premier dispositif d’affichage optique portatif (12) les éléments du sous-ensemble sélectionnés. Le premier dispositif d’affichage optique portatif (12) les reçoit et les enregistre en mémoire.
Lors d’une étape E79, le premier dispositif d’affichage optique portatif (12) restitue une représentation 3D des éléments reçus.
Lors d’une étape E80, le premier dispositif d’affichage optique portatif (12) détecte une interaction utilisateur sur le sous-ensemble d’éléments restitué par le premier dispositif d’affichage optique portatif visant à modifier un ou des éléments du sous-ensemble. Lors de l’étape E80, le premier dispositif d’affichage optique portatif (12) modifie le ou les éléments du sous-ensemble et enregistre en mémoire la modification. L’étape E80 peut être itérée tant que l’utilisateur souhaite interagir sur les éléments du sous-ensemble.
Lors d’une étape E81, le premier dispositif d’affichage optique portatif (12) détecte une interaction utilisateur visant à transmettre le sous-ensemble d’éléments modifiés au deuxième dispositif d’affichage (13). Lors de l’étape E81, le premier dispositif d’affichage optique portatif (12) transmet donc au deuxième dispositif d’affichage (13) le sous-ensemble d’éléments modifiés. Le deuxième dispositif d’affichage (13) enregistre le sous-ensemble modifié en mémoire et lors d’une étape E82, le deuxième dispositif d’affichage (13) modifie l’affichage de la représentation 3D pour afficher dans les éléments du sous-ensemble reçu.
Différents modes particuliers de réalisation de l'invention ont été décrits ci-dessus. Ces différents modes particuliers de réalisation de l'invention peuvent être mis en œuvre seuls ou en combinaison les uns avec les autres.
Claims (15)
- Premier dispositif d’affichage 3D, destiné à être porté par une tête d’un utilisateur, le premier dispositif d’affichage comportant:
- un module d’affichage configuré pour afficher une première représentation 3D de premières données, et
- un calibreur d’un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve, ledit système de coordonnées 3D étant utilisé par le module d’affichage pour afficher ladite première représentation 3D desdites premières données, en mémorisant une position dans le système de coordonnées 3D d’au moins un deuxième dispositif d’affichage configuré pour afficher sur une surface d’affichage une deuxième représentation 3D de deuxièmes données en utilisant ledit système de coordonnées 3D. - Premier dispositif d’affichage 3D selon la revendication 1, comportant en outre un détecteur d’au moins une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage.
- Premier dispositif d’affichage 3D selon la revendication 2, dans lequel le détecteur est configuré pour détecter ladite au moins une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage lorsqu’une main de l’utilisateur avec laquelle il interagit est détectée à une position située en dehors d’un champ de projection dudit premier dispositif d’affichage portatif.
- Premier dispositif d’affichage 3D selon la revendication 3, comprenant en outre une mémoire dans laquelle est mémorisé un emplacement d’au moins un élément de la deuxième représentation 3D affiché par le deuxième dispositif d’affichage dans le système de coordonnées 3D.
- Deuxième dispositif d’affichage 3D, le deuxième dispositif d’affichage comportant:
- un module d’affichage configuré pour afficher une deuxième représentation 3D de deuxièmes données sur une surface d’affichage, et
- un calibreur d’un système de coordonnées 3D utilisé pour afficher sur la surface d’affichage ladite deuxième représentation 3D desdites deuxièmes données, en mémorisant au moins une position dans le système de coordonnées 3D d’un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur et configuré pour afficher une première représentation 3D de premières données en utilisant ledit système de coordonnées 3D. - Deuxième dispositif d’affichage 3D selon la revendication 5, comportant en outre un module de modification de l’affichage de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage en fonction d’au moins une donnée d’interaction reçue du premier dispositif d’affichage.
- Deuxième dispositif d’affichage 3D selon la revendication 6, dans lequel ladite au moins donnée d’interaction comprend au moins l’une des données suivantes:
- une position de la tête ou d’une main de l’utilisateur,
- une information représentative d’une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage. - Système de restitution 3D de données comprenant:
- un premier dispositif d’affichage selon l’une quelconque des revendications 1 à 4,
- au moins un deuxième dispositif d’affichage selon l’une quelconque des revendications 5 à 7. - Premier procédé d’affichage 3D, mis en œuvre par un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur, le premier procédé d’affichage comportant:
- un affichage, par le premier dispositif d’affichage, d’une première représentation 3D de premières données, et
- un calibrage d’un système de coordonnées 3D représentatif de l’environnement réel dans lequel l’utilisateur se trouve, ledit système de coordonnées 3D étant utilisé pour afficher ladite première représentation 3D desdites premières données, le calibrage comprenant au moins la mémorisation d’une position dans le système de coordonnées 3D d’au moins un deuxième dispositif d’affichage configuré pour afficher sur une surface d’affichage une deuxième représentation 3D de deuxièmes données en utilisant ledit système de coordonnées 3D. - Premier procédé d’affichage 3D selon la revendication 9, comprenant en outre:
- une détection d’au moins une interaction utilisateur sur au moins un élément de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage et,
- une transmission au deuxième dispositif d’affichage d’une information représentative de ladite interaction utilisateur détectée. - Premier procédé d’affichage 3D de données selon l’une quelconque des revendications 9 ou 10, comprenant en outre:
- une obtention d’un sous-ensemble d’éléments affichés dans la deuxième représentation 3D affichée par le deuxième dispositif d’affichage,
- une modification de la première représentation 3D affichée par le premier dispositif d’affichage pour afficher les éléments dudit sous-ensemble. - Premier procédé d’affichage 3D de données selon la revendication 11, comprenant en outre:
- une détection d’une interaction utilisateur sur ledit sous-ensemble d’éléments affiché par le premier dispositif d’affichage modifiant ledit sous-ensemble,
- une transmission au deuxième dispositif d’affichage dudit sous-ensemble modifié. - Deuxième procédé d’affichage 3D, mis en œuvre par un deuxième dispositif d’affichage, le deuxième procédé d’affichage 3D comprenant:
- un affichage d’une deuxième représentation 3D de deuxièmes données sur une surface d’affichage,
- un calibrage d’un système de coordonnées 3D utilisé pour afficher sur la surface d’affichage ladite deuxième représentation 3D desdites deuxièmes données, le calibrage comprenant au moins la mémorisation d’une position dans le système de coordonnées 3D d’un premier dispositif d’affichage destiné à être porté par une tête d’un utilisateur et configuré pour afficher une première représentation 3D d’au moins des premières données en utilisant ledit système de coordonnées 3D. - Deuxième procédé d’affichage 3D selon la revendication 13, comprenant en outre:
- une réception par le deuxième dispositif d’affichage en provenance du premier dispositif d’affichage d’au moins une donnée d’interaction,
- une modification de l’affichage de la deuxième représentation 3D affichée par le deuxième dispositif d’affichage en fonction de ladite au moins une donnée d’interaction reçue. - Programme d'ordinateur comportant des instructions pour la mise en œuvre du premier procédé d’affichage 3D selon l'une quelconque des revendications 9 à 12 ou du deuxième procédé d’affichage 3D selon l’une quelconque des revendications 13 ou 14, lorsque le programme est exécuté par un processeur.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1914557A FR3104743B1 (fr) | 2019-12-17 | 2019-12-17 | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1914557 | 2019-12-17 | ||
| FR1914557A FR3104743B1 (fr) | 2019-12-17 | 2019-12-17 | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3104743A1 true FR3104743A1 (fr) | 2021-06-18 |
| FR3104743B1 FR3104743B1 (fr) | 2022-07-15 |
Family
ID=70456866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1914557A Active FR3104743B1 (fr) | 2019-12-17 | 2019-12-17 | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3104743B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11875465B2 (en) | 2019-03-21 | 2024-01-16 | Orange | Virtual reality data-processing device, system and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180046245A1 (en) * | 2016-08-11 | 2018-02-15 | Microsoft Technology Licensing, Llc | Mediation of interaction methodologies in immersive environments |
| US20180293041A1 (en) * | 2015-10-08 | 2018-10-11 | Pcms Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
-
2019
- 2019-12-17 FR FR1914557A patent/FR3104743B1/fr active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293041A1 (en) * | 2015-10-08 | 2018-10-11 | Pcms Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
| US20180046245A1 (en) * | 2016-08-11 | 2018-02-15 | Microsoft Technology Licensing, Llc | Mediation of interaction methodologies in immersive environments |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11875465B2 (en) | 2019-03-21 | 2024-01-16 | Orange | Virtual reality data-processing device, system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3104743B1 (fr) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2212736B1 (fr) | Dispositif de surveillance croisée pour afficheurs dits tête haute | |
| WO2005017602A2 (fr) | Systeme de visualisation d'images en relief | |
| FR3104743A1 (fr) | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. | |
| EP3449340A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| WO2013160255A1 (fr) | Dispositif de visualisation adapté à fournir un champ visuel étendu | |
| WO2014199085A1 (fr) | Systemes de reperage de la position de la camera de tournage pour le tournage de films video | |
| EP2831847A1 (fr) | Procede et dispositif de creation d'images | |
| WO2020178527A1 (fr) | Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle | |
| WO2014170482A1 (fr) | Procede de generation d'un flux video de sortie a partir d'un flux video large champ | |
| FR3107390A1 (fr) | Dispositif, système et procédé de traitement de données de réalité virtuelle | |
| FR3056770A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| FR3077910A1 (fr) | Procede d'aide a la maintenance d'un systeme complexe | |
| FR3057430A1 (fr) | Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images | |
| EP2713625A1 (fr) | Procédé et système de fourniture d'un contenu multimédia, machine virtuelle, serveurs, terminal de communication et programme d'ordinateur correspondants | |
| EP1929777B1 (fr) | Systeme et procede de traitement d'images par annulation d'echo video | |
| FR3068803A1 (fr) | Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle. | |
| WO2022129752A1 (fr) | Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d | |
| EP4349006A1 (fr) | Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations | |
| FR3043295A1 (fr) | Dispositif de realite augmentee spatiale pour un environnement de bureau | |
| EP3127299A1 (fr) | Procédé de transmission d'informations via un canal vidéo entre deux terminaux | |
| FR3013492A1 (fr) | Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d | |
| WO2020187950A1 (fr) | Dispositif, système et procédé de traitement de données de réalite virtuelle | |
| EP1124212A1 (fr) | Procédé et dispositif de présentation visuelle d'un espace virtuel à trois dimentsions simulant un véhicule automobile | |
| FR3127597A1 (fr) | Systeme d’interface homme-machine | |
| FR3050834A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210618 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |