FR3056770A1 - Dispositif et procede de partage d'immersion dans un environnement virtuel - Google Patents
Dispositif et procede de partage d'immersion dans un environnement virtuel Download PDFInfo
- Publication number
- FR3056770A1 FR3056770A1 FR1659160A FR1659160A FR3056770A1 FR 3056770 A1 FR3056770 A1 FR 3056770A1 FR 1659160 A FR1659160 A FR 1659160A FR 1659160 A FR1659160 A FR 1659160A FR 3056770 A1 FR3056770 A1 FR 3056770A1
- Authority
- FR
- France
- Prior art keywords
- immersive
- source
- target
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007654 immersion Methods 0.000 title claims description 42
- 230000008014 freezing Effects 0.000 claims abstract description 23
- 238000007710 freezing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 67
- 230000009466 transformation Effects 0.000 claims description 49
- 230000005540 biological transmission Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 35
- 230000003993 interaction Effects 0.000 claims description 24
- 238000000844 transformation Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 19
- 230000008901 benefit Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000001427 coherent effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000001131 transforming effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000065675 Cyclops Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/203—Image generating hardware
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Dans un dispositif 100 et un procédé mis en œuvre par le dispositif, deux systèmes immersifs sont connectés de sorte qu'un environnement virtuel généré sur un système immersif source 10 est reproduit sur un système immersif cible 20. Les images de l'environnement virtuel affichées sur le système d'affichage du système immersif source sont transformées pour être affichées sur le système d'affichage du système immersif cible de sorte qu'une reproduction virtuelle de l'environnement virtuel soit correctement représentée sur le système immersif cible pour un observateur, indépendamment des différences de structure et de logiciels entre les deux systèmes immersifs. Le gel de certaines données d'affichage et de conditions d'observations du système source assure une stabilisation temporaire de la représentation de l'environnement virtuel sur le système cible sans affecter la cohérence de la représentation sur ce dernier.
Description
(54) DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION DANS UN ENVIRONNEMENT VIRTUEL
FR 3 056 770 - A1 )5/) Dans un dispositif 100 et un procédé mis en oeuvre par le dispositif, deux systèmes immersifs sont connectés de sorte qu'un environnement virtuel généré sur un système immersif source 10 est reproduit sur un système immersif cible 20.
Les images de l'environnement virtuel affichées sur le système d'affichage du système immersif source sont transformées pour être affichées sur le système d'affichage du système immersif cible de sorte qu'une reproduction virtuelle de l'environnement virtuel soit correctement représentée sur le système immersif cible pour un observateur, indépendamment des différences de structure et de logiciels entre les deux systèmes immersifs. Le gel de certaines données d'affichage et de conditions d'observations du système source assure une stabilisation temporaire de la représentation de l'environnement virtuel sur le système cible sans affecter la cohérence de la représentation sur ce dernier.
DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION DANS UN ENVIRONNEMENT VIRTUEL
Domaine de l'invention
La présente invention appartient au domaine de la réalité virtuelle et de la présentation des environnements virtuels et du partage d'environnements virtuels.
Plus particulièrement, l'invention concerne un dispositif et un procédé de partage de l'immersion dans un environnement virtuel avec des utilisateurs disposant de moyens d'immersion autres que les moyens ayant généré l'environnement virtuel.
Etat de l'art
Dans le domaine de la réalité virtuelle un ou plusieurs utilisateurs d'un système d'immersion dans un environnement virtuel sont immergés dans l'environnement virtuel au moyen d'un environnement matériel produisant des stimuli pour donner aux utilisateurs des sensations proches, sinon identiques, sinon supposées, de celles qui seraient ressenties dans un environnement réel que l'environnement virtuel est sensé reproduire.
On comprend ici que la représentation n'est pas nécessairement réaliste mais peut aussi être déformée, atténuée ou exagérée dans certains effets, pour produire des sensations particulières telles qu'une perception accrue de phénomènes dans le monde virtuel. Par exemple par un effet d'échelle, un utilisateur peut se trouver immergé dans un univers microscopique qui lui est normalement inaccessible. Un utilisateur peut être immergé pour observer un environnement non visible en conditions ordinaires comme par exemple un écoulement aérodynamique, ou encore pour observer une représentation d'un environnement non physique comme par exemple une base de données visualisée en 3D.
Dans certains cas, un même environnement virtuel est partagé entre plusieurs utilisateurs.
Par la suite, il sera considéré une représentation visuelle de l'environnement virtuel, à deux ou à trois dimensions, et il sera exposé plus particulièrement les problèmes et solutions liés à cette représentation visuelle dans le contexte de l'invention.
Une solution connue pour permettre à au moins deux utilisateurs d'être immergés dans un environnement virtuel consiste à dupliquer les données utilisées pour construire la représentation visuelle de l’environnement virtuel sur deux systèmes immersifs, chaque système étant affecté à un utilisateur, pour obtenir sur chacun des deux systèmes un rendu temps réel correspondant au point de vue de chaque utilisateur associé à un système. Dans ce cas les informations relatives à la position et ou aux interactions réalisées par chacun des utilisateurs sont synchronisées pour permettre à chacun des environnements virtuels reproduits sur chacun des systèmes d’être dans un état identique.
Cette solution a l’avantage de permettre à chacun des utilisateurs partageant l’immersion d’avoir son propre point de vue sur l’environnement virtuel partagé.
Ainsi, un utilisateur en immersion au moyen d'un premier système immersif peut regarder le côté gauche d’un objet et un second utilisateur en immersion dans le même environnement virtuel au moyen d'un second système immersif peut regarder simultanément le côté droit du même objet.
Dans une telle solution, chacun des systèmes immersifs doit disposer des données utilisées pour construire l’environnement virtuel, et sa représentation visuelle, et de l’ensemble des applications, en particulier des logiciels, permettant d’exploiter ces données, conditions qui imposent de passer par une étape de duplication des données et de disposer des licences, pouvant s'avérer coûteuses, sur les logiciels mis en œuvre sur chacun des systèmes.
En outre, lorsque les deux systèmes immersifs sont distants, la transmission de données pose un problème de confidentialité, notamment dans les environnements industriels où les données emportent un important volume d'informations pouvant être sensibles sur la définition de l'environnement virtuel, par exemple une maquette numérique d'une machine prototype.
Un autre inconvénient de cette solution est de nécessiter sur chaque système immersif des systèmes de traitement numériques avec des performances suffisantes pour générer en temps réel les images de l'environnement virtuel affichées sur les moyens d’affichage du système immersif, performances encore plus importantes lorsque le système immersif doit exploiter un environnement en trois dimensions et ou produire une représentation en trois dimensions.
Un autre inconvénient de cette solution est que le confort de partage de l’expérience du monde virtuel dépend très fortement de la qualité des moyens de communication réseau mis en place. Le partage reposant sur la synchronisation des données entre plusieurs systèmes immersifs, les temps de latence introduits par les moyens de communication réseau affectent la vitesse à laquelle les données provenant d’un système immersif distant sont remises à jour dans un système immersif donné, provoquant un écart potentiellement important entre l’état effectif de l'environnement virtuel à un instant donné du système immersif distant et celui retranscrit à l’intérieur du système immersif considéré au même instant.
Suivant un autre procédé connu, qui évite la transmission de certaines données sensibles, des images produites par un système immersif pour un utilisateur sont filmées par une caméra portée par l'utilisateur, orientée pour montrer les images dans le champ visuel de l'utilisateur, et sont transmises pour être observées sur un écran par des personnes plus ou moins éloignées. Ce procédé n'offre cependant pas la qualité attendue par une personne distante devant observer un environnement virtuel du fait de l'exploitation de l'image filmée sur un écran unique et du fait que l'image filmée comporte en général des défauts et artefacts en raison de la mise en œuvre par le système immersif de systèmes d'affichage des images comportant plusieurs écrans assemblés pour former l'environnement immersif. En outre les personnes qui observent l'image à distance sont passives et n'ont pas d'interaction avec lesdites images. De plus, une telle solution n'est pas envisageable lorsque le système immersif met en œuvre un casque de réalité virtuelle, les images étant dans ce cas affichées très près des yeux de l'utilisateur.
Dans le cas d'un système immersif composé de plusieurs écrans et/ou images combinées pour obtenir un grand champ de vision, l'homme du métier sait que les images sont composées pour être vues d'un emplacement donné du système d'affichage et qu'observées depuis un autre emplacement les images sont vues déformées et avec des défauts de raccordement lorsque qu'il est mis en œuvre plusieurs écrans.
Ainsi, même lorsque le système d'affichage du système immersif distant est identique à celui du système immersif générant les images de l'environnement virtuel, pour que les images affichées soient correctement vues par l'observateur distant il est nécessaire que la position de son point d'observation dans le système d'affichage distant soit la même que celle du point d'observation de l'utilisateur dans le système d'affichage du système immersif. Cette dernière contrainte s'avère en pratique impossible à respecte, chaque utilisateur devant être libre de réaliser des mouvements de tête, même de faibles amplitudes.
Il résulte du non-respect de cette contrainte de positions des points d'observation que les différentes images affichées dans le système d'affichage distant présentent des incohérences avec des déformations et des discontinuités généralement inacceptables pour la compréhension de l'information affichée, et incompatible pour réaliser une immersion.
Présentation de l'invention
L'invention apporte une solution aux différents problèmes de l'art antérieur dans le domaine de l'immersion d'un observateur dans un environnement virtuel généré pour un autre utilisateur d'un système immersif.
Un avantage est d'éviter de multiplier les coûts des licences.
Un autre avantage est d'éviter la duplication des données et les contraintes de transmission de volumes important de données.
Un autre avantage est de ne pas être limités dans le choix des architectures matérielles de chacun des systèmes immersifs mis en œuvre.
Un autre avantage est de préserver la confidentialité des données de l'environnement virtuel.
Un autre avantage est de conserver la qualité de la représentation visuelle de l'environnement virtuel et de l'immersion dans un système distant.
Pour cela, l'invention concerne un dispositif de partage d'immersion dans un environnement virtuel, comportant :
- un système immersif source, comportant un système de traitement numérique comportant une base de données, dont un ensemble de données définit un environnement virtuel, et délivrant des données d'affichage à un système d'affichage de ce système immersif source ;
- un logiciel de calcul d'images de synthèse, exécuté sur les moyens de traitement numérique du système immersif source, de construction d'une représentation visuelle de l'environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage du système immersif source, le logiciel de calcul d'images prenant en compte des conditions d'observation effectives dans ledit système d'affichage ;
- au moins un système immersif cible, comportant un système de traitement numérique délivrant des données d'affichage, correspondant aux images à afficher, à au moins un système d'affichage dudit système immersif cible ;
- des moyens de transmission de données du système immersif source à l’au moins un système immersif cible, et à chacun des systèmes immersifs lorsque plusieurs systèmes immersifs cibles sont utilisés.
En outre, dans le dispositif :
- des données d'affichage du système immersif source, et les données des conditions d'observation effectives dans le système d'affichage du système immersif source, utilisées pour calculer les images affichées dans le système d'affichage du système immersif source, sont transmises via les moyens de transmission de données au système immersif cible, le cas échéant à chacun des systèmes immersifs cibles ;
- lesdites données d'affichage du système immersif source transmises sont transformées par un logiciel de traitement des données d'affichage pour construire des données d'affichage correspondant à des images affichées sur le ou les écrans du système d'affichage du ou de chacun des systèmes immersifs cibles, chaque point image d'une image transformée affichée sur un écran du système d'affichage du système immersif cible correspondant à la projection d'un point image d'un écran du système d'affichage du système immersif source, la projection étant réalisée en fonction d'au moins un point d'observation effectif dans le système d'affichage du système immersif source, et en fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible, points d'observation considérés, pour calculer la projection, comme même point d'observation de l'environnement virtuel dont la représentation visuelle est affichée sur le système immersif source, les données d'affichage du système immersif source étant transformées, pour être affichées par le système immersif cible, par le système de traitement numérique du système immersif cible, au moins pour une partie des transformations fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible considéré,
- le système d’affichage et le système de traitement du système immersif cible et ou du système immersif source sont associés à des moyens d’interaction configurés pour modifier, via le système d’affichage et ou le système de traitement du système immersif considéré, le contenu et ou le comportement des images affichées par le système d’affichage du système immersif considéré.
Il est ainsi obtenu un dispositif pour transmettre une représentation d'un environnement virtuel, générée pour un système immersif source, à un ou plusieurs systèmes immersifs cibles différents de sorte qu'un observateur sur un système immersif cible partage la perception de l’environnement virtuel qu'en a un utilisateur du système immersif source générant la représentation de l'environnement virtuel, chacun des utilisateur du système source et observateur du système cible disposant cependant de moyens d’intervention pour agir sur le comportement des affichages sans en détruire la cohérence. Cette transmission est réalisée sans duplication nécessaire des moyens matériels et ou logiciels du système immersif source. Le ou les systèmes cibles peuvent être très différents entre eux et différents du système immersif source, tant par leurs structures que par leurs performances, et il n'est pas nécessaire que chacun des systèmes immersifs cibles dispose des données de la base de données mise en œuvre pour construire l'environnement virtuel sur le système immersif source.
Le partage peut être effectué en temps réel, la transmission des données étant alors réalisée en continu, ou en temps différé.
En outre, en réalisant par le système immersif cible la transformation des données d'affichage pour la partie fonction du point d'observation effectif, position d'observation et le cas échéant direction d'observation, dans le système d'affichage dudit système immersif cible, il est minimisé l'impact du temps de latence entre l'affichage dans le système cible des images transformées et la prise en compte pour la transformation des données d'affichage du point d'observation effectif dans le système d'affichage du système cible.
Dans une forme de réalisation, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel d'une position d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et l'au moins un système immersif cible comporte un système de mesure en temps réel de la position d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.
Il est ainsi connu une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur et une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et au moins un système immersif cible comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.
Il est ainsi connu une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur, et une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.
Un logiciel de traitement partiel des données d'affichage peut être exécuté sur les moyens de traitement numérique du système immersif source, ou sur un calculateur annexe connecté à un réseau par lequel des données sont transmises entre les systèmes immersifs source et cibles, ledit logiciel transformant les données d'affichage générées par le système immersif source, correspondant aux images affichées sur les écrans du système d'affichage dudit système immersif source, en données d'affichage correspondant à des images adimensionnelles indépendantes d'une structure d'un système de visualisation devant afficher les images, lesdites données d'affichage correspondant aux images adimensionnelles étant transmises à l'au moins un système immersif cible.
Dans cette configuration, les calculs de transformation des données d'affichage qui ne dépendent pas du système immersif cible sont réalisés sur le système immersif source ou un calculateur annexe indépendant. Une telle solution permet dans un dispositif comportant plusieurs systèmes immersifs cibles de transmettre aux différents systèmes immersifs cibles des données d'affichage dans une forme neutre adimensionnelle dont seul le traitement ultérieur, spécifique au système immersif cible, est réalisé par chacun des systèmes immersifs cibles.
Dans une forme de réalisation, les images adimensionnelles correspondent à des images projetées sur une paroi intérieure d'une sphère, au centre de laquelle sphère est placé le point d'observation du système immersif source, pour former des images adimensionnelles dans un angle solide jusqu'à quatre Pi sté radian s.
Il est ainsi possible de donner à un observateur d'un système cible de choisir une direction d'observation dans n'importe quelle direction de l'espace sans être limité par le champ visuel de l'opérateur du système source.
Pour assister l’observateur d’un système immersif cible dans le choix d’une direction d’observation dans un environnement virtuel dont il ne maîtrise pas toutes les conditions de la représentation, des représentations symboliques sont avantageusement superposées à la représentation visuelle de l’environnement virtuel représenté sur le système immersif cible pour apporter à l’observateur une aide à l’orientation et au choix d’une direction d’observation.
Ces représentations symboliques comportent par exemple la matérialisation graphique d’une sphère ou encore d’une grille associée à la représentation de surfaces horizontales, par exemple un sol, et ou verticales, par exemple un mur.
De tels représentations symboliques, qui peuvent n’être matérialisées que temporairement, par exemple par une commande de l’observateur, ou dans certaines conditions, par exemple une évolution rapide des conditions d’observation du système source, apporte une assistance à l’observateur pour faciliter son choix de direction d’observation et pour retrouver sa position dans la scène virtuelle.
Le logiciel de traitement des données d'affichage pour construire des images affichées sur le ou les écrans du système d'affichage de l'au moins un système immersif cible peut également être exécuté sur les moyens de calculs dudit système immersif cible.
Il est dans ce cas transmis par le système immersif source les mêmes données à tous les systèmes immersifs cibles et les traitements numériques de la transformation des données d'affichage sont réalisés par chaque système immersif cible en fonction de la configuration qui lui est propre et de variables locales telles que les position et directions d'observation de l'observateur dans le système d'affichage du système immersif cible.
Dans une forme de réalisation, le dispositif comporte une pluralité de systèmes immersifs cibles connectés simultanément au système immersif source. II est ainsi possible avec les bénéfices de l'invention de permettre à de nombreux observateurs, pouvant être distants et dispersés, de suivre l'immersion vécue par un utilisateur d'un système source.
II est compris qu’un système immersif cible peut être situé à une distance quelconque du système immersif source, les problèmes de synchronisation de la représentation visuelle affichée dans le système immersif cible avec les conditions d’observation de l’observateur trouvant précisément une solution dans l’invention.
Ainsi, dans une forme de réalisation du dispositif, au moins un système immersif cible est situé dans un emplacement distant du système immersif source, c’est-à-dire, dans le contexte de l’invention, que la séparation physique des deux systèmes est telle que l’utilisateur du système source et l’observateur du système cible ne sont pas en mesure de communiquer directement, pour le moins sans faire usage de moyens techniques de communication.
Dans une forme de réalisation au moins un système immersif cible est situé à proximité du système immersif source. Ainsi considéré dans le contexte de l’invention, l’utilisateur du système source et l’observateur du système cible peuvent communiquer directement sans barrière physique en particulier dans le cadre d’un travail collaboratif.
Une telle configuration n’est pas simplement hypothétique dans la mesure où elle permet, y compris dans un même lieu de simuler, avec des moyens matériels simples, pour un ou des observateurs l’immersion, dans l’environnement virtuel de l’utilisateur du système source, d’une part sans perturber ledit utilisateur et d’autre part dans des conditions optimales puisqu’il est impossible pour un utilisateur de se placer dans le système d’affichage source avec les même conditions d’observation que celles de l’utilisateur. Ce résultat serait avec le seul système d’affichage du système source impossible à atteindre puisque l’observateur devrait se placer à la place de l’utilisateur ce qui est naturellement exclu en pratique.
Dans une forme de réalisation, un équipement du système immersif source qui capture le signal, numérique ou analogique, porteur des données d'affichage, envoyé par le système de traitement numérique du système immersif source au système d'affichage dudit système immersif source, convertit, si besoin, le signal prélevé en données numériques correspondant aux données d'affichage et transmet sous forme de données numériques lesdites données d'affichage correspondant au signal capturé, directement ou indirectement, aux systèmes immersifs cibles.
Il est ainsi évité toute intervention ou modification, matérielle ou logicielle, autre que le raccordement dudit équipement de capture, du système immersif source, de telles interventions ou modifications, lorsqu'elles sont possibles, étant le plus souvent contraignantes.
Dans une forme de réalisation, le système immersif source comporte un logiciel, exécuté sur le système de traitement numérique du système immersif source, qui capture les contenus des données d'affichage correspondant aux images affichées sur chacun des éléments du système d’affichage du système immersif source après que les données d'affichage ont été calculées et, dans la chaîne de transmission des données d'affichage, avant que lesdites données d'affichage ne soient envoyées au système d’affichage du système immersif source, ledit logiciel de capture transmettant sous forme numérique lesdits contenus.
Dans ces formes de réalisation de tels contenus correspondent avantageusement à un ensemble de données suffisant pour reconstituer les images affichées sur le système immersif source. Lesdites données sont par exemple les données numériques envoyées au système d'affichage du système source, le cas échéant avant une conversion analogique, ou des données soumises à des algorithmes de compression spatiale et ou temporelle pour en diminuer la taille, ou des ensembles d'attributs de chaque image : contours, textures, couleurs...
Dans une forme de réalisation les contenus sont des images, dans une autre forme des flux vidéo, dans encore une autre forme des images stéréo, dans un autre exemple de forme un flux vidéo stéréo.
Avantageusement, en particulier lorsqu'il est recherché une synchronisation des affichages, des systèmes immersifs source et cibles, une forme des contenus est déterminée en fonction des moyens de calcul du système immersif source et ou du ou des systèmes immersifs cibles, et ou aux moyens de transmission de données, pour limiter autant que possible les retards entre l'affichage des images sur le système immersif cible par rapport au système immersif source en prenant en considération toute la chaîne de transmission des données et de leurs traitements par les deux systèmes immersifs.
Dans une forme de réalisation, le dispositif comporte un système d'enregistrement des données configuré pour enregistrer les données transmises à l'au moins un système immersif cible et pour transmettre lesdites données en temps différé.
II est ainsi possible de rejouer à tout moment, et sans limite de nombre de fois, une immersion enregistrée sur un système immersif source sur un système immersif cible quelconque, qui peut être le même système immersif que le système immersif source. Cette possibilité tient au fait que les données d'affichage sont transformées par le système immersif cible en fonction des conditions d'observation qui sont toujours différentes en pratique lors de chaque mise en œuvre du système immersif cible.
Dans une forme de réalisation, le système immersif source comporte également un logiciel de traitement d'image et un système immersif cible comporte également un logiciel de calcul d'images de synthèse et de construction d'une représentation visuelle d'un environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage dudit système immersif cible et comporte également un équipement ou un logiciel de capture des données d'affichage correspondant aux images affichées sur le système de visualisation dudit système immersif cible, de sorte que chacun desdits systèmes immersifs cible et source peut être alternativement un système source et un système cible. Le dispositif s'avère dans cette forme de réalisation particulièrement adapté à un travail collaboratif entre un utilisateur et un observateur susceptibles d'inverser leurs rôles.
Dans cette configuration les deux systèmes immersifs cible et source pouvant inverser leurs conditions peuvent être différents tant dans leurs configurations matérielles que logicielles, le dispositif suivant l'invention permettant de s'affranchir sur ces points des contraintes de compatibilité habituellement rencontrées dans les systèmes connus. Cette configuration est également compatible avec la connexion simultanée d'autres systèmes immersifs cibles.
Dans un tel dispositif le système d'affichage du système immersif source et le système d'affichage d'un système immersif cible appartiennent à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans traditionnels, les écrans portés par un utilisateur ou un observateur.
Ces catégories, indépendamment des dimensions et de la forme des écrans, qui peuvent être plats ou courbes, peuvent cohabiter dans le dispositif de l'invention, seuls les calculs de transformation des données d'affichage étant modifiés pour s'adapter aux caractéristiques spécifiques des écrans et des systèmes d'affichage.
Dans une forme de réalisation, les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel de toute ou partie des données d’affichage et ou des données des conditions d’observation utilisées pour calculer les images devant être affichées par le système d’affichage du système immersif source et ou du système immersif cible.
Il est ainsi possible pour l’observateur du système cible, qui ne dispose pas des moyens d’agir sur le fonctionnement du système source, de figer, au moins momentanément, certaines données de la représentation de l’environnement virtuel du système source afin par exemple d’en parfaire une analyse.
Par exemple, les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et destinées à être transformées et/ou le gel des conditions d'observations des écrans dans le système d'affichage du système immersif source.
Dans une forme de réalisation, les moyens d’interactions du système immersif cible comportent une commande de gel d’un sous-ensemble des conditions d'observations des écrans dans le système d'affichage du système immersif source et ou du système immersif cible.
Le cas échéant, le sous-ensemble des conditions d'observations correspond aux informations de position des données d’observation des écrans du système immersif source et ou aux informations d’orientation des données d’observation des écrans du système immersif source.
Dans une forme de réalisation, les moyens d’interaction de l’au moins un système immersif cible sont en outre configurés pour pointer et ou annoter les images affichées par le système d’affichage dudit système immersif cible sous la forme d’incrustations dans lesdites images pointées ou annotées.
Dans une forme de réalisation, des données caractérisant les pointages ou annotations formées sur des images de l’au moins un système immersif cible sont transmises via les moyens de transmission à au moins un autre système immersif connecté. II est ainsi possible au système, le système source ou un autre système cible, recevant ces données de traiter ces données pour les afficher sur les images les représentations correspondantes.
Le système d'affichage du système immersif source, et le système d'affichage de l'au moins un système immersif cible, appartiennent chacun à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans, les écrans portés par un utilisateur ou un observateur. II est de la sorte possible d’adapter la configuration du dispositif à de nombreux types de besoins, en particulier en fonction de critère de coûts, de rapidité de déploiement et de réalisme des représentations graphiques.
Dans une forme de réalisation, le système d’affichage du système immersif source appartient à la catégorie des systèmes d'affichage multi-faces déterminant un volume dans lequel peut se tenir l’utilisateur, système CAVE, et dans lequel le système d'affichage de l'au moins un système immersif cible appartient à la catégorie des systèmes d’affichage multi-écrans ou simple écran.
Les moyens d’interaction comportent par exemple une ou des surfaces sensibles au toucher ou à la présence d’une main ou d’un doigt, et ou un ou des pointeurs.
Dans une forme de réalisation, des éléments graphiques sont intégrés lors de la transformation des données d’affichage d’un système immersif source par le système de traitement numérique du système immersif cible considéré.
Dans une forme de réalisation, l’au moins un système immersif cible est situé dans un emplacement distant du système immersif source, la séparation physique des deux systèmes étant telle que l’utilisateur dudit système immersif source et l’observateur dudit système immersif cible ne sont pas en mesure de communiquer sans faire usage de moyens techniques de communication. II est dans cette configuration repoussé les limites spatiales qui permettent un partage d’une immersion.
Dans une forme de réalisation, l’au moins un système immersif cible est situé à une proximité du système immersif source, tel que l’utilisateur dudit système immersif source et l’observateur dudit système immersif cible peuvent communiquer directement sans barrière physique. II est dans cette configuration obtenu de partager une immersion sans souffrir des artefacts inévitables lorsqu’un observateur se tient à proximité de l’utilisateur dans l’espoir d’en ressentir les effets.
L'invention concerne également un procédé de partage d'immersion dans un environnement virtuel, mettant en œuvre le dispositif décrit précédemment, entre un opérateur du système immersif source et un observateur de l’au moins un système immersif cible, comportant une étape de génération d'environnement par le système immersif source, ladite étape produisant des données d'affichage correspondant à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage du système source, et une étape d'affichage par le système immersif cible d'images transformées.
Suivant l'invention, le procédé comporte une étape de :
- transformation, au moins pour partie sur le système immersif cible, des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et dont les images sont affichées sur les écrans du système d'affichage dudit système immersif source pour être vues par l'utilisateur dudit système immersif source,
- en données d'affichage dudit environnement virtuel adaptées à l'affichage sur un ou des écrans du système d'affichage dudit système immersif cible, et dont les images sont affichées pour être vues par l'observateur dudit système immersif cible,
- la transformation consistant en des modifications des données d'affichage, générées par le système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif cible, et en fonction de variables de conditions d'observations des écrans dans chacun des systèmes d'affichage desdits systèmes immersifs source et cible,
- ladite transformation étant réalisée de manière récurrente pour reproduire sur le système immersif cible, afin de restituer à un observateur dans ledit système cible l'immersion d'un utilisateur dans le système immersif source, prenant en compte les évolutions de la représentation du monde virtuel sur le système immersif source et des évolutions des variables des conditions d’observation,
- ladite transformation étant en outre modifiée lors d’une étape de gel de données d’affichage de l’environnement virtuel généré par le système de traitement numérique du système immersif source et destinées à être transformées, et ou par le gel de données des conditions d’observation des écrans dans le système d’affichage du système immersif source.
Il est ainsi réalisé la transformation des données d'affichage générées par le système immersif source, données d'affichage correspondant à des images adaptées au système d'affichage dudit système immersif source et aux conditions d'observation par l'utilisateur dudit système immersif source, en données d'affichage correspondant à des images adaptées au système d'affichage du système immersif cible et aux conditions d'observation d'un observateur dudit système immersif cible pour présenter audit observateur l'environnement immersif vécu par l'utilisateur et en disposant de moyens de geler, au moins en partie, la représentation sur le système cible.
Dans une forme de mise en œuvre, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.
Suivant cette forme, il est créé un système d'affichage source virtuel dont la position par rapport à l'observateur est calquée sur la position de l'utilisateur dans le système d'affichage source réel.
II est reconstruit virtuellement sur le système immersif cible le système d'affichage du système immersif source, reconstruction virtuelle qui est affichée sur le système d'affichage du système immersif cible de manière à ce que les conditions d’observation de l’observateur de ladite reconstruction virtuelle du système source dans le système immersif cible correspondent au moins en partie aux conditions d’observation de l’utilisateur du système immersif source dans le système immersif source.
Cette transformation permet de s'affranchir d'une duplication des données de l'environnement virtuel et peut être appliquée pour toute forme de système immersif cible et pour tout logiciel exécuté sur le système immersif source.
Dans un mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée totalement sur le système immersif cible après une étape de transmission des conditions d'observation et des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source.
Dans un autre mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des conditions d'observation et des données d'affichage transformées partiellement de l'environnement virtuel au système immersif cible, et le système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation du système immersif cible pour former les images affichées sur le système d'affichage cible.
Dans un autre mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des données d'affichage partiellement transformées de l'environnement virtuel au système immersif cible, lequel système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation dudit système immersif cible.
Avantageusement dans ce cas, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont indépendantes des caractéristiques et des données d'exploitation d'un système cible.
Dans un mode de mise en œuvre, la reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source est réalisée par le système immersif source ou le calculateur annexe connecté au réseau.
Dans un mode de mise en œuvre, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont transformées en données d'affichage pour un affichage sur l'au moins un système immersif cible en considération des caractéristiques dudit système cible et de données d'exploitation dudit système immersif cible, et dans lequel les données d'affichage sont transformées par le système immersif cible pour corriger des différences entre les données d'exploitation dudit système immersif cible, utilisées pour les transformations réalisées par le système immersif source, et les données d'exploitation dudit système immersif cible lorsque lesdites données d'affichages sont converties en images affichées par ledit système immersif cible.
Il est ainsi limité les calculs à réaliser sur le système immersif cible à des corrections des conditions d'observation de sorte qu'il est possible de limiter la puissance de calculs du système immersif cible, et donc de mettre en œuvre des systèmes réduits, et de limiter les temps de latence introduits par les traitements numériques sur le système immersif cible.
II est ainsi obtenu la possibilité de maintenir pour l'utilisateur du système source une perception de l'environnement virtuel généré par le système immersif source, tout en conservant dans le système immersif cible une vision correcte et stable dudit environnement virtuel placé dans cette condition de gel malgré des variations des conditions d'observation dans ledit système immersif source. Les données d'affichage dans le système immersif cible sont ainsi interprétées comme si l’environnement virtuel était totalement statique et que l’utilisateur du système source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de l’état du système immersif source.
Dans un mode de mise en œuvre, le procédé comporte une étape d'initialisation dans laquelle des informations de configuration de chacun des systèmes immersifs sont transmis par chaque système immersif à l'autre ou aux autres systèmes immersifs, directement ou par l'intermédiaire d'un serveur, via les moyens de communication de données. Une telle étape permet de configurer les différents systèmes immersifs connectés entre eux et d'adapter simplement la configuration de chacun d'eux à la manière dont le dispositif doit travailler dans des conditions définies.
Dans un mode de mise en œuvre, le procédé comporte une étape d'enregistrement de données représentant les données d'affichage du système d'affichage du système immersif source et de données des conditions d'observation utilisées pour calculer lesdites données d'affichage, et de transmission en temps différé desdites données à l'au moins un système immersif cible.
II est ainsi possible de reprendre une immersion enregistrée à tout moment.
Présentation des figures
La description de l'invention est faite en référence aux figures qui représentent de manière schématique et de manière non limitative :
Figure 1 : un exemple simplifié d'un dispositif de partage d'immersion dans un environnement visuel avec un système immersif source comportant un système d'affichage de type multi-écrans et un système immersif cible de type mono écran plat ;
Figure 2 : un exemple illustré de principes de transformation d'une image, générée dans un système immersif source avec un système d'affichage et observé dans un système immersif cible avec un système d'affichage différent, pour conserver les conditions visuelles d'immersion ;
Figure 3 : une illustration d'un dispositif comportant plusieurs système immersifs cibles avec des systèmes d'affichage de technologies différentes reproduisant l'environnement virtuel d'un même système immersif source ;
Figure 4 : un synoptique simplifié du procédé suivant l'invention.
Dans la description, il devra être donné aux termes et expressions suivantes les sens précisés ci-après :
Système immersif = Système destiné à restituer en temps réel des impressions sensorielles à un utilisateur par des moyens de stimulation adaptés aux sensations devant être restituées. Le système immersif comprend généralement un ensemble de moyens matériels et logiciels pour au moins : construire un environnement virtuel à partir d'informations contenues dans une base de données ; calculer une représentation visuelle de cet environnement virtuel ; afficher des images à l'attention d'au moins un utilisateur ; mesurer la position et la direction d'observation de l'utilisateur dans un référentiel de moyens d'affichage sur lesquels les images sont regardées par l'utilisateur ; les images affichées étant calculées pour représenter l'environnement virtuel tel qu'il doit être perçu par l'utilisateur suivant ses conditions d'observation de l'environnement virtuel.
Système d'affichage : ensemble de moyens matériels et au besoin logiciels comportant un ou plusieurs écrans d'affichage d'images agencés entre eux dans l'espace pour présenter des images à un opérateur. Le système d'affichage est associé à des moyens pour déterminer en temps réel, dans un référentiel lié aux écrans, la position au moins, et accessoirement l'orientation d'observation, d'un opérateur regardant les images affichées par lesdits écrans.
Casque : cas particulier de système d'affichage dans lequel les écrans sont fixés sur un support porté sur la tête par l'opérateur. Dans ce cas particulier la position d'observation est fixe dans le référentiel lié aux écrans et la direction d'observation est fonction des mouvements de la tête. Ce type d’équipement peut être associé à des moyens de suivi temps réel de la position de la tête dans l’environnement physique, qui ne modifieront bien entendu pas la position de la tête de l’opérateur par rapport au système d’affichage mais pourront être exploitées par le logiciel de calcul de la représentation de l’environnement virtuel pour modifier la position de la tête de l’utilisateur dans l’environnement virtuel.
Image : toute forme de représentation visuelle affichée sur un écran. Une image peut être fixe, animée résultant d'une succession d'images dans le temps, résulter d'un flux vidéo... Une image peut être transmise en vue de son affichage sur un écran par un signal analogique ou par un ensemble de données numériques représentant tout ou partie (par exemple dans le cas de signal compressé) d'une image, ou les deux suivant un emplacement considéré dans la chaîne de transmission de l'image entre la génération de l'image et son affichage.
Environnement virtuel : un environnement déterminé par un ensemble de données numériques définissant les caractéristiques de cet environnement et nécessaires à la construction d'une représentation visuelle de cet environnement tel qu'il doit être perçu par un utilisateur ou un observateur d'un système immersif.
Immersion : situation dans laquelle des représentations d'un environnement virtuel consistent en un ensemble de stimuli auquel sont soumises une ou plusieurs personnes pour donner à ces personnes l'impression d'être physiquement entourées des informations contenues dans l'environnement virtuel.
Description détaillée d’un exemple de réalisation
En particulier, il sera dans la présente invention considéré le cas d'un environnement virtuel dont la représentation visuelle est restituée par le système immersif au moyen d'un dispositif d'affichage comportant un ou plusieurs écrans d'affichage, le cas échéant mettant en œuvre des systèmes optiques conventionnels tels que des miroirs, des lames semi-transparentes, des optiques de collimation, des filtres ...
L’environnement virtuel restitué peut être à deux dimensions, 2D, ou à trois dimensions, 3D. Pour augmenter les impressions sensorielles dans ce dernier cas le dispositif d'affichage comporte un système de reconstructions des effets du relief, par exemple des lunettes à occultation synchronisées avec les images affichées pour présenter à l'utilisateur du système immersif des images correspondant à chacun de ses yeux pour produire un effet stéréoscopique.
Les informations numériques utilisées par le système immersif peuvent correspondre, et correspondent souvent, à des données d'un environnement immersif en trois dimensions 3D, auquel cas une application logicielle du système immersif est une application de création d'images de synthèse qui élabore à chaque instant une ou plusieurs nouvelles images de synthèse par un traitement numérique des informations 3D en fonction d'une position d'un point d'observation, par exemple correspondant à un centre optique d'un objectif d'une caméra virtuelle.
Les informations numériques peuvent également être des données d’un environnement à deux dimensions, 2D, comme des films, éventuellement panoramiques préenregistrés, qui peuvent être traités numériquement par une application logicielle pour afficher des images vues depuis un point d'observation contrôlé par l’utilisateur ou contrôlé par une logique plus ou moins interactive.
L'homme du métier dans le domaine de la réalité virtuelle connaît les principes et le fonctionnement des systèmes immersifs qui sont répandus aujourd'hui dans de nombreuses applications industrielles, par exemple en conception assistée par ordinateurs, dans des simulateurs et systèmes d'entraînement tels que la formation et l'entraînement à la conduite de véhicules, dans les systèmes de préparation à des interventions chirurgicales ou sur des systèmes en milieux hostiles, dans des applications ludiques généralement regroupées sous l'expression « jeu vidéo >>.
La description de ces systèmes immersifs connus ne sera donc pas développée en détail dans la présente demande, tout au plus il sera fait appel à des éléments, parties ou sous-ensembles et à des principes lorsqu'ils seront jugés utiles à la clarté de l'exposé ou lorsque qu'il pourra être considéré que le système immersif de l'invention risque d'échapper au sens le plus conventionnel de ce terme. En particulier, dans l'invention un seul écran, d'ordinateur ou d'un moniteur vidéo, peut former la partie affichage d'un système d'affichage d'un système immersif.
En outre dans l'exemple de réalisation décrit, ne seront considérés que les aspects visuels de l'immersion, les autres aspects, sonores par exemple, n'étant pas abordés, tout au plus évoqués.
La figure 1 illustre un dispositif 100 comportant deux systèmes immersifs, un système immersif source 10 et un système immersif cible 20, connectés par des moyens de transmission de données.
Le système immersif source 10 de la figure 1 est un système connu qui comporte, dans l'exemple illustré, un système de traitement numérique 11, comportant une base de données 11a d'informations numériques décrivant un environnement immersif, et des moyens d’affichage 12 d'images générées par le système de traitement numérique.
Le système de traitement numérique 11 est en pratique un calculateur, de puissance adaptée aux calculs d'images en temps réel, sur lequel sont exécutés des logiciels de calculs d'images de synthèse.
La base de données 11a comporte l'ensemble des données propres définissant l'environnement virtuel et nécessaires au calcul d'une représentation visuelle dudit environnement virtuel. Ces données sont par exemple des données définissant les formes géométriques d'objets de l'environnement virtuel, des couleurs desdits objets et de divers attributs (conditions de visibilité, de transparence, de mobilité ou positions fixes dans l'espace par exemple). L'homme du métier connaît bien ce type de données et de représentation numérique d'un environnement.
La base de données comporte également des données relatives au système immersif source lui-même, en particulier des paramètres relatifs aux moyens d'affichage 12, dont des dimensions, positions et formes d'écrans (12a, 12b, 12c, 12d), sur lesquels sont affichées les images devant former une représentation de l’environnement virtuel dans lequel est immergé un utilisateur 90.
Il doit être noté qu'outre les données relatives à l'environnement virtuel et les paramètres relatifs aux moyens d'affichage 12, les moyens de calculs 11 reçoivent également des valeurs de variables, généralement fonction d'un utilisateur 90 en condition d'immersion et ou d'un opérateur du système immersif, qui sont nécessaires aux logiciels pour les calculs d'images de synthèses.
Les variables comportent plus particulièrement une position d'observation et une direction d’observation de l'utilisateur 90 par rapport aux moyens d'affichage 12, position et direction d'observation dont dépendent les dimensions apparentes et perspectives des écrans du système d’affichage et donc les images de l'environnement virtuel devant être affichées sur ces écrans pour présenter, vue par l'utilisateur, une représentation correcte dudit environnement virtuel depuis une position dans ledit environnement virtuel où est sensé se trouver l'utilisateur.
Les position et direction d'observation devant être connues pour le calcul des images affichées, lesdites position et direction d'observation sont, de manière connue par l'homme du métier, mesurées ou estimées en temps réel ou présupposées pour être prises en compte dans le calcul de chaque nouvelle image.
De telles variables sont par exemple des ordres envoyés au système de traitement numérique 11, par exemple par l'utilisateur 90 par l'intermédiaire d'organes de commande, pour agir directement ou indirectement sur l'environnement virtuel.
On comprend ici que les variables sont traitées à chaque instant par l’application logicielle réalisant la synthèse de l’environnement virtuel pour présenter en temps réel, c'est-à-dire avec un temps de latence suffisamment court pour que ses effets sur le retard entre l'évolution des variables et les images affichées ne soit pas sensiblement perceptibles à l’utilisateur, pour le moins ne soit pas gênant dans le contexte de l'utilisation du système immersif, un point de vue dans l’environnement virtuel correspondant à un point d'observation de l'utilisateur 90 dans le système d'affichage du système immersif physique.
Les moyens d’affichage 12 du système immersif source 10 de la figure 1 comportent une pluralité d'écrans 12a, 12b, 12c, 12d formant un système multifaces à quatre écrans, dans l’exemple illustré, fréquemment appelé CAVE dans le domaine de la réalité virtuelle.
Cet agencement consiste en des écrans, par exemple des écrans de projection, placés les uns à côté des autres et de dimensions suffisantes pour former un volume dans lequel l'utilisateur 90 peut se tenir. Les écrans déterminent un angle solide correspondant à une ouverture visuelle de l’utilisateur 90 sur l'environnement virtuel. De tels écrans, qui dans des systèmes CAVE atteignent fréquemment trois mètres de côté, voire plus, sont positionnés les uns par rapport aux autres pour déterminer le volume, plus ou moins fermé suivant le nombre et l'agencement relatif des écrans, dans lequel se place l'utilisateur 90, et les différents écrans sont en outre placés de sorte à assurer la continuité des images de l'environnement virtuel affichées par lesdits écrans le long d'une arrête commune à deux écrans.
Dans l'exemple de la figure 1, quatre écrans sont agencés suivant les parois d’un cube dont deux côtés mitoyens sont absents, le dispositif CAVE étant donc ouvert dans cette forme de réalisation. II doit être noté que les dimensions de cet exemple ne sont pas imposées et que toute forme de système d'affichage, multifaces ou non, peut être mise en œuvre, en particulier en fonction d'avantages qu'elle procure en terme d’immersion suivant les objectifs de représentation de l'environnement virtuel.
Par exemple un agencement de deux écrans en L favorise l’immersion verticale. Par exemple un agencement à trois, quatre ou cinq écrans avec des angles plus ouverts que 90° favorise l'immersion de plusieurs utilisateurs simultanément. Certains écrans peuvent également être courbes, cylindriques ou sphériques, et éviter ou limiter le nombre de juxtapositions d'écrans formant des angles. Les écrans peuvent également être portés par l'utilisateur aux moyens d'équipements tels que des casques de visualisation, qui peuvent être plus ou moins transparents en fonction du résultat recherché pour la perception de l’environnement physique environnant.
Le système immersif source 10 appartient, dans le contexte de l'invention, à un dispositif 100 comportant également au moins un système immersif cible 20.
Le système immersif cible 20 comporte au moins un système de traitement numérique 21 et un système d'affichage 22. Le système immersif cible peut être similaire, voir identique, dans sa structure et ses moyens au, ou différent du système immersif source 10.
En particulier, le système d'affichage 22 du système immersif cible 20 peut être identique au système d'affichage 12 du système immersif source 10 ou au contraire en être différent, par exemple par un nombre d'écrans mis en œuvre, et ou par une forme des écrans, et ou par la taille des écrans, et ou par un agencement des écrans, et ou par le fait que le ou les écrans soient portés ou non par l'utilisateur, et ou par la capacité ou non de restituer des images pour une observation en stéréoscopie.
Dans l'exemple du dispositif 100 schématisé sur la figure 1, le système d'affichage 22 du système immersif cible ne comporte qu'un seul écran 22a alors que le système d'affichage 12 du système immersif source en comporte quatre.
L'écran 22a, unique écran du système d'affichage 22 dans l'exemple de réalisation illustré sur la figure 1, est par exemple un écran de projection du même type que ceux d'un CAVE, ou un écran vidéo conventionnel, télévision ou écran d'ordinateur, voire un écran de téléphone ordinateur, seule la portion d'environnement virtuel affichée par le système d'affichage 22 du système cible différant entre ces diverses possibilités.
Le système de traitement numérique 21 du dispositif immersif cible 20 comporte principalement une mémoire, ou base de données locale, dans laquelle sont stockées les données du système immersif source et du système immersif cible utilisées pour la transformation de données d'affichage correspondant aux images, et un calculateur numérique sur lequel est exécuté un logiciel de traitement des données d'affichage dont les principes sont exposés ultérieurement dans la description.
Par simplification, dans la suite de la description, les termes « source >> et « cible >> seront utilisés pour désigner les éléments respectivement du système immersif source 10 et du système immersif cible 20. En particulier, le système immersif source 10 sera également désigné « système source » et le système immersif cible 20 sera également désigné « système cible >>.
Le dispositif 100 comporte également des moyens de transmission de données 30 entre le système source 10 et le système cible 20.
De tels moyens de transmission de données 30 consistent en tous moyens connus dans le domaine de la transmission de données entre des ordinateurs, et qui seront dans le cas de l'invention choisis en fonction du débit de données qui devra être assuré, de la distance entre les deux systèmes immersifs du dispositif et des ressources disponibles en moyens de communication. Dans une forme de réalisation, la transmission de données est réalisée par un réseau 31 de communication tel que le réseau Internet et la mise en œuvre des interfaces et protocoles de communications adaptées à ce réseau. La transmission des données peut également mettre en œuvre des liaisons optiques, des liaisons radio, et des liaisons filaires de différents types, pour autant que la liaison mise en œuvre soit apte à assurer le débit nécessaire à la transmission des données.
La suite de la description est faite en référence au fonctionnement du dispositif 100 lorsque le système source 10 génère les données d'affichage d'un environnement virtuel dont les images sont affichées sur le système d'affichage source 12, environnement virtuel dans lequel l'utilisateur 90 est immergé, et que ledit système source transmet au système cible 20 des données relatives aux données d'affichage générées par le système de traitement numérique source 11.
Il doit être noté que la description détaillée ne considère qu'un seul système cible pour des raisons de simplification, mais que le dispositif 100 peut comporter un nombre quelconque de systèmes cibles, tous les systèmes cibles étant indépendants entre eux, pouvant être différents dans leurs structures, et fonctionnent de manière similaire avec les données reçues du système source.
Lors du fonctionnement du dispositif 100, le logiciel de calcul d'images de synthèse exécuté sur le système de traitement numérique source 11 génère une représentation de l'environnement virtuel dans lequel l'utilisateur 90 du système source est immergé et produit des données d'affichage de ladite représentation de l'environnement virtuel pour chacun des différents écrans 12a, 12b, 12c, 12d du système d'affichage source 12.
Ces données d'affichage sont générées en fonction des paramètres susceptibles de modifier la perception visuelle de l'environnement virtuel par l'utilisateur 90, en particulier d'une position dans l'espace d'un point depuis lequel l'utilisateur 90 voit chacun des écrans 12a, 12b, 12c, 12d du système d'affichage source 12 et une direction d'observation dans laquelle regarde l'utilisateur, la direction d'observation correspondant à un axe optique des moyens d'observation, en pratique des yeux. Cette position et cette direction qui lui sont associées sont désignées globalement par la suite « point d'observation >>.
Le point d'observation peut être unique et par exemple correspondre sur l'utilisateur 90 à une position intermédiaire entre ses deux yeux.
Le point d'observation peut également être double, lorsqu'il est recherché une perception du relief par une vision binoculaire, et alors la position de chacun des deux yeux de l'utilisateur 90 détermine un point d'observation.
II est à noter ici que, pour réaliser les calculs correspondant à la génération des données d'affichage correspondant aux images affichées sur chacun des écrans, le système de traitement numérique associé au système d'affichage dispose nécessairement des données relatives aux caractéristiques et à l’agencement des différents écrans du système d'affichage.
Les images calculées sont affichées sur les écrans correspondants. Comme il a déjà été précisé, les images sont avantageusement calculées avec une fréquence de rafraîchissement suffisante pour éviter les phénomènes de latence désagréables pour l'utilisateur et également pour assurer une fluidité des images lors de mouvements.
Les données d'affichage calculées par le système source sont transmises, via les moyens de transmission de données 30, au système cible. Le point d’observation utilisé par le système de traitement du système source pour calculer les données d'affichage est également transmis, via les moyens de transmission de données 30, au système cible.
Il doit être compris ici que lesdites données d'affichage peuvent être transmises sous toutes formes de données suivant un protocole compris par le système cible et qui permet la reconstruction desdites données d'affichage ainsi que l’identification du point d’observation utilisé pour calculer lesdites données d'affichage.
Les données d'affichage générées par le système source ne peuvent cependant pas produire des images affichées correctement sur le système d'affichage cible 22 en particulier en raison des différences de structure des systèmes d'affichage cible et source, et des points d'observation, respectivement de l’utilisateur 90 et de l'observateur 91, dans chacun des systèmes source et cible qui ne sont pas corrélés.
En effet, même dans l'hypothèse où les systèmes d'affichage source et cible sont identiques, i! est en pratique impossible que le point d’observation de l'observateur 91 dans un référentiel du système d'affichage cible 22 soit maintenu à tout instant identique au point d'observation de l'utilisateur 90 dans un référentiel du système d'affichage source 12, et en supposant que des données d'affichage générées par le système source soient affichées directement sous la forme d'images sur des écrans du système d'affichage cible, elles donneraient à un observateur 91 du système cible une vision de l'environnement virtuel déformée, voire inutilisable.
A titre d’illustration d'une situation simple où les systèmes d'affichage source et cible sont identiques, une ligne droite de l'environnement virtuel, qui serait affichée dans le système source 10 sur deux écrans dont les surfaces d'affichage ne seraient pas coplanaires, apparaîtrait comme une ligne brisée pour un observateur du système cible 20 dont le point d'observation serait différent de celui ayant servi à générer les données d'affichage dans le système source.
Afin de présenter à l'observateur 91 du système immersif cible une représentation cohérente de l'environnement virtuel dans lequel est immergé l'utilisateur du système source, chaque image reçue du système source par le système cible est transformée par un logiciel de traitement d'données d’affichage en fonction du point d’observation du système source et du point d’observation du système cible. Le logiciel de traitement d'image est opéré, au moins pour partie, par le système de traitement numérique cible 21.
Comme il sera compris de la suite de la description, une partie du traitement d'image peut également être opérée par le système source, ou par tout système disposant des capacités de communiquer avec les systèmes source et cible pour recevoir et transmettre les données nécessaires.
La transformation des données d'affichage consiste principalement à reconstituer virtuellement l'environnement physique du système d'affichage source 12 et à forcer le point d’observation de l’observateur 91 à la même position dans l’environnement source virtuel que le point d’observation de l’utilisateur 90 dans le système d’affichage source 12.
Suivant ce principe, comme illustré sur la figure 2, il est créé dans le système cible 20 une représentation virtuelle 3D du système d'affichage source 12', en fonction des paramètres du système d'affichage source 12, sur des écrans virtuels 12'a, 12'd, 12'c de laquelle représentation virtuelle du système d'affichage source sont affichées les images des données d'affichage reçues correspondant à chacun des écrans 12a, 12d, 13c réels du système source, voir figure 2. Il est ainsi formé dans le système cible un environnement virtuel 3D représentant à tout moment, au délai de latence près, le système d'affichage source 12, au moins les surfaces des écrans dudit système d'affichage source, avec sa représentation visuelle de l'environnement virtuel du système source.
Le système cible 10 traite alors numériquement la représentation virtuelle 3D du système d'affichage source 12' pour en construire une représentation visuelle sur le système d'affichage cible 22 en fonction du point d'observation de l'observateur 91 du système cible, dans laquelle représentation visuelle sur le système d'affichage cible, les position et orientation effectives, mesurées ou présupposées, d'observation dans le système d'affichage cible sont exactement les position et orientation d'observation dans la représentation virtuelle 3D du système d'affichage source et qui correspondent aux positions effectives, mesurées ou présupposées, d'observation de l'utilisateur dans le système de visualisation source réel, comme illustré sur la figure 2 où le centre 40 des projections correspond à la fois au point d'observation virtuel dans la représentation virtuelle 3D du système source et au point d'observation effectif dans le système cible 22.
Le traitement numérique correspond dans ce cas en des projections 3D des images de la représentation virtuelle 3D du système d'affichage source 12' sur le ou les écrans du système d'affichage cible 22, lesdites projection ayant comme centre 40 de projection les position et orientation d'observations dans la représentation virtuelle 3D de l'observateur 91.
Le système cible 20 présente ainsi à l'observateur 91 un système source virtuel en ce qu'il reconstruit à tout moment le comportement, pour les images affichées de l'environnement virtuel, du système source 10 et qu'il assure que, quelle que soit la position et l'orientation de l'observateur 91, ledit observateur a une position et une orientation dans la représentation virtuelle 3D du système d'affichage source 12', identique à celle de l'utilisateur 90 dans le système source 10, bien que les systèmes source et cible puisse avoir des configurations différentes et que l'utilisateur 90 et l'observateur 91 aient des points d'observation dont les mouvements sont, en pratique, indépendants dans systèmes immersifs respectifs.
Un tel résultat est obtenu par exemple par des projections des différentes images générées par le système source dans un référentiel des surfaces d'affichage des écrans du système cible, dont un principe est exposé sur la figure 2.
Pour le calcul d'une représentation cohérente de l’environnement virtuel sur le système cible, les points d'observation de l'utilisateur 90 du système source et de l'observateur 91 du système cible sont superposés dans la représentation virtuelle 3D du système d'affichage source 12' et pris comme le centre 40 et un axe de référence 41 d'un système de coordonnées sphériques utilisé pour réaliser les projections. Chaque point image 121 du système d'affichage source réel 12 ou virtuel 12' dans une direction 42 donnée depuis le point d'observation 40 correspond à un point image 221 du système d'affichage cible 22 dans la même direction et le point image 221 dans le système cible reprend alors les caractéristiques (couleur, luminosité...) du point image 121 du système source. Cette condition n'est bien sûr valide que lorsque les deux points images visuellement superposés dans les deux systèmes immersifs existent.
Si, lors de ces projections, un point image du système source n'a pas d'équivalent en projection dans le système cible, il ne pourra pas être affiché dans ledit système cible. A contrario, si un point image du système cible n'a pas d'équivalent en projection dans le système source, le point image dans ledit système cible correspondra à une zone aveugle dans l'affichage du système cible.
Lorsque les données d'affichage générées par le système source 10 ont été traitées suivant les principes exposés supra, les images sont affichées par le système cible 20 sur le ou les écrans dudit système cible.
Il doit être remarqué que la position et l'orientation de l'observateur 91 du système cible par rapport au système d'affichage cible 22 sont des paramètres pris en compte pour réaliser la transformation des données d'affichage. Cette prise en compte est nécessaire pour que la représentation de l'environnement virtuel soit cohérente avec le point de vue qui l'a générée sur le système source et qu'il soit reproduit sur le système cible l'effet immersif recherché.
Toutefois, pour la reconstruction cohérente des données d'affichage sur le système cible, la condition de superposition des positions d'observation est nécessaire alors que la condition de superposition des directions d'observations est optionnelle, et que cette dernière condition ne se justifie que lorsqu’il est recherché que la représentation visuelle vue par l'observateur 91 dans le système cible 20 soit celle de l'utilisateur 90 dans le système source, y compris en direction.
Lorsque seules les positions d'observation sont maintenues identiques, l'observateur 91 dans le système cible dispose, dans les limites de l'angle solide de l’espace dans lequel une image est affichée, de la possibilité de regarder la représentation de l'environnement virtuel dans une direction différente de celle dans laquelle l'observateur 90 regarde cet environnement virtuel dans le système source, mais qui correspond alors à la représentation visuelle qu'en aurait ledit utilisateur dans le système source s'il regardait dans la même direction que l'observateur dans le système cible.
Les expressions « condition d'observation >> et « position et direction d'observation >> doivent donc être comprises, en fonction de l'effet recherché, comme étant la position du point d'observation seule ou bien la position du point d'observation combinée avec la direction d'observation. Tout comme la position du point d'observation et l'orientation d'observation de l'utilisateur 90, la position du point d'observation et l'orientation d'observation de l'observateur 91 doivent être déterminées, par exemple mesurées en temps réel et transmises au système de traitement numérique cible 21 pour être prises en compte dans les calculs de transformation des données d'affichage, elles peuvent également être présupposées. Par exemple, lorsque plusieurs observateurs regardent le ou les écrans dans le système d'affichage du système cible des valeurs moyennes des conditions d'observation des différents observateurs peuvent être calculées ou supposées, étant compris qu'il s'agit d'un compromis produisant nécessairement des distorsions des images affichées par le système cible qui pourront être perçues par certains observateurs.
Ainsi il est réalisé un système cible 20 qui permet à un observateur 91 d'être immergé dans un environnement virtuel créé par un système source 10, distant, dans lequel est immergé, et le cas échéant interagit, un opérateur 90.
Ce résultat est obtenu sans transmission des données de la base de données 11a mise en œuvre par le système source, y compris avec un système cible 20 dont la configuration est différente de celle du système source 10. Il permet, entre autres, de mettre en œuvre dans le système cible 20 un système de traitement numérique 21 de performances inférieures à celui nécessaire au système source 10 pour générer l'environnement virtuel. Il n'exige pas la mise en œuvre de coûteux logiciels de calculs d'images de synthèses. Il n'exige pas la compatibilité des systèmes d'affichages des systèmes cible et source, ni que l'observateur 91 soit tenu de maintenir des conditions d'observation imposées dans le système de visualisation cible 22 pour visualiser les images comme l'utilisateur 90 les perçoit dans le système d'affichage source 12.
L'exemple de réalisation du dispositif 100 décrit n'est cité qu'à titre d'exemple.
Les architectures matérielles des systèmes immersifs source et cibles peuvent être différentes de celles schématisées dans la description pour réaliser les mêmes fonctions.
La transformation des données d'affichage transmises peut être réalisée par tout algorithme de transformation pouvant réaliser les projections nécessaires, la méthode décrite précédemment n'étant qu'une illustration théorique de la transformation par projection polaire.
La transformation des données d'affichage est avantageusement réalisée par le système cible qui connaît la définition de son système d'affichage 22 et qui prend localement en temps réel, avec un temps de latence minimum, les autres paramètres qui lui sont propres comme les conditions d’observation de l'observateur. Dans ce cas, le système cible doit également disposer de la définition du système source, paramètres du système d'affichage en particulier, par exemple transmise en début de connexion au dispositif des systèmes source et cibles, ainsi que les position et orientation d'observation de l'utilisateur 90 dans le système d'affichage source 12.
Toutefois la transformation des données d'affichage peut être réalisée en partie par le système source, ou par un autre système, pour autant que soit transmises par le système source les données d'exploitation nécessaires aux calculs des données d'affichage devant être affichées sur le système d'affichage dudit système cible.
Dans ce cas, comme déjà signalé, les transformations des données d'affichage nécessitant l'utilisation de variables propres au système cible 20, notamment les position et direction d'observation de l'utilisateur 91 dudit système cible, sont réalisées sur le système de traitement numérique 21 dudit système cible, ce qui permet de réaliser la synchronisation des images affichées par le système d'affichage cible 22 avec lesdites variables propres au système cible.
Dans une forme de réalisation, le système source 10, ou un autre calculateur annexe, réalise une première transformation des données d'affichage en données d'affichage adimensionnelles, indépendantes de la structure d'un système de visualisation devant afficher les images, par exemple en attribuant les caractéristiques de chaque point image associées à une direction dudit point image déterminée en coordonnées polaires dans un système d'axes attaché au point d'observation dans le système d'affichage 12 dudit système source. Le système cible 20 transforme alors les données d'affichage adimensionnelles reçues en données d'affichage adaptées à son système d'affichage 22 en attribuant à chaque point d'un écran dans une direction donnée des conditions d'observation dans le système d'affichage cible 22 les caractéristiques attribuées au point image correspondant à la même direction dans les données d'affichage adimensionnelles.
Lorsque qu'il est, dans un système immersif, réalisé une visualisation 3D de l'environnement virtuel, chaque œil voit une image différente et correspond à des conditions d'observation différentes qui nécessitent de réaliser les transformations des données d'affichage pour chacune des conditions d’observation, au moins lorsque les deux systèmes source et cible sont configurés pour afficher les images de l'environnement virtuel en relief.
L'invention concerne également un procédé 200, figure 4, pour partager un environnement immersif entre un système immersif source 10 et au moins un système immersif cible 20, d'un dispositif 100, en limitant les données échangées tant en raison de leur aspect confidentiel que du flux de données que leur transmission impliquerait et en limitant les exigences matérielles et logicielles du système cible.
Suivant le procédé, il est échangé entre le système source et un ou plusieurs systèmes cibles un ensemble d’informations ou données permettant à chaque système cible de reconstituer et mettre à jour en temps réel une représentation visuelle d'un environnement virtuel répliquant, au moins en partie, la représentation visuelle de l'environnement virtuel du système source.
Comme décrit précédemment, dans le dispositif 100, chacun des systèmes immersifs qui interviendra dans le partage d'immersion intègre des moyens de connexion à des moyens de transmission 30 assurant la mise en relation desdits systèmes immersifs.
Suivant le procédé, dans une étape préalable 210, à chacun des systèmes immersifs est associé un ensemble de données de configuration.
Les données de configuration intègrent toutes les informations nécessaires à la description physique du système immersif, et notamment à sa reconstruction à l’échelle 1.
Les données de configuration d'un système immersif comportent par exemple :
- un identifiant du système immersif ;
- un nombre d’écrans ;
- des tailles et formes de chaque écran ;
- un agencement des écrans dans un référentiel d'un système d'affichage ;
- une capacité d’affichage d'images stéréoscopiques et des conditions associées ;
- des transformations colorimétriques et ou géométriques propres au système et devant être appliquées à chaque pixel d'une image devant être affichée sur un écran ;
- des capacités à restituer une ou plusieurs positions et directions d'observation.
Les données de configuration, dont la liste ci-dessus n'est pas exhaustive mais qui doit comprendre au minimum toutes les informations nécessaires aux échanges de données et au traitement des données réalisées lors de la mise en œuvre du procédé, sont établies pour chaque système immersif du dispositif, de façon manuelle, automatique ou semi-automatique en fonction des capacités du système immersif considéré.
Dans certaines formes de réalisation de systèmes immersifs, certaines de ces données peuvent varier au cours du temps, par exemple dans le cas d'un système immersif mobile dont l'orientation et ou la position des écrans varient au cours du temps lors d'une immersion.
Dans une telle situation, les données de configuration sont transmises au(x) système(s) cible(s) de manière similaire aux données d'exploitation comme exposé pour les étapes suivantes.
Dans une première étape 220 d'initialisation, le dispositif 100, regroupant les systèmes immersifs source 10 et cibles 20 au moyen desquels une immersion doit être partagée, est initialisé.
Dans cette étape d'initialisation, chacun des systèmes immersifs cibles 20 du dispositif initialise un registre du système immersif source connecté, ledit registre comprenant avantageusement l’ensemble des données de configurations de chacun desdits systèmes immersifs connectés, et avantageusement l'ensemble des données de configurations au moins du système source 10 pour les systèmes cibles 20.
Dans la pratique les données de configuration, ainsi que des valeurs d'initialisation de variables, initialisées par un système immersif donné pourront être limitées aux seules données strictement nécessaires aux transmissions de données et aux calculs qui devront être réalisés par ledit système immersif.
A tout instant, l’ensemble des données de configuration du système source doit pouvoir être accessible d'un système cible pour que ledit système source puisse partager son immersion avec ledit système cible, l’accessibilité à ces données pouvant être réalisée dans une forme de réalisation d’un dispositif 100 par exemple via un enregistrement dans une base de données locale au système de traitement numérique dudit système cible.
Dans une autre forme de réalisation d'un dispositif 100, un serveur de données 32a, connecté au réseau 31 des moyens de transmission des données 30, et accessible par chacun des systèmes immersifs 10, 20, comporte une base de données dans laquelle sont stockées les données de configuration de chacun des systèmes immersifs dudit dispositif, au moins pour celles qui sont nécessaires lors de l'étape d'initialisation, et chacun des systèmes immersifs pendant cette étape d'initialisation reçoit du serveur les données de configuration, au moins pour celles qui lui sont nécessaires compte tenu des transformations qu'il devra réaliser sur les données d'affichage.
Avantageusement, quel que soit le mode de mise en œuvre de cette première étape, la base de données pourra être mise à jour pendant la mise en œuvre du procédé en fonction de la connexion, déconnexion ou changement de rôle d’au moins un système immersif du réseau.
Dans une étape 230 de génération d'environnement, étape indépendante réalisée de manière récurrente lorsque le système source 10 est en fonctionnement pour générer un environnement immersif sur ledit système source, des données d’exploitation sources sont créées sur le système source.
Les données d’exploitation sources comportent :
- les « données du ou des conditions d'observation »
- les « données d'affichage »
Les données d'affichage correspondent à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage 12 du système source 10.
Par exemple les données d'affichage correspondent à l'ensemble des attributs de chacun des pixels composant les images affichées sur chacun des écrans du système d'affichage source 12, ces attributs comportant notamment, outre des caractéristiques de luminance et de couleur, la position du pixel dans ledit système d'affichage.
Les informations d'affichage sont par exemple des informations contenues dans des trames vidéo émises par le système de traitement numérique 11 du système source pour chaque écran 12a, 12b, 12c, 12d sur une liaison vidéo 13 avec le système d'affichage source 12.
Les données du ou des conditions d'observations sont principalement la position depuis laquelle et la direction dans laquelle, avantageusement des position et direction mesurées ou présupposées, l'utilisateur regarde dans le système d'affichage source 12 à un moment donné. Ces données sont prises en compte dans le calcul de la vision de l'environnement virtuel tel qu'il doit être représenté pour un utilisateur du système source immergé dans ledit environnement et interviennent dans la construction des images affichées. A défaut de valeur mesurées, les positions et, le cas échéant, la direction sont présupposées, par exemple par identification d’une position et ou orientation idéale pour utiliser le système d’affichage, ou moyenne si plusieurs utilisateurs peuvent être accueillis, ou imposée si le système immersif pousse le ou les utilisateurs à se rapprocher d’une position et ou orientation spécifique.
Dans un mode de mise en œuvre, les données d'affichage, calculées pour chaque cycle d'affichage en fonction d'une fréquence de rafraîchissement des dites données d'affichage, sont capturées, une fois calculées, par une application logicielle opérée dans le système de traitement numérique 11 du système source.
Dans un autre mode de mise en œuvre, les données d'affichage sont capturées lors de leurs transmissions aux moyens d'affichage source 12, par exemple par un branchement sur la liaison vidéo 13 d'un équipement vidéo 14 entre le système de traitement numérique source 11 et les moyens d’affichage source 12. Cette forme de capture présente l'avantage de ne pas nécessiter d'intervention, matérielle ou logicielle, sur le système de traitement numérique, ni d'installer une application logicielle supplémentaire sur le système de traitement numérique 11 du système source.
Dans un mode de mise en œuvre, si le système immersif source affiche des images stéréoscopiques, les données d'affichage capturées sont capturées pour une seule des conditions d'observation, par exemple les données d'affichage correspondant à un seul œil, ou en stéréo, en fonction des capacités du système cible à restituer ou non des images en mode stéréoscopique ou en fonction d'options choisies par un opérateur du système cible. II est ainsi possible de réduire le flux de données et les besoins en bande passante des moyens de transmission des données 30.
Dans un mode de mise en œuvre, si le système immersif source estime et utilise des positions et orientations de plusieurs utilisateurs simultanément, les données d'affichage sont capturées pour chacune des conditions d'observation et associées aux conditions d'observation correspondantes dans les données d’exploitation.
L'équipement vidéo 14 réalise ainsi la capture des données d'affichage lors de leur transmission au système d'affichage source 12, par exemple par une lecture des signaux correspondant aux images sur la liaison vidéo 13, convertit lesdites images dans un format adapté à leurs transmissions et les transmets via les moyens de transmission de données 30 du dispositif.
A l'issue de cette étape 230, les données d’exploitation source sont envoyées, directement ou indirectement, par le système source vers les utilisateurs des informations contenues dans lesdites données d'exploitation source. Les utilisateurs sont par exemple chacun des systèmes cibles qui sont connectés audit système source ou un calculateur annexe 32b raccordé au réseau 31 qui reçoit les données pour les retransmettre aux systèmes cible, éventuellement après avoir réalisé un traitement des données d’exploitation.
Dans une deuxième étape 240 de transformation, les données d’exploitation source sont transformées en fonction des données de configuration du système source, établies lors de l'étape 220, en fonction des données de configuration d'un système cible, également établies lors de l'étape 220, et en fonction de variables générées 242 par ledit système cible, notamment la position d'observation et de la direction d'observation dans le système d'affichage 22 dudit système cible.
Au cours de cette deuxième étape, sont réalisées les opérations de :
- Reconstruction 3D à l’échelle 1, par rapport au système de visualisation cible, de la configuration géométrique du système d'affichage source pour obtenir un système d'affichage source virtuel sans image, i.e. indépendamment d'images qui sont affichées sur les écrans dudit système d'affichage source ;
- Affichage sur chacun des écrans du système d'affichage source virtuel des données d’affichage associées, pour obtenir une représentation virtuelle complète de l’état des affichages du système source décrit par les données d’affichage reçues.
- Repositionnement du système d'affichage source virtuel par rapport à l'observateur utilisateur du système cible pour que les données des conditions d'observation source virtuelles, correspondant dans le système d'affichage source virtuel aux données des conditions d'observation réelles dans le système d'affichage source réel, correspondent aux données des conditions d'observation cible réelles, au moins pour la position d'observation.
-Synthèse des images constituant l’ensemble des données d’affichage du système cible par les moyens de traitement numérique du système cible en fonction des données des conditions d'observation cible, en utilisant les données de l'environnement reconstitué sur le système cible à partir des données d'exploitation du système source.
Avantageusement, dans un mode de réalisation, la reconstruction 3D virtuelle du système d'affichage source, sans image affichée sur les moyens d’affichage du système source virtuel, peut être mise en cache par le système de traitement numérique du système immersif cible, et ainsi être réutilisée pour les itérations suivantes.
Suivant le principe de transformation des données d'affichage du procédé, les données des conditions d'observation de l'utilisateur 90 dans l'environnement virtuel affiché dans le système source sont les mêmes que les données des conditions d'observation de l'observateur 91 dans l'environnement virtuel affiché dans le système d'affichage source virtuel sur le système cible, la représentation visuelle dudit environnement virtuel étant reconstituée dans cet objectif. Cette condition est forcée pour que les images générées par le système source 10 et vues par l'utilisateur 90 dans le système d'affichage source 12, puissent être vues sans déformation par l'observateur 91 dans le système d'affichage cible 22.
Les données d’affichage initialement calculées par le système source n'ont donc pas besoin d'être recalculées pour de nouvelles conditions d'observation dans le système cible, les conditions d'observation, en position et en direction, étant virtuellement superposées pour chaque œil dans l'environnement virtuel du système source et dans l'environnement virtuel du système cible.
L’ensemble des données et programmes nécessaires aux calculs des données d’affichage par les moyens de traitement numérique du système source n’a ainsi pas besoin d’être répliqué sur le système cible, au contraire de l’art antérieur.
La position d’observation et la direction d’observation, qui sont regroupées sous la désignation globale de conditions d’observation, correspondent en pratique à un ensemble de données variables qui traduisent la position et la direction dans un repère du système d’affichage considéré.
Les données considérées sont par exemple exprimées dans un système de référence cartésien d’axes orthogonaux. Les données peuvent également être exprimées dans un autre système de référence, par exemple par des coordonnées polaires ou des coordonnées sphériques, pour autant que les données lorsqu’elles sont transmises d’un système source à un système cible soient comprises par ledit système cible, soit que le système de référence soit connu par défaut, soit que la définition du système de référence utilisé par la source soit transmise à la cible.
Dans des cas particuliers comme par exemple lorsqu’il est pris en compte une vision stéréoscopique, donc mettant en œuvre deux points d’observations distincts, l’ensemble des données des conditions d’observation peuvent être dupliquées pour correspondre à chacun des points d’observation, ou être transmises seulement pour un point d’observation, les conditions d’observation pour le second point étant limitées à des données de position relatives du second point par rapport au premier, par exemple distance et direction du second point par rapport au premier point, limitant le volume des données de conditions d’observations à transmettre.
Les données d’observation peuvent également correspondre à point fictif d’observation, par exemple un œil cyclope, et les conditions d’observation pour chacun des points étant limitées à des données de positions relatives de chacun des points réels d’observation par rapport au point fictif.
Ainsi les données des conditions d’observation comportent un ensemble de variables cohérent qui correspond au système d’affichage considéré.
Ainsi les conditions d’observation dans un système d’affichage sont déterminées par un ensemble de données cohérentes, un sous-ensemble de cet ensemble pouvant consister en tout ou partie des données de position et ou tout ou partie des données d’orientation.
Dans un mode de mise en œuvre, toute ou partie des données d'exploitation transmises par le système source sont gelées.
II peut s’agir de données d’affichage, ou de données des conditions d’observations, ou d’un sous-ensemble des données des conditions d’observation.
Dans ce cas, les données gelées soit ne sont plus émises par le système source, ou sont émises avec des valeurs constantes, soit ne sont temporairement plus prises en compte par le système cible et les dernières données d'exploitations reçues et traitées par le système cible sont figées.
Le gel est commandé par une instruction d’un des systèmes source ou cible par exemple sur un ordre de l’utilisateur 90, ou de l'observateur 91, ou d'un opérateur du système source ou du système cible. L’ordre peut également affecter le système source qui est alors gelé et dans ce cas le système cible subit le gel des données concernées, ou n’affecter que le système cible qui dans ce cas n’implique pas nécessairement le gel du système source mais seulement un arrêt de la prise en compte des évolutions des données concernées émises par le système source.
Lors de l'activation de cette étape 241 de gel des données, la possibilité de mettre à jour les images sur le système cible par le traitement des données d'exploitations figées dans ledit mode gel d'exploitation est maintenu, le système cible pouvant dans ce cas recalculer en temps réel les données d'affichage pour les images devant être affichées par les moyens d'affichage cible 22 en fonction de modification des conditions d'observation pour conserver une représentation correcte de l'environnement virtuel figé dans le système d'affichage virtuel source.
Dans ce mode de fonctionnement, il est possible pour un opérateur 91 de se déplacer dans le système de visualisation cible sans que la représentation de l'environnement virtuel ne soit instable. Il est alors plus aisé à l'opérateur 91 de mettre en œuvre des méthodes de pointage ou d'annotations, bien connues de l'homme du métier, sur le système source virtuel, par exemple dans le contexte d'un travail collaboratif sur l'environnement virtuel, même si de telles méthodes peuvent être appliquées lorsque la fonction de gel n’est pas activée.
Il est ainsi possible de maintenir pour l'utilisateur 90 du système source une perception de l'environnement virtuel généré par le système immersif source, en conservant dans le système immersif cible, une vision par l’observateur 91 correcte et stable dudit environnement virtuel placé dans cette condition de gel malgré des variations des conditions d'observation dans ledit système immersif source.
Les données d'affichage dans le système immersif cible sont alors interprétées, lorsque les données correspondantes sont gelées, comme si l’environnement virtuel était totalement statique et que l’utilisateur du système source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de l’état du système immersif source.
Par des commandes spécifiques, l’étape de gel peut également concerner l’ensemble des données relatives aux conditions d’observation, ou seulement un sous-ensemble de ces données. Par exemple, lors d’une étape de gel, un opérateur, un utilisateur ou un observateur, peut choisir de geler ou non les variables de position des données d’observation et de geler ou non les variables d’orientation des données d’observation.
Avantageusement, les données affichées par le système d'affichage source virtuel ne varient plus, et les points image dudit système d'affichage source virtuel sur lesquels sont réalisés les pointages et ou annotations sont constants.
Dans un mode de mise en œuvre, une étape 243 d’enregistrement des données d’exploitation source est activée.
Avantageusement, dans un mode de réalisation, lesdites données d’exploitation source préenregistrées sont utilisées par le système de traitement en tant que données d’exploitation source, permettant ainsi sur le système cible, qui pourrait être ledit système source, de rejouer une immersion préenregistrée.
Dans une troisième étape 250 d'affichage, l'ensemble des données d'affichage résultant de la transformation est transmis au système d'affichage cible 22 dont les données d'exploitation ont été prise en compte lors de la transformation des images générées par le système source.
Afin de former en temps réel une représentation visuelle d'un environnement immersif pour un observateur, disposant d'un système immersif cible, copie de la représentation visuelle de l'environnement immersif généré pour un utilisateur du système immersif source, le procédé est rebouclé après la troisième étape 250 sur la deuxième étape 240.
Le cycle avec lequel le procédé est rebouclé pour afficher une nouvelle représentation de l'environnement virtuel sur les moyens d'affichage du système cible, cycle dont le temps peut être contraint par les performances de calculs des systèmes de traitement numérique de chacun des systèmes immersifs, ainsi que par les performances des moyens de transmission des données par lesquels les données sont échangées entre lesdits systèmes immersifs, est repris à chaque fois que le système cible a fait une acquisition de données d'exploitation correspondant à une représentation de l'environnement virtuel sur le système source.
Pour autant qu'il n'aura pas été mis en pause par l'activation de l'étape 241 de gel de données, le calcul est répété avantageusement aussi rapidement que les systèmes de traitement numérique des systèmes source et cible le permettent, au moins pour offrir à un observateur 91 une immersion perçue simultanée comme avec celle de l'utilisateur 90 du système source.
Variantes de réalisation
Comme précisé, la notion de conditions d'observation regroupe les notions de position d'observation et le cas échéant de direction d'observation lorsque la prise en considération de cette direction est souhaitée. Toutefois ces paramètres de position et de direction peuvent être déduits de mesures ou analyses. Par exemple la direction d’observation peut se déduire d'une mesure de position des deux yeux d'un utilisateur ou d'un observateur.
Des conditions d'observations présupposées ou prédéterminées peuvent également être utilisées pour l'un ou l'autre des systèmes immersifs source et cible, ou pour les deux, la mise en œuvre du procédé permettant d'adapter les affichages par la prise en compte des différences entre les deux systèmes.
L'invention telle que décrite dans le cas d’un système immersif source 10 comportant un système d'affichage 12 multi-écrans de type CAVE et d'un seul système immersif cible 20 comportant un système d'affichage 22 avec un seul écran, est susceptible de variantes sans se démarquer des principes de l'inventions détaillés dans l'exemple décrit.
Comme il a été signalé, le dispositif peut dans sa structure et suivant la mise en œuvre du procédé comporter un système source et un nombre quelconque de systèmes cibles, comme schématisé sur la figure 3 d'un dispositif 100 comportant trois systèmes cibles 20 de différents types, qui peuvent reproduire simultanément un environnement virtuel correspondant au système source comme des représentations du même environnement virtuel dans les systèmes cibles.
Dans une forme de réalisation, un système immersif donné peut être mis en œuvre soit comme système cible ou soit comme système source. En outre le dispositif peut mettre en relation au moins deux systèmes immersifs pouvant générer des images d'un environnement virtuel, un des deux systèmes immersifs pouvant être alternativement le système source ou l'un des systèmes cibles, l'autre système immersif étant inversement un des systèmes cibles ou le système source, une commutation entre les deux configurations pouvant être déclenchée à tout moment, par exemple dans le contexte d'un travail collaboratif entre les utilisateurs des deux systèmes immersifs en question, et ce pour peu que chacun des deux systèmes immersifs disposent de moyens de capture des données d'affichage calculées et affichées sur le système d’affichage associé.
L'invention permet de réaliser un partage d'immersion dans de nombreuses configurations de systèmes immersifs, en particulier de systèmes d'affichages desdits systèmes immersifs, la figure 3 illustrant des configurations possibles de manière non limitative.
Dans une forme de réalisation le système source et un système cible comportent tous deux un système d'affichage multi-faces. Avantageusement les systèmes immersifs disposent dans ce cas de systèmes de mesure de la position du point d'observation et de la direction d'observation de l'utilisateur ou de l'observateur.
Dans d'autre formes de réalisation, le système source comporte un système d'affichage multi-faces et un système cible comporte un système de visualisation de type casque.
Les systèmes de visualisation de type casque mettent en œuvre des écrans qui sont physiquement très proches des yeux de l'utilisateur du casque mais qui sont pourvus, pour rester utilisables, de systèmes optiques qui assurent une collimation qui place une image virtuelle, ici considérée au sens de l'optique géométrique, de la surface de l'écran à une distance suffisante de l’œil. C'est cette image virtuelle qui est alors considérée comme l'image affichée dans le système de visualisation.
Dans un premier mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position et à la même orientation que celles de l’utilisateur du système source dans le système source. Dans un mode alternatif, seule l’orientation source autour de l’axe défini par le centre des deux yeux n’est pas prise en compte pour donner un peu plus de liberté à l’observateur. Avantageusement, dans ce mode, l’observateur dans le système cible voit exactement ce que voit l’utilisateur du système source.
Dans un deuxième mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position que celle de l’utilisateur du système source dans le système source. Avantageusement, dans ce mode, l’observateur dans le système cible peut regarder dans d’autres directions que l’utilisateur du système source.
Dans d'autres formes de réalisation, le système source comporte un système d'affichage de type casque.
Les informations de configuration incluent alors une description de la transformation géométrique inverse de la transformation géométrique associée aux pixels des images destinées à chacun des deux yeux ainsi que le champ de vision associé au casque.
Le système immersif cible reçoit les données d'affichage directement capturées par le système de capture et leur applique la transformation géométrique décrite dans les informations de configuration pour retrouver des images aplanies destinées à l’œil gauche et à l’œil droit sans les déformations optiques souvent nécessaires pour l’affichage dans ce type de système immersif de type casque.
Dans une forme de réalisation associée, le système immersif source est de type casque et le système immersif cible est également de type casque. La transformation réalisée par le système cible consiste alors à placer autour de l’observateur dans le système cible, dans un environnement virtuel, une fenêtre mouvante dans laquelle sont affichés les contenus en provenance du système source, la taille de la fenêtre étant fonction des caractéristiques du système source pour au moins correspondre au champ de vision rendu par ledit système source.
Dans un premier mode de fonctionnement, la fenêtre est affichée tout le temps dans le champ de vision de l’observateur, imposant ainsi que sa position et son orientation dans l’environnement virtuel correspondent exactement à la position et orientation de l’utilisateur du système source dans le système source.
Dans encore un autre mode de fonctionnement, seule la position de l’observateur dans le système cible est contrainte dans l’environnement virtuel. L’observateur peut orienter son regard dans n’importe laquelle des directions, même s’il ne perçoit le contenu visualisé par l’utilisateur du système source que quand les directions de regard de l’un et l’autre sont suffisamment proches.
Pour assister l’observateur d’un système immersif cible dans le choix d’une direction d’observation dans un environnement virtuel dont il ne maîtrise pas toutes les conditions de la représentation, des représentations symboliques sont avantageusement superposées à la représentation visuelle de l’environnement virtuel représenté sur le système immersif cible pour apporter à l’observateur une aide à l’orientation et au choix d’une direction d’observation.
Ces représentations symboliques comportent par exemple la matérialisation graphique d’une sphère ou encore d’une grille associée à la représentation de surfaces horizontales, par exemple un sol, et ou verticales, par exemple un mur.
De tels représentations symboliques, qui peuvent n’être matérialisées que temporairement, par exemple par une commande de l’observateur, ou dans certaines conditions, par exemple une évolution rapide des conditions d’observation du système source, apporte une assistance à l’observateur pour faciliter son choix de direction d’observation et pour retrouver sa position dans la scène virtuelle.
De tels éléments graphiques intégrés dans le champ de vision de l’observateur lui montreront dans quelle direction regarder pour retrouver l’image regardée par l’utilisateur, i.e. comment regarder dans la même direction.
Dans une variation de ce mode de réalisation, les données d'affichage des anciennes images affichées dans l’environnement virtuel dudit observateur peuvent mettre du temps à disparaître, permettant alors de superposer dans son champ de vision les contenus actuellement visualisés selon la direction de regard actuelle dudit utilisateur et les contenus antérieurement visualisés selon des directions de regard passées dudit utilisateur. Si ledit observateur ne regarde pas exactement dans la même direction que ledit utilisateur, il pourra ainsi percevoir une portion plus importante de l’environnement virtuel visualisé par ledit utilisateur.
Dans une autre forme de réalisation associée, le système source est de type casque et le système cible est un écran plat traditionnel, éventuellement stéréoscopique. Avantageusement, dans cette forme de réalisation, transformer les données d'affichage venant dudit casque en fonction des données de position et ou orientation venant dudit casque permet de positionner dans l’environnement virtuel du système cible la portion de contenu de l’environnement virtuel visible au travers du système d’affichage du système source de façon stabilisée, atténuant l’impact des mouvements de tête fréquents de l’utilisateur du système cible.
Dans un mode de fonctionnement de cette forme de réalisation, la fenêtre de l’environnement virtuel du système immersif cible dans laquelle est affichée l’image correspondant à la portion d’environnement virtuel source visible est positionnée sur une forme géométrique assimilable à une sphère fixe et invisible centrée sur la tête de l’observateur, sa position à la surface de la sphère étant fonction de la direction de regard de l’utilisateur du système source, ladite fonction pouvant être linéaire ou non. Pour pallier au manque de système de positionnement sur un écran classique, la sphère peut tourner sur elle-même pour accompagner le regard de l’utilisateur du système immersif source quand cet utilisateur regarde dans une direction initialement située hors du champ du système d’affichage cible.
Avantageusement, un tel fonctionnement donne le sentiment aux observateurs du système cible que l’environnement virtuel source est dévoilé au fur et à mesure que l’utilisateur du système source regarde dans des directions différentes, à la manière d’une lampe torche qui n’éclairerait à tout instant que la partie de l’environnement vers laquelle elle est pointée.
Par extension aux formes de réalisation ci-dessus, le système immersif source peut aussi être un casque de visualisation de réalité augmentée, auquel cas l’environnement pris en compte par les moyens de capture dudit système source sont une combinaison des affichages virtuels et des images de la scène réelle, toutes deux surimposées.
Un avantage du procédé de l'invention est de corriger les images produites pour être affichées dans le système cible en fonction des modifications des conditions d'observation dans le système source pour le premier cas et dans le système cible pour le second cas.
Dans une forme de réalisation, si le système source produit des images stéréoscopiques de l'environnement immersif et que le système cible dispose de capacités d'affichage en stéréoscopie, avantageusement la transformation des données d'affichage du système source pour leur affichage sur le système cible réalise les transformations pour chacune des images correspondant à un œil gauche de l'utilisateur et des images correspondant à un œil droit de l'utilisateur.
Dans une forme de réalisation, les moyens d’affichage du système immersif source sont virtuels, l’enjeu étant principalement de faire calculer les contenus à afficher sur un système immersif cible par les moyens de traitement numérique du système immersif source sans se soucier d’afficher les informations sur le système d’affichage du système immersif source. Avantageusement, le système immersif source peut utiliser comme position et orientation du calcul des données d'affichage la position et orientation de l’observateur dans le système immersif cible, qui parvient audit système source via les moyens de connexion réseau.
Dans un mode de fonctionnement de cette forme de réalisation, le système immersif source calcule une image adimensionnelle consistant en une projection à 360° de l’environnement virtuel, résultant en une image ou un ensemble d’images qui peut être transformée par le système immersif cible en prenant en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.
Dans un autre mode de fonctionnement de cette forme de réalisation, le système immersif source calcule un ensemble de données d'affichage correspondant à la configuration géométrique du système d’affichage du système immersif cible. Les transformations réalisées par le système immersif cible prennent en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.
Bien que l'invention ait été exposée de manière détaillée dans le cas de la mise en œuvre de systèmes d'affichage utilisant des écrans rectangulaires, ou carrés, et plats, un système immersif comportant d’autres formes d'écrans peut être mis en œuvre dans le dispositif et dans le procédé tant comme système source que comme système cible.
Par exemple il peut dans un système d'affichage être mis en œuvre un ou des écrans courbes. Dans ce cas, suivant l'invention, sont assurées les transformations nécessaires en prenant en compte les caractéristiques de courbure de la surface sur laquelle est, dans le cas du système source, ou doit être, dans le cas du système cible, affichée une image. L'invention peut, en particulier dans cette situation, adapter une image à une courbure différente entre un écran du système source et un écran du système cible, puisque le système de traitement associé au système cible dispose de toutes les informations géométriques associées au système source pour construire virtuellement exactement le même écran avec les mêmes courbures.
Dans une forme de réalisation, indépendamment du type de système immersif mis en œuvre comme système source, le système d'affichage d'un système immersif cible comporte un écran plat conventionnel unique, ayant le cas échéant des capacités d'affichage en stéréoscopie.
Une telle forme de réalisation permet à plusieurs spectateurs de vivre en immersion sur le système cible une expérience de l’utilisateur en immersion sur le système source. Dans un mode de fonctionnement de cette forme de réalisation, position et orientation d'observation par l’utilisateur du système cible sont présupposés pour qu’ils correspondent à des position et orientation par défaut dans le système cible.
Dans une forme de réalisation alternative sur un modèle proche de la forme de réalisation précédente, le système d’affichage du système cible est un dispositif mobile ou transportable type tablette, smartphone ou ordinateur portable.
Dans un mode de fonctionnement complémentaire applicable aux formes de réalisation précédente, le système d’affichage et le système de traitement du système immersif cible et ou du système immersif source sont associés à des équipements, généralement combinant des matériels et des logiciels, mis en œuvre pour interagir avec les représentations visuelles sur le système d’affichage, qui seront regroupés sous l’expression « moyens d’interaction >>. Ces moyens d’interaction peuvent être de toutes formes pour autant qu’ils permettent d’influencer, via le système d’affichage et ou le système de traitement, le contenu et ou le comportement des images. Ces moyens d’interaction, comprennent par exemple, de façon non exhaustive, des terminaux avec des capacités tactiles directes ou indirectes, un clavier, un pointeur tel qu’une souris ou une boule de poursuite, un dispositif de pointage 3D, un dispositif de pointage gyroscopique, des systèmes de suivi du regard... La fonction de gel des données d'affichage sur le système cible peut alors être activée grâce à ces moyens d’interaction et le ou les observateurs sur le système cible peuvent utiliser les moyens d’interaction dudit système cible pour pointer et ou annoter, avec un texte et ou avec des dessins et ou avec des symboles, à la surface de l’image gelée, puis enregistrer ces images annotées par une interface adaptée.
De telles possibilités d”interactions, pointages et d’annotations, sont avantageusement implémentées sur chacun des systèmes immersif source et cible de sorte que l’utilisateur sur le système cible et l’observateur sur le système source puissent en utiliser les capacités.
Dans un mode de mise en œuvre, les pointages et annotations réalisés sur un système immersif, cible ou source, sont également transmis par les moyens de communication sous la forme de données numériques à l’autre ou à plusieurs autres systèmes immersifs interconnectés de sorte que les pointages et les annotations, réalisées par un observateur ou par l’utilisateur, peuvent être incrustées dans les représentations visuelles affichées sur chacun des autres systèmes immersifs concernés.
Pour simplifier les systèmes et éviter la mise en œuvre d'un dispositif de mesure de la position de la tête et des yeux d'un utilisateur ou d'un observateur, ces paramètres peuvent être estimés en fonctions de mesures ou d'observations plus ou moins précises, mais suffisantes pour obtenir une reconstruction de l'image de l'environnement immersif acceptable par l'observateur.
Par exemple le système cible peut être un téléphone ordinateur dont l'écran forme le système d'affichage et dont une caméra sur la face avant dudit téléphone ordinateur assure, par une application logicielle dédiée, le suivi de la position de la tête ou des yeux de l'observateur.
Dans tous les cas, comme il est compris de la description détaillée d'un mode de réalisation, les paramètres des conditions d'observation source et cibles sont nécessaires à la formulation des transformations des images du système source en images cohérentes sur le système cible. Suivant que l'un ou l'autre des systèmes source ou cible, ou les deux, sont équipés ou non d'un système pour établir les valeurs variables des paramètres relatifs aux conditions d'observation, les valeurs du paramètre sont prises en compte ou à défaut sont prises à des valeurs présupposées fonction des moyens d'affichage et des conditions d'observation.
Par exemple, le système d’affichage du système immersif cible peut être un écran associé à des capacités tactiles comme moyens d’interaction. L’observateur peut alors utiliser ces moyens d’interaction pour modifier les paramètres de position et ou de direction d’observation et ainsi déterminer dynamiquement une position et ou une direction d’observation selon laquelle observer la représentation virtuelle de l’environnement immersif source. Les capacités tactiles peuvent être remplacées par un dispositif de type souris. Le contrôle d’affichage 2D ou 3D par ces moyens d’interaction étant bien connus de l’homme du métier. Les moyens d’interaction du système immersif cible permettent ainsi à l’observateur de contrôler un sous ensemble des conditions d’observation pour le système immersif cible
Avantageusement, selon l’invention, tous les types de systèmes immersifs décrits peuvent être combinés dans un dispositif plus ou moins complexe ne se restreignant pas à un unique couple système source / système cible.
L'invention peut également s'appliquer à différents types d'environnements virtuels. L'environnement virtuel peut être un environnement en trois dimensions.
L'environnement virtuel peut également être un environnement en deux dimensions représenté par des images fixes ou animées stéréoscopiques ou non.
Dans le cas d'images stéréoscopiques, la connaissance de propriétés de 5 l'appareil de prise de vue permet de restituer les proportions correctes pour l’observateur sur le système cible.
Ainsi suivant le dispositif et le procédé de l'invention, il est obtenu de reproduire un environnement généré sur un système immersif source dans un ou plusieurs autres systèmes immersifs cibles sans transmettre nécessairement d'autres informations que celles correspondant aux données d'affichage générées par le système immersif source et à leurs conditions d'observation dans ledit système immersif source.
Malgré les différences entre le système cible et le système source, l'environnement perçu par un utilisateur du système source est reproduit de manière cohérente vis à vis d'un observateur du système cible qui bénéficie ainsi de l'expérience d'immersion perçue par l'utilisateur du système source.
Ce résultat est obtenu avec un niveau d'exigence minimal en termes de transmission de données et en termes de coût d'adaptation des systèmes existants.
Claims (15)
- REVENDICATIONS1 - Dispositif (100) de partage d'immersion dans un environnement virtuel, comportant :- un système immersif source (10), comportant un système de traitement numérique (11) comportant une base de données (11a), dont un ensemble de données définit un environnement virtuel, et délivrant des données d'affichage à un système d'affichage (12) dudit système immersif source ;- un logiciel de calcul d'images de synthèse, exécuté sur les moyens de traitement numérique (11) dudit système immersif source, de construction d'une représentation visuelle de l'environnement virtuel sous la forme d'images affichées sur un ou des écrans (12a, 12b, 12c, 12d) du système d'affichage (12) du système immersif source (10), ledit logiciel de calcul d'images prenant en compte des conditions d'observation dans ledit système d'affichage ;- au moins un système immersif cible (20), comportant un système de traitement numérique (21) délivrant des images à au moins un système d'affichage (22) dudit système immersif cible ;- des moyens de transmission (30) de données du système immersif source (10) à l'au moins un système immersif cible (20) ;ledit dispositif étant caractérisé en ce que :- des données d'affichage représentant les images affichées sur les écrans du système d'affichage (12) du système immersif source (10) et des données des conditions d'observation utilisées pour calculer lesdites images dans le système d'affichage du système immersif source, sont transmises via les moyens de transmission (30) de données à l'au moins un système immersif cible (20) ;- lesdites données d'affichage représentant les images transmises par le système immersif source (10) sont transformées par un logiciel de traitement des données d'affichage pour construire des images affichées sur le ou les écrans du système d'affichage dudit système immersif cible, chaque point image d'une image transformée affichée sur un écran (22a) du système d'affichage (22) dudit système immersif cible correspondant à la projection d'un point image d'un écran (12a, 12b, 12c, 12d) du système d'affichage (12) du système immersif source (10), ladite projection étant réalisée en fonction d'au moins un point d'observation effectif dans le système d'affichage (12) du système immersif source et en fonction d'au moins un point d'observation effectif dans le système d'affichage (22) du système immersif cible considérés, pour calculer la projection, comme même point d'observation de l'environnement virtuel affiché sur le système immersif cible et le système immersif source,- les données d'affichage représentant les images affichées par le système immersif source (10) étant transformées, pour être affichées par le système immersif cible, par le système de traitement numérique (21) dudit système immersif cible, au moins pour une partie des transformations fonction de l'au moins un point d'observation effectif dans le système d'affichage (22) dudit système immersif cible ;- le système d’affichage et le système de traitement du système immersif cible et ou du système immersif source sont associés à des moyens d’interaction configurés pour modifier, via le système d’affichage et ou le système de traitement du système immersif considéré, le contenu et ou le comportement des images affichées par le système d’affichage du système immersif considéré.
- 2 - Dispositif suivant la revendication 1, dans lequel les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel de toute ou partie des données d’affichage et ou des données des conditions d’observation utilisées pour calculer les images devant être affichées par le système d’affichage du système immersif source et ou du système immersif cible.
- 3 - Dispositif suivant la revendication 2 dans lequel les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique (11) du système immersif source (10) et destinées à être transformées et/ou le gel des conditions d'observations des écrans dans le système d'affichage (12) du système immersif source (10).
- 4 - Dispositif suivant la revendication 3 dans lequel les moyens d’interactions du système immersif cible (20) comportent une commande de gel d’un sousensemble des conditions d'observations des écrans dans le système d'affichage du système immersif source (10) et ou du système immersif cible (20).
- 5 - Dispositif suivant la revendication 4 dans lequel le sous-ensemble des conditions d'observations correspond aux informations de position des données d’observation des écrans du système immersif source (10) et ou aux informations d’orientation des données d’observation des écrans du système immersif source (10).
- 6 - Dispositif suivant l’une des revendications précédentes dans lequel les moyens d’interaction de l’au moins un système immersif cible sont en outre configurés pour pointer et ou annoter les images affichées par le système d’affichage dudit système immersif cible sous la forme d’incrustations dans lesdites images pointées ou annotées.
- 7 - Dispositif suivant la revendication 6 dans lequel des données caractérisant les pointages ou annotations formées sur des images de l’au moins un système immersif cible (20) sont transmises via les moyens de transmission (30) à au moins un autre système immersif connecté.
- 8 - Dispositif suivant l’une des revendications précédentes dans lequel le système d'affichage (12) du système immersif source (10), et le système d'affichage (22) de l'au moins un système immersif cible (20), appartiennent chacun à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d’affichage multi-écrans, les écrans, les écrans portés par un utilisateur ou un observateur.
- 9 - Dispositif suivant la revendication 8 dans lequel le système d'affichage (12) du système immersif source (10) appartient à la catégorie des systèmes d'affichage multi-faces déterminant un volume dans lequel peut se tenir l’utilisateur (90), et dans lequel le système d'affichage (22) de l’au moins un système immersif cible (20) appartient à la catégorie des systèmes d’affichage multi-écrans ou simple écran.
- 10 - Dispositif suivant l'une des revendications précédentes, dans lequel les moyens d’interaction comportent une ou des surfaces sensibles au toucher ou à la présence d’une main ou d’un doigt, et ou un ou des pointeurs.
- 11 - Dispositif suivant l'une des revendications précédentes dans lequel des éléments graphiques sont intégrés lors de la transformation des données d’affichage d’un système immersif source par le système de traitement numérique (21) du système immersif cible considéré.
- 12 - Dispositif suivant l'une des revendications précédentes, dans lequel au moins un système immersif cible (20) est situé dans un emplacement distant du système immersif source (10), la séparation physique des deux systèmes étant telle que l’utilisateur (90) dudit système immersif source et l'observateur (91) dudit système immersif cible ne sont pas en mesure de communiquer sans faire usage de moyens techniques de communication.
- 13 - Dispositif suivant l'une des revendications précédentes dans lequel au moins un système immersif cible (20) est situé à une proximité du système immersif source (10), tel que l’utilisateur (90) dudit système immersif source et l’observateur (91) dudit système immersif cible (20) peuvent communiquer directement sans barrière physique.
- 14 - Procédé (200) de partage d'immersion dans un environnement virtuel, mettant en œuvre le dispositif (100) suivant l'une des revendications précédentes, entre un opérateur (90) du système immersif source (10) et un observateur (91) de l'au moins un système immersif cible (20), comportant une étape de génération d'environnement (230) par le système immersif source (10), ladite étape produisant des données d'affichage correspondant à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage 12 du système source 10, et une étape d'affichage (250) par le système immersif cible (20) d'images transformées, caractérisé en ce que ledit procédé comporte une étape de - transformation (240), au moins pour partie sur le système immersif cible (20), des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique (11) du système immersif source (10),- en données d'affichage dudit environnement virtuel adaptées à l'affichage sur un ou des écrans (22a) du système d'affichage (22) dudit système immersif cible,- la transformation consistant en des modifications des données d'affichage, générées par le système immersif source (10), en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans (12a, 12b, 12c, 12d) du système d'affichage (12) du système immersif source (10), en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans (22a) du système d'affichage (22) du système immersif cible (20), et en fonction de variables de conditions d'observations des écrans dans chacun des systèmes d'affichage (12, 22) desdits systèmes immersifs source et cible,- ladite transformation étant réalisée de manière récurrente pour reproduire sur le système immersif cible (20) afin de restituer à un observateur (91) dans ledit système cible l'immersion d'un utilisateur (90) dans le système immersif source (10) prenant en compte les évolutions de la représentation du monde virtuel sur le système immersif source et des évolutions des variables des conditions d'observation,- ladite transformation étant en outre modifiée lors d’une étape (241) de gel de données d’affichage de l’environnement virtuel généré par le système de traitement numérique (11) du système immersif source (10) et destinées à être transformées, et ou par le gel de données des conditions d’observation des écrans dans le système d’affichage (12) du système immersif source (10).
- 15 - Procédé suivant la revendication 14, comportant une étape5 d'enregistrement (243) de données représentant les données d'affichage du système d'affichage (12) du système immersif source (10) et de données des conditions d'observation utilisées pour calculer lesdites données d'affichage, et de transmission en temps différé desdites données à l'au moins un système immersif cible (20).1/422a οCNTW2/43/44/4
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1659160A FR3056770B1 (fr) | 2016-09-28 | 2016-09-28 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| EP17725317.6A EP3449340A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| PCT/FR2017/051004 WO2017187095A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| CA3022298A CA3022298A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| US16/096,906 US11727645B2 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| SG11201810432YA SG11201810432YA (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1659160A FR3056770B1 (fr) | 2016-09-28 | 2016-09-28 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| FR1659160 | 2016-09-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3056770A1 true FR3056770A1 (fr) | 2018-03-30 |
| FR3056770B1 FR3056770B1 (fr) | 2018-12-07 |
Family
ID=57583255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1659160A Active FR3056770B1 (fr) | 2016-04-27 | 2016-09-28 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3056770B1 (fr) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047711A (zh) * | 2019-12-16 | 2020-04-21 | 山东东艺数字科技有限公司 | 一种沉浸式可交互Box影像制作方法 |
| WO2020128206A1 (fr) * | 2018-12-21 | 2020-06-25 | Orange | Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160225189A1 (en) * | 2015-02-04 | 2016-08-04 | Seiko Epson Corporation | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program |
-
2016
- 2016-09-28 FR FR1659160A patent/FR3056770B1/fr active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160225189A1 (en) * | 2015-02-04 | 2016-08-04 | Seiko Epson Corporation | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020128206A1 (fr) * | 2018-12-21 | 2020-06-25 | Orange | Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle |
| FR3090941A1 (fr) * | 2018-12-21 | 2020-06-26 | Orange | Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle |
| CN111047711A (zh) * | 2019-12-16 | 2020-04-21 | 山东东艺数字科技有限公司 | 一种沉浸式可交互Box影像制作方法 |
| CN111047711B (zh) * | 2019-12-16 | 2023-08-22 | 山东东艺数字科技有限公司 | 一种沉浸式可交互Box影像制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3056770B1 (fr) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11838518B2 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
| US10527846B2 (en) | Image processing for head mounted display devices | |
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| US20220130111A1 (en) | Few-shot synthesis of talking heads | |
| EP3449340A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| WO2018222497A1 (fr) | Procédés et systèmes pour rendre des images d'une scène virtuelle à partir de différents points d'observation sur la base d'une image de description d'entité virtuelle de la scène virtuelle | |
| TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
| JP2019534511A (ja) | 自由動作ｆｖｖアプリケーションのためのマルチレイヤｕｖマップに基づくテクスチャレンダリング | |
| CN115413353A (zh) | 扩展现实记录仪 | |
| FR3056770A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| BE1022580A9 (fr) | Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive | |
| FR3066304A1 (fr) | Procede de compositon d'une image d'un utilisateur immerge dans une scene virtuelle, dispositif, equipement terminal, systeme de realite virtuelle et programme d'ordinateur associes | |
| EP2987319A1 (fr) | Procede de generation d'un flux video de sortie a partir d'un flux video large champ | |
| US11089282B2 (en) | Blended mode three dimensional display systems and methods | |
| FR3050834A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| FR3057430A1 (fr) | Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images | |
| Barabas | Holographic television: measuring visual performance with holographic and other 3D television technologies | |
| Nocent et al. | 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards | |
| US20220232201A1 (en) | Image generation system and method | |
| Hristov | Research of Modern Technologies and Approaches for the Development of a Web-Based Information System for Visualization of Three-Dimensional Models... | |
| FR3013492A1 (fr) | Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180330 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |