WO2021074530A1 - Système d'interaction améliorée dans un monde virtuel - Google Patents

Système d'interaction améliorée dans un monde virtuel Download PDF

Info

Publication number
WO2021074530A1
WO2021074530A1 PCT/FR2020/051825 FR2020051825W WO2021074530A1 WO 2021074530 A1 WO2021074530 A1 WO 2021074530A1 FR 2020051825 W FR2020051825 W FR 2020051825W WO 2021074530 A1 WO2021074530 A1 WO 2021074530A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual
target object
platform
carriage
Prior art date
Application number
PCT/FR2020/051825
Other languages
English (en)
Inventor
Gilles Bailly
Elodie BOUZBIB
Sinan HALIYO
Original Assignee
Sorbonne Universite
Centre National De La Recherche Scientifique (Cnrs)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sorbonne Universite, Centre National De La Recherche Scientifique (Cnrs) filed Critical Sorbonne Universite
Publication of WO2021074530A1 publication Critical patent/WO2021074530A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • TITLE improved interaction system in a virtual world FIELD OF THE INVENTION
  • the present invention relates to an enhanced interaction system in a virtual world.
  • the present invention relates more particularly to an interaction between a user and a virtual world, by means of a mobile element present in the system according to the invention, capable of giving the user increased sensations of the virtual world in which he operates.
  • a virtual reality headset suitable for being worn by a user and for displaying a view of a virtual environment, the environment containing an avatar of the user and a virtual object,
  • a motion tracking device configured to follow the movements of the user wearing the helmet, and varying the view according to the movements of the user
  • - a drone configured to move a target object by flying to a position suitable for the user to touch the target object while the avatar touches the virtual object.
  • the user has the impression of "touching" the virtual object included in the virtual environment in which he operates.
  • the system can provide haptic feedback that is more realistic and less restrictive than that provided by other systems using force feedback gloves, since the user comes into contact with an actual surface (that of the target object).
  • the drone is noisy due to the rotation of its propellers, whether in motion or in hovering in the air, which can confuse the user wearing the helmet.
  • its propellers are likely to injure the user in the vicinity.
  • the drone lacks precision in the sense that it is difficult for this drone to reach a precise position suitable for the user to come into contact with the target object at the moment the avatar makes contact with the object. virtual in the virtual environment.
  • the drone's movement speed is slow which may introduce visual-haptic inconsistency.
  • the drone has a limited autonomy reducing the interaction sequences.
  • the drone cannot carry heavy loads simulating objects of considerable weight or having a large size.
  • the drone offers almost no resistance to pressure exerted by the user on the target object he is carrying. On the contrary, the drone will tend to move backwards when the user presses on the target object, even if the virtual object is not supposed to move in the virtual environment.
  • the haptic feedback provided by this system just like the feeling of the user's interaction with the virtual world he is supposed to explore, is therefore not ideal. There is therefore a real need, due to the growing interest in the exploration of virtual worlds, to have an interaction system. improved.
  • An object of the invention is to overcome the aforementioned drawbacks.
  • an interaction system between a user and a virtual environment comprising:
  • a virtual reality headset suitable for being worn by the user and displaying a view of the virtual environment, the virtual environment containing a user avatar and a virtual object,
  • a motion tracking device configured to follow the user's movements and vary the view of the virtual environment according to the user's movements, when the user is wearing the virtual reality headset,
  • a robot configured to move the target object according to the movements of the user in a destination position suitable for the user to touch the target object while the avatar touches the virtual object
  • the system being characterized by that it comprises a platform capable of being fixed with respect to a ground, the target object being movably mounted to the platform, and in that the robot is configured to move the object with respect to the platform in the position of destination, when the platform is fixed with respect to the ground.
  • the system according to the first aspect can also include the following optional features, taken alone or in combination with one another when technically feasible.
  • the platform comprises a gantry, the target object being suspended from the gantry through the robot.
  • the robot is configured to move the target object in a first direction, or even in a second direction not parallel to the first direction.
  • the robot comprises: a first carriage mounted movably in the first direction on the platform, and a second carriage mounted movably in the second direction on the first carriage, the second carriage carrying the target object.
  • the robot comprises a first rail for guiding the first carriage in translation in the first direction, and / or a second rail for guiding the second carriage in translation in the second direction.
  • the robot comprises: a first pulley rotatably mounted on the platform and a first belt cooperating with the first pulley to move the first carriage relative to the platform, and / or a second pulley rotatably mounted on the first carriage, and a second belt cooperating with the second pulley to move the second carriage relative to the first carriage.
  • the robot is configured to move the target object along a path which bypasses the user, when the user is wearing the virtual reality headset.
  • the motion tracking device is configured to select the virtual object from a plurality of virtual objects contained in the virtual environment, as a function of at least one of the following data: a distance separating the avatar from the virtual object, relative movement data between the avatar and the virtual object, a position of the virtual object relative to the view shown in the images displayed by the virtual reality headset.
  • the motion tracking device comprises or is configured to communicate with a user's motion sensor, the user's motion sensor being for example attached to the virtual reality headset, or attached to a target object which presents the target surface.
  • the method being characterized in that the target object is movably mounted to a fixed platform relative to the ground, and in that the robot moves the target object to the destination position, relative to the fixed platform relative to the ground on the ground.
  • an interaction system between a real and virtual world comprising:
  • a virtual reality headset suitable for being worn by a user and displaying a view of a virtual environment, the virtual environment containing an avatar of the user and a virtual object,
  • a robot configured to move the said surface (s) according to the movements of the user, characterized in that it comprises a platform delimiting the real world to be explored suitable for being fixed on a ground, and in which the said surface (s) do not touch the ground and are fixed to the platform.
  • Figure 1 is a perspective view of a platform of an enhanced interaction system in a virtual world according to one embodiment.
  • Figure 2 is a side view of the platform shown in Figure 1 and a target object.
  • Figure 3 is another side view of the platform and target object shown in Figure 2.
  • Figure 4 is a top view of the platform shown in Figure 1 and part of a robot forming part of an enhanced haptic interaction system in a virtual world according to one embodiment.
  • Fig. 5 schematically shows some components of an enhanced interaction system in a virtual world according to one embodiment.
  • an improved interaction system in a virtual world comprises a platform 1 and a target object T mounted movably to the platform 1.
  • the platform 1 is suitable for being fixed relative to a support.
  • the support is a floor on which a user is likely to walk, or a fixed support relative to such a floor (wall or ceiling for example).
  • Platform 1 delimiting an area in which a user is likely to interact with the system.
  • the platform 1 comprises at least four uprights 2, 4, 6, 8 extending vertically with respect to the ground, along a Z axis.
  • the four uprights 2, 4, 6, 8 shown in FIG. 1 delimit the zone between them (in the sense that these uprights are located at the four corners of this area).
  • the zone is of any shape, for example rectangular or square.
  • the platform 1 further comprises at least four cross members 10, 12, 14, 16. Each cross member extends horizontally to connect together two of the uprights 2, 4, 6, 8 at their vertices. Each cross member 10, 12, 14, 16 is at a distance from the ground, preferably at least two and a half meters from the ground.
  • the ties 10 and 14 are arranged at a distance from each other and extend in a first direction parallel to an X axis.
  • the ties 12 and 16 are arranged at a distance from each other and extend in a second direction parallel to a Y axis.
  • the X, Y, Z axes together form an orthogonal coordinate system.
  • zone layouts can be made as the number of sleepers changes, in order to set up complex zones where the user can move.
  • the general volume of the platform 1 is for example the following: 4 meters (along the X axis) x 4 meters (along the Y axis) x 2.5 meters (along the Z axis).
  • the delimited area has the following dimensions in a horizontal plane: 3.5 meters (along the X axis) x 3.5 meters (depending on Y axis).
  • the four crosspieces 10, 12, 14, 16 together form a rectangular frame which overhangs the area delimited by the uprights 2, 4, 6, 8.
  • the target object T is in the form of at least one surface capable of being touched by a user in the area.
  • the target object T has, for example, the shape of a column with several vertical faces, for example four vertical faces, capable of being touched by a user entering the zone delimited by the platform.
  • the system comprises a robot 18 whose function is to move the target object T relative to the platform 1.
  • the target object T is attached to the displacement device 18 in a removable manner, so that it can be replaced.
  • the platform 1 forms a gantry, the target object T being suspended from the gantry via the moving device 18.
  • the robot 18 comprises two rails 20, 22, respectively attached to the sleepers 14 and 10.
  • the two rails 20, 22 therefore extend parallel to the X axis.
  • the two rails 20, 22 are made of aluminum.
  • the robot 18 also comprises a first carriage 24 mounted to move in translation on the rails.
  • the first carriage 24 is movable between the sleepers 12 and 16, and extends parallel to the latter.
  • the first carriage 24 is mounted on wheels or rollers (not shown) arranged to roll on the two rails 20, 22.
  • the first carriage extends between the two rails 20, 22, so as to overhang the area delimited by platform 1.
  • the first carriage 24 comprises a first blocking device (not illustrated) to keep the first carriage fixed relative to the rails 20, 22.
  • This first blocking device may for example comprise a brake to block at least one of the wheels of the first carriage 24. rotating relative to the rail (20 or 22) with which the wheel is in contact.
  • the first carriage also includes a rail 26.
  • This rail 26 extends parallel to the Y axis, so is perpendicular to the rails 20, 22.
  • the robot 18 furthermore comprises means for moving the first carriage 24 relative to the platform 1, parallel to the axis X.
  • These means comprise a first pulley 28 mounted to rotate on the platform 1, a first motor 30 to drive the first pulley rotating with respect to the platform, and a first belt 31 attached to the first carriage and in engagement with the first pulley 28.
  • the first motor 30 is for example direct current.
  • the robot 18 further comprises a second carriage 32 mounted movable in translation on the rail 26, relative to the first carriage 24.
  • the second carriage 32 is mounted on wheels or rollers 34 arranged to roll on the rail 26.
  • the target object T is in fact suspended from the second carriage 32, so that the object T is located in the area delimited by the platform 1, between the second carriage 32 and the ground.
  • the robot 18 also comprises means for moving the second carriage 32 relative to the first carriage 24, parallel to the Y axis. These means comprise a second pulley 36 mounted in rotation on the first carriage 24, a second motor 38 for driving the second pulley 36 in rotation with respect to the first carriage 24, and a second belt 40 attached to the second carriage 32 and in engagement with the second pulley 36.
  • the second carriage 24 comprises a second locking device (not shown) for keeping the second carriage fixed relative to the rail 26.
  • This second locking device may for example include a brake to lock at least one of the wheels of the second carriage 32 in rotation. relative to rail 26.
  • the first blocking device and the second blocking device form a blocking system which allows the target object T to be held in a position (x, y) parallel to the plane formed by the X and Y axes.
  • This blocking system can of course take other forms.
  • the second motor 38 is for example direct current.
  • the robot 18 also comprises a control module 42 configured to control the activation and deactivation of the two motors 30, 38.
  • the control module 42 therefore makes it possible to control a movement of the second carriage along the two axes X and Y relative to the platform, above the area delimited by the platform, and therefore to move the target object T within this area.
  • the control module 42 is for example a microcontroller, for example of the PC MEGA 2560 type.
  • the control module 42 can be in the form of a control program executed by a computer communicating with the motors 30, 38. either by wire or by radio.
  • the system further comprises a virtual reality headset 44, and a movement tracking device 46.
  • the virtual reality headset 44 is configured to display images in front of the eyes of a user.
  • the term “helmet” should be understood as covering any device capable of being attached to the head of a user so as to display such images in front of the eyes of the user.
  • the helmet preferably includes a shutter to isolate the eyes of the user from the outside.
  • the movement tracking device 46 is configured to follow the movements of the user, in particular with respect to the platform 1.
  • the movement tracking device includes at least one user movement sensor, and a supervision module (or supervisor).
  • the motion tracking device includes one or more accelerometers attached to the user and / or cameras attached to the user or to the platform.
  • These sensors can in particular be attached to the virtual reality headset 44.
  • the supervision module is a supervisor which includes a communication interface with the headset 44 and with the control module 42, by wired or wireless channel.
  • the supervision module typically comprises a processor configured to execute a 3D rendering program.
  • the 3D rendering program can be, without this being limiting, the Unity3D program developed by Unity Technologies.
  • the 3D rendering program is configured to generate images showing a virtual environment in first-person view.
  • the virtual environment includes a plurality of virtual objects.
  • the virtual environment further includes an avatar representing the user wearing the virtual reality headset. This avatar can represent an entire user or represent only part of the user's body, or even be reduced to a point indicating the position of the avatar.
  • the avatar includes a virtual hand that represents a user's hand.
  • This virtual hand is modeled for example using a camera, such as an Orbbec Astra S camera attached to the virtual reality headset 44.
  • This Orbbec Astra S camera is known to those skilled in the art.
  • the 3D rendering program is configured to perform a mapping between the marker (X, Y, Z) linked to platform 1, and a virtual marker linked to the virtual environment.
  • the avatar and each virtual object have their own unique positions in this virtual space, which the 3D rendering program is aware of.
  • the mapping performed by the 3D rendering program is such that a correspondence is established between points in the real coordinate system (X, Y, Z) and points in the coordinate system linked to the virtual environment.
  • mapping carried out by the 3D rendering program is also such that the images generated by this program vary according to the movement of the user wearing the virtual reality headset, so as to give him the feeling of evolving in the environment. virtual.
  • Such a mapping is known to the state of the art.
  • the images generated by the 3D rendering program show views of the virtual environment.
  • a given view of the virtual environment is characterized by a specific position in the frame of reference linked to the virtual environment, and an angle of view from this position.
  • a view therefore only shows part of this virtual environment.
  • a virtual object can therefore be shown in a view, or not.
  • a method of enhanced interaction in a virtual world implemented by the system shown in Figures 1 to 5 comprises the following steps.
  • a user attaches the virtual reality headset 44 to his head.
  • the motion tracker 46 tracks movements of the user wearing the headset, and generates images of the virtual environment. These images are transmitted to the virtual reality headset 44, which displays them in front of the user's eyes.
  • the motion tracker 46 relies on the user's movements to determine the view shown by the images displayed by the helmet 44. For example, when the user turns his head relative to the platform 1, the view shown through the headset 44 will also run in the virtual environment.
  • the supervision module is aware of the position of the avatar and of each virtual object included in the virtual environment.
  • the supervision module selects a virtual object in the virtual environment which is most likely to collide with the avatar.
  • the supervision module calculates, for each virtual object, a weight associated with the virtual object, this weight being representative of a probability of collision between the avatar and the virtual object.
  • the weight of a virtual object is calculated based on the following parameters:
  • the weight is higher when this data indicates a closeness between the virtual object and the avatar, and lower when this data indicates their mutual estrangement;
  • - a position of the virtual object relative to the view shown in the images displayed by the virtual reality headset: for example, if the virtual object is shown in the view, the weight will be higher; if the virtual object is out of sight (therefore not visible in the images displayed by the helmet) its weight will be less.
  • the supervision module also knows the current position of the target object T (which is real), and in particular the position of at least one surface of this target object T. This position is for example communicated to it by the control module 42.
  • the supervision module determines a trajectory of displacement, in the zone delimited by the platform 1, of the target object T from its current position to a destination position.
  • the destination position is adapted so that the user touches a surface of the target object T while the avatar touches the virtual object. More precisely, the destination position is adapted so that the user comes into contact with the surface of the target object T substantially at the moment when the avatar comes into contact with the selected virtual object, in the virtual environment.
  • the supervision module uses the user's real-world movement data, and the positions of the avatar and the selected virtual object in the virtual environment, and combines them according to a process known from the state of the art.
  • the destination position is chosen by the supervision module to minimize the time difference between, on the one hand, the instant of contact between the user wearing the helmet 44 and the target object T, and on the other hand, the instant of collision between the avatar and the virtual object in the virtual environment.
  • the destination position is a pair of coordinates (x, y) in the 2D coordinate system formed by the X and Y axes.
  • the destination position is a triplet of coordinates (x, y, z) in the 3D coordinate system formed by the X, Y, Z axes.
  • the movement path going from the current position to the destination position is typically presented as a series of positions in the aforementioned 2D frame.
  • robot 18 can immobilize the target object T relative to the platform 1 when the movement tracking device 46 detects that a distance between the user and the target object T which is less than a predetermined threshold , for example 90 centimeters.
  • the movement path between the current position of the target object and the destination position calculated by the supervision module is adapted to bypass the user wearing the helmet 44.
  • the supervision module can be based on an estimate of the volume occupied by the user wearing the headset in space. This estimate can be predetermined.
  • the supervision module transmits to the control module 42 the calculated path and the destination position.
  • the control module sends commands to the first motor 30 and to the second motor 38 adapted to move the carriages 24, 32 along the X and Y axes, so that the target object T follows the path calculated and reaches the calculated destination position.
  • the user can decide to bring his avatar closer to the selected virtual object. This results in the real world by a movement of the user towards the target object T.
  • the avatar comes into contact with the virtual object
  • the user comes into contact with the target object T having reached the position of destination.
  • the surface T fixed to the mobile object can be in different shapes allowing the user to explore the virtual world in the most precise and efficient way. It can be without this being limiting in the form of a rectangle, a square, a circle, the shape capable of being distinguished in the virtual world to be explored, such as a person, a piece of furniture, a room of automobile, car etc ...
  • the surface (s) of the target object T that the user is likely to touch is of any shape. It can include a face or a set of faces that can be joined or disjointed according to the needs of the virtual experience or the virtual world to be explored. It can be without this being limiting in the form of at least one textured panel or not in order to give the user more sensations when he thinks of interacting with one or more virtual objects present in the space than the user should explore.
  • textured panel By textured panel, it is possible, without this being limiting, to consider in one embodiment of the invention a cardboard panel comprising real objects which are fixed on said panel such as a ball, a triangle or other shape equivalent to the shape present in the virtual world.
  • the target object T which can be a panel on which a triangular structure is fixed is will move to the exact position of the virtual object which is a triangle, the user interacting with simultaneously a virtual and real triangle will have a more important and relevant feeling than with just a glove. It is one of the advantages of the invention to have, by allowing the user hands-free, the possibility of interacting with a virtual world in a more precise, relevant and rewarding way.
  • the target object T can be passive or active.
  • at least one movement sensor of the movement tracking device 46 can be arranged in or on the target object T. It can also be provided to include in the target object T au less an effector capable of generating sensations perceptible by a user.
  • effectors we can cite: haptic buttons or even temperature effectors, effectors that can send air or even olfactory effectors, in addition allowing the user not to interact with the virtual object but to grasp its nature through senses other than touch, vision and hearing.
  • effectors will be understood to mean an element capable of making the user feel sensations while progressing in the virtual world.
  • a spray effector which emits apple smells, may be on the target object T.
  • the sensors and / or effectors present on the surface T can be activated or deactivated depending on the scenario or the scenarios to be explored.
  • a set of effectors such as haptic buttons can perfectly simulate a shape or a character, depending on their activation, similar to braille characters that can allow a blind person to understand numbers and letters or even shapes.
  • the target object T mounted to the platform 1 via the robot 18 will tend to move less under the effect of such pressure, than if this object were carried by a drone.
  • the haptic feedback provided by the target object T mounted on the platform 1 is moreover much more realistic than that offered by haptic feedback gloves known from the state of the art.
  • Another advantage of the invention lies in the fact that the zone of interaction with the virtual world via the target object T can be achieved over the entire body, which is not possible with a movable articulated arm. or a glove, which only allow sensations to be transmitted to the user for a predefined part of the body. Thus the user experience is not only improved but increased compared to what exists today.
  • An advantage of the proposed system is that the same target object T can be matched with several virtual objects contained in the virtual environment, and in turn selected by the tracking device 46.
  • the zone delimited by the platform 1 has no therefore no need to be encumbered by a multitude of fixed objects, each fixed object being associated with a virtual object, or several virtual objects selected successively.
  • the target object T is suspended from the gantry formed by the platform 1. This configuration is advantageous because it frees up space on the ground, and therefore less. likely to constitute an obstacle for the user.
  • this configuration allows the robot to be continuously supplied with energy because it is attached to the platform. This eliminates battery life issues and helps provide enough power for force feedback.
  • Another advantage of the invention lies in the applications targeted by it, the invention certainly finds its usefulness in the exploration of virtual worlds such as video games or what is currently called computer games. life-size escape known as “escape games”, but also in museum visits, for example, or training or apprenticeship.
  • the use of the system according to the invention will allow a user to interact with the surface or several surfaces of the target object T, in order to reproduce the replacement of an automobile part without presenting a real car with real automobile parts.
  • the preceding steps are repeated over time, according to the user's movements.
  • the robot 18 is able to place itself in any position inscribed in a quadrilateral delimited by the rails 20, 22.
  • Other structures could be envisaged for this device 18, and other travel areas.
  • it could be considered to force the displacement device to be able to occupy only a grid of positions.
  • the system may include more than one moving device, and more than one target object to be moved. Multiple target objects can be moved by one or more different moving devices mounted to the platform.
  • the system will be able to select a target object from among several candidate objects, based on the virtual object considered to be the next to collide with the user's avatar. This selection may for example be based on a criterion of similarity in shape, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Système d'interaction entre un utilisateur et un environnement virtuel contenant un avatar de l'utilisateur et un objet virtuel, comprenant : un casque de réalité virtuelle (44) propre à être porté par l'utilisateur et afficher une vue de l'environnement virtuel; un dispositif de suivi de mouvement (46) configuré pour suivre des mouvements de l'utilisateur et faire varier la vue de l'environnement virtuel en fonction des mouvements; un robot (18) pour déplacer un objet cible (T) en fonction des mouvements de l'utilisateur dans une position adaptée pour que l'utilisateur touche l'objet cible (T) pendant que l'avatar touche l'objet virtuel; une plateforme (1) fixable par rapport à un sol, l'objet cible (T) étant monté mobile à la plateforme (1), et en ce que le robot (18) déplace l'objet par rapport à la plateforme (1) dans la position de destination, lorsque la plateforme (1) est fixe par rapport au sol.

Description

DESCRIPTION
TITRE : système d’interaction améliorée dans un monde virtuel DOMAINE DE L'INVENTION
La présente invention concerne un système d’interaction améliorée dans un monde virtuel. La présente invention concerne plus particulièrement une interaction entre un utilisateur et un monde virtuel, au moyen d’un élément mobile présent dans le système selon l’invention, apte à conférer à l’utilisateur des sensations accrues du monde virtuel dans lequel il évolue.
ETAT DE LA TECHNIQUE
On connaît de l’état de la technique un système d’interaction dans un monde virtuel comprenant :
- un casque de réalité virtuelle propre à être porté par un utilisateur et à afficher une vue d’un environnement virtuel, l’environnement contenant un avatar de l’utilisateur et un objet virtuel,
- un dispositif de suivi de mouvement configuré pour suivre des mouvements de l’utilisateur portant le casque, et faisant varier la vue en fonction des mouvements de l’utilisateur,
- un drone configuré pour déplacer un objet cible en volant vers une position adaptée pour que l’utilisateur touche l’objet cible pendant que l’avatar touche l’objet virtuel.
Avec un tel système, l’utilisateur a l’impression de « toucher » l’objet virtuel compris dans l’environnement virtuel dans lequel il évolue. Le système peut fournir un retour haptique qui est plus réaliste et moins contraignant que celui fourni par d’autres systèmes utilisant des gants à retour de force, puisque l’utilisateur entre en contact avec une surface réelle (celle de l’objet cible).
Ce système présente toutefois plusieurs inconvénients. Premièrement, le drone est bruyant à cause de la rotation de ses hélices, qu’il soit en mouvement ou en sustentation dans l’air, ce qui peut perturber l’utilisateur portant le casque. Deuxièmement ses hélices sont susceptibles de blesser l’utilisateur se trouvant à proximité. Troisièmement, le drone manque de précision dans le sens où il est difficile pour ce drone d’atteindre une position précise adaptée pour que l’utilisateur entre en contact avec l’objet cible au moment où l’avatar entre en contact avec l’objet virtuel dans l’environnement virtuel. Quatrièmement, la vitesse de déplacement du drone est lente pouvant introduire une incohérence visuo-haptique. Cinquièmement, le drone a une autonomie limitée réduisant les séquences d’interaction. Enfin, le drone ne peut pas porter des charges lourdes simulant des objets de poids conséquent ou ayant une grande taille.
Le drone n’oppose quasiment aucune résistance à une pression exercée par l’utilisateur sur l’objet cible qu’il porte. Au contraire, le drone va avoir tendance à reculer lorsque l’utilisateur presse sur l’objet cible, même si l’objet virtuel n’est pas censé bouger dans l’environnement virtuel. Le retour haptique fourni par ce système, tout comme la sensation d’interaction de l’utilisateur avec le monde virtuel qu’il est censé explorer n’est donc pas idéal. Il y a donc un réel besoin du fait de l’intérêt croissant pour l’exploration des mondes virtuels de disposer d’un système d’interaction améliorée.
EXPOSÉ DE L'INVENTION
Un but de l’invention est de surmonter les inconvénients susmentionnés.
Il est à cet effet proposé, selon un premier aspect, un système d’interaction entre un utilisateur et un environnement virtuel, le système comprenant :
- un casque de réalité virtuelle propre à être porté par l’utilisateur et afficher une vue de l’environnement virtuel, l’environnement virtuel contenant un avatar de l’utilisateur et un objet virtuel,
- un dispositif de suivi de mouvement configuré pour suivre des mouvements de l’utilisateur et faire varier la vue de l’environnement virtuel en fonction des mouvements de l’utilisateur, lorsque l’utilisateur porte le casque de réalité virtuelle,
- un objet cible comprenant au moins une surface,
- un robot configuré pour déplacer l’objet cible en fonction des mouvements de l’utilisateur dans une position de destination adaptée pour que l’utilisateur touche l’objet cible pendant que l’avatar touche l’objet virtuel, le système étant caractérisé en ce qu’il comprend une plateforme propre à être fixe par rapport à un sol, l’objet cible étant monté mobile à la plateforme, et en ce que le robot est configuré pour déplacer l’objet par rapport à la plateforme dans la position de destination, lorsque la plateforme est fixe par rapport au sol.
Le système selon le premier aspect peut également comprendre les caractéristiques optionnelles suivantes, prises seules ou combinées entre elles lorsque cela est techniquement faisable.
De préférence, la plateforme comprend un portique, l’objet cible étant suspendu au portique par l’intermédiaire du robot.
De préférence, le robot est configuré pour déplacer l’objet cible dans une première direction, voire dans une deuxième direction non parallèle à la première direction.
De préférence, le robot comprend : un premier chariot monté mobile dans la première direction sur la plateforme, et un deuxième chariot monté mobile dans la deuxième direction sur le premier chariot, le deuxième chariot portant l’objet cible.
De préférence, le robot comprend un premier rail pour guider le premier chariot en translation dans la première direction, et/ou un deuxième rail pour guider le deuxième chariot en translation dans la deuxième direction.
De préférence, le robot comprend : une première poulie montée en rotation sur la plateforme et une première courroie coopérant avec la première poulie pour déplacer le premier chariot par rapport à la plateforme, et/ou une deuxième poulie montée en rotation sur le premier chariot, et une deuxième courroie coopérant avec la deuxième poulie pour déplacer le deuxième chariot par rapport au premier chariot. De préférence, le robot est configuré pour déplacer l’objet cible suivant une trajectoire qui contourne l’utilisateur, lorsque l’utilisateur porte le casque de réalité virtuelle.
De préférence, le dispositif de suivi de mouvement est configuré pour sélectionner l’objet virtuel dans une pluralité d’objets virtuels contenus dans l’environnement virtuel, en fonction d’au moins une des données suivantes : une distance séparant l’avatar de l’objet virtuel, des données de mouvement relatif entre l’avatar et l’objet virtuel, une position de l’objet virtuel par rapport à la vue montrée dans les images affichées par le casque de réalité virtuelle.
De préférence, le dispositif de suivi de mouvement comprend ou est configuré pour communiquer avec un capteur de mouvement de l’utilisateur, le capteur de mouvement de l’utilisateur étant par exemple fixé au casque de réalité virtuelle, ou fixé à un objet cible qui présente la surface cible.
Il est également proposé, selon un deuxième aspect, un procédé d’interaction entre un utilisateur et un environnement virtuel, comprenant des étapes de :
- affichage, par un casque de réalité virtuelle porté par l’utilisateur, d’une vue de l’environnement virtuel, l’environnement virtuel contenant un avatar de l’utilisateur et un objet virtuel,
- suivi, par un dispositif de suivi de mouvement, de mouvements de l’utilisateur de sorte à faire varier la vue de l’environnement virtuel en fonction des mouvements de l’utilisateur portant le casque de réalité virtuelle,
- déplacement, par un robot, d’un objet cible présentant au moins une surface en fonction des mouvements de l’utilisateur dans une position de destination adaptée pour que l’utilisateur touche l’objet cible pendant que l’avatar touche l’objet virtuel, le procédé étant caractérisé en ce que l’objet cible est monté mobile à une plateforme fixe par rapport au sol, et en ce que le robot déplace l’objet cible à la position de destination, par rapport à la plateforme fixe par rapport au sol.
Il est également proposé, selon un troisième aspect, un système d’interaction entre un monde réel et virtuel comprenant :
- un casque de réalité virtuelle propre à être porté par un utilisateur et affichant une vue d’un environnement virtuel, l’environnement virtuel contenant un avatar de l’utilisateur et un objet virtuel,
- au moins une surface mobile,
- un robot configuré pour déplacer la(es)dite(s) surface(s) en fonction des mouvements de l’utilisateur, caractérisé en ce qu’il comprend une plateforme délimitant le monde réel à explorer propre à être fixée sur un sol, et dans laquelle la(es)dite(s) surface(s) ne touche(nt) pas le sol et sont fixé(es) à la plateforme.
DESCRIPTION DES FIGURES
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels : La figure 1 est une vue en perspective d’une plateforme d’un système d’interaction améliorée dans un monde virtuel selon un mode de réalisation.
La figure 2 est une vue de côté de la plateforme représentée en figure 1 et d’un objet cible.
La figure 3 est une autre vue de côté de la plateforme et de l’objet cible représentés en figure 2.
La figure 4 est une vue de dessus de la plateforme représentée sur la figure 1 et d’une partie d’un robot faisant partie d’un système d’interaction haptique améliorée dans un monde virtuel selon un mode de réalisation.
La figure 5 représente de manière schématique certains composants d’un système d’interaction améliorée dans un monde virtuel selon un mode de réalisation.
Sur l’ensemble des figures, les éléments similaires portent des références identiques.
DESCRIPTION DETAILLEE DE L'INVENTION
En référence aux figures 1 à 3, un système d’interaction améliorée dans un monde virtuel comprend une plateforme 1 et un objet cible T monté mobile à la plateforme 1 .
De manière générale, la plateforme 1 est propre à être fixe par rapport à un support. Le support est un sol sur lequel un utilisateur est susceptible de marcher, ou un support fixe par rapport à un tel sol (mur ou plafond par exemple). La plateforme 1 délimitant une zone dans laquelle un utilisateur est susceptible d’interagir avec le système.
La plateforme 1 comprend au moins quatre montants 2, 4, 6, 8 s’étendant verticalement par rapport au sol, suivant un axe Z. Les quatre montants 2, 4, 6, 8 représentés en figure 1 délimitent entre eux la zone (dans le sens où ces montants sont situés aux quatre coins de cette zone). La zone est de forme quelconque, par exemple rectangulaire ou carrée.
La plateforme 1 comprend par ailleurs au moins quatre traverses 10, 12, 14, 16. Chaque traverse s’étend horizontalement pour relier ensemble deux des montants 2, 4, 6, 8 en leurs sommets. Chaque traverse 10, 12, 14, 16 est à distance du sol, de préférence à au moins deux mètres cinquante du sol.
Les traverses 10 et 14 sont agencées à distance l’une de l’autre et s’étendent dans une première direction parallèle à un axe X. Les traverses 12 et 16 sont agencées à distance l’une de l’autre et s’étendent dans une deuxième direction parallèle à un axe Y.
Les axes X, Y, Z forment ensemble un repère orthogonal.
D’autres agencements de zone peuvent être réalisés dès lors que le nombre de traverses change, afin de mettre en place des zones complexes où l’utilisateur pourra évoluer.
Le volume général de la plateforme 1 est par exemple le suivant : 4 mètres (suivant l’axe X) x 4 mètres (suivant l’axe Y) x 2,5 mètres (suivant l’axe Z). La zone délimitée présente par exemple les dimensions suivantes dans un plan horizontal : 3,5 mètres (suivant l’axe X) x 3,5 mètres (suivant l’axe Y).
Les quatre traverses 10, 12, 14, 16 forment ensemble un cadre rectangulaire qui surplombe la zone délimitée par les montants 2, 4, 6, 8.
L’objet cible T se présente sous la forme d’au moins une surface susceptible d’être touchée par un utilisateur se trouvant dans la zone.
L’objet cible T présente par exemple la forme d’une colonne à plusieurs faces verticales, par exemple quatre faces verticales, susceptibles d’être touchées par un utilisateur entré dans la zone délimitée par la plateforme.
Le système comprend un robot 18 ayant pour fonction de déplacer l’objet cible T par rapport à la plateforme 1 .
L’objet cible T est attaché au dispositif de déplacement 18 de manière amovible, de sorte à pouvoir être remplacé.
En définitive, la plateforme 1 forme un portique, l’objet cible T étant suspendu au portique par l’intermédiaire du dispositif de déplacement 18.
En référence à la figure 4, le robot 18 comprend deux rails 20, 22, fixés respectivement aux traverses 14 et 10. Les deux rails 20, 22 s’étendent donc parallèlement à l’axe X.
Les deux rails 20, 22 sont en aluminium.
Le robot 18 comprend par ailleurs un premier chariot 24 monté mobile en translation sur les rails
20, 22.
Le premier chariot 24 est mobile entre les traverses 12 et 16, et s’étend parallèlement à ces dernières. Le premier chariot 24 est monté sur des roues ou des galets (non-illustrés) agencés pour rouler sur les deux rails 20, 22. Le premier chariot s’étend entre les deux rails 20, 22, de manière à surplomber la zone délimitée par la plateforme 1 .
Le premier chariot 24 comprend un premier dispositif de blocage (non illustré) pour maintenir le premier chariot fixe par rapport aux rails 20, 22. Ce premier dispositif de blocage peut par exemple comprendre un frein pour bloquer au moins une des roues du premier chariot 24 en rotation par rapport au rail (20 ou 22) avec lequel la roue est en contact.
Le premier chariot comprend par ailleurs un rail 26. Ce rail 26 s’étend parallèlement à l’axe Y, donc est perpendiculaire aux rails 20, 22.
Le robot 18 comprend par ailleurs des moyens pour déplacer le premier chariot 24 par rapport à la plateforme 1 , parallèlement à l’axe X. Ces moyens comprennent une première poulie 28 montée à rotation sur la plateforme 1 , un premier moteur 30 pour entraîner la première poulie en rotation par rapport à la plateforme, et une première courroie 31 attachée au premier chariot et en prise avec la première poulie 28. Le premier moteur 30 est par exemple à courant continu.
Le robot 18 comprend en outre un deuxième chariot 32 monté mobile en translation sur le rail 26, par rapport au premier chariot 24.
Le deuxième chariot 32 est monté sur des roues ou galets 34 agencés pour rouler sur le rail 26.
C’est en fait au deuxième chariot 32 qu’est suspendu l’objet cible T, de sorte que l’objet T soit localisé dans la zone délimitée par la plateforme 1 , entre le deuxième chariot 32 et le sol.
Le robot 18 comprend par ailleurs des moyens pour déplacer le deuxième chariot 32 par rapport au premier chariot 24, parallèlement à l’axe Y. Ces moyens comprennent une deuxième poulie 36 montée en rotation sur le premier chariot 24, un deuxième moteur 38 pour entraîner la deuxième poulie 36 en rotation par rapport au premier chariot 24, et une deuxième courroie 40 attachée au deuxième chariot 32 et en prise avec la deuxième poulie 36.
Le deuxième chariot 24 comprend un deuxième dispositif de blocage (non illustré) pour maintenir le deuxième chariot fixe par rapport au rail 26. Ce deuxième dispositif de blocage peut par exemple comprendre un frein pour bloquer au moins une des roues du deuxième chariot 32 en rotation par rapport au rail 26.
Ainsi, le premier dispositif de blocage et le deuxième dispositif de blocage forment un système de blocage qui permettent à l’objet cible T d’être maintenu dans une position (x, y) parallèlement au plan formé par les axes X et Y. Ce système de blocage peut bien entendu prendre d’autres formes.
Le deuxième moteur 38 est par exemple à courant continu.
Le robot 18 comprend par ailleurs un module de commande 42 configuré pour commander l’activation et la désactivation des deux moteurs 30, 38. En définitive, le module de commande 42 permet donc de commander un déplacement du deuxième chariot suivant les deux axes X et Y par rapport à la plateforme, au-dessus de la zone délimitée par la plateforme, et donc de déplacer l’objet cible T au sein de cette zone.
Le module de commande 42 est par exemple un microcontrôleur, par exemple de type Arduino MEGA 2560. En variante, Le module de commande 42 peut se présenter sous la forme d’un programme de commande exécuté par un ordinateur communiquant avec les moteurs 30, 38 soit par voie filaire soit par radio.
Le système comprend par ailleurs un casque de réalité virtuelle 44, et un dispositif de suivi de mouvement 46.
Le casque de réalité virtuelle 44 est configuré pour afficher des images devant les yeux d’un utilisateur. Dans le présent texte, le terme « casque » doit s’entendre comme couvrant n’importe quel dispositif apte à être attaché à la tête d’un utilisateur de manière à afficher de telles images devant les yeux de l’utilisateur. Le casque comprend de préférence un obturateur pour isoler les yeux de l’utilisateur de l’extérieur. Le dispositif de suivi de mouvement 46 est configuré pour suivre des mouvements de l’utilisateur, notamment par rapport à la plateforme 1.
Le dispositif de suivi de mouvement comprend au moins un capteur de mouvement de l’utilisateur, et un module de supervision (ou superviseur).
A titre de capteur, le dispositif de suivi de mouvement comprend un ou plusieurs accéléromètres attachés à l’utilisateur et/ou des caméras attachées à l’utilisateur ou à la plateforme.
Ces capteurs peuvent être en particulier fixés au casque de réalité virtuelle 44.
Le module de supervision est un superviseur qui comprend une interface de communication avec le casque 44 et avec le module de commande 42, par voie filaire ou sans fil.
Par ailleurs, le module de supervision comprend typiquement un processeur configuré pour exécuter un programme de rendu 3D.
Le programme de rendu 3D peut être, sans que cela soit limitatif, le programme Unity3D développé par Unity Technologies.
Le programme de rendu 3D est configuré pour générer des images montrant un environnement virtuel en vue subjective.
L’environnement virtuel comprend une pluralité d’objets virtuels. L’environnement virtuel comprend en outre un avatar représentant l’utilisateur qui porte le casque de réalité virtuelle. Cet avatar peut représenter entièrement un utilisateur ou ne représenter qu’une partie du corps de l’utilisateur, voire être réduit à un point indiquant la position de l’avatar.
Par exemple, l’avatar comprend une main virtuelle qui représente une main de l’utilisateur. Cette main virtuelle est modélisée par exemple à l’aide d’une caméra, telle qu’une caméra Orbbec Astra S fixée sur le casque de réalité virtuelle 44. Cette caméra Orbbec Astra S est connue de l’homme du métier.
Le programme de rendu 3D est configuré pour réaliser un mappage entre le repère (X, Y, Z) lié à la plateforme 1 , et un repère virtuel lié à l’environnement virtuel. L’avatar et chaque objet virtuel ont des positions qui leur sont propres dans cet espace virtuel, et dont le programme de rendu 3D a connaissance.
Le mappage réalisé par le programme de rendu 3D est tel qu’il est établi une correspondance entre des points dans le repère réel (X, Y, Z) et des points dans le repère lié à l’environnement virtuel.
Le mappage réalisé par le programme de rendu 3D est en outre tel que les images générées par ce programme varient en fonction du mouvement de l’utilisateur portant le casque à réalité virtuelle, de manière à lui donner le sentiment d’évoluer dans l’environnement virtuel. Un tel mappage est connu de l’état de la technique.
Les images générées par le programme de rendu 3D montrent des vues de l’environnement virtuel. Une vue donnée de l’environnement virtuel est caractérisée par une position spécifique dans le repère lié à l’environnement virtuel, et un angle de vue depuis cette position. Une vue ne montre donc qu’une partie de cet environnement virtuel. Un objet virtuel peut donc être montré dans une vue, ou non.
Un procédé d’interaction améliorée dans un monde virtuel mis en œuvre par le système représenté sur les figures 1 à 5 comprend les étapes suivantes.
Un utilisateur attache le casque de réalité virtuelle 44 à sa tête.
Le dispositif de suivi de mouvement 46 suit des mouvements de l’utilisateur portant le casque, et génère des images de l’environnement virtuel. Ces images sont transmises au casque de réalité virtuelle 44, qui les affiche devant les yeux de l’utilisateur.
Le dispositif de suivi de mouvement 46 se fonde sur les mouvements de l’utilisateur pour déterminer la vue montrée par les images affichées par le casque 44. Par exemple, lorsque l’utilisateur tourne sa tête par rapport à la plateforme 1, la vue montrée par le casque 44 va également tourner dans l’environnement virtuel.
Le module de supervision a connaissance de la position de l’avatar et de chaque objet virtuel compris dans l’environnement virtuel.
Le module de supervision sélectionne dans l’environnement virtuel un objet virtuel lequel est le plus susceptible d’entrer en collision avec l’avatar.
Pour procéder à cette sélection, le module de supervision calcule, pour chaque objet virtuel, un poids associé à l’objet virtuel, ce poids étant représentatif d’une probabilité de collision entre l’avatar et l’objet virtuel.
Le poids d’un objet virtuel est calculé en fonction des paramètres suivants :
- la distance séparant l’avatar de l’objet virtuel : plus cette distance est courte, plus le poids de l’objet virtuel est élevé ;
- des données de déplacement relatif entre l’avatar et l’objet virtuel : le poids est plus élevé quand ces données indiquent un rapprochement entre l’objet virtuel et l’avatar, et moins élevé quand ces données indiquent leur éloignement mutuel ;
- une position de l’objet virtuel par rapport à la vue montrée dans les images affichées par le casque de réalité virtuelle : par exemple, si l’objet virtuel est montré dans la vue, le poids sera plus élevé ; si l’objet virtuel est hors de vue (donc non visible dans les images affichées par le casque) son poids sera moins élevé.
Le module de supervision connaît par ailleurs la position courante de l’objet cible T (qui est réel), et notamment la position d’au moins une surface de cet objet cible T. Cette position lui est par exemple communiquée par le module de commande 42.
Une fois la sélection mise en œuvre, le module de supervision détermine une trajectoire de déplacement, dans la zone délimitée par la plateforme 1, de l’objet cible T depuis sa position courante vers une position de destination. La position de destination est adaptée pour que l’utilisateur touche une surface de l’objet cible T pendant que l’avatar touche l’objet virtuel. Plus précisément, la position de destination est adaptée pour que l’utilisateur entre en contact avec la surface de l’objet cible T sensiblement au moment où l’avatar entre en contact avec l’objet virtuel sélectionné, dans l’environnement virtuel. Pour déterminer cette position de destination, le module de supervision utilise les données de mouvement dans le monde réel de l’utilisateur, et les positions de l’avatar et de l’objet virtuel sélectionné dans l’environnement virtuel, et les combine selon un procédé connu de l’état de la technique.
La position de destination est choisie par le module de supervision pour minimiser l’écart temporel entre, d’une part, l’instant d’entrée en contact entre l’utilisateur portant le casque 44 et l’objet cible T, et d’autre part, l’instant de collision entre l’avatar et l’objet virtuel dans l’environnement virtuel.
La position de destination est un couple de coordonnées (x, y) dans le repère 2D formé par les axes X et Y. Alternativement, la position de destination est un triplet de coordonnées (x, y, z) dans le repère 3D formé par les axes X, Y, Z.
La trajectoire de déplacement allant de la position courante à la position de destination se présente typiquement comme une suite de positions dans le repère 2D précité.
Pour plus de sécurité, robot 18 peut immobiliser l’objet cible T par rapport à la plateforme 1 lorsque le dispositif de suivi de mouvement 46 détecte qu’une distance entre l’utilisateur et l’objet cible T qui est inférieure à un seuil prédéterminé, par exemple 90 centimètres.
La trajectoire de déplacement entre la position courante de l’objet cible et la position de destination calculée par le module de supervision est adaptée pour contourner l’utilisateur portant le casque 44. Pour cela, le module de supervision peut se fonder sur une estimation du volume qu’occupe dans l’espace l’utilisateur portant le casque. Cette estimation peut être prédéterminée.
Le module de supervision transmet au module de commande 42 la trajectoire et la position de destination calculées. Sur la base de ces données, le module de commande envoie des commandes au premier moteur 30 et au deuxième moteur 38 adaptées pour déplacer les chariots 24, 32 suivant les axes X et Y, de telle sorte que l’objet cible T suive la trajectoire calculée et atteigne la position de destination calculée.
Une fois que l’objet cible T a atteint la position de destination ou pendant son déplacement, l’utilisateur peut décider de faire rapprocher son avatar vers l’objet virtuel sélectionné. Ceci se traduit dans le monde réel par un déplacement de l’utilisateur vers l’objet cible T. Lorsque l’avatar entre en contact avec l’objet virtuel, l’utilisateur entre en contact avec l’objet cible T ayant atteint la position de destination.
La surface T fixée sur l’objet mobile, peut se présenter sous différentes formes permettant à l’utilisateur d’explorer, de façon la plus précise et efficace, le monde virtuel. Elle peut être sans que cela soit limitatif sous la forme d’un rectangle, d’un carré, d’un rond, de la forme apte à être distinguée dans le monde virtuel à explorer, comme une personne, un meuble, une pièce d’automobile, une voiture etc...
La ou les surface(s) de l’objet cible T que l’utilisateur est susceptible de toucher est de forme quelconque. Elle peut comprendre une face ou un ensemble de faces pouvant être jointes ou disjointes selon les besoins de l’expérience virtuelle ou du monde virtuel à explorer. Elle peut être sans que ce soit limitatif sous forme d’au moins un panneau texturé ou non afin de conférer à l’utilisateur plus de sensations lorsqu’il pense interagir avec un ou des objets virtuels présent(s) dans l’espace que l’utilisateur doit explorer.
Par panneau texturé on peut sans que ce soit limitatif, considérer dans un mode de réalisation de l’invention un panneau en carton comprenant des objets réels qui sont fixés sur ledit panneau comme une boule, un triangle ou autre forme équivalente à la forme présente dans le monde virtuel. Ainsi lorsque l’utilisateur se déplacera vers un triangle projeté dans le casque de réalité virtuelle que porte l’utilisateur, en fonction des déplacements de celui-ci, l’objet cible T qui peut être un panneau sur lequel est fixé une structure triangulaire se déplacera à l’exacte position de l’objet virtuel qui est un triangle, l’utilisateur interagissant avec simultanément un triangle virtuel et réel aura une sensation plus importante et pertinente qu’avec simplement un gant. C’est un des avantages de l’invention d’avoir, en permettant à l’utilisateur les mains libres, la possibilité d’interagir avec un monde virtuel de façon plus précise, pertinente et enrichissante.
L’objet cible T peut être passif, ou bien actif. En particulier, comme cela a été discuté précédemment, au moins un capteur de mouvement du dispositif de suivi de mouvement 46 peut être agencé dans ou sur l’objet cible T. Il peut être également prévu d’inclure dans l’objet cible T au moins un effecteur susceptible de générer des sensations perceptibles par un utilisateur. A titre d’exemples d’effecteurs, on peut citer : des boutons haptiques ou encore des effecteurs de température, des effecteurs pouvant envoyer de l’air voire des effecteurs olfactifs, permettant en plus à l’utilisateur non pas d’interagir avec l’objet virtuel mais d’en saisir la nature par l’intermédiaire d’autres sens que le toucher, la vision et l'ouïe.
Par effecteurs au sens de la présente invention, on entendra un élément susceptible de faire ressentir à l’utilisateur progressant dans le monde virtuel des sensations.
Dans le cas d’un effecteur olfactif, si l’utilisateur s’approche d’une pomme un effecteur sous forme de pulvérisateur, qui envoie des odeurs de pommes pourra se trouver sur l’objet cible T.
Les capteurs et/ou effecteurs présents sur la surface T pouvant être activés ou désactivés en fonction du scénario ou des scénarii à explorer.
Un ensemble d’effecteurs comme des boutons haptiques peuvent parfaitement simuler une forme ou un caractère, en fonction de leur activation, similaires aux caractères en braille pouvant permettre à une personne aveugle d’appréhender des chiffres et des lettres ou encore des formes. Lorsque l’utilisateur presse sur la ou les surface(s) de l’objet cible T, celui-ci oppose une certaine résistance à l’utilisateur puisque cet objet est monté à la plateforme 1. En conséquence, l’objet cible T monté à la plateforme 1 par l’intermédiaire du robot 18 aura tendance à moins se déplacer sous l’effet d’une telle pression, que si cet objet était porté par un drone. Le retour haptique procuré par l’objet cible T monté à la plateforme 1 est par ailleurs bien plus réaliste que celui offert par des gants à retour haptique connus de l’état de la technique.
Un autre avantage de l’invention réside dans le fait que la zone d’interaction avec le monde virtuel via l’objet cible T, peut se réaliser sur l’ensemble du corps, ce qui n’est pas possible avec un bras articulé mobile ou un gant, qui ne permettent de transmettre des sensations à l’utilisateur que pour une partie prédéfinie du corps. Ainsi l’expérience auquel fait face l’utilisateur s’en trouve non seulement améliorée mais augmentée au regard de ce qui existe à l’heure actuelle.
Un avantage du système proposé est que le même objet cible T peut être mis en correspondance avec plusieurs objets virtuels contenus dans l’environnement virtuel, et tour à tour sélectionnés par le dispositif de suivi 46. La zone délimitée par la plateforme 1 n’a donc pas besoin d’être encombrée par une multitude d’objets fixes, chaque objet fixe étant associé avec un objet virtuel, ou plusieurs objets virtuels sélectionnés successivement.
Il est également à remarquer que, dans le mode de réalisation illustré sur les figures, l’objet cible T est suspendu au portique formé par la plateforme 1. Cette configuration est avantageuse car permet de libérer de l’espace au sol, et donc moins susceptible de constituer un obstacle pour l’utilisateur.
De plus, cette configuration permet d’alimenter continûment le robot en énergie car celui-ci est attaché à la plateforme. Ceci supprime les problèmes liés à l’autonomie et permet de fournir suffisamment de puissance pour du retour de force.
Un autre avantage de l’invention réside dans les applications visées par celle-ci, l’invention trouve certes son utilité dans l’exploration des mondes virtuels tels les jeux vidéo ou ce que l’on appelle à l’heure actuelle les jeux d’évasion grandeur nature dits « escape games », mais également dans la visite des musées par exemple ou encore la formation ou l’apprentissage.
Dans le cas de la visite de musées, il est inutile de reproduire l’ensemble des œuvres dans une ou des pièce(s) à explorer, la ou les surface(s) mobile(s) de l’objet cible T se plaçant à l’endroit précis où se trouvent les œuvres à explorer dans la ou les pièces correspondantes, de plus l’utilisateur peut toucher ou avoir la sensation de toucher les œuvres ce qui n’est pas possible dans un musée.
Dans le cas des formations pour adultes, plutôt qu’une vidéo explicative de remplacement d’une pièce d’automobile/aéronautique qui peut être certes riche d’enseignement, l’utilisation du système selon l’invention permettra à un utilisateur d’interagir avec la surface ou plusieurs surfaces de l’objet cible T, en vue de reproduire le remplacement d’une pièce d’automobile sans que ne soit présente une vraie voiture avec de vraies pièces automobiles. Les étapes qui précèdent sont répétées dans le temps, au gré des mouvements de l’utilisateur.
Dans le mode de réalisation illustré sur les figures, le robot 18 est capable de se placer dans n’importe quelle position inscrite dans un quadrilatère délimité par les rails 20, 22. Il pourrait être envisagé d’autres structures pour ce dispositif 18, et d’autres zones de déplacement. Par exemple, il pourrait être envisagé de contraindre le dispositif de déplacement à ne pouvoir occuper qu’une grille de positions.
Il est par ailleurs entendu que le système peut comprendre plus d’un dispositif de déplacement, et plus d’un objet cible à déplacer. Plusieurs objets cibles peuvent être déplacés par un ou plusieurs dispositifs de déplacement différents montés à la plateforme. Dans ce cas, le système pourra sélectionner un objet cible parmi plusieurs objets candidats, sur la base de l’objet virtuel considéré comme étant le prochain à entrer en collision avec l’avatar de l’utilisateur. Cette sélection peut par exemple se fonder sur un critère de ressemblance de forme, ou autre.
L’invention ne se limite pas aux modes de réalisation discutés précédemment.

Claims

REVENDICATIONS
1. Système d’interaction entre un utilisateur et un environnement virtuel, le système comprenant :
- un casque de réalité virtuelle (44) propre à être porté par l’utilisateur et afficher une vue de l’environnement virtuel, l’environnement virtuel contenant un avatar de l’utilisateur et un objet virtuel,
- un dispositif de suivi de mouvement (46) configuré pour suivre des mouvements de l’utilisateur et faire varier la vue de l’environnement virtuel en fonction des mouvements de l’utilisateur, lorsque l’utilisateur porte le casque de réalité virtuelle (44),
- un objet cible (T) comprenant au moins une surface,
- un robot (18) configuré pour déplacer l’objet cible (T) en fonction des mouvements de l’utilisateur dans une position de destination adaptée pour que l’utilisateur touche l’objet cible (T) pendant que l’avatar touche l’objet virtuel, le système étant caractérisé en ce qu’il comprend une plateforme (1 ) propre à être fixe par rapport à un sol, l’objet cible (T) étant monté mobile à la plateforme (1 ), et en ce que le robot (18) est configuré pour déplacer l’objet par rapport à la plateforme (1 ) dans la position de destination, lorsque la plateforme (1 ) est fixe par rapport au sol.
2. Système selon la revendication précédente, dans lequel la plateforme (1 ) comprend un portique, l’objet cible (T) étant suspendu au portique par l’intermédiaire du robot (18).
3. Système selon l’une des revendications précédentes, dans lequel le robot (18) est configuré pour déplacer l’objet cible (T) dans une première direction (X), et dans une deuxième direction (Y) non parallèle à la première direction.
4. Système selon la revendication précédente, dans lequel le robot (18) comprend :
- un premier chariot (24) monté mobile dans la première direction (X) sur la plateforme (1 ),
- un deuxième chariot (32) monté mobile dans la deuxième direction sur le premier chariot (24), le deuxième chariot portant l’objet cible (T).
5. Système selon la revendication précédente, dans lequel le robot (18) comprend un premier rail (20, 22) pour guider le premier chariot en translation dans la première direction (X), et/ou un deuxième rail (26) pour guider le deuxième chariot en translation dans la deuxième direction (Y).
6. Système selon l’une des revendications 4 et 5, dans lequel le robot (18) comprend :
- une première poulie (28) montée en rotation sur la plateforme (1 ) et une première courroie (31 ) coopérant avec la première poulie pour déplacer le premier chariot (24) par rapport à la plateforme (1 ), et/ou
- une deuxième poulie (36) montée en rotation sur le premier chariot (32), et une deuxième courroie (40) coopérant avec la deuxième poulie pour déplacer le deuxième chariot (32) par rapport au premier chariot (24).
7. Système selon l’une des revendications précédentes, dans lequel le robot (18) est configuré pour déplacer l’objet cible (T) suivant une trajectoire qui contourne l’utilisateur, lorsque l’utilisateur porte le casque de réalité virtuelle (44).
8. Système selon l’une des revendications précédentes, dans lequel le dispositif de suivi de mouvement (46) est configuré pour sélectionner l’objet virtuel dans une pluralité d’objets virtuels contenus dans l’environnement virtuel, en fonction d’au moins une des données suivantes :
- une distance séparant l’avatar de l’objet virtuel,
- des données de mouvement relatif entre l’avatar et l’objet virtuel,
- une position de l’objet virtuel par rapport à la vue montrée dans les images affichées par le casque de réalité virtuelle.
9. Système selon les revendications précédentes, dans lequel le dispositif de suivi de mouvement (46) comprend ou est configuré pour communiquer avec un capteur de mouvement de l’utilisateur, le capteur de mouvement de l’utilisateur étant par exemple fixé au casque de réalité virtuelle, ou fixé à un objet cible qui présente la surface cible.
10. Procédé d’interaction entre un utilisateur et un environnement virtuel, comprenant des étapes de :
- affichage, par un casque de réalité virtuelle porté par l’utilisateur, d’une vue de l’environnement virtuel, l’environnement virtuel contenant un avatar de l’utilisateur et un objet virtuel,
- suivi, par un dispositif de suivi de mouvement, de mouvements de l’utilisateur de sorte à faire varier la vue de l’environnement virtuel en fonction des mouvements de l’utilisateur portant le casque de réalité virtuelle (44),
- déplacement, par un robot (18), d’un objet cible (T) présentant au moins une surface en fonction des mouvements de l’utilisateur dans une position de destination adaptée pour que l’utilisateur touche l’objet cible (T) pendant que l’avatar touche l’objet virtuel, le procédé étant caractérisé en ce que l’objet cible (T) est monté mobile à une plateforme (1 ) fixe par rapport au sol, et en ce que le robot (18) déplace l’objet cible (T) à la position de destination, par rapport à la plateforme (1 ) fixe par rapport au sol.
PCT/FR2020/051825 2019-10-17 2020-10-14 Système d'interaction améliorée dans un monde virtuel WO2021074530A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1911636 2019-10-17
FRFR1911636 2019-10-17

Publications (1)

Publication Number Publication Date
WO2021074530A1 true WO2021074530A1 (fr) 2021-04-22

Family

ID=69104771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2020/051825 WO2021074530A1 (fr) 2019-10-17 2020-10-14 Système d'interaction améliorée dans un monde virtuel

Country Status (1)

Country Link
WO (1) WO2021074530A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5803738A (en) * 1994-06-24 1998-09-08 Cgsd Corporation Apparatus for robotic force simulation
US20100277469A1 (en) * 2009-04-29 2010-11-04 International Business Machines Corporation Tactile virtual world
US20190151741A1 (en) * 2016-04-19 2019-05-23 Scott Summit Virtual reality haptic system and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5803738A (en) * 1994-06-24 1998-09-08 Cgsd Corporation Apparatus for robotic force simulation
US20100277469A1 (en) * 2009-04-29 2010-11-04 International Business Machines Corporation Tactile virtual world
US20190151741A1 (en) * 2016-04-19 2019-05-23 Scott Summit Virtual reality haptic system and apparatus

Similar Documents

Publication Publication Date Title
US11334145B2 (en) Sensory feedback systems and methods for guiding users in virtual reality environments
Cheng et al. Vroamer: generating on-the-fly VR experiences while walking inside large, unknown real-world building environments
JP7141412B2 (ja) 仮想現実モバイルポッド
WO2022067083A2 (fr) Dispositifs, procédés et interfaces utilisateur graphiques pour interagir avec des environnements tridimensionnels
CN109388142B (zh) 一种基于惯性传感器进行虚拟现实行走控制的方法及***
FR2954518A1 (fr) " systeme anticollision pour le deplacement d'un objet dans un environnement encombre."
Labonte et al. Comparative analysis of 3-D robot teleoperation interfaces with novice users
Wilson Depth-sensing video cameras for 3d tangible tabletop interaction
US8725292B2 (en) Manipulation of objects
JP7025532B2 (ja) 衝突の検出、推定、および回避
CN105807922A (zh) 一种虚拟现实娱乐驾驶的实现方法、装置及***
KR20210068446A (ko) 지형 인식 스텝 플래닝 시스템
JP2018512688A (ja) バーチャル・リアリティ・エクササイズ・ゲーム
CN107596683A (zh) 基于增强现实的童车虚拟游乐方法、装置及***
US10080951B2 (en) Simulating virtual topography using treadmills
CN104461018A (zh) 电磁式多自由度虚拟漫游行进平台
JP2019036192A5 (fr)
WO2021074530A1 (fr) Système d'interaction améliorée dans un monde virtuel
Park et al. Walking-in-place for vr navigation independent of gaze direction using a waist-worn inertial measurement unit
CN116322918A (zh) 用以促进乘坐交通工具的顾客控制的***和方法
Marin-Urias et al. Towards shared attention through geometric reasoning for human robot interaction
Hilsendeger et al. Navigation in virtual reality with the wii balance board
JP2020131377A (ja) 自走式ロボット
Lichtenthäler et al. Be a robot! Robot navigation patterns in a path crossing scenario
Charles Real-time human movement mapping to a virtual environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20801346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20801346

Country of ref document: EP

Kind code of ref document: A1