FR3002403A3 - Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously - Google Patents

Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously Download PDF

Info

Publication number
FR3002403A3
FR3002403A3 FR1300367A FR1300367A FR3002403A3 FR 3002403 A3 FR3002403 A3 FR 3002403A3 FR 1300367 A FR1300367 A FR 1300367A FR 1300367 A FR1300367 A FR 1300367A FR 3002403 A3 FR3002403 A3 FR 3002403A3
Authority
FR
France
Prior art keywords
virtual
brick
module
terminals
interlocutors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1300367A
Other languages
French (fr)
Inventor
Romaric Manovelli
Louis Dorard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CONCEPT IMMO GLOBAL
Original Assignee
CONCEPT IMMO GLOBAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CONCEPT IMMO GLOBAL filed Critical CONCEPT IMMO GLOBAL
Priority to FR1300367A priority Critical patent/FR3002403A3/en
Priority to FR1451291A priority patent/FR3002404A1/en
Publication of FR3002403A3 publication Critical patent/FR3002403A3/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The device has a synchronized virtual viewing module (4) and a communication module (5) that are used simultaneously and provided on a data-processing program (3) of a multimedia terminal. The viewing module has a virtual viewing visualization brick and a bidirectional data exchange brick that are inter-connected within a virtual viewing synchronization system. The communication module includes audio and video conference inter-connected with a bidirectional audio stream/video transfer brick, and/or an instant messaging brick inter-connected with a bidirectional textual data transfer brick.

Description

-1 - Le domaine de l'invention est celui des visites guidées à distance de lieux donnés. Plus précisément, l'invention concerne un système permettant, à travers une connexion à internet, à des interlocuteurs d'échanger de façon interactive autour de visites virtuelles synchronisées.-1 - The field of the invention is remote guided tours of given places. More specifically, the invention relates to a system allowing, through an Internet connection, interlocutors to interact interactively around virtual tours synchronized.

Le dispositif selon l'invention s'applique notamment aux visites guidées à distance de projets immobiliers, de biens immobiliers existants, ou d'hôtels. On connaît une première technique permettant à des hommes de métier de réaliser des visites de biens immobiliers à distance permettant ainsi de s'affranchir en partie des contraintes d'espace qui rendaient difficile la commercialisation des biens auprès d'une clientèle éloignée. Cette technique consiste, pour chaque visite guidée, à dépêcher sur le lieu de la visite un agent équipé d'un smartphone avec caméra vidéo et connexion internet mobile, et à diffuser en direct sur internet le flux vidéo capté par le smartphone de l'agent. Les visiteurs souscrivent au flux vidéo depuis leurs terminaux, et l'agent peut également réagir à des messages textuels qu'ils lui envoient par internet et qu'il reçoit sur son smartphone. Selon une seconde technique connue, on utilise un système de visite virtuelle interactif auquel le visiteur peut avoir accès sur internet. La visite virtuelle présente des parcours prédéfinis et interactifs dans l'environnement virtuel qui guident le visiteur dans son exploration de l'environnement.The device of the invention is particularly applicable to remote guided tours of real estate projects, existing real estate, or hotels. A first technique is known that enables tradesmen to carry out real-estate visits from a distance, thus making it possible to overcome, in part, space constraints that made it difficult to market goods to distant customers. This technique consists, for each guided tour, to dispatch to the place of the visit an agent equipped with a smartphone with video camera and mobile internet connection, and to broadcast live on the internet the video stream captured by the smartphone of the agent . Visitors subscribe to the video stream from their terminals, and the agent can also react to text messages that they send to him via the internet and that he receives on his smartphone. According to a second known technique, an interactive virtual tour system is used to which the visitor can have access on the internet. The virtual tour presents predefined and interactive courses in the virtual environment that guide the visitor through their exploration of the environment.

A la connaissance des inventeurs, il n'existe aujourd'hui aucune technique qui propose à la fois les avantages de la visite virtuelle et de la mise en relation d'interlocuteurs par internet. L'invention a notamment pour objectif de pallier aux différents inconvénients de l'état de la technique discutés ci-dessus. Plus précisément, les objectifs de la présente invention sont : - la visite guidée à distance de lieux donnés (hôtels, biens ou projets immobiliers), sans besoin de se déplacer ; - la communication entre interlocuteurs distants, dont un "guide", permettant un échange humain et interactif autour d'une même visite.To the knowledge of the inventors, there is currently no technique that offers both the benefits of the virtual visit and the linking of interlocutors via the Internet. The invention particularly aims to overcome the various disadvantages of the state of the art discussed above. More specifically, the objectives of the present invention are: - the remote guided tour of given places (hotels, property or real estate projects), without the need to move; - communication between distant interlocutors, including a "guide", allowing a human and interactive exchange around the same visit.

L'invention a également pour objectif de fournir un système applicable de façon simple et homogène à de nombreux biens ou projets, immobiliers ou hôteliers. L'invention requiert que les interlocuteurs soient dotés de terminaux connectés à internet (1) et préférablement équipés de périphériques d'entrée et sortie audio (microphone et hauts parleurs) et vidéo (écran et webcam).The invention also aims to provide a system that is applicable in a simple and homogeneous manner to many goods or projects, real estate or hotel. The invention requires that the interlocutors be provided with terminals connected to the Internet (1) and preferably equipped with audio input and output (microphone and speakers) and video (screen and webcam) peripherals.

Le principe général de l'invention consiste en premier lieu à réaliser et à mettre à disposition sur internet une visite virtuelle de chaque lieu considéré (2). Cela consiste à créer une représentation du lieu sous forme de "scènes" qui seront des données chargées - 2 - en entrée d'un programme informatique de visualisation de visite virtuelle. Ce dernier est basé sur un moteur 3D permettant une navigation dans l'environnement virtuel représentant le lieu à visiter. Les variables d'état de la visite virtuelle sont les paramètres du contrôleur de caméra virtuelle du moteur 3D (position et orientation dans l'espace, type et paramètres de la lentille) ainsi que l'identifiant de la scène chargée. Ensuite, pour chaque visite guidée d'un lieu donné, on met à disposition sur internet un programme informatique (3) qui s'exécute sur le terminal connecté (1) de chaque interlocuteur et est constitué d'un module de visite virtuelle synchronisée (4) et d'un module de communication (5) pouvant être utilisés simultanément.The general principle of the invention consists first of all in making and making available on the internet a virtual visit of each location considered (2). This consists in creating a representation of the place in the form of "scenes" which will be loaded data - 2 - at the input of a virtual visit visualization computer program. The latter is based on a 3D engine allowing navigation in the virtual environment representing the place to visit. The virtual tour status variables are the parameters of the 3D engine's virtual camera controller (position and orientation in the space, type and lens parameters) as well as the identifier of the loaded scene. Then, for each guided tour of a given place, a computer program (3) is made available on the internet that runs on the connected terminal (1) of each interlocutor and consists of a synchronized virtual tour module ( 4) and a communication module (5) that can be used simultaneously.

Grâce au module (4), chaque interlocuteur peut naviguer librement dans la visite virtuelle qu'il visualise sur son terminal jusqu'à ce que le guide décide de synchroniser en temps réel l'état de la visite qui s'affiche sur son terminal avec celui des visites virtuelles qui s'affichent sur les terminaux des autres interlocuteurs, de sorte à ce que chacun voit la même chose.Thanks to the module (4), each interlocutor can navigate freely in the virtual visit that he visualizes on his terminal until the guide decides to synchronize in real time the state of the visit which is displayed on his terminal with that of the virtual visits which appear on the terminals of the other interlocutors, so that everyone sees the same thing.

Grâce au module (5) les interlocuteurs peuvent communiquer via audio/vidéo conférence où via messagerie instantanée. La réunion de ces deux modules utilisables simultanément permet au guide de décider à tout instant de ce que voient de la visite virtuelle les autres interlocuteurs, tout en conversant avec eux. Cela constitue ainsi une visite guidée à distance du lieu choisi.Thanks to the module (5) the interlocutors can communicate via audio / video conference or via instant messaging. The meeting of these two modules that can be used simultaneously allows the guide to decide at any moment what the other interlocutors see while visiting the other interlocutors. This constitutes a remote guided tour of the chosen place.

L'initialisation du module (4) consiste à télécharger la visite virtuelle du lieu et à établir un canal de communication en temps réel avec les autres terminaux. Le module (4) comporte plusieurs sous-programmes, appelés "briques logicielles" - (6) : une brique de visualisation de visite virtuelle ; - (7) : une brique d'échange bidirectionnel de données textuelles et numériques, relié à la connexion internet du terminal (1) et utilisant le canal de communication établi. On définit un système de synchronisation de visites virtuelles (8) dans lequel les entrées et sorties des briques (6) et (7) sont interconnectées : - On fixe tout d'abord un intervalle de temps d'attente minimum entre envois de données successifs, ce afin de ne pas surcharger le canal de communication utilisé au niveau de (7)- - Sur le terminal du guide, dès qu'un changement de l'état de la visite virtuelle contenue dans (6) est détecté, on vérifie que l'intervalle de temps choisi s'est écoulé depuis le dernier envoi de données ; si ce n'est pas le cas, on attend le temps nécessaire avant d'envoyer par (7) un message contenant les variables caractéristiques de l'état de la visite virtuelle. -3- - Sur les autres terminaux, dès qu'un message est reçu au niveau de (7) contenant des variables caractérisant un état e de la visite virtuelle, on donne l'instruction à (6) de changer les valeurs des variables d'état de la visite virtuelle qu'il contient pour que cette dernière atteigne l'état e. - Pour ce dernier point, on passe par un algorithme d'interpolation qui transforme une suite d'instructions de changement de valeur en une autre, de sorte à éviter les déplacement saccadés par la création de valeurs intermédiaires, et de sorte à éviter les déplacements trop rapides par l'ajout d'un effet d'inertie. Cela a notamment l'avantage de palier aux aléas de la transmission réseau tels que le "blocage" temporaire de certains messages sur le réseau internet et leur réception soudaine sur un intervalle de temps court. Les déplacements observés dans la visite virtuelle restent alors "agréables" car fluides et à vitesse raisonnable. L'initialisation du module (5) consiste à établir un canal de communication en temps réel avec les autres terminaux. Pour permettre aux interlocuteurs de communiquer, le module (5) comporte : - (9) : une brique d'audio et vidéo conférence, reliée aux périphériques d'entrée et sortie audio et vidéo du terminal ; - (10) : une brique de transfert bidirectionnel de flux audio/vidéo, reliée à la connexion au internet du terminal et utilisant le canal de communication établi ; et/ou il comporte : - (11) : une brique de messagerie instantanée ; - (12) : une brique d'échange bidirectionnel de données textuelles, reliée à la connexion internet du terminal et utilisant le canal de communication établi. Les entrées et sorties des briques (9) et (10) sont interconnectées : - (9) permet de récupérer un flux audio/vidéo émanant du microphone et de la webcam du terminal, et de le transmettre aux autres interlocuteurs par (10) ; - (9) permet d'afficher sur l'interface les flux audio/vidéo réceptionnés par (10) ; ainsi que les entrées et sorties des briques (11) et (12) : - (11) permet la saisie de message, envoyés aux autres interlocuteurs par (12) ; - (11) permet l'affichage sur l'interface des messages reçus par (12). La figure 1 illustre notre dispositif de visite guidée à distance qui commence par la création de visites virtuelles v_1 v_n de n biens ou projets immobiliers ou hôteliers B_1 B_n puis leur mise à disposition sur internet en les hébergeant sur un serveur, ainsi que les transferts de données sur internet qui ont lieu lors d'une visite guidée de B_i : téléchargement du programme (3) et de v_i depuis le serveur vers chaque terminal et transferts de données entre les terminaux au niveau des modules (4) et (5) qui constituent (3)- - 4 - La figure 2 donne un exemple de disposition des briques (6), (9) et (11) qui sont représentées graphiquement et réunies au sein d'une même interface du programme (3) s'exécutant dans un navigateur web. L'interface de (6) est dotée d'un menu déroulant de choix de scène ainsi que de contrôles de l'orientation et du champ de vision de la caméra virtuelle. A tout cela s'ajoute un bouton d'activation de la synchronisation des visites virtuelles via le système (8). Dans un premier mode de réalisation de l'invention, on considère des visites virtuelles (13) dont les scènes sont des images panoramiques sphériques (3600 horizontalement par 180° verticalement), appelées "images à 3600" par la suite. Le fait de placer, dans un moteur 3D, une caméra au centre d'une sphère texturisée de l'intérieur avec une image sphérique représentant tout le champ de vision et de permettre le contrôle de la rotation de cette caméra autour d'un axe vertical (lacet) ainsi que son inclinaison (tangage), donne l'illusion à l'utilisateur du programme de visualisation de visite virtuelle de se trouver dans l'environnement capté et de pouvoir regarder dans n'importe quelle direction. L'utilisateur a également la possibilité de passer d'une scène à une autre, ce qui a pour effet de changer la texture de la sphère. Pour résumer, les variables d'état de la visite virtuelle sont donc, dans le cas présent : un angle d'orientation horizontal de la caméra (lacet), un angle d'orientation vertical (tangage), un angle de champ de vision, et un identifiant de scène.The initialization of the module (4) consists of downloading the virtual tour of the place and establishing a communication channel in real time with the other terminals. The module (4) comprises several subroutines, called "software bricks" - (6): a virtual visit visualization brick; - (7): a brick bidirectional exchange of textual and digital data, connected to the internet connection of the terminal (1) and using the established communication channel. A virtual tour synchronization system (8) is defined in which the inputs and outputs of the bricks (6) and (7) are interconnected: - First, a minimum waiting time interval is set between successive data transmissions , in order not to overload the communication channel used at (7) - - On the terminal of the guide, as soon as a change of the state of the virtual visit contained in (6) is detected, it is checked that the time interval elapsed since the last data was sent; if this is not the case, we wait for the necessary time before sending by (7) a message containing the characteristic variables of the state of the virtual visit. -3- - On the other terminals, as soon as a message is received at (7) containing variables characterizing a state e of the virtual visit, the instruction is given to (6) to change the values of the variables d state of the virtual visit it contains so that the latter reaches the state e. - For this last point, we go through an interpolation algorithm which transforms a sequence of instructions of change of value into another one, so as to avoid the jerky displacements by the creation of intermediate values, and so to avoid displacements too fast by adding an inertia effect. This has the particular advantage of overcoming the vagaries of network transmission such as the temporary "blocking" of certain messages on the Internet and their sudden reception over a short period of time. The movements observed in the virtual visit then remain "pleasant" because they are fluid and at a reasonable speed. The initialization of the module (5) consists in establishing a communication channel in real time with the other terminals. To allow the interlocutors to communicate, the module (5) comprises: - (9): an audio and video conference brick, connected to the audio and video input and output terminals of the terminal; - (10): a two-way transfer brick of audio / video streams, connected to the internet connection of the terminal and using the established communication channel; and / or it comprises: - (11): an instant messaging brick; - (12): a brick bidirectional exchange of text data, connected to the internet connection of the terminal and using the established communication channel. The inputs and outputs of the bricks (9) and (10) are interconnected: - (9) makes it possible to recover an audio / video stream emanating from the microphone and the webcam of the terminal, and to transmit it to the other interlocutors by (10); - (9) to display on the interface the audio / video streams received by (10); as well as the inputs and outputs of the bricks (11) and (12): - (11) allows the entry of messages, sent to the other interlocutors by (12); - (11) allows the display on the interface of the messages received by (12). Figure 1 illustrates our remote guided tour system that starts with the creation of virtual tours v_1 v_n of n property or real estate projects or hoteliers B_1 B_n and their provision on the internet by hosting them on a server, as well as transfers of data on the internet which takes place during a guided tour of B_i: download of the program (3) and v_i from the server to each terminal and data transfers between the terminals at the level of the modules (4) and (5) which constitute (3) - - 4 - Figure 2 gives an example of arrangement of the bricks (6), (9) and (11) which are represented graphically and joined together within the same interface of the program (3) running in a web browser. The interface of (6) has a drop-down menu of scene choices as well as controls for the orientation and field of view of the virtual camera. All this is added a button for activating synchronization of virtual visits via the system (8). In a first embodiment of the invention, virtual tours (13) are considered whose scenes are spherical panoramic images (3600 horizontally by 180 ° vertically), called "images at 3600" thereafter. The fact of placing a camera in the center of a textured interior sphere in a 3D engine with a spherical image representing the entire field of view and allowing the control of the rotation of this camera around a vertical axis (yaw) as well as its tilt (pitch), gives the user the illusion of the virtual tour visualization program to be in the captured environment and to be able to look in any direction. The user also has the opportunity to switch from one scene to another, which has the effect of changing the texture of the sphere. To summarize, the state variables of the virtual tour are therefore, in the present case: a horizontal angle of orientation of the camera (yaw), a vertical orientation angle (pitch), an angle of field of view, and a scene ID.

Pour chaque bien concerné, il faut tout d'abord procéder à la réalisation de sa visite virtuelle (13). Chaque scène de ladite visite est basée sur une image à 360° représentant un point de vue dans l'hôtel, le bien immobilier ou le projet immobilier, et créée par un prestataire dépêché par le propriétaire. - Pour des hôtels et biens immobiliers existants, le prestataire est un photographe. Il réalise des prises de vue sur place à l'aide, par exemple, d'appareils tels que le Girocam ou le iStar qu'il positionne aux endroits choisis et qui produisent automatiquement des photographies à 3600 . - Pour des projets immobiliers, le prestataire est un modélisateur 3D. Il génère des modélisations 3D à partir de plans d'architecte, puis à partir de là il génère des images de synthèse à 360° correspondant aux points de vue sélectionnés dans l'environnement 3D. - On peut également réaliser des prises de vue réelles et travailler les photographies à 360° à l'aide d'un logiciel de retouche d'image afin d'y intégrer des images de synthèse produites à partir de modélisations 3D. Les images à 3600 sont ensuite téléchargées par les prestataires vers un serveur web, via une application web. Le propriétaire peut alors se connecter à la même application web, visualiser les images à 360° et choisir lui-même des paramètres de - 5 - configuration de la visite virtuelle, tels que les titres des scènes, leurs descriptions, la configuration initiale de la caméra et la scène chargée initialement. Les transferts de données peuvent s'effectuer par l'intermédiaire d'un serveur central auquel tous les terminaux se connectent, ou sans intermédiaire grâce à des technologies de transfert de données pair-à-pair (P2P). Dans le premier cas on peut avoir recours à une Infrastructure en tant que Service (laaS) d'échange bidirectionnel de données en temps réel tel que PubNub, ou à un serveur Node.js adapté à la réception et à l'envoi de données en temps réel par le protocole WebSocket qui est implémenté dans les navigateurs web. Dans le second cas, on peut avoir recours à WebRTC, un protocole également implémenté dans les navigateurs web. Pour les données audio/vidéo, on peut se baser sur les protocoles UDP ou TCP. Pour la messagerie instantanée et les données de synchronisation de visites on choisit de se baser exclusivement sur le protocole de transport TCP, pour sa fiabilité et son mode connecté. C'est le cas notamment avec VVebSocket. Afin de réduire la quantité d'informations qui transitent sur le canal de communication, on envoie 3 types de messages de synchronisation communiquant les événements suivants : - début ou fin de synchronisation des visites ; - changement d'orientation de la caméra ; - changement de scène.For each property concerned, it is first necessary to carry out the virtual visit (13). Each scene of the visit is based on a 360 ° image representing a point of view in the hotel, real estate or real estate project, created by a provider sent by the owner. - For hotels and real estate, the provider is a photographer. He makes shots on the spot using, for example, devices such as the Girocam or the iStar that he positions at selected locations and automatically produce photographs at 3600. - For real estate projects, the service provider is a 3D modeler. It generates 3D models from architectural plans, and from there it generates 360-degree computer-generated images corresponding to the selected viewpoints in the 3D environment. - You can also take real shots and work with 360 ° photographs using image editing software to integrate computer generated images from 3D models. The 3600 images are then uploaded by the service providers to a web server via a web application. The owner can then connect to the same web application, view the images in 360 ° and choose himself parameters of the configuration of the virtual visit, such as the titles of the scenes, their descriptions, the initial configuration of the camera and the scene initially loaded. Data transfers can be done through a central server to which all terminals connect, or without intermediary through peer-to-peer (P2P) data transfer technologies. In the first case, we can use an Infrastructure as a Service (laaS) for real-time bidirectional data exchange, such as PubNub, or a Node.js server adapted to receiving and sending data in the real world. real time by the WebSocket protocol that is implemented in web browsers. In the second case, we can use WebRTC, a protocol also implemented in web browsers. For audio / video data, we can rely on UDP or TCP protocols. For instant messaging and data synchronization visits we choose to rely exclusively on the TCP transport protocol, for its reliability and its connected mode. This is particularly the case with VVebSocket. In order to reduce the amount of information that passes through the communication channel, three types of synchronization messages are sent, communicating the following events: - start or end of synchronization of the visits; - change of orientation of the camera; - change of scene.

Nous proposons ci-dessous un mode de réalisation des briques constituant un programme (3) s'exécutant dans un navigateur web sur chaque terminal (1) : - (6) : Programme de visite virtuelle krPano, fonctionnant au sein du plugin Adobe Flash. krPano dispose d'une API permettant de consulter et de régler son état, ainsi que d'un algorithme de tween. - (7) et (12) : Programme JavaScript fourni par la société PubNub et communiquant avec leur Infrastructure en tant que Service (laaS) d'échange bidirectionnel de données en temps réel. - (9) : Programme fourni par la société OpenTok et fonctionnant au sein du plugin Adobe Flash. - (10) : Technologie de diffusion de flux audio/vidéo "Live P2P vidéo streaming" fournie par Adobe Flash et basée sur le protocole RTFMP, lui-même basé sur UDP. - (11) : Programme JavaScript. Alternativement, une réalisation uniquement basée sur des standards web et librairies logicielles libres est possible : - (6) : Programme JavaScript reposant sur la librairie Three.js pour le rendu d'images sphériques dans une Skybox créée à l'aide de CSS 3D Transforms. -6- - (7) et (12) : Programme JavaScript utilisant Socket.io et permettant un échange bidirectionnel de données en temps réel avec un serveur Node.js central. - (9) : Programme JavaScript utilisant la méthode getUserMedia et Stream API exposées par le navigateur web, gérant les flux audio et vidéo et permettant l'accès à la webcam, aux haut-parleurs et au microphone. (10) : Programme JavaScript utilisant la librairie PeerJS, qui repose sur WebRTC et sur la DataChannels API exposée par le navigateur web, pour communiquer directement avec les autres terminaux (de pair à pair). - (11) : Programme JavaScript.We propose below an embodiment of the bricks constituting a program (3) executing in a web browser on each terminal (1): - (6): Program of virtual visit krPano, working within the Adobe Flash plugin. krPano has an API for viewing and adjusting its status, as well as a tween algorithm. - (7) and (12): JavaScript program provided by PubNub and communicating with their Infrastructure as a Service (laaS) for two-way data exchange in real time. - (9): Program provided by the company OpenTok and running within the Adobe Flash plugin. - (10): "Live P2P video streaming" audio / video streaming technology provided by Adobe Flash and based on the RTFMP protocol, itself based on UDP. - (11): JavaScript program. Alternatively, a realization based only on web standards and free software libraries is possible: - (6): JavaScript program based on the library Three.js for the rendering of spherical images in a Skybox created using CSS 3D Transforms . -6- - (7) and (12): JavaScript program using Socket.io and allowing bidirectional data exchange in real time with a central Node.js server. - (9): JavaScript program using the getUserMedia and Stream API method exposed by the web browser, managing the audio and video streams and allowing access to the webcam, the speakers and the microphone. (10): A JavaScript program that uses the PeerJS library, which relies on WebRTC and the DataChannels API exposed by the web browser, to communicate directly with other terminals (peer-to-peer). - (11): JavaScript program.

Afin de gérer plusieurs visites guidées simultanées (du même lieu ou de lieux différents), on utilise une application web hébergée sur un serveur central et à laquelle se connectent des utilisateurs. Chacun est affecté à une visite guidée. L'application web peut créer des "canaux" de communication uniques pour chaque visite guidée, et les passer en paramètre aux briques (7), (10) et/ou (12) des programmes web (3) fournis aux utilisateurs afin de mettre ces derniers en relation. Un "canal" prend simplement la forme d'un identifiant communiqué lors des échanges de données, et éventuellement d'informations sur les utilisateurs associés à ce canal. Par ailleurs, l'application web a la tâche de servir les visites virtuelles, et ce peut même être la même application qu'utilise le propriétaire et le prestataire pour la création desdites visites. Nous donnons ci-dessous un exemple de mise en relation d'interlocuteurs et de déroulement d'une visite guidée : - Un bouton de contact est situé sur une page web dédiée à un bien immobilier à visiter, et est actif quand au moins un agent est disponible pour réaliser une visite guidée. - Un agent G se connecte à une application web et signale qu'il est disponible. - Quand un visiteur V clique sur ce bouton, il arrive sur le programme web de visite guidée (ce qui a pour effet de charger la visite virtuelle du bien sur son terminal). - G est notifié, il arrive à son tour sur le programme web de visite guidée. - Un nouveau canal de communication unique est créé et passé en paramètre à (7), (10) et/ou (12), et G n'est alors plus disponible pour réaliser une autre visite guidée. S'il n'était pas le seul agent disponible, alors le bouton de contact mentionné précédemment reste actif, et si un autre visiteur clique dessus il sera mis en relation avec un autre agent au sein d'une autre visite guidée du même bien. Ainsi, c'est ce canal de communication unique qui identifie une visite guidée. - Un nouveau canal de communication unique est créé et passé en paramètre à (9). - L'un des deux interlocuteurs peut alors appeler l'autre, la conférence commence dès acceptation de l'appel et s'affiche en superposition de la visite virtuelle. -7- - Les interlocuteurs peuvent visionner librement la visite virtuelle qui s'affiche sur leur terminal. - G, qui a le rôle de guide, peut "prendre la main" sur la visite ce qui a pour effet de "bloquer" les interactions de V sur sa visite virtuelle et de la synchroniser sur celle de G grâce à la connexion en temps réel entre les terminaux. G peut ainsi guider la visite en choisissant quelle image à 3600 montrer à V, quoi montrer au sein de cette image, tout en conversant avec lui. - Les interlocuteurs peuvent en inviter d'autres à les rejoindre, ou convenir d'un rendez-vous ultérieur et envoyer une invitation par email à plusieurs personnes, qui contiendra une adresse web formée à partir de l'identifiant de la visite guidée et qui permettra d'y avoir accès. - Une fois que G quitte la visite, il redevient disponible.In order to manage several simultaneous guided tours (from the same place or different places), we use a web application hosted on a central server and to which users connect. Everyone is assigned to a guided tour. The web application can create unique "channels" of communication for each guided tour, and pass them as parameters to the bricks (7), (10) and / or (12) web programs (3) provided to users in order to these last ones in relation. A "channel" simply takes the form of an identifier communicated during data exchanges, and possibly information on the users associated with this channel. In addition, the web application has the task of serving virtual tours, and it may even be the same application used by the owner and the provider for the creation of such visits. We give below an example of putting in relation of interlocutors and course of a guided tour: - A button of contact is located on a web page dedicated to a property to visit, and is active when at least an agent is available for a guided tour. - Agent G connects to a web application and reports that it is available. - When a visitor V clicks on this button, he arrives on the web program of guided visit (which has the effect of loading the virtual visit of the good on his terminal). - G is notified, he arrives in turn on the guided tour web program. - A new unique communication channel is created and passed as a parameter to (7), (10) and / or (12), and G is then no longer available to perform another guided tour. If he was not the only agent available, then the previously mentioned contact button remains active, and if another visitor clicks on it he will be connected to another agent within another guided tour of the same property. Thus, it is this unique communication channel that identifies a guided tour. - A new unique communication channel is created and passed as a parameter to (9). - One of the two interlocutors can then call the other, the conference begins upon acceptance of the call and is displayed as an overlay of the virtual tour. -7- - The interlocutors can freely view the virtual tour that appears on their terminal. - G, who has the role of guide, can "take the hand" on the visit which has the effect of "blocking" the interactions of V on his virtual visit and synchronize it on that of G thanks to the connection in time real between the terminals. G can thus guide the visit by choosing which image to 3600 show to V, what to show within this image, while conversing with him. - The interlocutors can invite others to join them, or arrange a future appointment and send an invitation by email to several people, which will contain a web address formed from the ID of the guided tour and which will allow access. - Once G leaves the tour, he becomes available again.

Claims (5)

REVENDICATIONS1) Dispositif de visite guidée à distance permettant à des interlocuteurs équipés de terminaux multimédia connectés (1) d'échanger de manière interactive autour de visites virtuelles de biens ou projets immobiliers ou hôteliers, caractérisé en ce qu'il comprend les étapes suivantes : - Réalisation de visites virtuelles des lieux donnés (2) et mise à disposition sur internet ; - Pour chaque visite guidée d'un lieu donné, téléchargement et exécution sur le terminal de chaque interlocuteur d'un programme informatique (3) constitué d'un module de visite virtuelle synchronisée (4) et d'un module de communication (5) pouvant être utilisés simultanément.CLAIMS1) Remote guided tour device allowing interlocutors equipped with connected multimedia terminals (1) to exchange interactively around virtual tours of property or real estate projects or hotels, characterized in that it comprises the following steps: - Realization of virtual visits of the given places (2) and making available on the internet; - For each guided tour of a given place, download and execution on the terminal of each interlocutor of a computer program (3) consisting of a synchronized virtual tour module (4) and a communication module (5) can be used simultaneously. 2) Dispositif selon la revendication 1, caractérisé en ce que les visites virtuelles (2) sont des visites virtuelles (13), basées sur des images à 3600 photographiques ou de synthèse.2) Device according to claim 1, characterized in that the virtual tours (2) are virtual tours (13), based on 3600 images or photographic synthesis. 3) Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que : - le module (4) contient une brique de visualisation de visite virtuelle (6) et une brique d'échange bidirectionnel de données (7), interconnectées au sein d'un système de synchronisation des visites virtuelles (8) dont on rappelle brièvement le principe : o sur le terminal du guide, dès qu'un changement d'état de la visite virtuelle est détecté suite à une interaction du guide, les variables caractéristiques du nouvel état sont envoyées aux autres terminaux par l'intermédiaire de la connexion entre terminaux ; o en parallèle, sur chacun des autres terminaux les données reçues sont utilisées afin de régler l'état de la visite virtuelle. - le module (5) contient une brique d'audio et vidéo conférence (9) interconnectée à une brique de transfert bidirectionnel de flux audio/vidéo (10), et/ou une brique de messagerie instantanée (11) interconnectée à une brique de transfert bidirectionnel de données textuelles (12).3) Device according to any one of the preceding claims, characterized in that: - the module (4) contains a virtual visit visualization brick (6) and a bidirectional data exchange brick (7), interconnected within a system of synchronization of virtual visits (8) whose principle is briefly recalled: o on the terminal of the guide, as soon as a change of state of the virtual visit is detected following an interaction of the guide, the characteristic variables new state are sent to the other terminals via the connection between terminals; o In parallel, on each of the other terminals the received data are used in order to regulate the state of the virtual visit. the module (5) contains an audio and video conference brick (9) interconnected to a two-way audio / video stream transfer brick (10), and / or an instant messaging brick (11) interconnected with a brick of bidirectional transfer of textual data (12). 4) Dispositif selon la revendication 3 caractérisé en ce que les briques (7), (10) et (12) sont basées sur des connexions de chaque terminal (1) à un serveur central.4) Device according to claim 3 characterized in that the bricks (7), (10) and (12) are based on connections of each terminal (1) to a central server. 5) Dispositif selon la revendication 3 caractérisé en ce qu'au moins l'une des briques (7), (10) et (12) est basée sur une connexion pair-à-pair entre les terminaux (1).5) Device according to claim 3 characterized in that at least one of the bricks (7), (10) and (12) is based on a peer-to-peer connection between the terminals (1).
FR1300367A 2013-02-18 2013-02-18 Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously Pending FR3002403A3 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1300367A FR3002403A3 (en) 2013-02-18 2013-02-18 Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously
FR1451291A FR3002404A1 (en) 2013-02-18 2014-02-18 SHARED VISUALIZATION SYSTEM OF PREDETERMINED PLACES

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1300367A FR3002403A3 (en) 2013-02-18 2013-02-18 Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously

Publications (1)

Publication Number Publication Date
FR3002403A3 true FR3002403A3 (en) 2014-08-22

Family

ID=50424635

Family Applications (2)

Application Number Title Priority Date Filing Date
FR1300367A Pending FR3002403A3 (en) 2013-02-18 2013-02-18 Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously
FR1451291A Pending FR3002404A1 (en) 2013-02-18 2014-02-18 SHARED VISUALIZATION SYSTEM OF PREDETERMINED PLACES

Family Applications After (1)

Application Number Title Priority Date Filing Date
FR1451291A Pending FR3002404A1 (en) 2013-02-18 2014-02-18 SHARED VISUALIZATION SYSTEM OF PREDETERMINED PLACES

Country Status (1)

Country Link
FR (2) FR3002403A3 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2021134553A (en) * 2017-09-08 2021-12-28 Лифтвэйв, Инк. Дба Райз Роботикс HIGH DROP BELT DRIVE LINEAR ACTUATOR

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
US20040183826A1 (en) * 2003-02-20 2004-09-23 Taylor Jaime R. Method for providing images of real property in conjunction with their directional orientation

Also Published As

Publication number Publication date
FR3002404A1 (en) 2014-08-22

Similar Documents

Publication Publication Date Title
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
US10911716B2 (en) System and method for interactive video conferencing
WO2015166573A1 (en) Live broadcast system
US20220256231A1 (en) Systems and methods for synchronizing data streams
EP2057632A1 (en) Method of management of a multimedia program, server, terminals, signal and corresponding computer programs
CN108632633A (en) A kind of data processing method and device of network direct broadcasting
CN108632632A (en) A kind of data processing method and device of network direct broadcasting
TWI619037B (en) Method and system for generating content through cooperation among users
US20180336069A1 (en) Systems and methods for a hardware agnostic virtual experience
CN108635863A (en) A kind of data processing method and device of network direct broadcasting
FR3022657A1 (en) METHOD OF SHARING NAVIGATION ON A WEB PAGE DISPLAYED BY A WEB BROWSER
WO2019056001A1 (en) System and method for interactive video conferencing
Fechteler et al. A framework for realistic 3D tele-immersion
US20230353616A1 (en) Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination
FR3002403A3 (en) Remotely guided viewing device for allowing interlocutors equipped with connected multimedia terminals to exchange virtual visits of e.g. real estate projects, has viewing module and communication module that are used simultaneously
JP7345812B1 (en) Systems, methods, and computer-readable media for video processing
EP2005710A2 (en) Method and system for the dynamic management of the transmission of streams within a plurality of terminals
EP3061259A1 (en) Multipoint broadcast method
KR102096733B1 (en) Video reproduction service method and server
KR20170085781A (en) System for providing and booking virtual reality video based on wire and wireless communication network
WO2017103480A1 (en) System and method for performing a tour of the table during a remote meeting
CN115052186B (en) Screen projection method and related equipment
FR3027181A1 (en) MEANS FOR MANAGING AND MODERATING VIDEOCONFERENCES
FR3124289A1 (en) Method for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually
US20030038843A1 (en) System and method for providing customer support using images over a network