FR2961919A1 - Procede de traitement d'une scene audiovisuelle 360 degres, procede de distribution de ladite scene, dispositifs et programmes d'ordinateur associes - Google Patents

Abstract

L'invention concerne un procédé de traitement d'une scène multimédia distribuée dans un réseau de télécommunications par un serveur à une pluralité de terminaux d'utilisateurs connectés audit réseau. Selon l'invention, ledit procédé comprend les étapes suivantes, destinées à être mises en œuvre par un terminal de ladite pluralité de terminaux, ledit terminal étant connecté à un support de visualisation 360 degrés centré sur un premier utilisateur : -réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés; - décodage desdits flux au fur et à mesure de leur réception; - détection d'un positionnement angulaire dudit utilisateur par rapport à un référentiel du support de visualisation; - affichage d'au moins une partie de la scène multimédia 360 degrés décodée sur ledit support de visualisation et rendu du son associé, en fonction dudit positionnement angulaire détecté; - transmission d'informations relatives à la partie de la scène visualisée et écoutée par l'utilisateur à destination d'au moins un deuxième terminal d'utilisateur pour utilisation.

Description

Procédé de traitement d'une scène audiovisuelle 360 degrés, procédé de distribution de ladite scène, dispositifs et programmes d'ordinateur associés Domaine de l'invention Le domaine de l'invention est celui des télécommunications, et plus particulièrement de la transmission de contenus audiovisuels de type 360 degrés. On trouve aujourd'hui dans le commerce des caméras permettant de réaliser des films 360 degrés. Ces caméras sont munies de plusieurs objectifs, généralement 6 à 12, qui filment chacun selon un angle de vue. Les différentes prises de vues sont ensuite transformées en une seule vidéo planisphérique, selon une technique dite de "stitching", destinée à être "mappée" sur un écran d'un dispositif de visualisation dédié ou non. Un tel dispositif de traitement est spécifiquement adapté au traitement en vue de la visualisation de contenus audiovisuels de type 360 degrés. Il est capable de traiter un flux de données représentatif d'un contenu audiovisuel de type 360 degrés de "déposer" les informations relatives à une texture du contenu 360 degrés sur une sphère ou un cube virtuels et à restituer une partie de cette sphère ou de ce cube sur un écran de visualisation, par exemple un écran d'ordinateur personnel PC ("Persona/ Computer", en anglais) ou de terminal mobile. Par l'intermédiaire de commandes, par exemple en pressant certaines touches d'un clavier d'ordinateur, il est possible de faire tourner la sphère ou le cube et de modifier ainsi la partie visualisée sur l'écran. Les 360 degrés du contenu audiovisuel peuvent être donc être visualisés morceau par morceau. Il est également connu d'utiliser des écrans spécifiques, par exemple des "Head mounted display" ou HMD, qui se fixent sur la tête de l'utilisateur. Un HMD est généralement constitué de : lunettes immersives, dotées de micro-écrans d'affichage ("microdisplay", en anglais) sur lesquels l'utilisateur peut visualiser une partie de la scène 360 degrés; d'un gyroscope ("headtracker", en anglais) permettant de détecter les mouvements de la tête et de les remonter vers un module de traitement adapté. Il s'agit par exemple du modèle FRCM-HC3 tracker de la société Hillcrest; Des écouteurs adaptés à la réception du son.

De façon connue, un HMD se connecte à un ordinateur de type PC ou un terminal mobile via une prise de type VGA, HDMI ou DVI. Un client logiciel installé sur l'ordinateur ou le terminal est apte gérer la connexion du HMD au terminal et à piloter l'envoi de l'image restituée par le dispositif de traitement de contenus audiovisuels 360 degrés inclus dans l'ordinateur dans les lunettes plutôt que (ou simultanément) sur l'écran du PC.

Les mouvements de la tête détectés par le headtracker sont remontés au niveau du dispositif de traitement qui est apte à calculer une nouvelle image à afficher dans les lunettes en fonction de la nouvelle position de la tête de l'utilisateur. En tournant la tête, l'utilisateur a donc la possibilité de visualiser dans ses lunettes sphériques une portion de la scène 360 degrés correspondant environ à son champ de vision.

Il est notamment connu du document WO2005/017729 d'utiliser un tel dispositif HMD pour visualiser un objet audiovisuel virtuel superposé à une scène réelle observée par l'utilisateur à travers ses lunettes. Les dispositifs HMD sont généralement utilisés pour des applications de jeux vidéo et pour des simulations dans le domaine militaire, au cours desquelles l'utilisateur fait partie de la scène visualisée par les participants. A cet égard, le document WO2009/117450 décrit une méthode de production d'une scène audiovisuelle immersive impliquant des participants équipés de tels dispositifs HMD. Les inventeurs ont constaté un nouveau besoin des utilisateurs de partager avec d'autres une expérience de visualisation immersive d'un contenu audiovisuel diffusé par un fournisseur de contenus, par exemple en mode streamé. Obiet et résumé de l'invention Selon un premier aspect, l'invention concerne un procédé de traitement d'une scène multimédia 360 degrés distribuée dans un réseau de télécommunications par un serveur à une pluralité de terminaux d'utilisateurs connectés audit réseau, caractérisé en ce que, ledit procédé comprend les étapes suivantes, destinées à être mises en oeuvre par un terminal de ladite pluralité de terminaux, ledit terminal étant connecté à un support de visualisation et d'écoute 360 degrés centré sur un premier utilisateur : -réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés ; - décodage desdits flux au fur et à mesure de leur réception; - détection d'un positionnement angulaire dudit utilisateur par rapport à un référentiel du support sphérique; - affichage d'au moins une partie de la scène multimédia 360 degrés décodée sur ledit support de visualisation et rendu du son associé, en fonction du positionnement angulaire détectée; - transmission d'informations relatives à la partie de la scène visualisée et écoutée par l'utilisateur à destination d'au moins un deuxième terminal d'utilisateur pour utilisation.

L'invention permet à un utilisateur de recevoir les flux de données constitutifs d'une scène multimédia 360 degrés et d'en "jouer" une partie, correspondant à un secteur angulaire de cette scène, sur un support 360 degrés, par exemple des lunettes sphériques d'un dispositif HMD. On comprend en effet que le champ de vision de ce premier utilisateur ne lui permet pas de visualiser et d'écouter l'intégralité de la scène 360 degrés en une seule fois. Il doit donc tourner la tête afin de découvrir la scène 360 degrés secteur angulaire par secteur angulaire. La position de sa tête, en particulier sa position angulaire, est donc calculée par rapport à un référentiel du support de visualisation et le secteur angulaire de la scène à afficher sur le support de visualisation, autour de cette position angulaire, est déduit de cette position. Avantageusement, le rendu du son associé à l'image projetée sur le support de visualisation pourra être spatialisé, de façon à renforcer la sensation d'immersion de l'utilisateur dans la scène audiovisuelle. On notera que le support de visualisation 360 degrés peut prendre des formes variées, par exemple être cubique ou encore constitué d'une pluralité d'écrans orientés selon des angles différents et disposés côte à côte.

L'invention permet en outre de remonter à au moins un deuxième utilisateur des informations relatives à la partie de scène visualisée et écoutée par le premier utilisateur. En effet, comme la scène audiovisuelle a un champ de 360 degrés, elle ne peut pas être embrassée d'un seul regard. Par conséquent, deux utilisateurs, qui reçoivent en même temps les flux audio et vidéo de la scène 360 degrés, ne visualisent et n'écoutent pas nécessairement le même secteur angulaire de cette scène. Grâce aux informations remontées dans le réseau par le terminal du premier utilisateur, le deuxième utilisateur peut déduire la partie de scène que le premier utilisateur est en train de voir et écouter. De cette manière, il peut partager, s'il le souhaite, son expérience d'immersion dans la scène 360 degrés. Ainsi, l'invention propose une solution nouvelle et inventive de communication 5 immersive. Selon un aspect de l'invention, les informations relatives à la partie de la scène visualisée et écoutée par le premier utilisateur comprennent au moins le secteur angulaire de ladite partie de scène et/ou l'orientation angulaire de l'utilisateur. Une telle information peut avantageusement être utilisée par le terminal du deuxième 10 utilisateur pour indiquer à l'aide d'un signal visuel la partie de la scène visualisée et écoutée par le premier utilisateur. Selon un autre aspect de l'invention, les informations relatives à la partie de la scène visualisée et écoutée par le premier utilisateur comprennent au moins un signal vocal représentatif d'une réaction de l'utilisateur à la partie de scène qu'il visualise. 15 Par exemple, l'utilisateur s'exclame "Oh, regarde à droite!" pour attirer l'attention des autres utilisateurs sur la partie de scène qu'il visualise et échanger avec eux. On comprend que, selon ce mode de réalisation, une session de communication voix a été établie entre le premier et le deuxième utilisateur en parallèle de la session de streaming des flux vidéo depuis le serveur de contenus. Une telle communication peut impliquer un 20 serveur d'application du réseau de télécommunications, apte à mettre en relation les deux terminaux d'utilisateurs. Selon un aspect de l'invention, le procédé de traitement comprend une étape de réception d'informations relatives à une partie de scène visualisée par un troisième utilisateur et une étape d'adaptation de la partie de scène visualisée à l'aide des informations reçues. 25 Comme évoqué précédemment en relation avec le premier utilisateur, ces informations peuvent être de différents types, tels que par exemple, le secteur angulaire de la partie de scène visualisée ou un signal vocal de réaction. Lorsque les informations prennent la forme de valeurs de secteurs et position angulaires, l'étape d'adaptation peut consister en la superposition à la scène projetée d'une 30 indication de direction, par exemple une flèche pointant vers la partie de scène visualisée par le troisième utilisateur. Ainsi le premier utilisateur est incité à tourner la tête vers cette partie de scène et à partager le même contenu audiovisuel que le troisième utilisateur. Lorsque les informations prennent la forme d'un signal de vocal de réaction, une telle 5 adaptation peut consister en l'envoi d'un rendu sonore de ce signal vocal dans les lunettes selon une orientation angulaire représentative du troisième utilisateur. Avantageusement, on peut associer préalablement à chaque utilisateur participant à la session de diffusion de la scène audiovisuelle, une orientation angulaire sonore, de telle sorte qu'à chaque fois que cet utilisateur émettra un signal vocal, il sera reçu par les autres dans leur 10 dispositif de traitement, avec cette orientation angulaire. On comprend que cette orientation angulaire associée constitue une sorte de signature sonore de l'utilisateur. Selon une variante, le signal vocal de réaction émis par le troisième utilisateur est transmis dans le dispositif de traitement des autres utilisateurs avec l'orientation angulaire remontée par le terminal du troisième utilisateur à titre d'informations relatives à la partie de 15 scène qu'il visualise et écoute. Avantageusement, le premier utilisateur sera incité à tourner la tête dans la direction du son qu'il perçoit et se trouvera face à la même partie de scène que le troisième utilisateur. Selon un aspect de l'invention, la scène multimédia est constituée d'un seul contenu audiovisuel représenté sous la forme flux audio et d'un flux vidéo, 20 Selon un autre aspect de l'invention, la scène multimédia est constitué d'une pluralité de contenus ou applications représentés chacun sous la forme d'un flux audio et d'un flux vidéo ou d'un fichier selon le type de contenu, et de métadonnées décrivant une organisation spatiale desdits contenus les uns par rapport aux autres sur le support sphérique. Avantageusement, de telles métadonnées comprennent une position angulaire dans un référentiel du support de 25 visualisation centré sur l'utilisateur. Selon ce mode de réalisation de l'invention, l'étape d'affichage consiste à afficher le contenu de la pluralité de contenus de la scène multimédia dont la position angulaire est la plus proche de celle de l'utilisateur et à effectuer un rendu du son associé à ce contenu. Selon un autre aspect de l'invention, les informations reçues d'un troisième utilisateur 30 au cours de l'étape de réception comprennent un identifiant du contenu de la pluralité de contenus visualisé et écouté par le troisième utilisateur et l'étape d'adaptation comprend une superposition à la scène projetée au premier utilisateur d'une indication visuelle ou sonore du contenu visualisé et écouté par le troisième utilisateur et identifié à partir dudit identifiant reçu. L'invention concerne aussi un procédé de distribution d'au moins un flux vidéo et un flux audio constitutifs d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce que ledit procédé comprend les étapes suivantes : - distribution desdits flux aux terminaux, un terminal étant apte à décoder les flux vidéo et audio au fur et à mesure de leur réception et à projeter au moins une partie de la scène multimédia décodée sur un support de visualisation 360 degrés centré sur l'utilisateur; - réception, en provenance d'au moins un premier terminal de ladite pluralité de terminaux, d'informations relatives à la partie de scène visualisée par l'utilisateur de ce premier terminal; - retransmission desdites informations à au moins un deuxième terminal d'utilisateur. Un tel procédé est avantageusement mis en oeuvre par une plateforme de service du réseau de télécommunications, apte à rendre le service de distribution des flux audio et vidéo constitutifs de la scène audiovisuelle 360 degrés en établissant par exemple une session de streaming avec les terminaux d'utilisateurs impliqués et, le cas échéant, à les mettre en relation.

L'invention concerne aussi un dispositif de traitement d'une scène multimédia 360 degrés. Un tel dispositif est destiné à être connecté à un terminal d'utilisateur de ladite pluralité de terminaux ou intégré à ce terminal et il est connecté à un support de visualisation 360 degrés centré sur un premier utilisateur. Selon l'invention, ledit dispositif de traitement comprend les moyens suivants : -réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés ; - décodage desdits flux au fur et à mesure de leur réception; - détection d'une orientation angulaire dudit utilisateur par rapport à un référentiel du support de visualisation; - affichage d'au moins une partie de la scène multimédia 360 degrés décodée sur ledit support de visualisation sphérique et retransmission du son associé, en fonction de la position angulaire détectée; - transmission d'informations relatives à la partie de la scène visualisée par l'utilisateur à 5 destination d'au moins un deuxième terminal d'utilisateur pour utilisation. L'invention concerne aussi un dispositif de distribution d'au moins un flux vidéo et un flux audio constitutifs d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce que ledit dispositif est apte à mettre en oeuvre les moyens suivants : 10 - distribution desdits flux aux terminaux, un terminal étant apte à décoder les flux vidéo et audio au fur et à mesure de leur réception et à projeter au moins une partie de la scène multimédia décodée sur un support de visualisation centré sur l'utilisateur; - réception, en provenance d'au moins un premier terminal de ladite pluralité de terminaux, d'informations relatives à la partie de scène visualisée par l'utilisateur de ce premier terminal; 15 - retransmission desdites informations à au moins un deuxième terminal d'utilisateur. Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de traitement selon l'invention. Ainsi, les caractéristiques et avantages de ce décodeur sont les mêmes que ceux du procédé de traitement, et ne sont pas détaillés plus amplement. L'invention concerne aussi un système de distribution d'une scène multimédia 360 20 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce qu'il comprend au moins un dispositif de distribution d'une scène multimédia et un dispositif de traitement de ladite scène multimédia selon l'invention. L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en oeuvre d'un procédé de traitement tels que décrits précédemment, lorsque ce 25 programme est exécuté par un processeur. Un tel programme peut utiliser n'importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. L'invention concerne enfin un programme d'ordinateur comportant des instructions pour la mise en oeuvre d'un procédé de distribution tels que décrits précédemment, lorsque ce 30 programme est exécuté par un processeur. Un tel programme peut utiliser n'importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur.

Liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la figure 1 présente de façon schématique un système de communication d'une scène audiovisuelle 360 degrés à une pluralité de terminaux d'utilisateurs selon l'invention; la figure 2 présente les principales étapes mises en oeuvre par le procédé de traitement d'une scène audiovisuelle 360 degrés selon un mode de réalisation de l'invention ; la figure 3 présente les principales étapes mises en oeuvre par le procédé de distribution d'une scène audiovisuelle 360 degrés selon un mode de réalisation de l'invention ; la figure 4 présente, sous la forme d'un diagramme de flux, un premier exemple de mode de réalisation de l'invention; la figure 5 présente, sous la forme d'un diagramme de flux, un deuxième exemple de mode de réalisation de l'invention; la figure 6 présente respectivement la structure d'un dispositif de traitement selon l'invention; l'invention; et la figure 7 présente respectivement la structure d'un dispositif de distribution selon l'invention.

Description d'un mode de réalisation de l'invention Pour rappel, le principe de l'invention repose sur la distribution en temps réel à une pluralité de terminaux d'utilisateurs d'une scène audiovisuelle 360 degrés dont chacun visualise la partie qu'il souhaite et sur la remontée dans le réseau, par ces utilisateurs, d'informations relatives à la partie de scène visualisée et écoutée par chacun, afin qu'elles soient retransmises aux autres utilisateurs et qu'ils les utilisent pour partager leur expérience multimédia immersive. En relation avec la figure 1, on présente un exemple de système de communication d'une scène multimédia 360 degrés selon l'invention. On considère un réseau de télécommunications NT, qui peut être de type mobile, par exemple 3G ou fixe, par exemple Internet, et trois terminaux d'utilisateur Ti, T2, T3 connectés à ce réseau. Le premier terminal d'utilisateur Ti est un terminal mobile 3G, le deuxième terminal d'utilisateur T2 est un ordinateur personnel et le troisième terminal est un appareil multimédia.

Ces trois types de terminaux sont aussi appelés Pods. Leur connexion avec le réseau de télécommunications est réalisée pour les terminaux T2 et T3 par l'intermédiaire d'une passerelle résidentielle ("home gateway', en anglais) via un lien filaire ou sans fil (Wifi). Les terminaux Ti, T2, T3 sont d'autre part connectés à un dispositif HMD1, HMD2, HMD3, de type HMD permettant la visualisation et l'écoute de la scène 360 degrés sur un support sphérique, par exemple des lunettes sphériques. Des utilisateurs UT1, UT2 et UT3 des terminaux Ti, T2 et T3 placent le dispositif HMD sur leur tête en vue de la visualisation de la scène. On considère maintenant une plateforme de service PFS 100 apte à délivrer un service de communication de scène multimédia 360 degrés selon l'invention. Une telle plateforme 15 comprend plusieurs serveurs, qui peuvent être placés en différents endroits du réseau de télécommunications NT : - un premier serveur Web 120, comprenant le portail Web auprès duquel les utilisateurs s'inscrivent au service et choisissent la scène multimédia 360 degrés qu'ils souhaitent visualiser. Le cas échéant, ils peuvent aussi choisir un horaire de diffusion; 20 un deuxième serveur 130 de contenus, apte à stocker dans une mémoire M les flux DS audio et vidéos constitutifs des scènes multimédia 360 degrés disponibles pour la mise en oeuvre du service; un troisième serveur d'application 110 apte à rendre le service de communication, notamment en traitant les requêtes d'accès au service émises par des terminaux 25 d'utilisateurs via le premier serveur Web 120, en établissant les sessions de communications multimédia et le cas échéant voix sur IP avec les terminaux d'utilisateurs inscrits et en déclenchant la diffusion des flux audio et vidéos constitutifs de la scène multimédia 360 degrés auprès du serveur de contenus 130. A l'heure prévue ou suite à la requête d'un utilisateur, le serveur d'application 110 30 déclenche la distribution des flux DS audio et vidéo constitutifs de la scène 360 degrés. De façon avantageuse, leur distribution se fait en mode streamé dans le réseau de télécommunications NT aux terminaux d'utilisateurs Ti, T2 inscrits à la session. Les terminaux d'utilisateurs Ti, T2 traitent les flux au fur et à mesure de leur réception et commandent l'affichage d'une partie de la scène multimédia 360 degrés sur le support de visualisation HMD1, HMD2 et HMD3. Pour ce faire, les terminaux d'utilisateurs mettent en oeuvre le procédé de traitement selon l'invention qui va maintenant être décrit en relation avec la figure 2. Dans une étape El, au moins un flux vidéo et d'au moins un flux audio DS constitutifs de la scène multimédia 360 degrés sont reçus par le dispositif de traitement des terminaux Ti et T2.

Dans une étape E2, ils sont décodés au fur et à mesure de leur réception; Dans une étape E3, des données représentatives d'un positionnement angulaire dudit utilisateur UT1, UT2 par rapport à un référentiel du support sphérique sont reçues en provenance du dispositif HMD1, HMD2; Dans une étape E4, des coordonnées représentatives d'une partie de scène à afficher sur le support de visualisation sont calculées en fonction du positionnement angulaire de l'utilisateur; Dans une étape E5, la partie de la scène multimédia 360 degrés décodée est envoyée sur ledit support de visualisation sphérique HMD1, HMD2 pour affichage et écoute. Dans une étape E6, des informations UR1 relatives à la partie de la scène visualisée par l'utilisateur UT1 sont transmises dans le réseau de télécommunications à destination d'au moins un deuxième terminal d'utilisateur T2 pour utilisation. On notera que cette étape de transmission peut être mise en oeuvre dès réception des données en E3, ou plus tard. Dans cet exemple, on considère que l'utilisateur UT3 s'inscrit à la session de communication immersive alors qu'elle a déjà commencé. Dans ce cas, le terminal d'utilisateur T3 reçoit les flux audio et vidéo DS à partir de l'instant où il rejoint la session. Son dispositif de traitement met alors en oeuvre le procédé de traitement selon l'invention qui vient d'être décrit. Au cours d'une étape E7, des informations UR3 relatives à la partie de la scène visualisée par un utilisateur UT3 sont reçues, puis traitées en E8. Elles sont ensuite superposées visuellement ou par un rendu sonore à la partie de scène visualisée et écoutée par l'utilisateur UT1.30 Selon l'invention, le service de communication immersive est déployé par la plateforme de service PFS. Pour ce faire, elle met en oeuvre un procédé de distribution qui va maintenant être décrit en relation avec la figure 3. Dans une première étape D1, une requête RQ est reçue en provenance du premier terminal d'utilisateur Ti pour accéder au service. De façon avantageuse, cette requête comprend une indication de la scène multimédia 360 degrés S1 choisie par l'utilisateur Ti. Elle peut comprendre en outre un horaire H de début de séance. Dans une étape D2, une communication est établie par la plateforme de service PFS avec le terminal d'utilisateur Ti et la distribution des flux audio et vidéo DS constitutifs de la scène multimédia au terminal d'utilisateur Ti est initiée en D3. Dans un exemple de réalisation de l'invention selon lequel la retransmission de la scène commence à un horaire H prédéterminé, les flux DS sont distribués à partir de l'heure H vers tous les terminaux Ti, T2 des utilisateurs UT1, UT2 inscrits au service pour cet horaire. Dans une étape D4, la plateforme de service PFS reçoit de la part du terminal d'utilisateur Ti des informations UR1 relatives à la partie de scène qu'il visualise. Comme évoqué précédemment, de telles informations peuvent être de types variés. Selon un aspect de l'invention, ces informations prennent la forme d'un signal vocal SV1 émis par l'utilisateur UT1 en réaction à la scène S1 qu'il visualise. Selon ce mode, on comprend qu'il est nécessaire qu'un canal de communication de type voix, par exemple VoIP, ait été préalablement établi au cours d'une étape D2', entre le terminal d'utilisateur Ti et la plateforme de service PFS. Au cours d'une étape D5, les informations UR1 sont traitées par la PFS. Selon un premier exemple de réalisation, ces informations représentatives d'un positionnement angulaire de l'utilisateur UT1 sont traitées localement par la plateforme de service PFS et utilisées pour adapter les flux de données DS transmis au premier utilisateur UT1. A titre d'exemple, on peut envisager que seul le secteur angulaire de la sphère correspondant au positionnement angulaire de l'utilisateur lui soit transmis, plutôt que l'intégralité de la scène 360 degrés, afin d'économiser de la bande passante. Dans un deuxième exemple de réalisation, ces informations représentent un positionnement angulaire du premier utilisateur UT1. Au cours de l'étape D5, elles peuvent être insérées dans un message à destination des autres utilisateurs UT2 et UT3, qui est transmis au cours d'une étape D6. Dans un troisième exemple de réalisation, ces informations prennent la forme d'un signal vocal et l'étape D5 de traitement consiste à acheminer ce signal vers les autres utilisateurs UT2, UT3 parties à la session via le canal de communication voix. On notera que l'établissement de la communication voix est mise en oeuvre de façon différente selon le nombre d'utilisateurs parties à la séance d'immersion. On considère tout d'abord l'établissement d'une communication voix entre deux utilisateurs UT1 et UT2. On suppose que le premier utilisateur UT1 est sur le point de lancer une séance d'immersion et qu'il détecte sur le portail du service qu'un deuxième utilisateur UT2 est connecté. Il entre en contact avec lui, par exemple à l'aide d'une application de "chat", pour l'inviter à participer à la séance d'immersion qui est sur le point de démarrer. Si le deuxième utilisateur UT2 accepte l'invitation, la plateforme de service établit une connexion VoIP entre les deux utilisateurs UT1 et UT2. Ils peuvent alors discuter ensemble.

Le premier utilisateur lance ensuite la séance ce qui entraine l'envoi par la plateforme de service des flux audios et vidéos vers les terminaux des deux utilisateurs. On considère maintenant le cas d'une séance prévue et affichée sur le portail du service d'immersion. Les utilisateurs ayant pris connaissance de ce rendez-vous viennent "s'inscrire" sur le portail. Une fois leur inscription validée, la plateforme de service lance leur connexion sur un pont de conférence spatialisé. Une communication VoIP est de fait établie entre les utilisateurs inscrits à la séance. Un administrateur de la séance lance l'immersion, ce qui se traduit par le lancement du streaming des flux de données constitutifs de la scène multimédia vers tous les utilisateurs inscrits à la séance. Comme indiqué précédemment, des retardataires peuvent s'inscrire à une séance en cours. Ils reçoivent les flux streamé en cours à partir de la position de lecture des autres utilisateurs.

Bien sûr, ces différents exemples de réalisation peuvent être combinés, afin qu'un utilisateur puisse à la fois réagir à la partie de scène qu'il visualise par un signal vocal et que son positionnement angulaire soit transmis aux autres utilisateurs et à la plateforme de service pour utilisation.

On considère maintenant des exemples de service de communication immersive, qui vont être détaillés à l'appui des diagrammes de flux présentés en figures 4 et 5. Exemple 1 : La communication immersive à deux Selon un premier exemple de réalisation de l'invention, que l'on présente en relation avec le diagramme de flux de la figure 4, on considère un premier utilisateur Yann et un deuxième utilisateur Elodie. Yann et Elodie sont chacun à leur domicile. Ils possèdent chacun un HMD qui peut se connecter à un dispositif de traitement selon l'invention intégré dans un pod (ex : PC, player multimédia, Téléphone mobile 3G). Le pod est lui-même connecté à Internet soit par un modem ADSL/Fibre Optique, soit en 3G. Yann souhaite discuter avec Elodie tout en restant immergé dans un environnement 360° constitué par exemple de contenus vidéos ou de photos sphériques. Dans une première étape 1, Yann vient sélectionner le contenu qu'il souhaite visualiser dans un catalogue de contenus accessibles sur le portail Web du service.

En étape 2, il obtient sur son dispositif de traitement la liste des autres utilisateurs connectés à Internet (par exemple, leur nom apparaît en vert parmi la liste des utilisateurs potentiels). Avantageusement, lorsque le terminal est connecté à Internet, il vient périodiquement déclarer l'utilisateur comme connecté auprès du serveur d'application de la plateforme de service, laquelle stocke cette information et la renvoie vers les autres utilisateurs connectés.

En étape 3, Elodie étant déclarée comme connectée, Yann lui lance une invitation. Cette invitation est transmise au terminal d'Elodie via la plateforme de service. Si l'invitée accepte l'invitation, la plateforme de service établit en étape 4 une mise en relation VoIP entre Yann et Elodie.. Le canal de communication voix est alors établi entre les deux. Ils peuvent parler ensemble.

Lorsque la relation est établie (les deux personnes se parlent) et que leurs dispositifs HMD sont connectés à leurs dispositifs de traitement PODs respectifs, Yann lance l'immersion en étape 5. Cette étape comprend le déclenchement du streaming des flux audio et vidéo constitutifs du contenu choisi, entre le serveur de contenus et le terminal de Yann d'une part, et entre le serveur de contenus et le terminal d'Elodie d'autre part. Bien sûr, les deux opérations de streaming sont synchronisées temporellement. On notera que de façon avantageuse, les contenus sont encodés selon des formats standards de compression qui permettent de minimiser la bande passante utilisée (par exemple, selon le format H.264), ce qui impose un décodage de ce format par les terminaux des utilisateurs. Chaque utilisateur est libre de se déplacer dans les 360° en tournant sa tête. Le positionnement angulaire de chaque utilisateur, détecté par le gyroscope de son HMD, est remontée au niveau du dispositif de traitement selon l'invention, qui sélectionne la partie de la sphère visualisée en 6 et 7 et renvoie l'image correspondante vers les micro-displays du HMD.

Pour la partie audio, les flux audio streamés sont avantageusement encodés selon un format audio spheric. Le format audio spheric décrit la répartition des sons sur une sphère. Une matrice de filtres permet de calculer les pressions acoustiques aux entrées des conduits auditifs d'un auditeur générées par les sons répartis sur la sphère. La matrice de filtres dépend de la position angulaire de chaque utilisateur. Compte de tenu la géométrie de la tête et des positions des oreilles, ces pressions acoustiques dépendent de la morphologie de l'auditeur et de son orientation. L'application de cette matrice de filtres au flux audio sphérique génère un flux sonore stéréo qui est renvoyé au casque audio des HMDs. Ainsi, Yann et Elodie découvrent la scène multimédia 360° en même temps, mais de manière autonome. Du fait de la communication vocale entre les deux, chacun peut bénéficier des conseils de l'autre ("regarde à droite", "regarde en haut".) et partager ses émotions. Pendant toute l'expérience, une télécommande gestuelle permet à chaque utilisateur d'interagir avec le contenu (zoom, augmentation volume sonore, recentrage de la scène...). Selon un aspect de l'invention, les informations de positionnement angulaire PA1, PA2, par exemple le secteur angulaire de la partie de scène visualisée et/ou les coordonnées angulaires de la tête de l'utilisateur dans un référentiel du dispositif HMD, sont remontées, en 8 et 10 par chaque terminal à la plateforme de service PFS, qui retransmet ces informations à l'autre terminal. Sur réception de ces informations, les terminaux de Yann et Elodie transforment les informations reçues en une indication visuelle qu'ils superposent en 9 et 11 à la partie de scène qu'ils visualisent dans leur dispositif HMD. Cette indication visuelle leur permet de situer la position de l'autre utilisateur par rapport à leur propre angle de vue. Dans la configuration décrite, le dispositif de traitement (player, en anglais) est situé au niveau du POD. De ce fait le film 360° est "streamé" totalement vers ce POD et les informations de position angulaire de l'utilisateur sont remontées au niveau du POD pour le calcul du secteur angulaire de la sphère à projeter sur le support sphérique.

Selon un autre aspect de l'invention, les informations de position angulaire PA1' de la tête sont remontées en 12 au niveau de la plateforme de service, transmises en 13 au serveur de contenu et sont exploitées pour adapter en 14 les flux de données DS1 qu'il reste à transmettre en mode streaming au terminal de l'utilisateur. Des flux de données DS1' adaptées aux informations de positionnement angulaire PA1' de l'utilisateur Yann sont transmis en 15 au terminal de cet utilisateur, puis visualisés en 16. Une telle adaptation consiste à calculer l'angle de vue correspondant à la position angulaire de l'utilisateur au niveau de la plateforme de service et à ne transmettre au terminal de cet utilisateur que le flux vidéo et le flux audio stéréo correspondant à cet angle de vue. Un avantage est de diminuer la bande passante nécessaire pour utiliser le service. Exemple 2 : La visite immersive et guidées de lieux extraordinaires Selon un deuxième exemple de réalisation de l'invention, que l'on présente en relation avec le diagramme de flux de la figure 5, on considère un service de distribution d'une scène audiovisuelle 360 degrés relative à la visite commentée de la cité interdite en Chine. Cette présentation se fait sur la base d'un contenu sphérique tourné dans la cité interdite (vidéo et/ou photos 360° avec son multicanal , ambisonic ou HOA spatialisé). La visite est programmée le lundi 26 juin à 14:00. Le jour venu, chaque visiteur, depuis son domicile et à l'aide de son terminal ou POD, vient s'enregistrer sur le portail du service (étape 1). Les visiteurs sont tous munis d'un dispositif HMD connecté à un POD, lui-même connecté à Internet. Le guide G, depuis son lieu de travail s'enregistre également sur le portail du service. L'inscription à la séance génère automatiquement en étape 2 la connexion de chacun des visiteurs sur un pont de conférence téléphonique (dont les fonctions d'administration sont gérées par le guide). Ainsi le guide et le groupe de visiteurs peuvent désormais dialoguer ensemble. Quand le guide juge le moment opportun, il lance l'immersion audio-vidéo (étape 3). Les flux vidéo et audio constitutifs de la scène audiovisuelle 360 degrés sont donc diffusés en mode streaming vers la pluralité d'utilisateurs ou visiteurs inscrits (étape 4).

La visite commence. Chacun des visiteurs reçoit sur son pod le contenu 360°et visualise à sa guise la partie de la sphère qui l'intéresse dans son dispositif HMD. Le son stéréo qui arrive aux écouteurs stéréo du dispositif HMD est calculé en fonction de l'orientation du HMD. Le guide commente la visite. Il fournit les explications sur les scènes visualisées et invite les participants à porter leurs regards sur certains détails de la scène. En retour, chaque visiteur peut poser des questions au guide et bénéficier en direct de ses réponses. Toutes ces étapes sont similaires à celles décrites dans le diagramme de flux de l'exemple précédent, en relation avec la figure 4. Dans cet exemple de réalisation, on notera que le guide reste maitre du pilotage du contenu, c'est-à-dire qu'il peut le mettre en pause la lecture du contenu à tout moment sur l'ensemble des terminaux, par exemple pour prendre le temps de répondre à des questions.

De façon avantageuse, chaque utilisateur a la possibilité d'interagir avec le contenu pendant toute l'expérience à l'aide d'une télécommande gestuelle. A titre d'exemple, cette télécommande lui permet de mener les actions suivantes : zoom, augmentation volume sonore, recentrage de la scène etc. Selon une variante, les informations de positionnement du guide dans la sphère sont transmises aux terminaux des utilisateurs visiteurs et leurs dispositifs de traitement superposent une indication visuelle, par exemple une flèche à la partie de scène qu'ils visualisent pour les inciter à aller regarder la partie de scène commentée par le guide.

Le principe de fonctionnement est le même que celui de l'exemple précédent à la

différence que l'appel VolP est remplacé par une connexion à un pont audio. 30 Exemple 3 : Le multiplex football Dans cet exemple, on considère de nouveau un service de mise en relation d'un groupe de personnes (ex : groupe d'amis, groupe de collaborateurs) préalablement inscrites.

L'inscription à la séance est réalisée sur le portail du service. L'organisateur est l'administrateur de la séance. Lorsque celui-ci ouvre la séance, les personnes inscrites sont automatiquement connectées à un pont téléphonique spatialisé qui attribue un positionnement de chaque personne dans l'espace et qui restitue ce positionnement aux autres. Chaque utilisateur est équipé d'un dispositif HMD, connecté à un POD, lui-même connecté à Internet. A la différence des exemples précédents, la nature de la scène est différente. Il ne s'agit plus d'une unique scène multimédia 360 degrés dans laquelle l'utilisateur navigue en tournant sa tête. La scène est cette fois constituée de plusieurs contenus ou applications répartis sur une sphère. En tournant sa tête de droite à gauche et de haut en bas, l'utilisateur se déplace d'une application à une autre. Les applications qui peuvent par exemple prendre la forme, par exemple d'un fichier ppt, d'un fichier xls, d'un fichier doc ou encore d'un flux TV standard, sont positionnées en différentes zones de la sphère (par exemple des secteurs angulaires ou selon une mosaïque). Dans une position initiale, le client visualise en plein écran dans son dispositif HMD une première application (ex : fichier excel). Lorsqu'il va tourner sa tête, le dispositif HMD remontant le positionnement de celle-ci, il va progressivement arriver dans la zone de la sphère où une deuxième application est positionnée (ex fichier ppt). Lorsqu'il atteint cette zone, le dispositif de traitement affiche la deuxième application dans le HMD de l'utilisateur On comprend donc que le dispositif de traitement selon l'invention sélectionne l'application à afficher en fonction du positionnement de l'utilisateur dans la sphère. S'il continue son mouvement de tête, il accédera à d'autres applications. De même en inclinant progressivement la tête. Ainsi, l'utilisateur peut visualiser une multitude d'applications en taille "plein écran" sans avoir à posséder une multitude d'écrans (le HMD visualise un écran différent par zone attribuée sur la sphère).

Chacun des participants peut ainsi naviguer parmi les applications disponibles de façon autonome, sans être dépendant de celle qui est visualisée et partagée par le présentateur. Du 17 fait de la conférence téléphonique parallèle, chaque utilisateur peut intervenir et inciter les autres à se reporter à une application précise en se déplaçant dans la sphère... Comme pour les exemples précédents, il est possible de faire remonter les informations de positionnement de chaque participant vers la plateforme de service puis vers les autres participants. Ainsi chaque participant pourra avoir un retour en temps réel sur les applications visualisées par les autres participants. Le positionnement des applications peut être fait par des profils administrateurs définis par l'organisateur de la session. Selon une variante de cet exemple, on considère le cas où chaque application est une retransmission TV d'un match de football, streamée au format TV standard). Il s'agit par exemple des dix matches d'une journée de championnat qui sont positionnés sur la sphère de visualisation. En tournant et en inclinant la tête, l'utilisateur passe d'un match à l'autre. Il fait ses commentaires en direct à ses amis connectés à la même séance que lui. De la même façon que dans les exemples précédents, les autres amis sont incités à visualiser le même match que cet utilisateur à l'aide d'un signal visuel ou sonore superposé à la partie de scène qu'ils visualisent. Avantageusement, le retour sonore spatialisé lui procure une veille auditive de ce qui se passe sur les autres matches.

Comme illustré en figure 6, un dispositif de traitement d'une scène multimédia 360 degrés selon l'invention comprend une mémoire DV1 comprenant une mémoire tampon, une unité de traitement DV2, équipée par exemple d'un microprocesseur pP, et pilotée par le programme d'ordinateur DV3, mettant en oeuvre le procédé de traitement selon l'invention. II est en outre connecté à un dispositif HMD comprenant un support de visualisation 360 degrés centré sur l'utilisateur, par exemple des lunettes sphériques. Il comprend enfin une interface de communication avec le réseau par l'intermédiaire de laquelle il reçoit les flux de données constitutifs de la scène multimédia 360 degrés et des informations de réactions d'autres utilisateurs du service. Le dispositif de traitement selon l'invention peut être intégré dans un terminal d'utilisateur UT1, UT2, UT3, par exemple un PC ("personal computer", en anglais), un téléphone mobile ou encore un boîtier intermédiaire ou Pod assurance l'interface entre le dispositif HMD de l'utilisateur et la plateforme de service. A l'initialisation, les instructions de code du programme d'ordinateur DV3 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement DV2. L'unité de traitement DV2 reçoit en entrée les flux de données constitutifs de la scène multimédia 360 degrés. Le microprocesseur de l'unité de traitement DV2 met en oeuvre les étapes du procédé de traitement décrit précédemment, selon les instructions du programme d'ordinateur DV3. Pour cela, le dispositif de traitement comprend, outre la mémoire tampon DV1, des moyens de réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés en provenance du réseau de télécommunication NT, des moyens de décodage desdits flux au fur et à mesure de leur réception, des moyens de détection d'une orientation angulaire de l'utilisateur par rapport à un référentiel du support sphérique, des moyens de calcul de la partie de la scène 360° visualisée et du son restitué en fonction de la position angulaire détectée, des moyens d'affichage de la partie de la scène multimédia 360 degrés calculée et de rendu du son associé, et des moyens de transmission d'informations relatives à la partie de la scène visualisée et écoutée par l'utilisateur à destination d'au moins un deuxième terminal d'utilisateur pour utilisation. II comprend en outre des moyens de traitement d'informations relatives à une partie de scène visualisée par un autre utilisateur du service.

Comme illustré en figure 7, le dispositif de distribution d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs comprend quant à lui une mémoire DD1 comprenant une mémoire tampon, une unité de traitement DD2, équipée par exemple d'un microprocesseur pP, et pilotée par le programme d'ordinateur DD3, mettant en oeuvre le procédé de diffusion selon l'invention.

A l'initialisation, les instructions de code du programme d'ordinateur DD3 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement DD2. L'unité de traitement DD2 reçoit en entrée une requête d'accès au service de communication immersive en provenance d'un terminal d'utilisateur. Le microprocesseur de l'unité de traitement DD2 met en oeuvre les étapes du procédé de diffusion décrit précédemment, selon les instructions du programme d'ordinateur DD3. Pour cela, le dispositif de diffusion comprend, outre la mémoire tampon DD1, des moyens de distribution desdits flux aux terminaux, un terminal étant apte à décoder les flux vidéo et audio au fur et à mesure de leur réception et à afficher au moins une partie de la scène multimédia décodée sur un support de visualisation 360 degrés centré sur l'utilisateur, des moyens de réception, en provenance d'au moins un premier terminal de ladite pluralité de terminaux, d'informations relatives à la partie de scène visualisée et écoutée par l'utilisateur de ce premier terminal et des moyens de retransmission desdites informations à au moins un deuxième terminal d'utilisateur. Selon un aspect de l'invention, il comprend en outre des moyens de traitement des informations relatives à la partie de scène visualisée et écoutée par l'utilisateur du premier terminal et d'adaptation des flux de données transmis au premier utilisateur aux dites informations.

Claims (12)

1. REVENDICATIONS1. Procédé de traitement d'une scène multimédia distribuée dans un réseau de télécommunications par un serveur à une pluralité de terminaux d'utilisateurs connectés audit réseau, caractérisé en ce que, ledit procédé comprend les étapes suivantes, destinées à être mises en oeuvre par un terminal de ladite pluralité de terminaux, ledit terminal étant connecté à un support de visualisation 360 degrés centré sur un premier utilisateur : -réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés; - décodage desdits flux au fur et à mesure de leur réception; - détection d'un positionnement angulaire dudit utilisateur par rapport à un référentiel du support de visualisation; - affichage d'au moins une partie de la scène multimédia 360 degrés décodée sur ledit support de visualisation 360 degrés et rendu du son associé, en fonction dudit positionnement angulaire détecté; - transmission d'informations relatives à la partie de la scène visualisée par l'utilisateur à destination d'au moins un deuxième terminal d'utilisateur pour utilisation.
2. 2. Procédé de traitement selon la revendication 1, caractérisé en ce que les informations relatives à la partie de la scène visualisée et écoutée par le premier utilisateur comprennent au moins un signal vocal représentatif d'une réaction de l'utilisateur à la partie de scène qu'il visualise.
3. 3. Procédé de traitement selon la revendication 1, caractérisé en ce qu'il comprend une étape de réception d'informations relatives à une partie de scène visualisée et écoutée par un troisième utilisateur et une étape d'adaptation de la partie de scène visualisée et écoutée à l'aide des informations reçues.
4. 4. Procédé de traitement selon les revendications 3 et 4, caractérisé en ce que le signal vocal de réaction émis par le troisième utilisateur est transmis dans le dispositif de traitement des autres utilisateurs avec l'orientation angulaire remontée par le terminal du troisième utilisateur à titre d'informations relatives à la partie de scène qu'il visualise et écoute.
5. 5. Procédé de traitement selon la revendication 1, caractérisé en ce que la scène multimédia est constituée d'une pluralité de contenus ou applications, et de métadonnées décrivant uneorganisation spatiale desdits contenus les uns par rapport aux autres sur le support 360 degrés.
6. 6. Procédé de traitement selon la revendication 5, caractérisé en ce que les informations reçues d'un troisième utilisateur au cours de l'étape de réception comprennent un identifiant du contenu de la pluralité de contenus visualisé par le troisième utilisateur et l'étape d'adaptation comprend une superposition à la scène projetée au premier utilisateur d'une indication visuelle ou sonore du contenu visualisé et écouté par le troisième utilisateur et identifié à partir dudit identifiant reçu.
7. 7. Procédé de distribution d'au moins un flux vidéo et un flux audio constitutifs d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce que ledit procédé comprend les étapes suivantes : - distribution desdits flux aux terminaux, un terminal étant apte à décoder les flux vidéo et audio au fur et à mesure de leur réception et à afficher au moins une partie de la scène multimédia décodée sur un support 360 degrés centré sur l'utilisateur; - réception, en provenance d'au moins un premier terminal de ladite pluralité de terminaux, d'informations relatives à la partie de scène visualisée par l'utilisateur de ce premier terminal; - retransmission desdites informations à au moins un deuxième terminal d'utilisateur.
8. 8. Dispositif de distribution d'au moins un flux vidéo et un flux audio constitutifs d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce que ledit dispositif est apte à mettre en oeuvre les moyens suivants : - distribution desdits flux aux terminaux, un terminal étant apte à décoder les flux vidéo et audio au fur et à mesure de leur réception et à afficher au moins une partie de la scène multimédia décodée sur un support 360 degrés centré sur l'utilisateur; - réception, en provenance d'au moins un premier terminal de ladite pluralité de terminaux, d'informations relatives à la partie de scène visualisée et écoutée par l'utilisateur de ce premier terminal; - retransmission desdites informations à au moins un deuxième terminal d'utilisateur.
9. 9. Dispositif de traitement d'une scène multimédia 360 degrés apte à être connecté à un terminal d'utilisateur de ladite pluralité de terminaux et connecté à un support de visualisation360 degrés centré sur un premier utilisateur, caractérisé en ce qu'il comprend les moyens suivants : -réception d'au moins un flux vidéo et d'au moins un flux audio constitutifs de la scène multimédia 360 degrés ; - décodage desdits flux au fur et à mesure de leur réception; - détection d'une orientation angulaire dudit utilisateur par rapport à un référentiel du support de visualisation; - affichage d'au moins une partie de la scène multimédia 360 degrés décodée sur ledit support de visualisation et rendu du son associé, en fonction de la position angulaire détectée; - transmission d'informations relatives à la partie de la scène visualisée et écoutée par l'utilisateur à destination d'au moins un deuxième terminal d'utilisateur pour utilisation.
10. 10. Système de distribution d'une scène multimédia 360 degrés à une pluralité de terminaux d'utilisateurs connectés à un réseau de télécommunications, caractérisé en ce qu'il comprend au moins un dispositif de distribution d'une scène multimédia selon la revendication 8 et au moins un dispositif de traitement de la scène multimédia selon la revendication 9.
11. 11. Programme d'ordinateur caractérisé en ce qu'il comprend des instructions pour la mise en oeuvre d'un procédé de traitement selon la revendication 1, lorsque ce programme est exécuté par un processeur.
12. 12. Programme d'ordinateur caractérisé en ce qu'il comprend des instructions pour la mise en oeuvre d'un procédé de distribution selon la revendication 7, lorsque ce programme est exécuté par un processeur.