FR2872988A1 - Procede et dispositif de creation d'un flux video formant une mosaique genere a partir d'une pluralite de flux video - Google Patents

Abstract

Le procédé comporte les étapes suivantes :i) obtention d'une pluralité de flux vidéo originaux (TB) préalablement codés chacun selon un format dans lequel un flux vidéo original (TB) est composé d'une version de base (FB) et d'une version d'amélioration complémentaire (FE) qui améliore la version de base (FB) spatialement et qualitativement pour obtenir la version pleine résolution du flux vidéo original (TB), la version de base (FB) étant composée d'un ensemble de segments (SL) constitués chacun d'un en-tête (SLHB) et d'un ensemble de blocs (SLDB) pris par ligne sur les images du flux vidéo original (TB) correspondant ;ii) extraction, selon un ordre d'extraction prédéterminé et en fonction du nombre de flux vidéo originaux ainsi obtenus, de segments de chacune des versions de base (SLHB, SLDB) des flux vidéo originaux (TB) obtenus ; etiii) construction d'un flux vidéo formant une mosaïque (MS) par insertion dans le même ordre d'extraction des segments (SLHB, SLDB) extraits de façon à obtenir un flux vidéo décodable par un décodeur apte à décoder un flux vidéo original.

Description

2872988 1

La présente invention concerne la création d'un flux vidéo représentant une mosaïque généré à partir d'une pluralité de flux vidéo, ledit flux vidéo mosaïque étant adapté à être transmis sur un seul canal de transmission dans un réseau de communication.

Elle trouve une application dans la navigation dans un ensemble de données vidéo, notamment afin de faciliter le choix d'une vidéo dans un ensemble de vidéos stockées sur une unité de stockage. Elle peut également être utilisée dans le cadre de la réception d'un grand nombre de flux vidéo ou de programmes télévisés provenant d'une source unique (transmission satellite, par câble ou par Internet) ou de plusieurs sources connectées à un réseau de communication.

D'une manière générale, les bouquets de chaînes de télévision numérique distribuent simultanément un grand nombre de chaînes de télévision et, en conséquence, un grand nombre de programmes télévisés.

Pour aider un utilisateur à choisir un programme particulier parmi plusieurs programmes diffusés simultanément, une solution connue consiste à diffuser, sur un canal dédié, une chaîne de télévision communément appelée chaîne mosaïque. L'image d'une chaîne mosaïque est composée des N images que diffuse simultanément N chaînes de télévision différentes. L'image de la chaîne mosaïque contient ainsi plusieurs vignettes représentant chacune un programme vidéo particulier. Une mosaïque évite ainsi d'avoir à parcourir un à un tous les programmes. L'utilisateur n'a en effet qu'à sélectionner l'une des vignettes pour sélectionner un programme.

Le document US5633683 décrit plusieurs mises en oeuvre d'une telle 25 mosaïque.

Dans la première mise en oeuvre, l'émetteur des programmes reçoit les vidéos originales sous forme non compressée. Chaque vidéo originale est codée dans un format conforme à la norme MPEG-2 (Moving Picture Expert Group) dans sa résolution originale. En parallèle, un circuit de composition sous-échantillonne chaque séquence originale et génère un programme additionnel contenant la mosaïque. Tous les programmes vidéo originaux ainsi 2872988 2 que le programme additionnel sont multiplexés et transmis à l'utilisateur sur un seul canal.

Une telle mise en oeuvre a l'inconvénient d'engendrer deux codages pour chaque vidéo originale et la transmission de deux versions redondantes de 5 la vidéo originale.

Dans la seconde mise en oeuvre, plusieurs sources génèrent localement des données vidéo originales En parallèle, chaque source génère une image représentative des données vidéo originales qu'elle diffuse. Les images sont ensuite combinées pour former une mosaïque. L'inconvénient d'une telle seconde mise en oeuvre est la nature statique de la mosaïque.

Dans la troisième mise en oeuvre, les vidéos originales sont reçues par le récepteur sous une forme encodée dans le format MPEG-2. Les séquences originales sont ensuite partiellement décodées pour obtenir les coefficients issus de la transformation en cosinus discret ou DCT de chaque bloc de pixels d'une image. Ce décodage partiel permet d'obtenir pour chaque séquence originale, une autre séquence de résolution spatiale huit fois inférieure et de fréquence temporelle égale à la fréquence des images non prédite (INTRA) de la séquence originale. Les séquences basse résolution sont ensuite combinées pour former une mosaïque. Dans cette troisième mise en oeuvre, les séquences basse résolution nécessitent un décodage partiel et un réencodage. De plus, le décodage partiel ne permet pas de conserver la résolution temporelle originale. Pour la conserver il convient de procéder à un décodage complet. Enfin cette troisième mise en oeuvre génère deux versions redondantes de chaque séquence originale.

La quatrième et dernière mise en oeuvre suppose que les séquences originales sont transmises sous format MPEG-2. Toutefois, Pour chaque séquence originale, le flux transmis contient deux flux vidéo, l'un étant une version basse résolution de l'autre. Cette solution suppose donc deux encodages et la transmission de deux flux redondants.

Dans le document US20020154692, les programmes originaux et la mosaïque sont transmis sur deux canaux séparés. Les programmes originaux sont alors encodés en format MPEG-2, alors que la mosaïque est encodée en 2872988 3 format MPEG-4. Ainsi, deux versions redondantes de chaque programme original sont générées. De plus cette mise en oeuvre nécessite deux encodages avec deux encodeurs différents.

Dans le document FR-A-2828055, il est décrit un procédé de codage d'une mosaïque dans lequel chaque trame de la séquence mosaïque est constituée de sous-images originales provenant d'un ensemble de séquences vidéos originales. Les sous-images originales sont encodées séquentiellement et indépendamment les unes des autres. Une sous-image originale ne peut être prédite qu'à partir des macroblocs de pixels provenant de la zone spatiale associée. Aucune prédiction inter sous-image n'est possible. Les sous-images sont placées les unes derrière les autres dans le train binaire. Un marqueur de resynchronisation est inséré entre les trains binaires de chaque sous-image originale afin de permettre à un décodeur de les identifier. La séquence mosaïque ainsi transmise peut représenter un nombre quelconque de séquences originales. En fonction du choix d'un utilisateur, la procédure de décodage sélectionne pour chaque image de la mosaïque un sous-ensemble de sous-images originales. Un tel procédé évite ainsi le décodage de toutes les sous-images originales. Toutefois, un tel procédé a l'inconvénient d'engendrer une procédure de réencodage des sousimages originales. Cette procédure de réencodage est d'autant plus coûteuse qu'elle consiste à encoder toutes les séquences élémentaires disponibles même si au final celles-ci ne sont pas affichées par l'utilisateur. De plus, la séquence mosaïque peut transporter un nombre de sous-séquences supérieur au nombre de séquences réellement affiché par l'utilisateur, ce qui constitue un gaspillage de la bande passante.

La présente invention remédie à ces inconvénients.

Elle porte sur un procédé de création d'un flux vidéo représentant une mosaïque généré à partir d'une pluralité de flux vidéo originaux, ledit flux vidéo mosaïque étant adapté à être transmis sur un seul canal de transmission dans un réseau de communication.

Selon une définition générale de l'invention, le procédé comprend les étapes suivantes: 2872988 4 i) obtention d'une pluralité de flux vidéo originaux préalablement codés chacun selon un format dans lequel un flux vidéo original est composé d'une version de base et d'une version d'amélioration complémentaire qui améliore la version de base spatialement et qualitativement pour obtenir la version pleine résolution du flux vidéo original, la version de base étant composée d'un ensemble de segments constitués chacun d'un en-tête et d'un ensemble de blocs pris par ligne sur les images du flux vidéo original correspondant; ii) extraction, selon un ordre d'extraction prédéterminé et en fonction du nombre de flux vidéo originaux ainsi obtenus, de segments de chacune des versions de base des flux vidéo originaux obtenus; et iii) construction d'un flux vidéo formant une mosaïque par insertion dans le même ordre d'extraction des segments extraits de façon à obtenir un flux vidéo décodable par un décodeur apte à décoder un flux vidéo original.

Ainsi, selon le procédé conforme à l'invention, le format de transmission d'un flux vidéo original est le même que le format de transmission de la mosaïque, les segments de la version de base servent donc à la fois pour la transmission de flux vidéo originaux et pour la transmission de la mosaïque. Le décodeur des versions originales et de la mosaïque est donc le même.

Le procédé selon l'invention permet donc de fournir une mosaïque avec une mise en oeuvre moins coûteuse que celles des procédés antérieurs visés ciavant, dans lesquelles les formats de transmission ou de codage sont différents ou une sélection de flux vidéo et un réordonnancement sont nécessaires pour obtenir uniquement la mosaïque.

Ainsi, la séquence mosaïque créée par le procédé selon l'invention est décodable par un quelconque décodeur de type MPEG-2 puisque la procédure de décodage de la séquence mosaïque selon l'invention est en tout point identique à celle d'une procédure de décodage classique. En effet, aucune procédure de sélection des sous-images originales à décoder n'est nécessaire.

2872988 5 De plus, aucune procédure de positionnement des sous-images originales dans la séquence mosaïque selon l'invention n'est nécessaire. Ce qui n'est pas le cas, notamment dans le document FR2828055.

La présente invention a également pour objet un dispositif pour la 5 mise en oeuvre du procédé selon l'invention.

Selon un autre aspect de l'invention, le dispositif comprend: - des moyens d'obtention d'une pluralité de flux vidéo originaux, préalablement codés chacun selon un format dans lequel un flux vidéo original est composé d'une version de base et d'une version d'amélioration complémentaire, qui améliore la version de base spatialement et qualitativement pour obtenir la version pleine résolution du flux vidéo original, la version de base étant composée d'un ensemble de segments constitués chacun d'un en-tête et d'un ensemble de blocs pris par ligne sur les images du flux vidéo original correspondant; - des moyens d'extraction selon un ordre d'extraction prédéterminé et en fonction du nombre de flux vidéo originaux ainsi obtenus de segments de chacune des versions de base des flux vidéo originaux obtenus; et - des moyens de construction d'un flux vidéo formant une mosaïque par insertion dans le même ordre d'extraction des segments extraits de façon à obtenir un flux vidéo décodable par un décodeur apte à décoder un flux vidéo original.

L'invention permet ainsi de réduire le coût calculatoire de génération d'une mosaïque.

L'invention évite tout décodage même partiel pour générer des 25 versions basse résolution des séquences originales.

De même, l'invention n'implique pas de précoder et/ou de stocker les versions basse résolution des séquences originales.

Ainsi, l'invention trouve une application avantageuse dans le cas de la transmission de programmes vidéo originaux depuis un serveur vers plusieurs clients (transmission satellite par exemple). Elle a ainsi l'avantage de ne pas induire la transmission sur le réseau de versions redondantes d'un même flux. Elle évite aussi, contrairement à l'état de l'art, que l'utilisateur soit 2872988 6 obligé de décoder (au moins partiellement) les flux vidéo originaux pour générer une mosaïque.

D'autres caractéristiques et avantages de l'invention apparaîtront à la lumière de la description détaillée ci-après et des dessins dans lesquels: - la figure 1 décrit un réseau de communication selon l'invention; - la figure 2 représente schématiquement une représentation de la scalabilité spatiale: - la figure 3 représente un ensemble de segments ou slices selon l'invention; - la figure 4 décrit un organigramme illustrant les étapes du procédé selon l'invention; - les figures 5a et 5b représentent des exemples d'interface graphique selon l'invention; et - la figure 6 représente schématiquement la formation d'un train 15 binaire au format MPEG-2; - la figure 7 représente schématiquement la formation d'un flux mosaïque à partir de quatre flux originaux du type tel que décrit en référence à la figure 6; - la figure 8 représente schématiquement une séquence mosaïque après entrelacement selon l'invention, et - la figure 9 est un organigramme illustrant la génération de la mosaïque selon l'invention.

La description s'appuie sur la norme de codage vidéo MPEG-2 décrite dans le document ISOIIEC 13818-2. D'autres standard équivalents peuvent être utilisés tels que MPEG-4 ou H263, etc. Les outils de la norme font partie de l'état de l'art et n'appartiennent pas à l'invention.

Le standard MPEG-2 peut être classé dans l'ensemble des méthodes de codage vidéo hybrides basées sur des blocs. Ce standard définit une syntaxe de base à laquelle viennent s'ajouter un certain nombre de modes optionnels aux objectifs différents. Parmi ces modes, un certain nombre est destiné à accroître la résistance du flux binaire.

2872988 7 D'autres modes tels que la scalabilité ont été développés dans le but d'augmenter l'efficacité des systèmes de transmission vidéo dans le cas de transmissions simultanées vers plusieurs utilisateurs ayant des capacités de réception et de décodage différentes.

Dans un schéma de codage vidéo prédictif hybride avec compensation de mouvement basée sur des blocs et codage par transformation, chaque image d'une séquence est divisée en blocs de taille fixe (en général 8*8 pixels) . Chaque bloc est ensuite traité plus ou moins indépendamment. L'appellation hybride signifie ici que chaque bloc est codé avec une combinaison de compensation en mouvement et de codage par transformation. En effet, un bloc est dans un premier temps prédit à partir d'un bloc d'une image précédente. On appelle estimation de mouvement, l'estimation de la position du bloc le plus proche visuellement du bloc courant dans l'image de référence. Le déplacement entre le bloc de référence et le bloc courant est représenté par un vecteur de mouvement. La compensation de mouvement consiste à prédire le bloc courant à partir du bloc de référence et du vecteur de mouvement. L'erreur de prédiction entre le bloc original et le bloc prédit est codée avec une transformation fréquentielle du type DCT, quantifiée et convertie sous forme de mots de codes binaires en utilisant des codes à longueur variable (VLC: Variable Length Codes). Le rôle de la compensation de mouvement est d'utiliser les corrélations temporelles entre images successives pour accroître la compression. La transformation fréquentielle DCT permet de son coté de réduire les corrélations spatiales dans les blocs d'erreur. Après la transformation fréquentielle DCT et la quantification, une majorité des hautes fréquences est réduite à 0. Le système visuel humain étant peu sensible aux hautes fréquences spatiales, l'impact sur l'aspect visuel reste faible. Les coefficients de la transformation fréquentielle DCT sont parcourus en zigzag depuis les basses fréquences jusqu'aux hautes fréquences pour constituer un premier train binaire. La présence dans ce train binaire de nombreux 0 est mise à profit par un code à longueur variable (couramment mis en oeuvre par un codeur par longueur de plage (runlength coding) pour en réduire la taille.

2872988 8 On a supposé jusque là que la prédiction temporelle a réussi et que le débit engendré par l'erreur de prédiction reste inférieur à celui du macrobloc original codé sans compensation en mouvement. On rappelle qu'un macrobloc est un groupe de quatre blocs de luminance et de deux blocs de chrominance de 8x8 pixels. Ce mode de codage est généralement appelé mode INTER. Dans certains cas le coût de l'erreur de prédiction est trop important. Une transformation fréquentielle DCT et un codage runlength sont alors appliqués directement sur le bloc. On appelle ce mode de codage mode INTRA. Une image contenant des macroblocs MB inter est appelée image P. En pratique l'estimation de mouvement est très souvent appliquée sur un ensemble de blocs appelés macrobloc (MB) alors que la transformation fréquentielle DCT est appliquée sur un bloc. Les codeurs vidéo les plus courants utilisent des macroblocs MB de taille 16x16 pixels. Les vecteurs de mouvement de macroblocs MB adjacents étant le plus souvent proches les uns des autres, ils peuvent être codés prédictivement par rapport aux MB déjà codés.

Une image peut être entièrement codée en mode INTRA. On appelle ce type d'image image INTRA ou I. Ce type de codage est utilisé pour la première image de la séquence, mais aussi pour limiter la propagation de l'erreur de prédiction et de pertes ou permettre des fonctionnalités tels que l'accès aléatoire, l'avance ou le retour rapide... Le nombre d'images INTRA est toutefois généralement limité pour obtenir de meilleurs taux de compression. La majorité des images d'une séquence est donc codée en modes P. On ne s'interdit toutefois pas d'insérer des macroblocs MB INTRA dans une image P. Comme vu ci-avant, le niveau de base se compose d'images INTRA et P. La qualité de ce niveau peut être améliorée à la fois temporellement et spatialement en utilisant les différents modes de scalabilité définis dans le standard. Trois types de scalabilité sont définies: spatiale, temporelle et SNR (scalabilité en qualité). On n'utilise que la scalabilité spatiale telle que représentée en référence à la figure 2.

La scalabilité spatiale consiste à améliorer la qualité d'un niveau inférieur en lui ajoutant de l'information spatiale. En général ce mode suppose 2872988 9 que le niveau de base n'a pas été codé à la résolution de la séquence originale, mais a plutôt subi un sous échantillonnage afin de diviser sa résolution par quatre (division par deux des dimensions horizontales et verticales). Le codage d'une image d'un niveau d'amélioration spatial débute alors par une interpolation d'une image du niveau de base afin de retrouver la résolution initiale. On calcul ensuite la différence entre cette image et l'image originale de même taille. Ensuite plusieurs modes de codage peuvent être utilisés pour les macroblocs MB de l'image d'amélioration: les modes upward (vers le haut), forward (avant) et bidirectionnel.

Le mode upward (vers le haut) consiste à coder la différence en utilisant les mêmes méthodes que pour une image intra. Toutefois, le paramètre de quantification utilisé pour le niveau d'amélioration est en général inférieur à celui du niveau de base. Ceci assure qu'en plus d'une amélioration de la résolution spatiale, on améliore la qualité. Une image ne contenant que des macroblocs MB upward est dite El (Enhancement Intra).

Le mode forward (avant) utilise de la prédiction temporelle entre les images du niveau d'amélioration. Une image contenant une combinaison de macroblocs MB forward et upward est dite EP. Le codage d'une image EP débute lui aussi par une interpolation de l'image du niveau de base. Une différence entre l'image originale et l'image interpolée est calculée. Deux images de référence sont donc stockées: l'image du niveau de base étendue et l'image du niveau d'amélioration spatiale précédente (El ou EP) . Cette dernière image est utilisée pour procéder à une estimation de mouvement dans l'image courante. On obtient alors un vecteur de mouvement pour chaque macrobloc MB de l'image courante. Après compensation en mouvement de l'image de référence, on compare pour chaque macrobloc MB les modes upward et forward. On conserve le mode qui permet de minimiser la différence entre le macrobloc MB original et le macrobloc MB prédit.

En scalabilité spatiale, d'autres modes de codage de macroblocs MB 30 peuvent être utilisés.

Les méthodes de prédiction inter et intra image ont pour effet secondaire d'accroître la fragilité des flux vidéo vis-à-vis des pertes de 2872988 10 données. Par exemple, si une perte intervient dans le flux binaire d'une image, les données suivant la perte sont inutilisables puisque rien ne permet au décodeur de se resynchroniser. On attend alors l'en-tête de l'image suivante pour reprendre le décodage.

Des marqueurs de resynchronisation, appelés en-têtes de segments (slices en anglais) ont été créés pour permettre au décodeur de se resynchroniser le plus tôt possible sans attendre le début de l'image suivante. Ainsi, le slice est un ensemble de macroblocs MB regroupés derrière un en-tête. Les macroblocs MB d'un slice sont décodables indépendamment des autres macroblocs MB d'une image. Si une perte intervient dans un slice, on peut reprendre le décodage dès le prochain slice reçu.

La figure 1 représente un réseau de communication multimédia selon l'invention. Ce réseau est par exemple installé dans un environnement domestique. La présente invention peut aussi être mise en oeuvre dans un autre contexte que celui d'un réseau.

Le réseau de communication multimédia interconnecte des équipements tels que des téléviseurs 103a 103b et 103c, des magnétoscopes 107, des lecteurs de type lecteurs DVD 108, un ordinateur 112 et des caméras 111a, 111 b, 111 c et 111d. On peut aussi y connecter la sortie analogique d'un décodeur satellite.

Selon l'invention, le réseau comporte des dispositifs d'interface multimédia intégrés par exemple dans les cloisons 150a, 150b, 150c et 150d. Les dispositifs d'interface multimédia 150 sont reliés à une unité de commutation centrale 160 placée préférentiellement à côté du tableau de fourniture d'énergie électrique.

Le dispositif d'interface multimédia 150a est relié par l'intermédiaire d'une liaison vidéo analogique 105i au téléviseur 103a. Selon un autre mode préféré de l'invention, la liaison 105i peut être conforme à la norme IEEE1394 décrite dans les documents IEEE1394-1995, IEEE1394a-2000 et P1394.1.

Dans ce dernier cas, le téléviseur comporte une interface IEEE1394.

Le dispositif d'interface multimédia 150a est aussi relié par l'intermédiaire d'une liaison 130k conforme à la norme IEEE1394 à un 2872988 11 convertisseur analogique numérique 104a lui-même relié à un magnétoscope 107 par l'intermédiaire d'une liaison 106a.

Les téléviseurs analogiques 103b, 103c et 103d sont reliés respectivement aux dispositifs d'interface multimédia 150b, 150c et 150d de 5 façon identique à la liaison 105i reliant le téléviseur analogique 103a et le dispositif d'interface multimédia 150a.

Au dispositif d'interface multimédia 150c est connecté un ordinateur 112 par une liaison de type Ethernet et par une liaison IEEE1394.

Les caméras 111a, 111 b, Ill c et 111 d sont reliées aux dispositifs d'interface multimédia par une liaison de type Ethernet notée 130a.

Il est à remarquer que chacun des dispositifs d'interface multimédia précédemment décrit comporte au moins des moyens de connexion de types Ethernet, IEEE1394 et au moins une sortie vidéo analogique. Ces interfaces multimédia 150 sont reliées à l'unité de commutation 160 par l'intermédiaire de câbles uniques de type UTP CAT 5 notés 160a, 160b, 160c et 160d. Les interfaces multimédia 150 sont préférentiellement basées selon le standard IEEE1394.1 permettant la communication de dispositifs multimédia appartenant à différents bus série de type IEEE1394.

Le dispositif d'interface multimédia possède une unité de calcul, une unité de stockage, un convertisseur analogique numérique encodant les flux vidéo analogiques au format MPEG-2 et un convertisseur numérique analogique décodant les flux MPEG-2. II possède de plus un récepteur infrarouge capable de recevoir des commandes infrarouges. Enfin, ce dispositif met en oeuvre un dispositif client du type Internet ou http capable d'interagir avec le serveur du type Internet de l'ordinateur 112.

Plusieurs sources analogiques sont connectées au réseau (caméra, décodeur satellite). Elles émettent un flux analogique qui doit être stocké sur l'ordinateur 112. Dans ce cas les interfaces multimédia prennent en charge l'encodage de chaque séquence au format MPEG-2. Selon le mode préféré de l'invention, cet encodage est compatible avec le profil principal (main profile) et le niveau haut (high level) tel que défini dans le standard MPEG-2. En effet ces niveaux et profils permettent l'encodage scalable tel que décrit ci-avant. De 2872988 12 plus, chaque image est encodée avec des slices SL1 à SL8 correspondant à des lignes de macroblocs MB (figure 3). Le fait que ces slices correspondent à une ligne de macroblocs est avantageux car de tels slices sont plus faciles à insérer dans un nouveau flux. Ces slices SL1 à SL8 sont extraits de leur flux vidéo initial pour être insérés dans un nouveau flux. Le fait que les slices soient encodés indépendamment facilite cette procédure. Une fois encodées, les vidéos élémentaires sont transmises à l'ordinateur 112 par l'intermédiaire du réseau et sont stockées.

Dans une seconde mise en oeuvre de l'invention, les sources peuvent aussi bien être connectées directement sur l'ordinateur 112. Dans ce cas, l'ordinateur reçoit les flux analogiques élémentaires et procède à l'encodage tel que décrit précédemment.

Dans une troisième mise en oeuvre selon l'invention, les vidéos analogiques élémentaires peuvent être encodées dans un format scalable comportant plus de deux niveaux de scalabilité spatiale. Cet encodage peut être pris en charge dans les dispositifs d'interface multimédia soit par le circuit de conversion analogique numérique, soit sous forme d'un programme d'ordinateur stocké dans son unité de stockage et mis en oeuvre par son unité de calcul.

Par la suite on suppose que toutes les manipulations mises en oeuvre par l'utilisateur le sont à partir d'une interface graphique affichée sur un téléviseur analogique. L'utilisateur manipule cette interface graphique à partir d'un émetteur infrarouge de type télécommande. En référence à la figure 4, lorsqu'il allume son téléviseur à l'étape E401, l'utilisateur voit apparaître une première interface graphique par défaut à l'étape E402. Cette interface lui présente la liste des services disponibles sur le réseau (figure 5a). A l'aide de sa télécommande infrarouge, il sélectionne un des services. L'étape E403 correspond à la procédure mise en oeuvre lors de la sélection du service de visualisation des vidéos stockées sur ordinateur PC. L'étape E403 est suivie de l'étape E404 au cours de laquelle, la commande infrarouge générée par l'utilisateur est traduite en une requête Internet et transmise à l'ordinateur 112. Cette requête comporte un champ indiquant que le service sélectionné est 2872988 13 l'affichage de vidéos stockées sur l'ordinateur 112. L'ordinateur reçoit cette requête à l'étape E405. La réception de cette requête provoque à l'étape E406 la mise en oeuvre de la procédure de génération de la mosaïque décrite en référence à la figure 9.

En référence à la figure 6, on a décrit la formation d'un train binaire ou séquence au format MPEG-2. Le train binaire TB est un flux scalable constitué d'un flux de base FB (base layer) et d'un flux d'amélioration FE (enhancement layer). Dans le train binaire TB représentant une image, les données du flux d'amélioration FE suivent les données du flux de base FB. Le train binaire TB est constitué de segments SL (slices en anglais) représentant chacun une ligne de blocs appelés macroblock ou MB de taille fixe en général 8 x 8 pixels. Le train binaire TB comprend un entête de séquence SH (sequence header), un entête de groupe d'image GOPH (GOP header), un entête de flux de base PHBL (picture header base layer), un entête de segment de base SLBH (slice header), des données de segment de base SLDB (slice data), un entête de flux d'amélioration PHEL (picture header enhancement layer), un entête de segment d'amélioration SLHE (slice header enhancement), et les données de segment d'amélioration SLDE (slice data enhancement).

En référence à la figure 7, on a décrit la formation d'un flux mosaïque MS à partir de quatre flux originaux TB1 à TB4 du type décrit en référence à la figure 6.

Les segments du flux de base des séquences ou train binaires TB1 et TB2 sont extraits, entrelacés, et insérés dans le flux mosaïque MS jusqu'àutilisation de tous les segments des deux séquences TB1 et TB2. La méthode d'entrelacement consiste ainsi à insérer un couple de segments de base SLHB2 et SLDB2, de la séquence TB2 à la suite de chaque couple de segments de base SLHB1 et SLDB1 de la séquence TB1. Les séquences TB3 et TB4 sont entrelacées de la même manière à la suite des couples (SLHBISLDBI) et (SLHB2-SLDB2). Cet ordre d'extraction et d'insertion de segments correspond alors à l'ordre d'affichage désiré comme illustré à la figure 8.

La séquence mosaïque MS résultante comprend ainsi les segments suivants: SHM (entête de séquence ou sequence header), GOPHM (entête de 2872988 14 groupe d'image de la mosaïque ou GOP header), PHML (entête d'image de la mosaïque ou picture header base layer), SLHB1 (entête de segment de base du train binaire TB1 ou slice header), SLDB1 (données de segment de base du train binaire TB1 ou slice data), SLHB2 (entête de segment de base du train binaire TB2), SLDB2 (données de segment de base du train binaire TB2), SLHB1, SLDB1, SLHB2, SLDB2, SLHB3, SLDB3, SLHB4, SLDB4, ....

Ceci est le cas pour un affichage de quatre flux comme illustré à la figure 8.

Pour un nombre quelconque de flux dans la mosaïque, l'extraction 10 des segments et l'insertion se fait donc selon les étapes suivantes: a) détermination des flux vidéo originaux TB affichables sur une même ligne au décodage; b) extraction d'un segment de la version de base SLHB, SLDB de chaque flux vidéo original TB d'une même ligne dans l'ordre d'extraction et réitération de cette extraction selon ledit ordre jusqu'à extraction de tous les segments des versions de base SLHB, SLDB des flux vidéo originaux TB affichables sur la même ligne; et c) répétition des étapes a) et b) sur les lignes suivantes jusqu'à extraction de tous les segments des versions de base des flux vidéo originaux 20 de la mosaïque.

En référence à la figure 8, on a décrit la séquence d'affichage SA après entrelacement tel que décrit en référence à la figure 7. La séquence d'affichage SA comprend quatre sous séquences d'affichage SA1 à SA4 comprenant chacune les couples de segments de base SLHB-SLDB associés respectivement aux trains TB1 à TB4, et entrelacés conformément au procédé décrit en référence à la figure 7.

On fait maintenant référence à la figure 9. La procédure de génération débute à l'étape E602 par l'initialisation des variables j, L, et tous les éléments des tableaux ki et ii à O. J sert au décompte des séquences vidéo d'une mosaïque. L est un incrément permettant le passage d'une ligne de séquences à une autre ligne de séquences dans la mosaïque. k1 et i1 sont des 2872988 15 tableaux de Nbl valeurs, où Nbl est le nombre de séquences dans une mosaïque.

Selon le mode préféré de l'invention Nbl prend la valeur 4. Toutefois l'algorithme fonctionne aussi pour Nbl = 16. On stocke dans le premier tableau le numéro de l'image de la séquence j en cours de traitement. Le tableau ii sert au décompte du nombre de slices copiés dans l'image kk de la séquence j. Chaque membre de ce dernier tableau prend une valeur entre 0 et NbS-1, où NbS est le nombre de slices par image. L'étape E602 est suivie de l'étape E604 au cours de laquelle on procède à l'écriture de l'en-tête SHM de la séquence mosaïque MS tel que décrit dans le document de la norme ISO/IEC 13818-2. Lors de cette étape, on écrit aussi l'entête GOPHM de la première image de la séquence mosaïque MS. Cette étape est suivie de l'étape E606 au cours de laquelle on vérifie la valeur de j. Si j est inférieur à NbI/Y+L on passe à l'étape E608, sinon on passe à l'étape E616. Y est égal à 2 si le nombre de séquences dans la mosaïque est 4, ou à 4 si le nombre de séquences dans la mosaïque est 16. Lors de l'étape E608, on procède à la lecture du train binaire de l'image ki de la séquence j. Cette étape est suivie de l'étape E610 au cours de laquelle on copie le slice ii depuis la séquence j vers la séquence mosaïque. L'étape E610 est suivie de l'étape E612 au cours de laquelle on incrémente ii de 1 puis de l'étape E614 au cours de laquelle on incrémente j de 1.

Si la réponse est non à l'étape E606 on passe à l'étape E616. Au cours de cette étape on vérifie que le nombre de slices traités n'a pas atteint le nombre de slice dans l'image. Si ce n'est pas le cas, on passe à l'étape E618 au cours de laquelle on incrémente ki de 1 pour j allant de L jusqu'à L+NbI/Y.

Cette dernière étape permet de passer à la prochaine image de chaque séquence. Cette étape est suivie de l'étape E620 au cours de laquelle on vérifie que toutes les séquences ont bien été analysées pour la génération d'une image de la séquence mosaïque. Si c'est le cas, cette étape est suivie de l'étape E622 au cours de laquelle on écrit l'entête de la prochaine image de la mosaïque, puis de l'étape E624 au cours de laquelle les variables L, j et les éléments du tableau ii prennent la valeur O. Si la réponse est non à l'étape E620, cette étape est suivie de l'étape E626 au cours de laquelle les éléments 2872988 16 du tableau ii prennent la valeur 0, L est incrémenté de NbIIY et j prend la valeur de L. La procédure se poursuit par l'étape E608 déjà décrite.

Si la réponse est oui à l'étape E616, cette étape est suivie de l'étape E628 au cours de laquelle on fixe la valeur de j à L. Cette étape est suivie de 5 l'étape E608.

L'algorithme de génération de la mosaïque s'applique sur un ensemble de Nbl séquences originales prises parmi les séquences originales stockées sur l'ordinateur 112. Une procédure fournit les indices de Nbl séquences originales à la procédure de la figure 9. Nbl pouvant potentiellement être inférieur au nombre total de séquences originales, plusieurs mosaïques différentes peuvent être générées. L'utilisateur peut passer d'une mosaïque à une autre en envoyant une requête à l'ordinateur 112 à l'aide de sa télécommande. La procédure de sélection d'un ensemble de Nbl séquences originales sélectionne un nouvel ensemble à chaque requête. Si le nombre de séquences originales totales n'est pas multiple de Nbl, certaines mosaïques peuvent être partiellement remplies. Dans ce cas lors de l'algorithme de la figure 9, on peut répéter les slices de la dernière séquence originale traitée.

Enfin, l'algorithme de la figure 9 peut traiter toutes les images de chaque séquence originale. Lorsque le nombre d'images de la séquence originale est atteint, l'algorithme reprend à la première image.

On fait à nouveau référence à la figure 4. L'étape E406 est suivie de l'étape E407 au cours de laquelle on transmet la mosaïque. Dès qu'une image de la mosaïque est générée, celle-ci peut être transmise. Au moins deux modes de transmission sont possibles.

Le premier mode consiste à transmettre la mosaïque sous la forme d'un flux Internet IP sur Ethernet. Dans ce cas, la mosaïque est reçue dans l'unité de stockage de l'interface multimédia sur laquelle est connecté le téléviseur analogique. L'unité de décodage MPEG-2 de l'interface multimédia prend en charge la conversion numérique analogique du flux vidéo à l'étape E408 Le second mode consiste à transmettre la vidéo sous la forme d'un flux IEEE1394. Dans ce cas l'interface multimédia sur laquelle est connecté 2872988 17 l'ordinateur 112 reçoit la mosaïque encodée dans sa mémoire et l'encapsule dans un flux IEEE1394. Ce flux est ensuite transmis à l'interface multimédia sur laquelle est connecté le téléviseur analogique. II est alors converti en flux analogique à l'étape E408. La mosaïque est ensuite affichée sur le téléviseur en arrière plan.

En avant plan, on affiche à l'étape E409 l'interface graphique représentée en figure 5b. Cette interface permet de sélectionner un programme parmi quatre, de changer de mosaïque ou de mettre fin à l'affichage de la mosaïque. La sélection d'un programme provoque l'envoi d'une requête selon le protocole Internet http au serveur en vue de mettre fin à l'affichage de la mosaïque et de permettre la transmission en pleine résolution de la séquence sélectionnée. La sélection de l'arrêt de l'affichage de la mosaïque provoque la transmission d'une requête http à l'ordinateur en vue de stopper la transmission de la mosaïque et l'affichage du menu de la figure 5a à partir de l'interface multimédia sur laquelle est connecté le téléviseur. La sélection du changement de mosaïque provoque la transmission d'une requête http à l'ordinateur en vue de lancer la procédure de la figure 9 sur un nouvel ensemble de Nbl séquences. Elle provoque alors le retour à l'étape E406.

Claims (2)

18 REVENDICATIONS

1. Procédé de création d'un flux vidéo représentant une mosaïque généré à partir d'une pluralité de flux vidéo originaux, ledit flux mosaïque étant adapté à être transmis sur un seul canal de transmission dans un réseau de communication, caractérisé en ce qu'il comporte les étapes suivantes: i) obtention d'une pluralité de flux vidéo originaux (TB) préalablement codés chacun selon un format dans lequel un flux vidéo original (TB) est composé d'une version de base (FB) et d'une version d'amélioration complémentaire (FE) qui améliore la version de base (FB) spatialement et qualitativement pour obtenir la version pleine résolution du flux vidéo original (TB), la version de base (FB) étant composée d'un ensemble de segments (SL) constitués chacun d'un en-tête (SLHB) et d'un ensemble de blocs (SLDB) pris par ligne sur les images du flux vidéo original (TB) correspondant; ii) extraction, selon un ordre d'extraction prédéterminé et en fonction du nombre de flux vidéo originaux ainsi obtenus, de segments de chacune des versions de base (SLHB, SLDB) des flux vidéo originaux (TB) obtenus; et iii) construction d'un flux vidéo formant une mosaïque (MS) par insertion dans le même ordre d'extraction des segments (SLHB, SLDB) extraits de façon à obtenir un flux vidéo décodable par un décodeur apte à décoder un flux vidéo original.

2. Procédé selon la revendication 1, dans lequel l'ensemble de blocs pris par ligne sur les images du flux video original est un ensemble de macroblocs pris par ligne.

3. Procédé selon la revendication 1, dans lequel l'ordre d'extraction 30 prédéterminé correspond à l'ordre d'affichage au décodage.

2872988 19 4. Procédé selon la revendication 3, dans lequel l'étape d'extraction comprend les étapes suivantes: a) détermination des flux vidéo originaux (TB) affichables sur une même ligne au décodage; b) extraction d'un segment de la version de base (SLHB, SLDB) de chaque flux vidéo original (TB) d'une même ligne dans l'ordre d'extraction et réitération de cette extraction selon ledit ordre jusqu'à extraction de tous les segments des versions de base (SLHB, SLDB) des flux vidéo originaux (TB) affichables sur la même ligne.

c) répétition des étapes a) et b) sur les lignes suivantes jusqu'à extraction de tous les segments des versions de base des flux vidéo originaux de la mosaïque.

5. Procédé selon la revendication 1, dans lequel le format de codage 15 est de type MPEG-2.

6. Procédé selon l'une quelconque des précédentes revendications, dans lequel sur requête d'un utilisateur du réseau de communication, la pluralité de flux vidéo originaux utilisé pour la création de la mosaïque est changée en temps réel.

7. Procédé selon la revendication 6, dans lequel la requête de l'utilisateur est une requête selon le protocole internet de type http.

8. Dispositif de création d'un flux vidéo représentant une mosaïque généré à partir d'une pluralité de flux vidéo originaux, adapté à être transmis sur un seul canal de transmission dans un réseau de communication, caractérisé en ce qu'il comprend: - des moyens d'obtention d'une pluralité de flux vidéo originaux (TB), préalablement codés chacun selon un format dans lequel un flux vidéo original (TB) est composé d'une version de base (FB) et d'une version d'amélioration complémentaire (FE), qui améliore la version de base (FB) spatialement et 2872988 20 qualitativement pour obtenir la version pleine résolution du flux vidéo original (TB), la version de base (FB) étant composée d'un ensemble de segments (SL) constitués chacun d'un en-tête (SLHB) et d'un ensemble de blocs (SLDB) pris par ligne sur les images du flux vidéo original (TB) correspondant; des moyens d'extraction, selon un ordre d'extraction prédéterminé et en fonction du nombre de flux vidéo originaux ainsi obtenus, de segments de chacune des versions de base (SLHB, SLDB) des flux vidéo originaux (TB) obtenus; et - des moyens de construction d'un flux vidéo formant une mosaïque (MS) par insertion dans le même ordre d'extraction des segments (SLHB, SLDB) extraits de façon à obtenir un flux vidéo décodable par un décodeur apte à décoder un flux vidéo original.

9. Support d'informations lisible par un système informatique, éventuellement amovible, totalement ou partiellement, notamment CD-ROM ou support magnétique, tel un disque dur ou une disquette, ou support transmissible, tel un signal électrique ou optique, caractérisé en ce qu'il comporte des instructions d'un programme d'ordinateur permettant la mise en oeuvre d'un procédé de partage selon l'une des revendications 1 à 7, lorsque ce programme est chargé et exécuté par un système informatique.

10. Programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant la mise en oeuvre d'un procédé de partage selon l'une des revendications 1 à 7, lorsque ce programme est chargé et exécuté par un système informatique.