FR2958824A1 - Procede de traitement d'images stereoscopiques et dispositif correspondant - Google Patents

Abstract

L'invention concerne un procédé de traitement vidéo d'au moins une image d'une séquence vidéo, ladite séquence vidéo comprenant une pluralité de couples d'images, chaque couple d'images comprenant une première image (14, 15, 16) et une deuxième image (17, 18, 19), lesdites première (14, 15, 16) et deuxième (17, 18, 19) images étant destinées à former une image stéréoscopique. Afin de réduire les défauts d'affichage, le procédé comprend une étape de génération d'au moins une troisième image (17i, 18i, 19i) par interpolation temporelle compensée en mouvement à partir d'au moins deux desdites deuxièmes images (17, 18, 19).

Description

PROCEDE DE TRAITEMENT D'IMAGES STEREOSCOPIQUES ET DISPOSITIF CORRESPONDANT

1. Domaine de l'invention. L'invention se rapporte au domaine du traitement d'images ou de vidéo et plus particulièrement dans le traitement d'images et/ou de vidéo à 3 dimensions (3D). L'invention se rapporte également au domaine de l'interpolation d'images avec compensation de mouvement. 2. Etat de l'art. Selon l'état de la technique, une des méthodes utilisées en traitement vidéo pour restituer une perception de relief est la stéréoscopie. Selon cette méthode, deux vues d'une même scène sont enregistrées, avec deux caméras vidéos différentes ou deux appareils photographiques différents, à partir de deux points de vue différents décalés latéralement l'un par rapport à l'autre. La saisie d'une même scène par deux caméras différentes est illustrée par la figure 1 selon un exemple de mise en oeuvre particulier. La scène filmée par deux caméras, dites caméra gauche G 11 et caméra droite D 12, se compose de deux cylindres, le premier 100 de ces cylindres étant statique et le deuxième 110 de ces cylindres se déplaçant selon un mouvement horizontal allant de gauche à droite pour prendre trois positions spatiales successives aux temps Ti, T2 et T3. Les caméras gauche G 11 et droite D 12 sont espacées l'une de l'autre selon un écartement prédéfini (par exemple 6,5 cm, distance correspondant à la distance moyenne séparant les yeux d'un individu) et enregistre la même scène selon deux points de vue, respectivement 111 et 121, différents. Chacune des caméras G 11 et D 12 filme une séquence vidéo composée de trois images, chacune des trois images étant saisies respectivement aux temps Ti, T2 et T3. L'acquisition de cette séquence vidéo est représentée par le chronogramme 13 de la figure 1. La caméra G 11 enregistre trois images 14, 15 et 16 successives respectivement aux instants Ti, T2 et T3 et la caméra D 12 enregistre trois images 17, 18 et 19 successives respectivement aux mêmes instants Ti, T2 et T3 que respectivement les images 14, 15 et 16. Les images 14, 15 et 16 seront nommées images gauches dans le reste de la description et les images 17, 18 et 19 images droites. Les images gauche 14 et droite 17 sont saisies de manière synchronisée et sont représentatives des cylindres 100 et 110 à l'instant Ti, les images gauche 15 et droite 18 sont saisies de manière synchronisée et sont représentatives des cylindres 100 et 110 à l'instant T2 et les images gauche 16 et droite 19 sont également saisies de manière synchronisée et sont représentatives des cylindres 100 et 110 à l'instant T3. Les images gauche 14 et droite 17 étant saisies par des cameras 11 et 12 décalées spatialement, la position des cylindres 100 et 110 représentés dans l'image gauche 14 par des cylindres 100g et 110g n'est pas identique à la position des mêmes cylindres 100 et 110 représentés dans l'image droite 17 par des cylindres 100d et 110d, les deux images 14 et 17 étant de dimensions identiques (par exemple 1920x1080 pixels en format haute définition HD). Des différences entre les positions des cylindres 100g et 110g d'une part et les positions des cylindres 100d et 110d d'autre part apparaissent également dans la paire d'images 15 et 18 prises à l'instant T2 et dans la paire d'image 16 et 19 prises à l'instant T3. Chaque paire d'images gauche et droite, à savoir les images gauche 14 et droite 17 à l'instant Ti, les images gauche 15 et droite 18 à l'instant T2 et les images gauche 16 et droite 19 à l'instant T3, est destinée à former une image stéréoscopique restituant un rendu à trois dimensions de la scène 10 aux instants Ti, T2 et T3 alors que les images 14 à 19 sont saisies avec deux dimensions. Il existe plusieurs techniques d'affichage des paires d'images 14/17, 15/18 et 16/19 permettant la restitution d'images stéréoscopiques. L'une de ces techniques consiste à afficher en alternance une image gauche puis une image droite, par exemple selon la séquence temporelle suivante : 14 û 17 û 15 û 18 û 16 û 19. Un tel affichage alterné des images gauches et droites dans le temps est connu sous le nom d'affichage séquentiel temporel, un utilisateur souhaitant voir le rendu en 3D des images de la séquence devant porter des lunettes spécifiques, par exemple des lunettes actives dont les occultations de I'oeil gauche et de I'oeil droit sont synchronisées respectivement avec l'affichage des images droites et gauches sur un dispositif d'affichage du type écran LCD ou plasma par exemple. L'affichage séquentiel temporel, c'est-à-dire l'affichage successif d'une image gauche puis d'une image droite, entraîne des défauts d'affichage du fait que les images gauche et droite affichées de manière successive dans le temps ont été saisies de manière synchronisée, lorsque des zones des images saisies font apparaître des mouvements. 3. Résumé de l'invention. L'invention a pour but de pallier au moins un de ces inconvénients de l'art antérieur.

Plus particulièrement, l'invention a notamment pour objectif de réduire les défauts d'affichage stéréoscopique de séquences comprenant des objets en mouvement. L'invention concerne un procédé de traitement vidéo d'au moins une image d'une séquence vidéo, la séquence vidéo comprenant une pluralité de couples d'images, chaque couple d'images comprenant une première image et une deuxième image, les première et deuxième images étant destinées à former une image stéréoscopique. Le procédé comprend une étape de génération d'au moins une troisième image par interpolation temporelle compensée en mouvement à partir d'au moins deux desdites deuxièmes images. Selon une caractéristique particulière, le procédé comprend une étape d'estimation d'un vecteur de mouvement pour chaque pixel d'une pluralité de pixels de la troisième image à partir des au moins deux premières images.

Avantageusement, le procédé comprend une étape d'affichage des première et troisième images sur un dispositif d'affichage, les première et troisième images étant respectivement affichées de manière séquentielle. Selon une caractéristique spécifique, le procédé comprend une étape de génération d'au moins une quatrième image par interpolation temporelle compensée en mouvement à partir d'au moins deux premières images. De manière avantageuse, le procédé comprend une étape d'affichage des troisième et quatrième images sur un dispositif d'affichage, les troisième et quatrième images étant respectivement affichées de manière séquentielle. 4. Liste des figures. L'invention sera mieux comprise, et d'autres particularités et avantages apparaîtront à la lecture de la description qui va suivre, la description faisant référence aux dessins annexés parmi lesquels : - la figure 1, décrite précédemment, illustre la saisie d'images d'une séquence vidéo représentatives d'une scène 10 par deux dispositifs d'enregistrement, selon un exemple de mise en oeuvre particulier de l'art antérieur - la figure 2 illustre une méthode de recalage temporel d'images saisies selon la méthode décrite en figure 1, selon un exemple de mise en oeuvre de l'invention ; - la figure 3 illustre une méthode d'interpolation temporelle d'images saisies selon la méthode décrite en figure 1, selon un mode de réalisation particulier de l'invention ; - les figures 4A et 4B illustrent deux modes d'interpolations temporelles d'images saisies selon la méthode décrite en figure 1, selon deux exemples de mise en oeuvre de l'invention ; - la figure 5 illustre schématiquement la structure d'une unité de traitement d'image, selon un mode de réalisation particulier de l'invention ; et - les figures 6 et 7 illustrent un procédé de traitement d'images vidéo mis en oeuvre dans une unité de traitement de la figure 5, selon deux modes de réalisation particuliers de l'invention.

5. Description détaillée de modes de réalisation de l'invention.

La figure 2 illustre une méthode de recalage temporel d'images saisies comme décrit en regard de la figure 1, selon un exemple de mise en oeuvre de l'invention. Les éléments de la figure 2 qui sont identiques aux éléments de la figure 1 conservent les mêmes signes de référence que ceux de la figure 1. Deux dispositifs d'acquisition d'images, respectivement gauche G 11 et droite D 12, enregistrent une séquence d'images d'une même scène selon deux points de vue différents, respectivement point de vue gauche et point de vue droite. Le résultat de ces enregistrements est illustré par le chronogramme 13 d'acquisition des séquences vidéo. Selon l'exemple de mise en oeuvre de la figure 2, la séquence vidéo gauche comprend trois images gauches successives 14, 15 et 16, chacune de ces images étant représentative d'une scène comprenant deux cylindres saisie à des temps Ti, T2 et T3 respectivement et la séquence vidéo droite comprend également trois image droites successives 17, 18 et 19 représentatives de la même scène que les images gauches mais saisies selon un autre point de vue que les images gauches, les trois images droites 17 à 19 étant respectivement saisies aux temps Ti, T2 et T3. Les images 14 et 17 sont donc enregistrées de manière synchronisée à l'instant Ti, les images 15 et 18 sont enregistrées de manière synchronisée à l'instant T2 et les images 16 et 19 sont enregistrées de manière synchronisée à l'instant T3. Chaque paire d'images gauche et droite 14/17, 15/18 et 16/19 sont aptes à former une image stéréoscopique restituant une vision à trois dimensions de la scène enregistrée du fait de l'écartement spatial des dispositifs d'acquisition gauche et droite 11 et 12 qui enregistre la même scène selon deux points de vue différents. Pour restituer la vision stéréoscopique de la scène acquise par les dispositifs d'acquisition 11 et 12 sur un dispositif d'affichage 20 (par exemple un panneau d'affichage plasma, un écran LCD (de l'anglais « Liquid Crystal Display » ou en français « Dispositif d'affichage à cristaux liquides »)), les images gauches et droites saisies sont affichées de manière séquentielle dans le temps selon le schéma suivant : image gauche 14, image droite 17, image gauche 15, image droite 18, image gauche 16, image droite 19 et ainsi de suite. Selon l'exemple illustré en regard de la figure 2, les images gauches 17, 18 et 19 sont affichées avec un léger retard par rapport aux images droites 14, 15 et 16 respectivement selon une méthode bien connue de l'homme du métier appelée affichage séquentiel temporel. Le retard d'affichage correspond à la période d'adressage du dispositif d'affichage 20 et vaut par exemple 10 ms lorsque la fréquence d'affichage est de 100 Hz. La séquence vidéo composée d'images gauches est vue par l'oeil gauche d'un spectateur et la séquence vidéo composée d'images droites est vue par l'oeil droit d'un spectateur, le spectateur devant porter des lunettes adaptées qui permettent l'occultation des images gauches pour l'oeil droit et l'occultation des images droites pour l'oeil gauche. Le décalage temporel pour l'affichage d'images gauche et droite acquises de manière synchronisée entraîne un défaut d'affichage des images stéréoscopiques se caractérisant par une saccade des images, le défaut apparaissant lorsque les séquences vidéos reproduites contiennent des éléments (par exemple des objets, des personnes) se déplaçant. Pour réduire, voire supprimer ce défaut, un recalage temporel des images affichées avec un léger retard (ou une légère avance) est réalisée. Selon l'exemple de la figure 2, un traitement vidéo est opéré sur la séquence vidéo droite. Le recalage temporel de la séquence vidéo composée d'images droites 17, 18 à 19 est interpolée temporellement, une séquence vidéo interpolée composée d'images droites interpolées 17i, 18i et 19i étant obtenue. L'image droite interpolée 17i est obtenue par interpolation temporelle des images 17 et 18 de la séquence vidéo droite source, c'est-à- dire de la séquence vidéo droite acquise par le dispositif d'acquisition droit 12. L'image droite interpolée 18i est obtenue par interpolation temporelle des images 18 et 19 de la séquence vidéo droite source. L'image droite interpolée 19i est obtenue par interpolation temporelle de l'image 19 et de l'image suivant directement l'image 19 (non représentée sur la figure 2) de la séquence vidéo droite source. Chaque image interpolée 17i à 19i comprend une représentation des cylindres composant la scène acquise. Les images 17i, 18i et 19i comprennent chacune une représentation 200 du cylindre statique et une représentation 210 du cylindre mobile à trois instants différents, respectivement T1 +6t, T2+ 6t et T3+ 6t, 6t correspondant au décalage temporel entre l'image source précédente et l'image interpolée correspondante, c'est-à-dire au décalage temporel entre l'instant d'acquisition de l'image source dans la séquence vidéo source et l'instant d'affichage de l'image interpolée dans la séquence vidéo correspondante affichée. Pour réduire voire supprimer les défauts d'affichage liés à l'affichage des images sources, l'interpolation des images droites est réalisée avec compensation de mouvement. L'interpolation avec compensation de mouvement permet de déterminer la position des cylindres 200 et 210 à l'instant d'affichage de l'image interpolée, c'est-à-dire à T1+6t pour l'image 17i, à T2+6t pour l'image 18i et à T3+6t pour l'image 19i. L'interpolation d'image compensée en mouvement appliquée sur la séquence vidéo droite permet ainsi de générer des images interpolées ayant un contenu correspondant à instant de saisie décalé de 6t, c'est-à-dire décalée de la durée qu'il y a entre l'affichage d'une image gauche et d'une image droite sur le dispositif d'affichage, qui ne correspond pas à l'instant de saisie réel de l'image source associée (c'est-à-dire de l'image source 17 pour l'image interpolée 17i, de l'image source 18 pour l'image interpolée 18i et de l'image source 19 pour l'image interpolée 19i). Selon une variante, les images gauches 14 à 16 sont affichées avec une légère avance par rapport aux images droites 17 à 19 respectivement. Selon cette variante, l'interpolation compensée en mouvement est réalisée sur la séquence vidéo gauche comprenant les images gauches. Selon une autre variante, les images gauches 14 à 16 sont affichées avec un léger retard par rapport aux images droites 17 à 19 respectivement. Selon cette variante, l'interpolation avec compensation de mouvement est réalisée sur la séquence vidéo gauche comprenant les images gauches. Selon une autre variante, l'interpolation compensée en mouvement est réalisée sur la séquence vidéo gauche et sur la séquence vidéo droite.

La figure 3 illustre une méthode d'interpolation compensée en mouvement d'images sources saisies selon la méthode décrite en regard des figures 1 et 2, selon un exemple de mise en oeuvre non limitatif de l'invention.

L'image 131 à interpoler est interpolée à partir de deux images sources 30 et 32 d'une séquence vidéo source, la première 30 de ces images sources étant nommée image source précédente T-1 et la deuxième 32 de ces images étant nommée image source courante T. L'écart temporel entre l'image source précédente T-1 30 et l'image à interpoler 131 est égal à bt1 et l'écart temporel entre l'image à interpoler 131 et l'image source courante T 32 est égal à 6t2. L'interpolation vidéo compensée en mouvement comporte avantageusement une étape d'estimation de mouvement suivie d'une étape d'interpolation. L'estimation de mouvement consiste à définir un vecteur de mouvement pour chacun des points de l'image à interpoler 131, laquelle image est positionnée temporellement entre les deux images sources T-1 30 et T 32. L'étape d'estimation de mouvement est avantageusement effectuée en 2 étapes : une étape de prédiction et une étape de correction. L'étape de prédiction consiste à définir, pour chacun des pixels de l'image à interpoler I 31, un vecteur de mouvement à partir de vecteurs de mouvement déjà calculés pour des pixels voisins et de la projection d'un vecteur de mouvement calculé pour l'image source précédente T-1 30 et passant par le pixel considéré de l'image à interpoler 131. Les vecteurs de mouvement déjà calculés sont par exemple ceux des n pixels voisins de la ligne de pixels précédente. La prédiction consiste alors à sélectionner, parmi les n+1 vecteurs de mouvement pré-calculés, le vecteur de mouvement générant la plus petite valeur de DFD (pour Displacement Frame Difference en langue anglaise). L'étape de correction consiste ensuite à faire tourner autour de son axe le vecteur de mouvement sélectionné pour réduire encore, si possible, la DFD du pixel considéré de l'image à interpoler 131. L'estimation de mouvement est avantageusement réalisée pour une partie des pixels de l'image à interpoler 131, par exemple 25% de la totalité des pixels, soit un pixel sur quatre ou 50% de la totalité des pixels, soit un pixel sur deux. Selon une variante, l'estimation de mouvement est réalisée pour l'ensemble des pixels de l'image à interpoler 131. Selon encore une variante, l'étape d'estimation de mouvement est effectuée en une seule étape. L'étape d'interpolation, qui suit l'étape d'estimation en mouvement, est avantageusement une interpolation bilinéaire (de l'anglais « bilinear interpolation »). Dans le cas de l'image à interpoler 131 entre une image source précédente T-1 30 et une image source courante t 32, le vecteur de mouvement défini précédemment pointe sur un point image de chacune des images source, ce point image étant soit un pixel, soit un point situé entre 4 pixels. Dans le cas d'une interpolation dite "simple trame" (de l'anglais « single frame interpolation »), l'interpolation bilinéaire consiste alors à affecter au pixel considéré P, 301 de l'image à interpoler 131 une valeur qui est une fonction bilinéaire f des valeurs des 4 pixels pointés dans l'une des images source (par exemple l'image source courante) par le vecteur de mouvement estimé pour le pixel P,. Par exemple, si NV1, NV2, NV3 et NV4 désignent les valeurs (par exemple leur niveau vidéo NV) des 4 pixels à proximité du point image pointé PT 302 par le vecteur de mouvement dans l'image source courante T 32 et si a1, a2, a3 et a4 sont des facteurs de pondération représentatifs de la proximité desdits pixels avec le point image PT, la valeur affectée au pixel P, 301 de l'image à interpoler 131 est 4 4 E a . NVi / E a . Si le vecteur de mouvement pointe sur un pixel particulier parmi les 4 pixels, le facteur de pondération affecté aux 3 autres pixels est nul et la valeur affectée au pixel considéré est la valeur de ce pixel particulier. Dans le cas d'une interpolation dite "double trame" (de l'anglais « double frame interpolation »), l'interpolation bilinéaire se fait de la même façon mais avec 8 pixels, à savoir 4 pixels de l'image source précédente et 4 pixels de l'image source courante. Selon une variante, l'image source pointée par le vecteur de mouvement (ou son opposé) est l'image source précédente T-1 30 et le point image pointé est PT_1 300. Selon une variante, l'interpolation est réalisée par exemple par interpolation linéaire temporelle sur zone fixe, par filtrage spatio-temporel sur les zones critiques de l'image (c'est-à-dire les zones pour lesquelles la confiance du vecteur de mouvement est faible) ou par toute méthode connue de l'homme du métier. Selon encore une variante, l'interpolation est réalisée par combinaison quelconque des méthodes citées précédemment.

Selon une variante, l'interpolation compensée en mouvement est réalisée en une seule étape.

Les figures 4A et 4B illustrent deux modes d'interpolations temporelles d'images sources acquises selon la méthode décrite en regard des figures 1 et 2, selon deux exemples de mise en oeuvre particuliers de l'invention. La figure 4A illustre un premier exemple d'interpolation temporelle compensée en mouvement. Sur la figure 4A, les pics 401g, 402g et 403g en traits pleins représentent les images gauches sources acquises par un dispositif d'acquisition gauche. L'image gauche 402g correspond à une image dite courante T, l'image gauche 401 g à une image dite précédente T-1 et l'image gauche 403g à une image dite suivante T+1, les trois images gauches 401g à 403g appartenant à la séquence vidéo gauche et étant successives d'un point de vue temporel. Les pics 401d, 402d et 403d en traits pleins représentent les images droites sources acquises par un dispositif d'acquisition droit. L'image droite 402d correspond à une image dite courante T, l'image droite 401d à une image dite précédente T-1 et l'image droite 403d à une image dite suivante T+1, les trois images 401g à 403g appartenant à la séquence vidéo droite et étant successives d'un point de vue temporel. Comme illustré sur la figure 4A, l'image gauche 401g a été acquise de manière synchronisée temporellement à l'image droite 401d, l'image gauche 402g a été acquise de manière synchronisée temporellement à l'image droite 402d et l'image gauche 403g a été acquise de manière synchronisée temporellement à l'image droite 403d. Les pics 404i et 405i en traits pointillés représentent les images droites interpolées à partir des images droites acquises par le dispositif d'acquisition, aussi dénommées images droites sources. L'image droite interpolée 404i est interpolée à partir des images droites sources 401d et 402d et l'image droite interpolée 405i est interpolée à partir des images droites sources 402d et 403d. Selon l'exemple de la figure 4A, l'image droite interpolée 404i est située à équidistance d'un point de vue temporelle des images droites sources 401d et 402d et l'image droite interpolée 405i est située à équidistance d'un point de vue temporelle des images droites sources 402d et 403d. Si la durée séparant deux images sources, par exemple 401d et 402d, correspond à un temps trame T, la durée bt1 séparant l'image source 401d de l'image interpolée 404i est égale à la durée bt2 séparant l'image source 402d de l'image interpolée 404i et est égale à 1/2 temps trame. De la même manière, l'image interpolée suivante 405i est séparée temporellement de chacune des trames droites sources 402d et 403d l'entourant de 1/2 temps trame. Cet exemple de mise en oeuvre offre l'avantage de ne réaliser de l'interpolation temporelle compensée en mouvement que sur l'une des deux séquences vidéo source, à savoir la séquence vidéo source droite. Selon une variante, l'interpolation temporelle compensée en mouvement est réalisée sur la séquence vidéo source gauche G et non pas sur la séquence vidéo source droite D. La figure 4B illustre un deuxième exemple d'interpolation temporelle compensée en mouvement. Sur la figure 4B, les pics 401 g, 402g, 403g, 401d, 402d et 403d en traits pleins représentent les images sources gauches et droites acquises et sont identiques à celles décrites en regard de la figure 4A qui portent les mêmes signes de référence. Les pics 406i et 408i en traits pointillés représentes les images gauches interpolées, l'image interpolée 406i étant interpolée à partir des images sources gauches 401 g et 402g et l'image interpolée 408i étant interpolée à partir des images sources gauches 402g et 403g. Selon cet exemple, la durée séparant l'image source gauche 401g de l'image interpolée 406i est égale à 3/a du temps trame et la durée séparant l'image interpolée 406i de l'image source gauche courante 402g est égale à 1A de temps trame. L'image interpolée 406i est temporellement plus proche de l'image source gauche courante 402g que de l'image source gauche précédente 401g, c'est-à-dire trois fois plus proche temporellement. De la même manière, la durée séparant l'image source gauche courante 402g de l'image interpolée 408i est égale à 3/a du temps trame et la durée séparant l'image interpolée 408i de l'image source gauche suivante 403g est égale à 1A de temps trame. L'image interpolée 408i est temporellement plus proche de l'image source gauche suivante 403g que de l'image source gauche courante 402g, c'est-à-dire trois fois plus proche temporellement. Les pics 407i et 409i en traits pointillés représentes les images droites interpolées, l'image droite interpolée 407i étant interpolée à partir des images sources droites 401d et 402d et l'image droite interpolée 409i étant interpolée à partir des images sources droites 402d et 403d. Selon cet exemple, la durée séparant l'image source droite précédente 401d de l'image interpolée 407i est égale à 1A du temps trame et la durée séparant l'image interpolée 407i de l'image source droite courante 402dg est égale à 3/a du temps trame. L'image droite interpolée 407i est temporellement plus proche de l'image source droite précédente 401d que de l'image source droite courante 402d, c'est-à-dire trois fois plus proche temporellement. De la même manière, la durée séparant l'image source droite courante 402d de l'image droite interpolée 409i est égale à 1A du temps trame et la durée séparant l'image droite interpolée 409i de l'image source droite suivante 403d est égale à 3/a de temps trame. L'image interpolée 409i est temporellement plus proche de l'image source droite courante 402d que de l'image source droite suivante 403d, c'est-à-dire trois fois plus proche temporellement. Que ce soit pour l'exemple illustré en figure 4A que dans l'exemple illustré en figure 4B, la différence temporelle au niveau de l'affichage entre une image gauche (source pour la figure 4A, interpolée pour la figure 4B) et une image droite (interpolée pour les figures 4A et 4B) est constante et égale à 1/2. Cet exemple de mise en oeuvre offre l'avantage de minimiser les erreurs liées à l'interpolation temporelle compensée en mouvement, l'image interpolée étant temporellement proche d'une image source (c'est-à-dire 1A de trame). Selon une variante, plusieurs images interpolées sont générées entre deux images sources, par exemple 2, 3 ou 4 images interpolées. La génération de plusieurs images interpolées entre deux images sources permettant de multiplier le nombre d'images à afficher et par conséquent d'augmenter la fréquence d'affichage des images sur le dispositif d'affichage. Selon cette variante, les images sources et interpolées sont avantageusement distribuées de manière uniforme d'un point de vue temporel, c'est-à-dire que la durée qui les sépare est identique pour toutes les images.

La figure 5 illustre schématiquement un exemple de réalisation matérielle d'une unité de traitement 5 d'un dispositif d'affichage, selon un mode de réalisation particulier de l'invention. L'unité de traitement 5 prend par exemple la forme d'un circuit logique programmable de type FPGA (de l'anglais « Field-Programmable Gate Array » ou en français « Réseau de portes programmables ») par exemple, ASIC (de l'anglais « Application-Specific Integrated Circuit » ou en français « Circuit intégré à application spécifique ») ou d'un DSP (de l'anglais « Digital Signal Processor » ou en français « Processeur de signal numérique »). L'unité de traitement est adaptée à la mise en oeuvre du procédé décrit précédemment. L'unité de traitement 5 comprend les éléments suivants : - un pré-filtre 50 ; - un estimateur de mouvement 51 ; - des mémoires 52, 53 et 56, par exemple de type RAM (de l'anglais « Random Access Memory » ou en français « Mémoire à accès aléatoire ») ou flash, apte à mémoriser une ou plusieurs images sources ; - un interpolateur 54 ; - une unité de synchronisation 55 ; - des bus de données 510, 511, 512, 513, 514 et 515 ; et - un bus d'horloge 516.

Un premier signal RVBd (Rouge, Vert, Bleu droite) 501 représentatif de la séquence vidéo source droite comprenant des images sources droites acquises par le dispositif d'acquisition droit est fourni en entrée de l'unité de traitement 5 à un pré-filtre 50 via un bus de données 511. Le pré-filtre 50 filtre les pixels composant les images sources droites, c'est-à- dire une image source courante T et une image source précédente T-1, en déterminant par calcul par exemple un pixel pour quatre pixels de l'image source ou un pixel pour deux pixels de l'image source selon un schéma spatial déterminé, pour stocker une partie des pixels de chacune des images sources courante T et précédente T-1 dans la mémoire 52. L'estimateur de mouvement 51 détermine un vecteur de mouvement (Vx, Vy) pour chaque pixel de l'image à interpoler, chacun des pixels pour lesquels un vecteur de mouvement est déterminé étant associé à plusieurs pixels (4 ou 2 selon les exemples donnés ci-dessus) des images sources courante T et précédente T-1 stockées dans la mémoire 52. Un même vecteur de mouvement (Vx, Vy) est associé à plusieurs pixels des images sources T et T-1. Ces vecteurs de mouvement (Vx, Vy) déterminés sont transmis à l'interpolateur 513 via le bus de données 513. En parallèle, l'interpolateur 54 reçoit en entrée le signal RVBd 501 représentatif des images sources droites courante T et précédente T-1, les niveaux vidéo de chacun des pixels de chacune des images courante T et précédente T-1 étant stockés dans la mémoire 53. L'interpolateur 54 génère une image droite interpolée à partir des images sources droites courante T et précédente T-1 et des vecteurs de mouvements (Vx, Vy) associés. Le signal RVBd,i (pour Rouge, Vert, Bleu droite interpolé) représentatif des images droites interpolées à partir de la séquence vidéo droite source est transmis à une unité d'affichage 502, avantageusement externe à l'unité de traitement 5, via le bus de données 515 pour affichage d'une séquence vidéo droite interpolée comprenant les images droites interpolées. La séquence vidéo droite interpolée est composée des images droites interpolées en mouvement qui remplacent les images droites sources comprises dans la séquence vidéo droite source. Ainsi, les images droites affichées sur le dispositif d'affichage sont les images droites interpolées et non pas les images droites sources. Un traitement vidéo ayant été opéré sur la séquence vidéo droite source, un retard est généré au niveau de la transmission des images interpolées à l'unité d'affichage 502 par rapport aux images gauches associées dont le contenu correspond à chacune des images droites interpolées. Pour synchroniser la transmission du signal RVBg (pour Rouge, Vert, Bleu gauche) 500 à l'unité d'affichage 502 avec le signal RVBd,i 504, le signal RVBg 500 est retardé par mise en mémoire d'une ou plusieurs images gauches dans une mémoire 56 par l'intermédiaire d'une unité de synchronisation 55, le signal RVBg 500 étant fourni à l'unité de synchronisation 55 via le bus de données 510. L'unité de synchronisation 55 transmet par ailleurs un signal d'horloge 54 à l'interpolateur 54 via le bus d'horloge 516 pour déclencher la transmission d'une image droite interpolée à l'unité d'affichage 502 de telle manière que l'image droite interpolée droite soit reçue par l'unité d'affichage juste après l'image gauche dont le contenu correspond à l'image droite interpolée afin de générer une image stéréoscopique à partir d'une paire d'images comprenant une image gauche et une image droite interpolée associée. L'image gauche de la paire d'images destinées à former une image stéréoscopique est transmise par l'unité de synchronisation 55 à l'unité d'affichage 502 via un bus de données 514. Selon une variante, l'unité de traitement 5 ne comprend pas de décimation (de l'anglais « decimation ») des images sources, c'est-à-dire que l'estimation de mouvement est réalisée pour tous les pixels composants les images sources précédente T-1 et courante T. Selon cette variante, le pré- filtre est fonctionnellement plus simple (ne réalisant par exemple qu'un lissage gaussien des images sources) que lorsqu'un pixel est déterminé pour plusieurs pixels des images sources. Selon cette variante, la mémoire 52 ne stocke qu'une seule image, à savoir l'image précédente, l'image courante étant directement transmises à l'estimateur de mouvement sans être mémorisée au préalable. De la même manière, la mémoire 53 ne stocke qu'une seule image, à savoir l'image précédente, l'interpolation étant réalisée à partir de l'image courante reçue par l'interpolateur et l'image précédente mise en mémoire. Après interpolation, l'image courante devient l'image précédente d'une nouvelle image courante et est stockée dans la mémoire 53 en écrasant l'ancienne image précédente. Selon une autre variante, les mémoires 52 et 53 ne forment qu'une seule mémoire. Selon une autre variante, le signal RVBg représentatif de la séquence vidéo source gauche est également interpolé avec compensation de mouvement. Selon cette variante, l'unité de traitement 5 comprend un deuxième pré-filtre, un deuxième estimateur de mouvement, un deuxième interpolateur avec les mémoires associées pour l'interpolation avec compensation de mouvement des images gauches en plus du pré-filtre 50, de l'estimateur de mouvement 51, de l'interpolateur 54 et de leurs mémoires associées 52 et 53 destinés à l'interpolation des images droites. Le fonctionnement des deuxièmes pré-filtre, estimateur de mouvement et interpolateur est identique à celui décrit précédemment pour le traitement des images droites.

La figure 6 illustre un procédé de traitement d'images vidéo mis en oeuvre dans une unité de traitement 5, selon un exemple de mise en oeuvre non limitatif particulièrement avantageux de l'invention. Au cours d'une étape d'initialisation 60, les différents paramètres de l'unité de traitement sont mis à jour. Ensuite, au cours d'une étape 61, une image est interpolée à partir de deux images sources d'une séquence vidéo, la séquence vidéo résultant de la combinaison de deux séquences vidéos, dites séquence vidéo gauche et séquence vidéo droite, les séquences vidéos gauche et droite comprenant respectivement des images gauches et des images droites d'une même scène filmée respectivement par une caméra gauche et une caméra droite de manière synchronisée. La séquence vidéo résultant de la combinaison des séquences vidéos gauche et droite se compose des images gauche et droite des séquences vidéos gauche et droite se succédant temporellement de manière alternative, c'est-à-dire que les images gauches et droites sont temporellement alternées de la manière suivante : image gauche, image droite, image gauche, image droite, image gauche et ainsi de suite. En d'autres termes, la séquence vidéo résultant de la combinaison des séquences vidéos gauche et droite comprend une pluralité de paire d'images gauche et droite qui se succèdent temporellement, chaque paire d'images comprenant une image gauche et une image droite représentative de la même scène saisie à un même instant T. Chaque paire d'image est destinée à générer une image stéréoscopique, c'est-à-dire à trois dimensions, de la scène. L'image gauche d'une paire d'images est également appelée première image, l'image droite d'une paire d'image est également appelée deuxième et la séquence vidéo résultant de la combinaison des séquences vidéos gauche et droite est appelée première séquence vidéo dans le reste de la description. L'image interpolée, également appelée troisième image, est avantageusement interpolée avec compensation de mouvement à partir de deux deuxièmes images se suivant temporellement dans la première séquence vidéo. La troisième image est temporellement intercalée entre les deux deuxièmes images. L'intervalle temporel séparant la deuxième image précédant (d'un point de vue temporel) la troisième image de la troisième image est égal à bt1 et l'intervalle temporel séparant la deuxième image suivant (d'un point de vue temporel) la troisième image de la troisième image est égal à 6t2. De manière avantageuse, 6t1 est égal à 6t2. Selon une variante, plusieurs troisièmes images sont interpolées avec compensation de mouvement à partir des deux deuxièmes images, notamment pour augmenter la fréquence des images de la première séquence vidéo. Selon une autre variante, la (ou les) troisième(s) image(s) est (sont) interpolée(s) à partir de deux images gauches se suivant temporellement. Selon cette variante, l'image gauche d'une paire d'image est appelée deuxième image et l'image droite d'une paire d'image est appelée première image pour conserver le même vocabulaire que ci-dessus. Selon une autre variante, la troisième image est interpolée avec compensation de mouvement à partir de deux images droites, dites deuxièmes images, et une quatrième image résulte de l'interpolation avec compensation de mouvement de deux images gauches, dites premières images. Selon cette variante, l'intervalle temporel séparant la première image précédant (d'un point de vue temporel) la quatrième image de la quatrième image est égal à bt1' et l'intervalle temporel séparant la première image suivant (d'un point de vue temporel) la quatrième image de la quatrième image est égal à 6t2'. Selon cette variante, 6t1 est avantageusement strictement inférieur à 6t2, c'est-à-dire que la troisième image est temporellement plus proche de la deuxième image qui la précède et bt1' est strictement supérieur à 6t2', c'est-à-dire que la quatrième image est temporellement plus proche de la première image qui la suit et l'intervalle temporel séparant la troisième image de la quatrième image est égal à la moitié du temps séparant deux premières images dans la séquence vidéo gauche (c'est-à-dire telle que saisie par une dispositif d'acquisition).

L'interpolation avec compensation de mouvement de la troisième image et/ou de la quatrième image est avantageusement réitérée de manière à remplacer toutes les deuxièmes images de la première séquence vidéo par des images interpolées, c'est-à-dire des troisièmes images, et/ou remplacer toutes les premières images de la première séquence vidéo par des images interpolées, c'est-à-dire des quatrièmes images.

La figure 7 illustre un procédé de traitement d'images vidéo mis en oeuvre dans une unité de traitement 5, selon un exemple de mise en oeuvre non limitatif particulièrement avantageux de l'invention.

Au cours d'une étape d'initialisation 70, les différents paramètres de l'unité de traitement sont mis à jour. Ensuite, au cours d'une étape 71, un vecteur de mouvement est calculé pour chaque pixel d'une partie des pixels de l'image à interpoler, c'est-à-dire la troisième image et/ou la quatrième image, par exemple pour un pixel sur deux ou pour un pixel sur quatre. Selon une variante, un vecteur de mouvement est déterminé pour chaque pixel de l'image. Pour la troisième image, les vecteurs de mouvement sont déterminés à partir des deux deuxièmes images et pour la quatrième image, les vecteurs de mouvement sont déterminés à partir des deux premières images.

Puis, au cours d'une étape 72, la troisième image et/ou la quatrième image est (sont) interpolée(s) à partir de deux deuxièmes images (respectivement de deux premières images) et à partir des vecteurs de mouvements déterminés à l'étape 71. Lorsqu'un vecteur de mouvement a été déterminé pour seulement une partie des pixels de la troisième image, par exemple pour un pixel sur quatre, le vecteur de mouvement calculé pour le pixel parmi les quatre est copié pour les trois autres pixels de manière à réaliser l'interpolation pour l'ensemble des pixels de l'image à interpoler, c'est-à-dire de la troisième image. Pour le reste, l'étape 72 est identique à l'étape 61 décrite en regard de la figure 6.

Enfin, au cours d'une étape 73, les premières et troisièmes images sont affichées sur un dispositif d'affichage de manière séquentielle temporelle, c'est-à-dire de manière successive et alternée à raison d'une première image suivie d'une troisième image et ainsi de suite. L'affichage des troisièmes images interpolées avec compensation de mouvement à la place des deuxièmes images originales permet de corriger le défaut lié à un affichage décalé d'une deuxième image par rapport à la première image qui lui est associée (c'est-à-dire saisie au même instant T), l'affichage de la deuxième image suivant l'affichage de première image. En effet, la troisième image remplaçant la deuxième image ayant été recalée temporellement (par interpolation temporelle avec compensation de mouvement), le positionnement temporel de la troisième image dans la séquence vidéo affichée sur le dispositif d'affichage est en cohérence avec son contenu compensé en mouvement. Selon une variante, les quatrièmes images et les troisièmes images sont affichées sur le dispositif d'affichage de manière séquentielle temporelle, c'est-à-dire de manière successive et alternée à raison d'une quatrième image suivie d'une troisième image et ainsi de suite.

Bien entendu, l'invention ne se limite pas aux modes de réalisation décrits précédemment. En particulier, l'invention n'est pas limitée à un procédé de traitement d'images mais s'étend à l'unité de traitement mettant en oeuvre un tel procédé et au dispositif d'affichage comprenant une unité de traitement mettant en oeuvre le procédé de traitement d'images. De manière avantageuse, chaque séquence vidéo gauche et droite comprend plus de trois images. Le nombre d'images dépend de la durée des séquences vidéos (par exemple acquise à 50 ou 60 Hz en mode vidéo, c'est-à-dire 50 ou 60 images par seconde, ou à 24 Hz en mode film, c'est-à-dire 24 images par seconde).

Claims (5)

1. REVENDICATIONS1. Procédé de traitement vidéo d'au moins une image d'une séquence vidéo, ladite séquence vidéo comprenant une pluralité de couples d'images, chaque couple d'images comprenant une première image (14, 15, 16) et une deuxième image (17, 18, 19), lesdites première (14, 15, 16) et deuxième (17, 18, 19) images étant destinées à former une image stéréoscopique, caractérisé en ce que ledit procédé comprend une étape de génération (61, 72) d'au moins une troisième image (17i, 18i, 19i) par interpolation temporelle compensée en mouvement à partir d'au moins deux desdites deuxièmes images (17, 18, 19).
2. 2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une étape d'estimation (71) d'un vecteur de mouvement pour chaque pixel d'une pluralité de pixels de ladite troisième image (17i, 18i, 19i) à partir desdites au moins deux premières images.
3. 3. Procédé selon l'une des revendications 1 à 2, caractérisé en ce qu'il comprend une étape d'affichage (73) desdites première et troisième images sur un dispositif d'affichage, lesdites première (14, 15, 16) et troisième (17i, 18i, 19i) images étant respectivement affichées de manière séquentielle.
4. 4. Procédé selon l'une des revendications 1 à 2, caractérisé en ce qu'il comprend une étape de génération (61, 72) d'au moins une quatrième image par interpolation temporelle compensée en mouvement à partir d'au moins deux desdites premières images.
5. 5. Procédé selon la revendication 4, caractérisé en ce qu'il comprend une étape d'affichage desdites troisième et quatrième images sur un dispositif d'affichage, lesdites troisième et quatrième images étant respectivement affichées de manière séquentielle.35