FR2962291A1 - Procede de traitement d'images 3d, et systeme correspondant - Google Patents

Abstract

Procédé de traitement d'un multiplexe, ledit multiplexe comprenant au moins une première vue destinée à être visualisée par un premier œil d'un observateur et au moins une deuxième vue destinée à être visualisée par un deuxième œil de l'observateur, les deux vues étant sous-échantillonnées spatialement selon des grilles complémentaires et mutuellement spatialement décalées. Le procédé comprend : -un démultiplexage (501) du multiplexe de façon à extraire la première et la deuxième vue, et -pour au moins un pixel manquant de la première vue : a) une détermination d'une première fenêtre de la première vue (502) contenant l'emplacement dudit pixel manquant et représentant un premier détail dans la première vue b) une détermination d'une deuxième fenêtre de la deuxième vue (503) représentant le même premier détail dans la deuxième vue c) une élaboration (504) dudit pixel manquant en utilisant les pixels de ladite deuxième fenêtre.

Description

B 10-1139FR 1 Procédé de traitement d'images 3D, et système correspondant

L'invention concerne le traitement d'image, notamment pour améliorer leur résolution. Les images traitées sont par exemple stéréoscopiques, auto-stéréoscopiques, 3D, tridimensionnelles ou plus généralement des images dans lesquelles au moins deux vues destinées à chacun des deux yeux sont multiplexées.

L'invention s'applique avantageusement mais non limitativement aux dispositifs d'affichage d'image et plus généralement à tout dispositif de traitement d'image. Dans l'état de la technique il existe une solution d'interpolation directionnelle ou diagonale nommée Diagonal Correlated Deinterlacing (DCDi) qui permet l'augmentation de la résolution d'une image classique bidimensionnelle. Suivant cette solution, il est sélectionné, au voisinage d'un pixel manquant, plusieurs couples de fenêtres de même taille (par exemple 7*3 pixels). Le couple présentant la meilleure corrélation est alors sélectionné pour réaliser un calcul d'interpolation dite diagonale permettant de déterminer la valeur du pixel manquant. Cette solution n'est pas spécifiquement adaptée aux images 3D qui présentent des particularités par rapport aux images 2D conventionnelles.

En effet, la formation d'image pouvant simuler une perception de relief nécessite le multiplexage de deux vues, une pour l'oeil droit et l'autre pour l'oeil gauche et ces deux vues présentent en général des similarités. Pour réaliser ce multiplexage il existe à ce jour quelques dizaines de formats 3D. Parmi ceux-ci se distinguent deux catégories, suivant que les vues pour l'oeil droit et l'oeil gauche sont multiplexées dans le temps (exemple, le format Frame Sequential selon un terme anglo-saxon bien connu de l'homme du métier signifiant séquence de trames) ou dans l'espace (exemple, le format « line interleave » selon un terme anglo-saxon bien connu de l'homme du métier signifiant Entrelacement de ligne). On parle dans ce dernier cas de sous-échantillonnage spatial permettant à chaque trame haute définition (HD) de contenir un arrangement des deux vues. Par exemple, les deux vues sont entrelacées, elles peuvent également être côte à côte ou dessus dessous (respectivement Side By Side et Top-Bottom selon des termes anglo-saxon bien connus de l'homme du métier). La résolution de chacune des deux vues multiplexées est alors divisée par deux. I1 est également possible de multiplexer plus qu'une vue pour chacun des yeux dans le cas par exemple d'un système auto stéréoscopique offrant plusieurs points de vue, par exemple un multiplexe peut contenir 8 vues dans une trame 4K (qui est composée de quatre trames HD). Selon un mode de mise en oeuvre et de réalisation, il est proposé un procédé et un dispositif de traitement d'image permettant d'exploiter au mieux les particularités des images 3D pour augmenter leur résolution. Selon un autre mode de mise en oeuvre et de réalisation, il est proposé un procédé et un dispositif de traitement d'image qui permettent d'amplifier ou réduire la perception de profondeur d'une image 3D. Selon un aspect, il est proposé un procédé de traitement d'un multiplexe, ledit multiplexe comprenant au moins une première vue destinée à être visualisée par un premier oeil d'un observateur et au moins une deuxième vue destinée à être visualisée par un deuxième oeil de l'observateur, les deux vues étant sous-échantillonnées spatialement selon des grilles complémentaires et mutuellement spatialement décalées, le procédé comprenant : - un démultiplexage du multiplexe de façon à extraire la première et la deuxième vue, et - pour au moins un pixel manquant de la première vue : a) une détermination d'une première fenêtre de la première vue contenant l'emplacement dudit pixel manquant et représentant un premier détail dans la première vue b) une détermination d'une deuxième fenêtre de la deuxième vue représentant le même premier détail dans la deuxième vue c) une élaboration dudit pixel manquant en utilisant les pixels de ladite deuxième fenêtre.

Ainsi, il est prévu d'utiliser la vue destinée à un oeil pour déterminer le pixel manquant dans la vue destinée à l'autre oeil. Plus précisément le décalage entre la première et la deuxième vue n'est en général pas constant pour toute la vue et peut varier d'une zone de la vue à une autre. La détermination d'une deuxième fenêtre contenant le même détail de la vue que celui contenu dans la première vue est donc équivalent à déterminer le décalage (ou parallaxe permettant la perception de la profondeur) local entre les deux vues. A cet égard, on choisira de préférence des fenêtres ayant une taille telle que la parallaxe locale soit proche pour tous les pixels contenus dans les fenêtres. On pourra choisir par exemple une fenêtre rectangulaire et centrée sur le pixel manquant et ayant une taille réduite, par exemple, 7x3 pixels. Bien entendu, l'homme du métier saura choisir la forme et la taille de la fenêtre de sorte que la parallaxe locale varie peu à l'intérieur de la fenêtre. Les caractéristiques des images 3D à sous-échantillonnage spatial (qui vont être détaillée ci après) sont ainsi prises en compte pour obtenir un algorithme efficace et spécialisé. Les caractéristiques d'une image 3D relatives au fait que la première et la deuxième vue présentent des similarités sont parfaitement exploitées pour permettre une élaboration plus juste de pixel manquant. Bien qu'il soit possible de ne réaliser les étapes a), b) et c) que sur un détail de la vue, les étapes a), b) et c) sont généralement avantageusement répétées sur l'ensemble des pixels manquants de la première vue de manière à augmenter la résolution de la première vue. La détermination de la deuxième fenêtre pour l'élaboration du pixel manquant peut s'effectuer de plusieurs façons. Une première façon prévoit par exemple l'utilisation de calculs de corrélation entre plusieurs deuxièmes fenêtres candidates décalées et la première fenêtre pour déterminer la meilleure deuxième fenêtre candidate. Une deuxième façon prévoit l'utilisation d'informations de parallaxe contenue dans le flux vidéo entrant. Ces informations de parallaxe concernent par exemple les pixels présents dans la première vue ou les pixels présents et les pixels manquants de la première vue. Cette deuxième façon peut être utilisée par exemple si dans certains cas la première façon ne permet pas d'obtenir de manière certaine ladite fenêtre.

Cela étant, cette deuxième façon peut être utilisée directement sans utiliser au préalable la première façon. Ainsi, selon un mode de mise en oeuvre, la détermination de la deuxième fenêtre comprend: - une détermination de plusieurs fenêtres candidates au sein de la deuxième vue, chaque deuxième fenêtre candidate étant incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant, - des calculs de corrélation entre la première fenêtre et chaque deuxième fenêtre candidate, -une sélection de la deuxième fenêtre candidate présentant la corrélation la plus importante avec la première fenêtre. Ainsi, il est facile de déterminer une fenêtre représentant un même détail en utilisant des calculs de corrélation. Selon un autre mode de mise en oeuvre, l'étape de détermination de la deuxième fenêtre comprend : - une réception d'un flux comprenant des informations de parallaxe associées aux deux vues, - une sélection d'une deuxième fenêtre incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant et dont le décalage avec la première fenêtre est le plus proche de l'information de parallaxe du pixel manquant. Ce décalage peut être vertical et horizontal. Comme indiqué ci-avant, il est possible d'utiliser le flux comprenant les informations de parallaxe indépendamment de l'utilisation de la corrélation et/ou en complément de la corrélation. Ainsi, le flux comprenant des informations de parallaxe peut être alors utile dans deux cas suivants : - si plusieurs candidats fenêtres ayant une forte corrélation avec la fenêtre de la première vue sont déterminés, - si aucun meilleur candidat fenêtre ne peut être déterminé avec les calculs de corrélation. Dans ces deux cas le flux comprenant des informations de parallaxe permet de sélectionner une et une seule deuxième fenêtre.

Comme indiqué précédemment, selon un mode de mise en oeuvre, les étapes a), b) et c) sont répétées sur tous les pixels manquants de la première vue de façon à augmenter la résolution de la première vue. I1 est possible de réaliser le même algorithme sur la deuxième vue pour également augmenter la résolution de cette deuxième vue. Mais il est plus simple d'élaborer par exemple un pixel manquant dans la deuxième fenêtre à partir des pixels de la première fenêtre qui lui est associée. Ainsi dans le cas par exemple d'une implémentation sous forme logicielle, ou plus généralement dans le cas d'une implémentation dans laquelle un accès à des mémoires de grande capacité est possible, l'élaboration du pixel manquant de la deuxième fenêtre peut être réalisée juste après l'élaboration du pixel manquant de la première fenêtre. En effet, la corrélation étant une relation commutative, si la deuxième fenêtre présente la meilleure corrélation pour la première fenêtre, la première fenêtre présente également la meilleure corrélation pour la deuxième fenêtre. I1 est donc possible d'utiliser cette première fenêtre pour remplir au moins un pixel manquant dans la deuxième fenêtre, par exemple en remplissant un pixel manquant de la deuxième fenêtre par un pixel avec la même position, présents dans la première fenêtre. Selon un autre mode de mise en oeuvre, le procédé comprend en outre un multiplexage des deux vues avec leur résolution augmentée compte tenu des informations de décalage obtenues à partir des couples de première et deuxième fenêtres. Ainsi, après avoir retrouvé une vue de droite et une vue de gauche avec leur résolution d'origine, on obtient, en effectuant un multiplexage de ces deux vues avec leur résolution augmentée, une image 3D avec une résolution augmentée. Le multiplexage est réalisé par exemple temporellement suivant le format « Frame Sequential », il peut également être spatial ou spatio-temporel. Selon un mode de mise en oeuvre, lesdites informations de décalage obtenues sont multipliées par un coefficient avant le multiplexage de la première et deuxième vue. I1 est ainsi possible de décaler les pixels de la vue destinée à un oeil par rapport aux pixels de la vue destinée à un autre oeil avec une valeur de décalage adaptée localement. C'est ainsi la profondeur perçue par l'observateur qui est adaptée. Cette profondeur correspond à la distance entre le point objet perçu par l'observateur et l'écran sur lequel les yeux de l'observateur focalisent. Le réglage est particulièrement pertinent pour une application grand public dans laquelle la distance entre l'écran et l'observateur peut être faible devant la profondeur de l'objet observé (taille du salon). En effet, lorsque la différence entre le point objet perçu et le point sur lequel les yeux focalisent est importante devant la distance écran observateur une sensation de gêne combinée à des maux de tête peut apparaître chez l'observateur. Grâce à cette profondeur adaptée, on peut par exemple réduire la distance entre le point objet et le point de focalisation des yeux. Selon un autre aspect, il est proposé un système de traitement d'un multiplexe, ledit multiplexe comprenant au moins une première vue destinée à être visualisée par un premier oeil d'un observateur et au moins une deuxième vue destinée à être visualisée par un deuxième oeil de l'observateur les deux vues étant sous-échantillonnées spatialement selon des grilles complémentaires et mutuellement spatialement décalées, le système comprenant : - des moyens d'entrée pour recevoir ledit multiplexe et des moyens de traitement comportant : - des moyens de démultiplexage configurés pour démultiplexer le multiplexe de façon à extraire la première et la deuxième vue, -des premiers moyens de détermination configurés pour déterminer une première fenêtre de la première vue contenant l'emplacement d'un pixel manquant de la première vue et représentant un premier détail dans la première vue, - des deuxièmes moyens de détermination configurés pour déterminer une deuxième fenêtre de la deuxième vue représentant le même premier détail dans la deuxième vue, et - des moyens d'élaboration configurés pour élaborer ledit pixel manquant en utilisant les pixels de ladite deuxième fenêtre. - des moyens de commande aptes à activer les premiers et deuxièmes moyens de détermination et les moyens d'élaboration. Selon un autre mode de réalisation, les deuxièmes moyens de détermination comprennent: - des moyens de présélection de plusieurs deuxièmes fenêtres candidates au sein de la deuxième vue, chaque deuxième fenêtre étant incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant, - des moyens de calculs configurés pour effectuer des calculs de corrélation entre la première fenêtre et chaque deuxième fenêtre, - des moyens de sélection configurés pour sélectionner parmi les deuxièmes fenêtres candidates la deuxième fenêtre présentant la corrélation la plus importante avec la première fenêtre. Selon un autre mode de réalisation, les moyens de sélection sont configurés pour sélectionner, à la réception d'un flux comprenant des informations de parallaxe associées aux deux vues, une deuxième fenêtre étant incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant et dont le décalage avec la première fenêtre est le plus proche de l'information de parallaxe du pixel manquant.

Selon un autre mode de réalisation, les moyens de commande sont aptes à activer les premiers et deuxième moyens de détermination et les moyens d'élaboration pour chacun des pixels manquants de la première vue.

Selon un autre mode de réalisation, les moyens d'élaboration sont configurés pour élaborer un pixel manquant dans la deuxième fenêtre à partir de la première fenêtre qui lui est associée. Selon un autre mode de réalisation, les moyens de traitement comprennent en outre des moyens de multiplexage configurés pour multiplexer les deux vues avec leur résolution augmentée compte tenu des informations de décalage obtenues à partir des couples de première et deuxième fenêtres. Selon un autre mode de réalisation, les moyens de traitement comprennent des moyens de multiplication configurés pour multiplier par un coefficient lesdites informations de décalage obtenues avant le multiplexage de la première et deuxième vue. Selon un autre aspect, il est proposé un équipement, par exemple un téléviseur 3D ou un décodeur de télévision numérique comportant un système de traitement d'un multiplexe tel que décrit ci avant. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée de modes de mise en oeuvre et de réalisation, nullement limitatifs, et des dessins annexés, sur lesquels : - la figure 1 illustre schématiquement un exemple d'image 3D résultant d'un multiplexage utilisant un sous-échantillonnage. - les figures 2 à 6 illustrent différents modes de mise en oeuvre d'un procédé d'augmentation de résolution de la première vue. - la figure 7 illustre schématiquement le principe de la formation optique d'une image 3D, et - la figure 8 illustre schématiquement un mode de réalisation d'un système selon l'invention, et - la figure 9 illustre schématiquement un mode de réalisation d'un équipement comportant un exemple de système selon l'invention.

Le multiplexage qui est particulièrement décrit dans la suite est celui connu sous le nom de « line interleave ». Cela étant, les principes décrits ci après s'appliquent à tout format, utilisant le multiplexage de deux vues stéréoscopiques sous-échantillonnées spatialement. Ainsi, la norme HDMI définit les grilles de sous-échantillonnage suivantes: - Line interleave ou entrelacement de lignes (sous-échantillonnage vertical) - Column interleave ou entrelacement de colonnes (sous- échantillonnage horizontal) - Pixel interleave ou entrelacement de pixel (grille de sous-échantillonnage checkerboard ou échiquier selon un terme anglo-saxon bien connu de l'homme du métier) Ces grilles sont utilisées lors d'un multiplexage de vues dans une image 3D. A titre d'exemple de réalisation, deux grilles complémentaires sont utilisées, une chaque vue. Les grilles définissent pour chacune des vues les pixels qui vont être conservés et ceux qui vont être supprimés lors du multiplexage. On obtient ainsi dans une seule image les deux vues sous échantillonnées. Par exemple, dans le cas de deux grilles complémentaires avec des lignes horizontales, on obtient un sous échantillonnage vertical pour lequel dans chacune des deux vues une ligne sur deux est supprimée ce qui conduit donc à des pixels manquants par rapport à la vue d'origine. Et ce sont ces vues sous échantillonnées qui sont multiplexées dans une image 3D. Le multiplexage consiste alors à arranger les pixels restants dans chaque vue dans une image 3D composite. Dans cette image composite, les deux vues sont mutuellement spatialement décalées pour permettre la perception du relief par l'observateur. Le décalage peut être différent pour chaque pixel et l'ensemble des décalages correspondent à des informations de parallaxe. Sur la figure 1, un multiplexe de deux vues est illustré. Les deux vues multiplexées sont quasiment identiques, elles représentent un même objet, par exemple un lapin suivant deux points de vue différents. Les deux vues pourraient également être tout simplement identiques. La première vue est représentée dans le multiplexe sur les lignes paires marquées « + » destinée à un oeil de l'observateur et la deuxième vue est représentée dans le multiplexe sur les lignes impaires marquées « X » destinées à l'autre oeil de l'observateur. Dans ce schéma pour des raisons de clarté, les lignes comportent en largeur plusieurs pixels, alors qu'en réalité, les lignes ne comprennent en largeur qu'un seul pixel.

Les lignes (X) de la deuxième vue sont décalées vers la gauche par rapport aux lignes de la première vue (+). Ce décalage est nommé parallaxe. I1 est en général variable pour chacun des pixels de la première et la deuxième vue. I1 est directement relié à la profondeur perçue par l'observateur. Cette profondeur correspond à la distance entre le point objet perçu par l'observateur et l'écran sur lequel les yeux de l'observateur focalisent. Sur la figure 2 sont illustrées les étapes d'un procédé d'augmentation de résolution de la première vue selon l'invention. Dans un premier temps (501), le multiplexe est démultiplexé en fonction du type de multiplexage pour extraire la première et la deuxième vue. Cette étape est réalisée par des moyens de démultiplexage 401 (figure 8). Ainsi, des première et deuxième vues sous-échantillonnées sont obtenues à partir de l'image 3D. Ce sous échantillonnage se traduit par exemple comme illustré sur la figure 3 par l'omission d'une ligne de pixels sur deux dans chacune des deux vues. On se réfère également à cette figure dans la suite du texte. Puis une première fenêtre F1 contenant la position du pixel manquant est déterminée (502) dans la première vue. La taille de la fenêtre Fl est fixe, par exemple 7x3 pixels. Cette étape est réalisée par des premiers moyens de détermination 402 (figure 8). Ce pixel A dont la position est illustrée sur la figure 3 est un pixel appartenant à la première vue d'origine et qui du fait du sous-échantillonnage est manquant dans la première vue.

Puis, des deuxièmes moyens de détermination (403, figure 8) procèdent à la détermination (503) d'une deuxième fenêtre F2 dans la deuxième vue. Cette deuxième fenêtre F2 est associée à la première fenêtre dans le sens où elle représente le même détail que la première fenêtre dans la deuxième vue, par exemple le détail DO (figure 1). Comme on peut le voir sur la figure 3, la fenêtre F2 est décalée d'une valeur de décalage Pmax. Puisque les deux fenêtres représentent le même détail dans chaque vue, le décalage Pmax correspond sensiblement à la parallaxe locale (pour ce détail) entre les deux vues.

Et si l'on appliquait aux pixels de la ligne impaire du détail DO (figure 1) un décalage de la valeur de ce décalage Pmax, on obtiendrait alors un détail transformé dans lequel les discontinuités seraient supprimées. Puis à partir de la deuxième fenêtre, le pixel manquant est élaboré (504). Pour cela, des moyens d'élaboration (404, figure 8) vont, en fonction des pixels de la deuxième fenêtre, déterminer une valeur pour le pixel manquant de la première fenêtre. Cette valeur va alors être insérée dans la première fenêtre. On prend par exemple la valeur du pixel B de la fenêtre F2 qui se superpose sur le pixel A si on annule le décalage Pmax. I1 est également possible de faire une somme pondérée des valeurs de plusieurs pixels de la fenêtre F2 autour du pixel B et d'insérer cette valeur de pixel pour le pixel A. Au cours de cette étape (504) les moyens d'élaboration (404, figure 8) peuvent également déterminer des valeurs de pixels manquants pour la fenêtre F2. Pour cela, ils utilisent les pixels de la fenêtre F1 de la première vue. Par exemple, il peut être inséré à la position du pixel C manquant de la fenêtre F2 la valeur du pixel D de la fenêtre F1, ce pixel se superposant sur le pixel C si on annule le décalage Pmax. La première et la deuxième fenêtre modifiées sont alors stockées ainsi que les informations de parallaxe des pixels de la première et de la deuxième fenêtre. Le stockage est par exemple réalisé par les moyens d'élaboration (404, figure 8).

Des moyens de commande (406, figure 8) sont alors aptes à activer les premiers et deuxièmes moyens de détermination ainsi que les moyens d'élaboration pour réitérer les étapes 502, 503, 504 sur l'ensemble des pixels manquants de la première vue pour augmenter sa résolution. On peut augmenter la résolution de la deuxième vue en réalisant tout ce qui vient d'être décrit sur la deuxième vue. Selon une variante, on peut dans le cas où au moins un pixel manquant à été élaboré pour chaque deuxième fenêtre, utiliser les deuxièmes fenêtres stockées pour former une deuxième vue sans pixel manquant et dont la résolution est donc augmentée. L'étape de détermination de la deuxième fenêtre F2 peut être réalisée suivant différents modes de mise en oeuvre. Selon un premier mode de mise en oeuvre illustré également sur la figure 2, pour déterminer la deuxième fenêtre F2, il est tout d'abord procédé à la détermination de plusieurs deuxièmes fenêtres candidates dans la deuxième vue (505). Pour cela, des moyens de présélection (4030) présélectionnent les fenêtres candidates de la deuxième vue.

Les calculs de corrélation ne seront ainsi réalisés que sur les fenêtres présélectionnées. Cela permet d'éviter des calculs fastidieux sur toutes les fenêtres de la deuxième vue. Les moyens de présélection déterminent ou récupèrent la position du pixel manquant de la première vue puis présélectionnent l'ensemble des fenêtres candidates contenues dans une zone de taille choisie de la deuxième vue contenant la position du pixel manquant. A titre d'exemple de réalisation la taille de la zone peut être choisie en largeur égale à la largeur verticale de la fenêtre Fl. Dans ce cas l'alignement vertical de la zone peut être réalisé en fonction de la grille de sous-échantillonnage. Cela permet, de limiter la taille de la zone sans exclure les fenêtres représentant le même détail. Par exemple, dans le cas « Line interleave », une zone de la deuxième vue dont la largeur verticale est égale à celle de la fenêtre F 1 est déterminée. Cette zone contient la position du pixel manquant et est alignée sur la ligne juste en dessous de la fenêtre F1. Dans ce cas, il est également possible de limiter les positions horizontales des deuxièmes fenêtres candidates en fixant arbitrairement un jeu de plusieurs écartements de fenêtre à tester.

Plus généralement, la taille de la zone est telle que les fenêtres de la deuxième vue représentant le même détail que la fenêtre F 1 ne sont pas exclues. Ainsi, la largeur verticale de la zone doit être suffisamment importante et/ou l'alignement vertical suffisamment précis pour qu'y soient incluses les fenêtres de la deuxième vue représentant potentiellement le même détail que la première fenêtre et ce également dans le cas d'une parallaxe verticale par exemple à cause d'un mauvais alignement des caméras. Chacune des fenêtres présélectionnée est alors testée (506) du point de vue de sa corrélation avec la première fenêtre Fl. Des moyens de calculs (4031) calculent la corrélation de chaque deuxième fenêtre présélectionnée avec la première fenêtre. On teste ainsi des deuxièmes fenêtres candidates qui ont plusieurs valeurs de décalage avec la première fenêtre. La corrélation peut à titre d'un exemple de réalisation être calculée en utilisant un procédé de calcul nommé SAD selon un acronyme anglo-saxon bien connu de l'homme du métier pour Sum of Absolute Difference qui consiste à réaliser la somme des valeurs absolues des différences de valeur de chaque pixel d'une fenêtre avec la valeur du pixel de même position dans l'autre fenêtre.

Ces tests permettent une sélection parmi les fenêtres candidates de la fenêtre présentant la meilleure corrélation avec la première fenêtre (507). Pour cela, les calculs de corrélation sont transmis à des moyens de sélection (4032) qui sélectionnent la fenêtre F2 présentant la meilleure corrélation avec la fenêtre F 1.

Ainsi, dans le cas illustré pour la valeur de décalage Pmax des deux fenêtres déterminées on obtient une corrélation maximum avec la première fenêtre. A partir de ce décalage Pmax, une valeur de parallaxe des pixels contenus dans ces deux fenêtres peut être déterminée : elle est égale à la valeur de décalage. Dans le mode de mise en oeuvre illustré, le décalage est horizontal, il peut également être vertical dans le cas d'une parallaxe verticale. Selon un deuxième mode de mise en oeuvre illustré sur la figure 4, pour la détermination de la deuxième fenêtre, on utilise un flux comprenant des informations de parallaxe associées aux deux vues. Le flux contient par exemple des informations de parallaxe de chacun des pixels présents dans la première vue par rapport à deuxième vue. Ce flux d'information est reçu (601) par les moyens de sélection (4032). Le flux peut avoir un format compressé selon la norme H264 par exemple. Le cas échéant, le flux est traité par les moyens de sélection selon un procédé de décompression bien connu de l'homme du métier pour en extraire les informations de parallaxe. Ces informations de parallaxe peuvent à titre d'exemple de réalisation être codées dans une image de résolution inférieure ou égale à la résolution d'une vue. Dans ce cas il est nécessaire de décompresser le flux et d'interpoler la parallaxe associée au pixel manquant. Avec ces informations de parallaxes les moyens de sélection (4032) déterminent la parallaxe du pixel manquant de la première vue par rapport à la deuxième vue. A l'aide de ce flux, les moyens de sélection (4032) sélectionnent (602) parmi des fenêtres incluses dans une zone de taille choisie de la deuxième vue qui contient la position du pixel manquant et dont les décalages vertical et horizontal avec la première fenêtre sont les plus proches de l'information de parallaxe du pixel manquant. A titre d'exemple de réalisation, la sélection évoquée ci-dessus est réalisée parmi des fenêtres présélectionnées par les moyens de présélection. La fenêtre sélectionnée est alors associée à la première fenêtre.

En d'autres termes, on utilise ce flux pour déterminer la parallaxe du pixel manquant. Cette parallaxe permet de sélectionner la fenêtre F2. Les deux variantes qui ont été illustrées sur les figures 2 et 4 peuvent être mises en oeuvre indépendamment l'une de l'autre.

Cela étant, si la corrélation ne permet pas une sélection satisfaisante. C'est-à-dire si après les calculs de corrélation, plusieurs fenêtres ont une valeur de corrélation forte (une corrélation forte peut être définie en pourcentage de la corrélation maximum) avec la fenêtre F1 ou si aucune fenêtre avec une corrélation supérieure à un seuil ne peut être déterminée. Le flux d'information de parallaxe peut être utilisé soit pour départager les deuxièmes fenêtres candidates qui ont une même valeur maximum, soit pour déterminer une deuxième fenêtre.

Les figures 5 et 6 illustrent le traitement de multiplexage des vues dont la résolution a été augmentée. Selon un premier mode de mise en oeuvre (figure 5), les deux vues sont multiplexées (701) par les moyens de multiplexage (405, figure 8) en tenant compte pour chacun des pixels des informations de parallaxe de chacun des couples de fenêtres contenant la position dudit pixel stockées par les moyens d'élaboration (404, figure 8). Selon un deuxième mode de mise en oeuvre (figure 6), les informations de parallaxe sont multipliées (702) avant le multiplexage par un coefficient qui est fixé ou qui est transmis par l'observateur. La multiplication peut, par exemple, être réalisée avant le stockage des informations de parallaxe par les moyens d'élaboration (404, figure 8). Le multiplexage est réalisé par les moyens de multiplexage (405, figure 8). Celui-ci grâce aux parallaxes de chacun des pixels (multipliées ou non) et à l'ensemble des pixels de la première et la deuxième vue va pouvoir réaliser un multiplexage pour former une image 3D. Ainsi, il est ainsi possible d'obtenir un affichage d'une image 3D n'ayant perdu aucune résolution. A titre d'exemple de réalisation, le multiplexage est réalisé temporellement suivant le format « Frame Sequential ». Un multiplexage spatial ou spatio-temporel est également possible. Dans le cas d'un multiplexage spatial, il est possible d'utiliser un projecteur avec une résolution deux fois plus importante que chacune des deux vues. Ainsi, on obtient une image composite 3D dans laquelle la résolution des vues est conservée. Le multiplexage peut consister par exemple à arranger chaque vue dans une composition dessus/dessous ou over/under selon un terme anglo-saxon bien connu de l'homme du métier. I1 est également possible dans le cas de l'utilisation de lunettes vidéo de projeter chacune des vues avec la résolution augmentée pour l'oeil correspondant. I1 est également possible par la multiplication des informations de parallaxe de régler la profondeur comme cela est indiqué ci après en référence à la figure 7. Sur la figure 7 est illustré le principe de la formation d'une image 3D. I1 y est illustré : - un écran - deux yeux en position (0,D) et (xB,D) avec xB la valeur d'écartement des deux yeux. L'axe des yeux est donc parallèle à l'écran et espacé d'une valeur D de cet écran. - trois points dont les coordonnées perçues par l'observateur sont (xi, zi), (x2, z2), (x3, z3). Ces trois points représentent trois objets d'une image 3D. Leur projection sur l'écran est respectivement représentée par les points (xL,, xR,), l'indice i prenant les valeurs 1, 2 et 3. xL, correspond à la position du point d'indice i sur l'écran vue par l'oeil gauche et xR; correspond à la position du point d'indice i sur l'écran vue par l'oeil droit. L'observateur en observant les couples de points homologues (xL,, xR,) perçoit la position et la profondeur des points objets (x;, z;).

On voit donc que la parallaxe pi correspondant à l'écartement entre les positions des points homologues (xL,, xR,) est directement reliée à la sensation de profondeur. La formule décrivant cela est pi=xB.(l-D/(D-z;)) Ainsi en réduisant la parallaxe on réduit la sensation de profondeur z; et inversement en augmentant la parallaxe on augmente la sensation de profondeur. La figure 8 illustre une architecture de système 400 dans lequel les moyens d'entrée 407 sont reliés aux moyens de traitement incorporant les moyens 401 402, 403, 404, 406 et les moyens de multiplexage 405 mentionnés ci avant. Certains au moins de ces moyens peuvent être implémentés sous forme de modules logiciels par exemple dans un ou plusieurs calculateurs.

La figure 9 illustre un exemple d'équipement 900 comportant le système de traitement 400. Cet équipement peut être par exemple un téléviseur 3D ou bien un décodeur de télévision numérique qui traite des données contenant des flux vidéo, et connu sous la dénomination anglo saxonne de « set top box ». Ce décodeur peut être relié à 1'ADSL (Asymetric Digital Subscriber Line selon un terme anglo-saxon bien connu de l'homme du métier), à un réseau de fibres optiques, au câble, ou recevoir la TNT (Télévision Numérique Terrestre).

Claims (15)

1. REVENDICATIONS1. Procédé de traitement d'un multiplexe, ledit multiplexe comprenant au moins une première vue destinée à être visualisée par un premier oeil d'un observateur et au moins une deuxième vue destinée à être visualisée par un deuxième oeil de l'observateur, les deux vues étant sous-échantillonnées spatialement selon des grilles complémentaires et mutuellement spatialement décalées le procédé comprenant : - un démultiplexage (501) du multiplexe de façon à extraire la première et la deuxième vue, et - pour au moins un pixel manquant de la première vue : a) une détermination d'une première fenêtre de la première vue (502) contenant l'emplacement dudit pixel manquant et représentant un premier détail dans la première vue b) une détermination d'une deuxième fenêtre de la deuxième vue (503) représentant le même premier détail dans la deuxième vue c) une élaboration (504) dudit pixel manquant en utilisant les pixels de ladite deuxième fenêtre.
2. 2. Procédé de traitement d'un multiplexe selon la revendication 1, dans laquelle la détermination de la deuxième fenêtre comprend: - une détermination (505) de plusieurs fenêtres candidates au sein de la deuxième vue, chaque deuxième fenêtre candidate étant incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant, - des calculs de corrélation (506) entre la première fenêtre (F1) et chaque deuxième fenêtre candidate, - une sélection (507) de la deuxième fenêtre (F2) candidate présentant la corrélation la plus importante avec la première fenêtre.
3. 3. Procédé de traitement selon la revendication 1 ou 2 dans lequel l'étape de détermination de la deuxième fenêtre comprend :- une réception (601) d'un flux comprenant des informations de parallaxe associées aux deux vues, - une sélection d'une deuxième fenêtre (602) incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant et dont le décalage avec la première fenêtre est le plus proche de l'information de parallaxe du pixel manquant.
4. 4. Procédé selon l'une des revendications précédentes, dans lequel les étapes a), b) et c) sont répétées sur tous les pixels de la première vue de façon à augmenter la résolution de la première vue.
5. 5. Procédé selon l'une des revendications précédentes, comprenant une élaboration d'un pixel manquant dans la deuxième fenêtre à partir de la première fenêtre qui lui est associée.
6. 6. Procédé selon l'une des revendications 4 et 5, comprenant en outre un multiplexage des deux vues avec leur résolution augmentée compte tenu des informations de décalage obtenues à partir des couples de première et deuxième fenêtres.
7. 7. Procédé selon la revendication 6, dans lequel lesdites informations de décalage obtenues sont multipliées par un coefficient avant le multiplexage de la première et deuxième vue.
8. 8. Système de traitement d'un multiplexe, ledit multiplexe comprenant au moins une première vue destinée à être visualisée par un premier oeil d'un observateur et au moins une deuxième vue destinée à être visualisée par un deuxième oeil de l'observateur, les deux vues étant sous-échantillonnées spatialement selon des grilles complémentaires et mutuellement spatialement décalées, le système comprenant : - des moyens d'entrée (407) pour recevoir ledit multiplexe et des moyens de traitement comportant : -des moyens de démultiplexage (401) configurés pour démultiplexer le multiplexe de façon à extraire la première et la deuxième vue, - des premiers moyens de détermination (402) configurés pour déterminer une première fenêtre de la première vue contenantl'emplacement d'un pixel manquant de la première vue et représentant un premier détail dans la première vue, - des deuxièmes moyens de détermination (403) configurés pour déterminer une deuxième fenêtre de la deuxième vue représentant le même premier détail dans la deuxième vue, et - des moyens d'élaboration (404) configurés pour élaborer ledit pixel manquant en utilisant les pixels de ladite deuxième fenêtre. - des moyens de commande (406) aptes à activer les premiers et deuxièmes moyens de détermination et les moyens d'élaboration.
9. 9. Système de traitement selon la revendication 8, dans lequel les deuxièmes moyens de détermination (403) comprennent: - des moyens de présélection (4030) de plusieurs deuxièmes fenêtres candidates au sein de la deuxième vue, chaque deuxième fenêtre étant incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant, - des moyens de calculs (4031) configurés pour effectuer des calculs de corrélation entre la première fenêtre rectangulaire (F 1) et chaque deuxième fenêtre, - des moyens de sélection (4032) configurés pour sélectionner parmi les deuxièmes fenêtres candidates la deuxième fenêtre (F2) présentant la corrélation la plus importante avec la première fenêtre.
10. 10. Système de traitement selon l'une des revendications 8 et 9, dans lequel les moyens de sélection (4032) sont configurés pour sélectionner, à la réception d'un flux comprenant des informations de parallaxe associées aux deux vues, une deuxième fenêtre (F2) incluse dans une zone de taille choisie de la deuxième vue, ladite zone contenant la position du pixel manquant et dont le décalage avec la première fenêtre est le plus proche de l'information de parallaxe du pixel manquant.
11. 11. Système de traitement selon l'une des revendications 8 à 10, dans lequel les moyens de commande (406) sont aptes à activer les premiers (402) et deuxième (403) moyens de détermination et les moyens d'élaboration (404) pour chacun des pixels manquants de la première vue.
12. 12. Système selon la revendication 11, dans lequel les moyens d'élaboration (404) sont configurés pour élaborer un pixel manquant dans la deuxième fenêtre à partir de la première fenêtre qui lui est associée.
13. 13. Système selon l'une des revendications 11 et 12, dans lequel les moyens de traitement comprennent en outre des moyens de multiplexage (405) configurés pour multiplexer les deux vues avec leur résolution augmentée compte tenu des informations de décalage obtenues à partir des couples de première et deuxième fenêtres.
14. 14. Système selon la revendication 13, dans lequel les moyens de traitement comprennent des moyens de multiplication configurés pour multiplier par un coefficient lesdites informations de décalage obtenues avant le multiplexage de la première et deuxième vue.
15. 15. Equipement, comprenant un système de traitement (400) selon l'une des revendications 8 à 14.