FR2968108A1

FR2968108A1 - Procede de reduction de la taille d’une image stereoscopique

Info

Publication number: FR2968108A1
Application number: FR1155400A
Authority: FR
Inventors: Guillaume Boisson; Christel Chamaret; Paul Kerbiriou; Patrick Lopez
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2011-06-20
Filing date: 2011-06-20
Publication date: 2012-06-01
Also published as: US10009590B2; WO2012175386A1; US20140204176A1; EP2721829A1

Abstract

L'invention concerne un procédé de traitement d'image pour afficher une image stéréoscopique sur un écran cible, une information de disparité (200) étant associée à ladite image stéréoscopique et étant adaptée pour l'affichage de l'image stéréoscopique sur un écran origine, la taille de l'écran origine étant différente de la taille de l'écran cible, l'image stéréoscopique comprenant une première image (20) et une deuxième image (21). Afin d'optimiser la disparité de l'image stéréoscopique à l'écran cible, le procédé comprend les étapes suivantes : - sélection d'une partie de ladite première image en fonction d'au moins une propriété associée à la première image, - calcul d'un budget de disparité associé à l'écran cible en fonction de conditions de visualisation associées à l'écran cible, - calcul d'une information de disparité cible associée à la partie sélectionnée de la première image en fonction du budget de disparité et d'une information de disparité originale associée à la partie sélectionnée de la première image.

Description

PROCEDE DE REDUCTION DE LA TAILLE D'UNE IMAGE STEREOSCOPIQUE

1. Domaine de l'invention. L'invention se rapporte au domaine du traitement d'image ou de vidéo et plus particulièrement dans le traitement d'images et/ou de vidéo en 3 dimensions (3D). L'invention se rapporte également au domaine du recadrage (de l'anglais « retargeting » ou encore « reframing ») d'une ou plusieurs images vidéo à trois dimensions (3D).

2. Etat de l'art. Selon l'état de la technique, il existe plusieurs méthodes utilisées en traitement vidéo pour restituer une perception de relief, par exemple la stéréoscopie. En stéréoscopie, deux vues (respectivement droite et gauche) d'une même scène (dites aussi image droite et image gauche ou encore première image et deuxième image) sont enregistrées, avec deux caméras vidéos différentes ou deux appareils photographiques différents, à partir de deux points de vue différents décalés latéralement l'un par rapport à l'autre.

Ces deux vues de la même scène sont affichées sur un dispositif d'affichage (par exemple un écran de type PDP (de l'anglais « Plasma Display Panel » ou en français « Panneau d'affichage plasma », de type LCD (de l'anglais « Liquid Crystal Display » ou en français « Dispositif d'affichage à cristaux liquides ») ou au moyen d'un vidéoprojecteur) soit de manière séquentielle temporellement (image gauche puis image droite et ainsi de suite) ou de manière entrelacée spatialement (ligne (ou colonne) de l'image gauche puis ligne (respectivement colonne) de l'image droite et ainsi de suite) pour restituer la perception du relief, c'est-à-dire l'information de profondeur. L'ampleur d'un effet 3D ou la perception d'un relief dans une image 3D dépend directement de la disparité des images gauche et droite, c'est-à-dire de la distance (mesurable en nombre de pixels par exemple) séparant deux pixels, c'est-à-dire un pixel pour l'image gauche et un pixel de l'image droite, représentant une même information vidéo au niveau du dispositif d'affichage, c'est-à-dire représentant le même élément de la scène enregistrée. La disparité des images gauche et droite d'un film ou d'une vidéo est décidée par le réalisateur et dépend de l'écartement des caméras gauche et droite filmant la scène. Cette disparité est avantageusement adaptée à des conditions de visualisation déterminées du contenu vidéo 3D par un utilisateur, c'est-à-dire que la disparité est adaptée au dispositif d'affichage sur lequel sera visualisée le contenu 3D, ce dispositif d'affichage étant appelé dispositif d'affichage original dans le reste de la description. En fonction du dispositif d'affichage original sur lequel il est prévu d'afficher le contenu vidéo 3D, le réalisateur décide de l'importance du niveau de disparité entre les images droite et gauche formant une image stéréoscopique. Les conditions de visualisations sont liées au dispositif d'affichage et correspondent à la largeur de l'écran d'affichage et à la distance à laquelle un spectateur regarde le contenu 3D affiché. Il est par ailleurs connu d'adapter la taille des images vidéo prévues à l'original pour être visualisées sur un dispositif d'affichage original pour que le contenu de ces images soit adapté pour être visualisé sur un dispositif d'affichage ayant une taille différente de celle du dispositif d'affichage d'originale, par exemple une taille inférieure. Avec l'apparition de nouveaux dispositifs d'affichage aptes à afficher des contenus vidéo 3D dont la gamme de taille est très étendue (allant par exemple de la taille d'écran d'une salle de cinéma à la taille d'un écran de téléphone portable), il devient également nécessaire d'adapter la disparité entre les images gauche et droite d'un contenu 3D et la taille des images qui sont initialement prévues pour la taille d'un dispositif d'affichage original pour que l'ampleur des effets 3D soit adaptée à un dispositif d'affichage ayant une taille différente de celle du dispositif d'affichage d'original, les conditions de visualisation changeant d'un dispositif d'affichage à un autre.

3. Résumé de l'invention. L'invention a pour but de pallier au moins un de ces inconvénients de l'art antérieur.

Plus particulièrement, l'invention a notamment pour objectif d'optimiser la taille et la disparité associées à une image stéréoscopique pour un affichage sur un écran cible différent de l'écran sur lequel l'image stéréoscopique est destinée à être affichée. L'invention concerne un procédé de traitement d'image pour afficher une image stéréoscopique sur un écran cible, une information de disparité étant associée à ladite image stéréoscopique et étant adaptée pour l'affichage de l'image stéréoscopique sur un écran origine, la taille de l'écran origine étant différente de la taille de l'écran cible, l'image stéréoscopique comprenant une première image et une deuxième image. Le procédé comprend les étapes suivantes : - sélection d'une partie de la première image en fonction d'au moins une propriété associée à la première image et de la taille de l'écran cible, - calcul d'un budget de disparité associé à l'écran cible en fonction de conditions de visualisation associées à l'écran cible, - calcul d'une information de disparité cible associée à la partie sélectionnée de la première image en fonction du budget de disparité et d'une information de disparité originale associée à la partie sélectionnée de la première image. Selon une caractéristique particulière, la limite inférieure du budget de disparité est égale à l'opposé du produit d'une valeur représentative d'une distance interoculaire d'un spectateur, d'une valeur représentative d'une distance de visualisation d'un contenu affiché sur l'écran cible par le spectateur et d'une valeur représentative d'un seuil admissible du conflit accommodation vergence et en ce que la limite supérieure du budget de disparité est égale à la plus petite valeur entre la valeur absolue de la limite inférieure et la valeur représentative de la distance interoculaire du spectateur. Avantageusement, la valeur représentative de la distance interoculaire du spectateur correspond au produit du nombre de pixels par ligne de l'écran cible et de la distance interoculaire du spectateur exprimée en mètre divisé par la largeur de l'écran cible. De manière avantageuse, l'information de disparité cible est en outre fonction de valeurs de disparités originales minimale et maximale associées à la partie sélectionnée de la première image. Selon une autre caractéristique, l'information de disparité cible est calculée en utilisant une fonction affine ayant pour variable l'information de disparité originale. Selon une caractéristique spécifique, la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité originale maximale et la valeur de disparité originale minimale et d'autre part une valeur seuil prédéterminée.

De manière avantageuse, la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité maximale de la première image par rapport à la deuxième image et la valeur de disparité minimale de la première image par rapport à la deuxième image et d'autre part une valeur seuil prédéterminée. Selon une autre caractéristique, la limite inférieure du budget de disparité est en outre fonction de la valeur minimale de disparité de la première image par rapport à la deuxième image et la limite supérieure du budget de disparité est en outre fonction de la valeur maximale de disparité de la première image par rapport à la deuxième image. Selon une caractéristique particulière, la limite inférieure du budget de disparité est en outre fonction de la valeur minimale de disparité de la partie sélectionnée de la première image et la limite supérieure du budget de disparité est en outre fonction de la valeur maximale de disparité de la partie sélectionnée de la première. Selon une caractéristique spécifique, les conditions de visualisation associées à l'écran cible comprennent la distance de visualisation de l'écran cible et la largeur de l'écran cible. De manière avantageuse, la taille de l'écran origine est supérieure à la taille de l'écran cible.

4. Liste des figures.

L'invention sera mieux comprise, et d'autres particularités et avantages apparaîtront à la lecture de la description qui va suivre, la description faisant référence aux dessins annexés parmi lesquels : - la figure 1 illustre un dispositif d'affichage original et deux dispositifs d'affichage cibles, selon un exemple de mise en oeuvre particulier de l'invention ; - la figure 2 illustre schématiquement la structure d'une unité de traitement d'une image stéréoscopique pour affichage sur un dispositif d'affichage cible de la figure 1, selon un mode de réalisation particulier de l'invention ; - les figures 3 et 4 illustrent une méthode d'adaptation de l'information de disparité en fonction d'un dispositif d'affichage cible de la figure 1, selon deux modes de réalisation particuliers de l'invention ; - la figure 5 illustre un procédé de traitement d'image pour afficher une image stéréoscopique sur un dispositif d'affichage cible de la figure 1, selon un mode de réalisation particulier de l'invention. 5. Description détaillée de modes de réalisation de l'invention. La figure 1 illustre un dispositif d'affichage origine 10 (ou écran origine 10) et deux exemples de dispositifs d'affichages cible 11 et 12 (ou écrans cibles 11 et 12). On entend par dispositif d'affichage origine un dispositif d'affichage dont les caractéristiques ont été prises en compte lors de la production d'un contenu 3D, c'est-à-dire que le contenu 3D (et plus particulièrement les informations de disparité associées) est particulièrement adapté pour être visualisé sur le dispositif d'affichage original 10. On entend par dispositif d'affichage cible un dispositif d'affichage ayant une taille différente de celle du dispositif d'affichage original et sur lequel le contenu 3D sera finalement visualisé. A titre d'exemple non limitatif, le dispositif d'affichage origine est un écran de télévision de 46 pouces au format 16/9 dont la résolution est de 1920x1080 (soit 1080 lignes de 1920 pixels chacune) et la largeur de 1 mètre. La distance de visualisation associée à un tel écran 10 est de 3 mètres, ce qui correspond à la distance à laquelle il est préconisé à un spectateur de regarder un contenu 3D ou 2D. L'angle de vue associé à un tel écran 10 est de 19°. A titre d'exemple non limitatif, le premier dispositif d'affichage cible 11 est un écran, par exemple un écran d'une tablette adaptée à l'affichage de contenus 3D, de 10 pouces au format 4/3 dont la résolution est de 1024x768 (soit 768 lignes de 1024 pixels chacune) et la largeur est de 20 cm. La distance de visualisation associée à l'écran 11 est de 50 cm et l'angle de vue associé est de 23°. A titre d'exemple non limitatif, le deuxième dispositif d'affichage cible 12 est un écran, par exemple un écran d'un téléphone adapté à afficher des contenus 3D, de 3.4 pouces au format 16/9 dont la résolution est de 854x480 (soit 480 lignes de 854 pixels chacune) et sa largeur est de 7.5 cm. La distance de visualisation associée à l'écran 12 est de 30 cm et l'angle de vue associé est de 14°. Les conditions de visualisation, c'est-à-dire la largeur de l'écran et la distance de visualisation, d'un contenu 3D sont différentes d'un dispositif d'affichage à un autre, la distance de visualisation étant globalement d'autant plus petite que la largeur de l'écran du dispositif d'affichage est petite. Par ailleurs, le format du dispositif d'affichage origine 10 (à savoir 16/9) étant différent du format du premier dispositif d'affichage cible 11 (à savoir 4/3), une simple mise à l'échelle des images prévues pour être visualisées sur le dispositif d'affichage origine 10 n'est pas suffisante pour que ces images soit visualisées sans gêne (par exemple sans fatigue visuelle excessive) sur le premier dispositif d'affichage origine 11.

La figure 2 illustre schématiquement un exemple de réalisation matérielle d'une unité de traitement d'images 2, selon un mode de réalisation particulier et non limitatif de l'invention. L'unité de traitement 2 prend par exemple la forme d'un circuit logique programmable de type FPGA (de l'anglais « Field-Programmable Gate Array » ou en français « Réseau de portes programmables ») par exemple, ASIC (de l'anglais « Application-Specific Integrated Circuit » ou en français « Circuit intégré à application spécifique ») ou d'un DSP (de l'anglais « Digital Signal Processor » ou en français « Processeur de signal numérique »). L'unité de traitement 2 comprend les éléments suivants : une unité de recadrage 2000 ; - une unité de modification de disparité 2001 ; - une unité de synthèse de vue 2002 ; - des bus de données reliant les différents éléments de l'unité de traitement entre eux et avec l'extérieur de l'unité de traitement 2. Un premier signal 20 représentatif de la première image originale (ou vue droite) et un deuxième signal 21 représentatif de la deuxième image originale (ou vue gauche) sont fournis en entrée de l'unité de traitement 2. La première image originale et la deuxième originale forment une image stéréoscopique originale. Le premier signal 20 comprend avantageusement deux canaux d'information, le premier canal d'information 200 étant représentatif de la disparité originale (entre les pixels de la première image et les pixels correspondant de la deuxième image) et le deuxième canal d'information 201 étant représentatif de la couleur associée à chaque pixel de la première image, la couleur correspondant par exemple à un niveau de gris ou à un niveau de gris pour chacune des couleurs RGB (de l'anglais « Red, Green, Blue » ou en français « Rouge, vert, bleu »). Le deuxième signal 21 comprend avantageusement un canal d'information 210 représentatif de la couleur associée à chaque pixel de la deuxième image, la couleur correspondant par exemple à un niveau de gris ou à un niveau de gris pour chacune des couleurs RGB (de l'anglais « Red, Green, Blue » ou en français « Rouge, vert, bleu »). L'information de couleur 201 de la première image est fournie à l'unité de recadrage 2000 via un bus de données approprié. Une information représentative de la taille de l'écran cible 22 est également fournie en entrée de l'unité de recadrage 2000. A partir de l'information de couleur 201 de la première image et de l'information représentative de l'écran cible 22, l'unité de recadrage sélectionne une partie de la première image adaptée à être affichée sur l'écran cible. La taille de la fenêtre correspondant à la partie sélectionnée de la première image correspond avantageusement à la taille de l'écran cible. En se référant aux exemples de la figure, si l'écran cible correspond au premier écran cible 11 de résolution 1024x768, la taille de la fenêtre sélectionnée sera de 1024x768 pixels. Si l'écran cible correspond au deuxième écran cible 12 de résolution 854x480, la taille de la fenêtre sélectionnée sera de 854x480 pixels. La fenêtre dans la première image est avantageusement sélectionnée en fonction d'une carte de saillance (de l'anglais « saliency map ») comprenant une valeur de saillance associée à chaque pixel de la première image, la carte de saillance permettant de déterminer quelle(s) partie(s) de la première image est(sont) la(les) plus attractive(s) pour l'oeil humain (par exemple une partie de l'image comprenant du texte ou le visage d'un personnage ou une partie de l'image où les contrastes lumineux sont plus importants que dans le reste de la première image). On retrouve en sortie de l'unité de recadrage 2000 une information 203 représentative des coordonnées de la fenêtre sélectionnée de la première image correspondant à la vue droite recadrée 24. Cette information 203 représentative des coordonnées de la fenêtre sélectionnée est transmise à l'unité de modification de disparité 2001. L'information 203 représentative des coordonnées de la fenêtre sélectionnée comprend avantageusement les coordonnées du pixel supérieur gauche de la fenêtre et les coordonnées du pixel inférieur droit de la fenêtre exprimée dans le référentiel de la première image (les coordonnées d'un pixel correspondent avantageusement au numéro de ligne et au numéro de colonne dans la première image). Selon une variante, l'information 203 comprend les coordonnées ligne/colonne du pixel supérieur gauche avec le nombre de lignes et le nombre de colonnes de la fenêtre sélectionnée. La vue droite recadrée 24 en sortie de l'unité de traitement 2 comprend les informations de couleur associées à chacun des pixels de la fenêtre sélectionnée dans la première image. La taille de la vue droite recadrée 24 est parfaitement adaptée pour l'affichage sur l'écran cible et le contenu vidéo de la vue droite recadrée comprend le ou les centres d'intérêts du contenu vidéo de la première image.

L'information de disparité originale 200 de la première image est transmise à l'unité de modification de disparité 2001 via un bus de données adapté. Cette information de disparité originale 200 est transmise à l'unité de modification de disparité en parallèle de l'information 203 représentative des coordonnées de la fenêtre sélectionnée. Une information 23 représentative des conditions de visualisation associées à l'écran cible (c'est-à-dire par exemple la taille de l'écran, le nombre de pixels par ligne de l'écran cible et la distance de visualisation) est également fournie en entrée de l'unité de modification de disparité 2001. A partir de l'information 203 représentative des coordonnées de la fenêtre sélectionnée et de l'information de disparité originale 200, l'unité de modification de disparité 2001 estime les valeurs de disparité originale associées à chacun des pixels de la fenêtre sélectionnée. L'unité de modification de disparité 2001 estime un budget de disparité associé à l'écran cible à partir de l'information 23 représentative des conditions de visualisation. Le budget de disparité correspond à un intervalle de disparité acceptable par un spectateur regardant un contenu 3D sur l'écran cible. Le budget de disparité est avantageusement défini par les valeurs limites de l'intervalle de disparité acceptable, c'est-à-dire à la valeur limite inférieure dn%tle de disparité acceptable et à la valeur limite supérieure d i' de disparité acceptable. Les valeurs limites inférieure et supérieure sont calculées à partir des équations suivantes : 1dcible _ - 7 cible x .D min 7 cible _ min {d7 c~ible x ,D;ax ~ ~ Où N correspond au nombre de pixels par ligne de l'écran cible, W correspond à la largeur de l'écran cible en mètre,

D correspond à la distance de visualisation d'un contenu affiché sur l'écran cible (par exemple D = 0.5 m pour le premier écran cible 11 et D = 0.3 m pour le deuxième écran cible 12),

te correspond à la distance interoculaire du spectateur (typiquement 6.5 cm pour un adulte et 4 cm pour un enfant), cible l ou b J cible N = X t b W Equations 1, 2 correspond au seuil supérieur admissible du conflit accommodation vergence, exprimé en dioptries (par exemple =0.26), dbie correspond à la distance interoculaire exprimée en pixels. En prenant comme exemple les écrans des dispositifs d'affichage 10, 11 et 12 de la figure 1, on obtient en prenant =0.2 b et te=4 cm : - pour le premier dispositif d'affichage cible 11 : o dbie = 205 pixels o dmbne = -20.5 pixels o dmâz = 20.5 pixels - pour le deuxième dispositif d'affichage cible 12 : o dbie = 455 pixels o dcible = -27 pixels min o dmâz = 27 pixels - pour le dispositif d'affichage original 10 : o do igine = 77 pixels o dorigine = -46 pixels min o dorigine = 46 pixels max De manière avantageuse, te est paramétrée par défaut comme étant égale à la plus petite valeur, c'est-à-dire à la distance interoculaire d'un enfant, ce qui 20 permet d'apporter un confort de visualisation acceptable par le plus grand nombre de spectateurs. Selon une variante, la valeur de te est réglable et est modifiable par le spectateur en fonction de sa propre distance interoculaire. Selon une autre variante, la valeur de te peut être choisie parmi un nombre fini de valeurs, par exemple deux valeurs correspondant respectivement à la 25 distance interoculaire moyenne des adultes et à la distance interoculaire moyenne des enfants. L'unité de modification de disparité 2001 calcule une information de disparité cible 202, dite aussi disparité modifiée, à partir du budget de disparité de l'écran cible et de l'information de disparité originale de la fenêtre 30 sélectionnée. Cette information de disparité cible 202 est transmise à l'unité de synthèse de vue 2002. Des exemples de méthodes de calcul de l'information de disparité cible sont décrits ci-après plus en détails en regard des parties de la description correspondant aux figures 3 et 4. L'information de couleur 210 de la deuxième image est fournie à 35 l'unité de synthèse de vue 2002 via un bus de données adapté. L'information de couleur 210 est reçue par l'unité 2002 parallèlement aux informations de disparité originale 200, de disparité modifiée provenant de la première image 15 (la première et la deuxième image étant représentatives de la même scène et acquises simultanément) et de l'information 203 représentative des coordonnées de la fenêtre sélectionnée provenant de l'unité de recadrage 2000. A partir de l'information de disparité originale 200, de l'information 203 représentative des coordonnées de la fenêtre sélectionnée de la vue droite et de l'information de couleur 210 de la vue gauche, l'unité de synthèse de vue sélectionne une fenêtre dans la deuxième image (vue gauche) qui comprend les pixels de la vue gauche correspondant aux pixels de la fenêtre sélectionnée de la vue droite. L'information de disparité originale 200 fournissant la différence en nombre de pixels sur une ligne entre un pixel de la vue droite et le pixel correspondant de la vue gauche, retrouver la fenêtre de la vue gauche correspondant à la fenêtre sélectionnée de la vue droite est une action élémentaire de l'unité de synthèse de vue 2002. La fenêtre ainsi sélectionnée de la vue gauche par l'unité 2002 a la même taille que la fenêtre sélectionnée de la vue droite par l'unité de recadrage 2000. Puis à partir de l'information de disparité modifiée 202 obtenue en prenant en compte le budget de disparité de l'écran cible, l'unité de synthèse de vue 2002 détermine une vue gauche recadrée 25, c'est-à-dire une fenêtre de la vue gauche comprenant les pixels de la vue gauche (c'est-à-dire les informations de couleur associées à ces pixels) correspondant aux pixels de la fenêtre sélectionnée de la vue droite dont la disparité entre chaque pixel de la fenêtre de la vue droite et le pixel correspondant de la fenêtre de la vue gauche correspond à la valeur de disparité modifiée estimée par l'unité de modification de disparité 2001. Il y a ainsi une bonne correspondance des informations de couleur entre un pixel de la fenêtre de la vue droite et le pixel correspondant de la vue gauche mais avec une disparité entre ces pixels adaptée à l'écran cible. L'affichage de la vue droite recadrée 24 et de la vue gauche recadrée 25 correspondante sur l'écran cible (soit de manière séquentielle temporellement (vue droite recadrée puis vue gauche recadrée) ou de manière entrelacée spatialement (au niveau des lignes des vues droite et gauche) offre à l'utilisateur un contenu 3D dont l'ampleur des effets 3D est parfaitement adapté aux conditions de visualisation associées à l'écran cible.

La figure 3 illustre une première méthode d'estimation de l'information de disparité cible (assignée aux pixels de la première image recadrée par l'unité de traitement 2 par rapport aux pixels de la deuxième image recadrée) en fonction d'un écran cible 11 ou 12, avantageusement mise en oeuvre dans l'unité de traitement 2 et plus spécifiquement dans l'unité de modification de disparité 2001, selon un premier mode de réalisation particulier et non limitatif de l'invention. La figure 3 illustre les

intervalles de disparité 30, 31, 32 observés dans respectivement la première image originale, la fenêtre sélectionnée de la première image et au niveau de l'image recadrée affichée sur l'écran cible. Ainsi, dm xme 302 correspond au niveau de disparité maximale observé dans la première image originale par rapport à la deuxième image originale (par exemple la vue droite 20 par rapport à la vue gauche 21) et dmin e 301 correspond au niveau de disparité minimale observé dans la première image originale par rapport à la deuxième image originale. L'intervalle de disparité 30 délimité par les valeurs maximale d.nraaxme 302 et minimale dmraaxme 301 représente l'intervalle dans lequel se situent toutes les valeurs de disparité associées aux pixels de la

première image originale (par rapport à la deuxième image originale). Les valeurs de disparité observées dans la fenêtre sélectionnée dans la première image (par l'unité de recadrage 2000 par exemple) sont un sous-ensemble des valeurs de disparités observées dans la première image originale et sont représentées par l'intervalle 31 délimité par une limite maximale de disparité

dmax 312 correspondant à la valeur supérieure de disparité observée dans la fenêtre sélectionnée et par une limite minimale de disparité dmin 311 correspondant à la valeur inférieure de disparité observée dans la fenêtre sélectionnée. Enfin le dernier intervalle de disparité 32 illustré en figure 3 représente les valeurs de disparité qui pourront être associées aux pixels des

images recadrées par l'unité de traitement 2 pour affichage sur l'écran cible. Cet intervalle 32 est délimité par les limites supérieure dmbie 322 et inférieure dmb,;.e 321 du budget de disparité de l'écran cible. Les valeurs de disparité cibles associées aux pixels des vues gauche et droite recadrées d'une image stéréoscopique recadrée pour affichage sur l'écran cible sont

avantageusement déterminées en utilisant une fonction affine ayant pour variable les valeurs de disparité originales d associées à l'image stéréoscopique originale (c'est-à-dire les valeurs de disparité associées aux pixels de la vue droite 20 par rapport à la vue gauche 21 et comprises dans l'information de disparité originale 200). Une valeur de disparité cible d'

comprise dans l'intervalle 32 est calculée via l'équation suivante : i cible dmâz - dreibne w d, = dmin + w w. X (d - dmin) Equation 3 dmax- dmin Cette relation affine correspond avantageusement à une interpolation de vue linéaire combinée à un décalage de disparité déterminé. Toutes les valeurs de disparité cible calculée en utilisant l'équation 3 sont comprises dans le budget de disparité cible de l'écran cible.

Selon une variante, le coefficient directeur de la relation affine correspond à la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité originale maximale et la valeur de disparité originale minimale de la fenêtre et d'autre part une valeur seuil prédéterminée. Selon cette variante, la valeur de disparité cible d' est calculée via l'équation suivante : di = cible + minj (df - dmbn ; X (d - w dmin K, w. K~ dmin) Equation 4 l dm.ax- dman Où K correspond la valeur seuil prédéterminée, K étant par exemple égal à 1, 1.5 ou 2.

Cette variante offre l'avantage de supprimer tout risque d'extrapolation de vue qui peut survenir lorsque les valeurs de dmin 311 et d nax 312 sont trop proches, ce qui peut survenir du fait de l'opération de recadrage effectuées sur la première vue pour obtenir la sélection de la fenêtre recadrée. En effet, l'extrapolation de vue présente le risque de générer des artéfacts indésirables lors de la synthèse de vue. Afin d'éviter tout risque d'artéfact de synthèse de vue, Kest avantageusement choisi égal à 1. La figure 4 illustre une deuxième méthode d'estimation de l'information de disparité cible en fonction d'un écran cible 11 ou 12, avantageusement mise en oeuvre dans l'unité de traitement 2 et plus spécifiquement dans l'unité de modification de disparité 2001, selon un deuxième mode de réalisation particulier et non limitatif de l'invention. La figure 4 illustre différents intervalles de disparité 40, 41, 42, 43, 44. L'intervalle de disparité 40 correspond avantageusement à l'intervalle de disparité disponible pour la cible première de production alors que l'intervalle de disparité 41 correspond à l'intervalle réellement utilisé par le réalisateur et correspond à l'intervalle de disparité qui se retrouve dans l'image originale. L'intervalle de disparité 42 correspond à l'intervalle de valeurs observé au niveau de la fenêtre sélectionnée dans la première image et correspond à un sous-ensemble de l'intervalle 41. L'intervalle de disparité 43 correspond quant à lui à l'intervalle de valeurs cible en prenant en compte les contraintes imposées par le réalisateur sur les valeurs de disparité et l'intervalle de disparité 44 correspond à l'intervalle de valeurs disponibles pour l'image recadrée à afficher sur l'écran cible sans prendre en compte les contraintes imposées par le réalisateur. dma°z 402 correspond à la valeur supérieure de disparité originale fixée pour la production de l'image stéréoscopique originale et dmin 401 correspond à la valeur inférieure de disparité originale fixée pour la production de l'image stéréoscopique originale. d.nractre 412 correspond à la valeur supérieure de disparité dans l'image originale en prenant en compte des contraintes imposées par le réalisateur lors de la réalisation finale de l'image stéréoscopique originale et dmin e 411 correspond à la valeur inférieure de disparité dans l'image originale en prenant en compte des contraintes imposées par le réalisateur lors de la réalisation finale de l'image stéréoscopique originale. dmax 422 correspond à la valeur supérieure de disparité observée dans la fenêtre sélectionnée et dmin 421 correspond à la valeur limite minimale de disparité correspondant à la valeur inférieure de disparité observée dans la fenêtre sélectionnée. dmâz' 432 et dmbne' 431 correspondent respectivement à la valeur limite supérieure de disparité et la valeur limite inférieure de disparité dans l'image recadrée en prenant en compte les contraintes imposées par le réalisateur qui restreignent l'amplitude de disparité disponible par rapport aux valeurs cibles pour l'écran cible calculées sur la base des valeurs de production premières (c'est-à-dire l'intervalle 40). Le budget de disparité cible contraint (représenté par une valeur limite supérieure d;;âxe' et une valeur limite inférieure dmbne') par les choix de réalisateur quand aux limites supérieur et inférieure de disparité originale est calculée en utilisant les équations suivantes : d(rame cibles cible min dmin =dmin x Equation 5 prod dmin (rame cibles cible dmax dmax = dmax x prod Equation 6 dmax Une valeur de disparité cible contrainte par les choix du réalisateur d' comprise dans l'intervalle 43 est calculée via l'équation suivante : i Cibles dmâix'- dmtin i w d' = dmin + w w x (d - dmin) Equation 7 dmax- dmin Selon une variante, une nouvelle contrainte est mise sur le budget de disparité cible contraint en prenant en compte les valeurs limites supérieure d nax 422 et inférieure dmin 421 de la fenêtre sélectionnée. En prenant en compte ces nouvelles contraintes, on obtient un nouveau budget de disparité cible contraint représenté par ses valeurs limites supérieure de" et inférieure dmble" obtenues par les équations suivantes : cibler cible dmin dmin = dmin x dprod Equation 8 min dmâxe" = dmbaxe x d d Equation 9 dmax Une valeur de disparité cible nouvellement contrainte par les valeurs de disparité limites de la fenêtre sélectionnée d" est calculée via l'équation suivante : cible~i d" = dycitibne" + dmw -dWLncible~i x (d - dmin) Equation 10 dmax- dmin Selon une autre variante, la valeur de disparité cible d' (respectivement d') est calculée en prenant en compte les valeurs de disparité limites supérieure df,,raare et inférieure dmin e de l'image stéréoscopique originale par l'équation suivante : cible cible i Cible dmax -dmin w d = dmin + dframe_ dframe x (d - dmin) Equation 11 max min Selon encore une variante, la valeur de disparité cible d' (respectivement d') est calculée en prenant en compte les valeurs de disparité limites supérieure dma°z et inférieure dmti d de production première par l'équation suivante : i Ctible dcibl - dmbne w d' = dmin + dprod_ dprod x (d - dmin) Equation 12 max min La figure 5 illustre un procédé de traitement d'image pour afficher une image stéréoscopique sur un écran cible 11 ou 12 mis en oeuvre dans une unité de traitement 2, selon un mode de réalisation particulier et non limitatif de l'invention.

Au cours d'une étape d'initialisation 50, les différents paramètres de l'unité de traitement sont mis à jour.

Ensuite, au cours d'une étape 51, une partie d'une première image d'une image stéréoscopique originale formée de deux images originales, à savoir une première image originale et une deuxième image

originale, est sélectionnée. Une information de disparité originale est associée à l'image stéréoscopique originale. L'information de disparité originale est par exemple associée à la première image originale, une valeur de disparité étant associée à chaque pixel de la première image originale et représentant le décalage en x (c'est-à-dire sur une ligne) en pixel(s) entre un pixel de la première image originale et le pixel correspondant de la deuxième image originale. On entend par pixels correspondant de la première image originale et de la deuxième image originale deux pixels ayant sensiblement les mêmes niveaux de couleur et représentant un même élément d'une scène, la première image originale et la deuxième image originale étant deux vues de cette scène (par exemple vue gauche et vue droite) selon deux points de vue différents prises à un même instant t. L'image stéréoscopique originale et plus particulièrement l'information de disparité originale associée est particulièrement adaptée pour l'affichage de l'image stéréoscopique originale sur un écran origine ayant une première taille, c'est-à-dire que l'ampleur des effets 3D associés à l'image stéréoscopique originale est adaptée pour que les effets 3D soient vus sans gêne par un spectateur. Cela revient à dire que l'intervalle des valeurs de disparités associées à l'image stéréoscopique originale (représenté par ses valeurs limites supérieure et inférieure) est déterminée (par exemple par le réalisateur de l'image stéréoscopique originale) en fonction par exemple de la taille de l'écran origine sur lequel l'image stéréoscopique est prévue d'être affichée et de la distance de visualisation de l'image stéréoscopique sur l'écran origine (correspondant à une distance moyenne en mètre entre le spectateur et l'écran origine). La partie sélectionnée de la première image (également appelée fenêtre sélectionnée) est sélectionnée en fonction de la taille d'un écran cible, différent de l'écran origine, sur lequel l'image stéréoscopique sera finalement affichée. La taille de l'écran cible est différente de l'écran origine (par exemple sa largeur ou sa hauteur ou les deux dimensions est/sont différente(s)). De manière avantageuse, la taille de l'écran cible est inférieure à la taille de l'écran origine. La partie sélectionnée de la première image est avantageusement sélectionnée en fonction d'une ou plusieurs propriétés associées à la première image, comme par exemple les niveaux de contraste associés aux pixels de la première image ou les niveaux de couleur associés aux pixels de la première image ou le type de contenu associée à la première image (par exemple du texte ou une image d'un visage). La ou les propriétés de la première image sont par exemple représentées sous la forme d'une carte de saillance associée à la première image. Puis, au cours d'une étape 52, le budget de disparité associé à l'écran cible est calculé. Le budget de disparité correspond à un niveau d'ampleur des effets 3D qu'un spectateur peur regarder sur l'écran cible sans être gêné, sans ressentir de fatigue inhabituelle. Le budget de disparité correspond à un intervalle de valeurs de disparité qui peuvent être assignés aux pixels de l'image stéréoscopique affichée sur l'écran cible, dite image stéréoscopique recadrée. Le budget de disparité est caractérisé par une valeur de disparité limite supérieure et par une valeur de disparité limite inférieure. Ces deux valeurs limites dépendent des conditions de visualisation associées à l'écran cible, c'est-à-dire par exemple la largeur de l'écran cible, la distance de visualisation associée à l'écran cible, c'est-à-dire la distance à laquelle un spectateur visualise l'image stéréoscopique recadrée sur l'écran cible et le nombre de pixels par ligne de l'écran cible. Le budget de disparité est avantageusement calculé à partir des équations 1 et 2 décrites précédemment. La limite inférieure du budget de disparité est égale à l'opposé du produit d'une valeur représentative d'une distance interoculaire d'un spectateur, d'une valeur représentative d'une distance de visualisation d'un contenu affiché sur l'écran cible par le spectateur et d'une valeur représentative d'un seuil admissible du conflit accommodation vergence et la limite supérieure du budget de disparité est égale à la plus petite valeur entre la valeur absolue de la limite inférieure et la valeur représentative de la distance interoculaire du spectateur. La valeur représentative de la distance interoculaire du spectateur correspond au produit du nombre de pixels par ligne de l'écran cible et de la distance interoculaire du spectateur exprimée en mètre divisé par la largeur de l'écran cible. Selon une variante, le budget de disparité est déterminé à partir d'une table de correspondance comprenant une liste d'écrans cibles, un budget de disparité étant assigné à chaque écran cible et ayant été déterminée par l'utilisation des équations 1 et 2 ou de manière empirique par exemple. Selon une autre variante, la limite inférieure du budget de disparité est fonction de la valeur minimale de disparité de l'image stéréoscopique originale (c'est-à-dire de la valeur minimale de disparité de la première image originale par rapport à la deuxième image originale) et la limite supérieure du budget de disparité est fonction de la valeur maximale de disparité de l'image stéréoscopique originale (c'est-à-dire de la valeur minimale de disparité de la première image originale par rapport à la deuxième image originale).

Selon une variante supplémentaire, la limite inférieure du budget de disparité est fonction de la valeur minimale de disparité de la partie sélectionnée de la première image par rapport à la partie sélectionnée de la deuxième image et en ce que la limite supérieure du budget de disparité est fonction de la valeur maximale de disparité de la partie sélectionnée de la première image. Enfin, au cours d'une étape 53, une information représentative de la disparité cible associée à l'image stéréoscopique recadrée à afficher sur l'écran cible est calculée en fonction du budget de disparité cible estimé précédemment et en fonction d'une information de disparité originale associée à la partie sélectionnée de l'image stéréoscopique originale (c'est-à-dire associée à la partie sélectionnée de la première image originale).

L'information de disparité cible est en outre avantageusement fonction de valeurs de disparités originales minimale et maximale associées à la partie sélectionnée de la première image. L'information de disparité cible est avantageusement calculée en utilisant une fonction affine ayant pour variable l'information de disparité originale, par exemple à l'aide d'une des équations 3, 4, 7, 10, 11 ou 12 décrites précédemment. La fonction affine a par exemple pour coefficient directeur une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité originale maximale et la valeur de disparité originale minimale.

Selon une variante, la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité originale maximale et la valeur de disparité originale minimale et d'autre part une valeur seuil prédéterminée. Selon une variante, la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité maximale de la première image par rapport à la deuxième image et la valeur de disparité minimale de la première image par rapport à la deuxième image et d'autre part la valeur seuil prédéterminée.

Bien entendu, l'invention ne se limite pas aux modes de réalisation décrits précédemment.

En particulier, l'invention n'est pas limitée à un procédé de traitement d'images mais s'étend à l'unité de traitement mettant en oeuvre un tel procédé et au dispositif d'affichage comprenant une unité de traitement mettant en oeuvre le procédé de traitement d'images.

De manière avantageuse, le format du signal représentatif de l'image stéréoscopique originale fourni en entrée de l'unité de traitement est de type MVD2 (de l'anglais « Multi-view Video Depth with 2 images » ou en français « Vidéo multi-vues + profondeur à 2 images »). Selon ce format, l'image stéréoscopique originale comprend deux images correspondant chacune à un point de vue différent, à chaque vue étant associée une information de disparité représentative de la disparité entre la vue en question et l'autre vue. Selon une variante, une image stéréoscopique originale brute est fournie en entrée de l'unité de traitement 2, c'est-à-dire une image stéréoscopique formée de deux images correspondant chacune à un point de vue différent, sans que l'information de disparité soit fournie de manière explicite dans un canal associé. Selon cette variante, l'information de disparité est déduite des deux vues formant l'image stéréoscopique originale en utilisant toute méthode d'estimation de disparité connue de l'homme du métier. Selon une autre variante, l'information de disparité fournie en entrée de l'unité de traitement 2 est du type carte de profondeur utilisée dans le standard MPEG 3DV qui comprend des valeurs de disparité stockées sur 8 bits : 1 1 dax(rame _ d = 255 X z1 zfat = 255 X df~.r mex_ dfrd ir min znear zfar (équation 13) La disparité en pixels est donnée par : d = f. b x ( 1 - 1) Equation 14 Zconv z Où f est la longueur focale (en pixels) de la caméra ayant servie à la saisie de l'image stéréoscopique, b est la ligne de base inter-camera (en mètre) et zoo,,,, est la profondeur (en mètre) du plan de convergence (c'est-à-dire le plan à zéro disparité) Selon les métadonnées disponibles, la disparité (en pixels) est retrouvée à partir d'une carte de profondeur via l'équation suivante : frame d = dmax _ 19 d X (d trame _ dframe) 255 max min Equation 15 Soit : d = f.b x 1 _ 1) d + 1 1 zconv z 255 ( zfar Znear/ où z est la profondeur d'un objet par rapport à la caméra, Znear est la valeur minorante de profondeur, c'est-à-dire la profondeur minimale pouvant être atteinte dans l'image, zfar est la valeur majorante de profondeur, c'est-à-dire la profondeur maximale pouvant être atteinte dans l'image. Equation 1610

Claims

REVENDICATIONS1. Procédé de traitement d'image pour afficher une image stéréoscopique sur un écran cible (11, 12), une information de disparité (200) étant associée à ladite image stéréoscopique et étant adaptée pour l'affichage de l'image stéréoscopique sur un écran origine (10), la taille de l'écran origine étant différente de la taille de l'écran cible, l'image stéréoscopique comprenant une première image (20) et une deuxième image (21), caractérisé en ce que le procédé comprend les étapes suivantes : - Sélection (51) d'une partie de ladite première image en fonction d'au moins une propriété associée à la première image, - calcul (52) d'un budget de disparité associé à l'écran cible en fonction de conditions de visualisation (23) associées à l'écran cible, - calcul (53) d'une information de disparité cible (202) associée à la partie sélectionnée de la première image en fonction du budget de disparité et d'une information de disparité originale associée à la partie sélectionnée de la première image.
2. Procédé selon la revendication 1, caractérisé en ce que la limite inférieure (321) dudit budget de disparité est égale à l'opposé du produit d'une valeur représentative d'une distance interoculaire d'un spectateur, d'une valeur représentative d'une distance de visualisation d'un contenu affiché sur l'écran cible par le spectateur et d'une valeur représentative d'un seuil admissible du conflit accommodation vergence et en ce que la limite supérieure (322) dudit budget de disparité est égale à la plus petite valeur entre la valeur absolue de ladite limite inférieure et la valeur représentative de la distance interoculaire du spectateur.
3. Procédé selon la revendication 2, caractérisé en ce que la valeur représentative de la distance interoculaire du spectateur correspond au produit du nombre de pixels par ligne de l'écran cible et de la distance interoculaire du spectateur exprimée en mètre divisé par la largeur de l'écran cible.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'information de disparité cible est en outre fonction de valeurs de disparitésoriginales minimale et maximale associées à la partie sélectionnée de la première image.
5. Procédé selon la revendication 4, caractérisé en ce que l'information de disparité cible est calculée en utilisant une fonction affine ayant pour variable l'information de disparité originale.
6. Procédé selon la revendication 5, caractérisé en ce que la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité originale maximale et la valeur de disparité originale minimale et d'autre part une valeur seuil prédéterminée.
7. Procédé selon la revendication 5, caractérisé en ce que la fonction affine a pour coefficient directeur la valeur minimale entre d'une part une valeur représentant le produit de la différence entre la limite supérieure et la limite inférieure du budget de disparité par l'inverse de la différence entre la valeur de disparité maximale de la première image par rapport à la deuxième image et la valeur de disparité minimale de la première image par rapport à la deuxième image et d'autre part une valeur seuil prédéterminée.
8. Procédé selon la revendication 2, caractérisé en ce que la limite inférieure (321) du budget de disparité est en outre fonction de la valeur minimale de disparité (301) de la première image par rapport à la deuxième image et en ce que la limite supérieure (322) du budget de disparité est en outre fonction de la valeur maximale de disparité (302) de la première image par rapport à la deuxième image.
9. Procédé selon la revendication 2, caractérisé en ce que la limite inférieure (321) du budget de disparité est en outre fonction de la valeur minimale de disparité (311) de la partie sélectionnée de la première image et en ce que la limite supérieure (322) du budget de disparité est en outre fonction de la valeur maximale de disparité (312) de la partie sélectionnée de la première image par rapport à la partie sélectionnée de la deuxième image. 5
10. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce que les conditions de visualisation (23) associées à l'écran cible (11, 12) comprennent la distance de visualisation de l'écran cible et la largeur de l'écran cible.
11. Procédé selon l'une quelconque des revendications 1 à 10, caractérisé en ce que la taille de l'écran origine (10) est supérieure à la taille de l'écran cible (11,
12). 10