FR2984665A1 - PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES - Google Patents

PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES Download PDF

Info

Publication number
FR2984665A1
FR2984665A1 FR1161926A FR1161926A FR2984665A1 FR 2984665 A1 FR2984665 A1 FR 2984665A1 FR 1161926 A FR1161926 A FR 1161926A FR 1161926 A FR1161926 A FR 1161926A FR 2984665 A1 FR2984665 A1 FR 2984665A1
Authority
FR
France
Prior art keywords
pixels
image
crosstalk
images
reduction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1161926A
Other languages
French (fr)
Inventor
Didier Doyen
Sylvain Thiebaud
Laurent Blonde
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to FR1161926A priority Critical patent/FR2984665A1/en
Priority to PCT/EP2012/074542 priority patent/WO2013092219A1/en
Publication of FR2984665A1 publication Critical patent/FR2984665A1/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

La présente invention concerne un procédé de réductiondu crosstalk apparaissant sur un système de visualisation stéréoscopique apte à afficher une vue en trois dimensions à partir d'un couple d'images (L_IN, R_IN). Le procédé comprend au moins les étapes suivantes: déterminer (101) les pixels d'au moins une première image déterminer (101) les pixels de l'image du système de visualisation ayant un effet crosstalk visible ; et réduire (104) l'effet de profondeur sur au moins une zone de la première image, ladite zone étant choisie en fonction desdits pixels déterminés. L'invention s'applique notamment à l'amélioration du confort visuel des usagers de téléviseurs 3D et des spectateurs dans les salles de cinéma 3D.The present invention relates to a crosstalk reduction method appearing on a stereoscopic display system adapted to display a three-dimensional view from a pair of images (L_IN, R_IN). The method comprises at least the following steps: determining (101) the pixels of at least a first image determining (101) the pixels of the image of the display system having a visible crosstalk effect; and reducing (104) the effect of depth on at least one area of the first image, said area being selected according to said determined pixels. The invention applies in particular to improving the visual comfort of users of 3D televisions and spectators in 3D movie theaters.

Description

Procédé de réduction du crosstalk dans les images stéréoscopiques La présente invention concerne un procédé de réduction du crosstalk susceptible d'apparaître dans les images stéréoscopiques, et plus particulièrement dans les séquences vidéo stéréoscopiques. Elle s'applique notamment à l'amélioration du confort visuel des usagers de téléviseurs 3D et dans les salles de cinéma 3D. Le système visuel humain permet d'appréhender la profondeur d'une scène réelle en exploitant une pluralité d'indices perçus par les yeux. The present invention relates to a method for reducing crosstalk that may appear in stereoscopic images, and more particularly in stereoscopic video sequences. It applies in particular to improving the visual comfort of users of 3D TVs and in 3D movie theaters. The human visual system makes it possible to grasp the depth of a real scene by exploiting a plurality of clues perceived by the eyes.

Certains indices visuels, fondés sur des informations perçues par un oeil à la fois, sont dits monoculaires ; d'autres indices sont dits binoculaires car ils sont fondés sur les informations perçues par les deux yeux conjointement. Parmi les indices monoculaires, on trouve par exemple la perspective, les occlusions ou la taille relative des objets. Les indices binoculaires exploitent les différences de perception entre ce qu'acquièrent l'oeil droit et l'oeil gauche. Le cerveau humain est capable de combiner tous ces indices, monoculaires et binoculaires, pour construire une représentation en trois dimensions de la scène visualisée. Les systèmes de représentations de scènes en trois dimensions tels 20 que les téléviseurs 3D ou les équipements de salles de cinéma 3D visent à reproduire au mieux les impressions visuelles que l'Homme peut percevoir avec son système de vision. Le rendu d'une scène 3D à un observateur d'écran de cinéma ou de télévision 3D dépend notamment de la qualité de reproduction des différents 25 indices de profondeur. Ainsi, une mauvaise cohérence de ces indices entraîne pour l'observateur des désagréments tels que la fatigue visuelle, des maux de tête, voire un état nauséeux. En particulier, l'indice constitué par la disparité binoculaire doit être cohérent avec les indices monoculaires ; autrement dit, il est nécessaire que 30 le système de représentation de la scène 3D permette à son usager de percevoir des informations différentes au niveau de son oeil droit et de son oeil gauche. Or, une difficulté fréquemment rencontrée dans les systèmes existants se manifeste par le phénomène de « crosstalk » visuel, parfois aussi qualifié de « diaphotie », qui se traduit par des imperfections dans le découplage des informations perçues par l'oeil droit et par l'ceil gauche. Par analogie, le crosstalk visuel est, dans le domaine de la stéréoscopie, similaire à ce que le phénomène de diaphonie est dans le domaine de la stéréophonie. Ainsi une partie des informations destinées à l'ceil droit est perçue par l'ceil gauche et une partie des informations destinées à l'ceil gauche est perçue par l'oeil droit. Les causes de ce crosstalk sont diverses et dépendent de la technologie utilisée pour représenter la scène 3D. Ces technologies sont nombreuses. Une technologie très répandue est la technologie anaglyphe, dans laquelle une ou deux des trois composantes RGB (« Red Green Blue » pour Rouge-Vert-Bleu) sont destinées à un oeil, la ou les autres composantes étant destinées à l'autre oeil, la séparation étant effectuée grâce à des lunettes pourvues d'un filtre de couleur différent pour chaque oeil. Cette technique ne requiert pas de dispositif d'affichage dédié ; toutefois, elle engendre une altération des couleurs. Certaines technologies sont basées sur l'emploi de lunettes actives. Par exemple, des lunettes actives peuvent fonctionner comme des obturateurs synchronisés avec la fréquence de défilement des images. Ces systèmes requièrent un nombre élevé d'images par seconde pour éviter les effets de scintillement ; ils peuvent notamment être employés dans les salles de cinéma numérique utilisant un projecteur de type DLP (Digital Light Processing), ou pour des écrans de type LCD (Liquid Crystal Display) ou plasma. Le découplage des informations peut également être spectral. 30 L'information transmise à l'ceil droit et à l'ceil gauche ont alors des spectres fréquentiels différents. La séparation des informations destinées à chaque oeil peut être obtenue grâce à des filtres dichroïques ou colorés présents sur des lunettes passives. Par ailleurs, des dispositifs d'affichage 3D de grande dimension sont basés sur un multiplexage spatial. Des lignes vidéo entrelacées sont affectées d'une polarisation différente, de sorte qu'un observateur muni de lunettes filtrantes peut percevoir un premier ensemble de lignes sur l'oeil gauche et un deuxième ensemble de lignes sur l'oeil droit. Certains systèmes, dits auto-stéréoscopiques, ou systèmes d'affichage multi-vues ne requièrent pas l'emploi de lunettes. Un grand nombre de ces systèmes fonctionnent sur le format « 2D + profondeur », lequel combine l'information 2D et l'information de profondeur pour créer un effet 3D. Néanmoins, quelle que soit la technologie utilisée, le phénomène de crosstalk est présent et se traduit pour l'observateur sous la forme d'une image fantôme de l'image réelle, d'où la qualification synonymique « ghosting » du phénomène de crosstalk, parfois rencontrée. En outre, plus la disparité d'un objet représenté est élevée, plus le crosstalk dont est affecté l'objet est important et donc plus l'image fantôme est visible. Une solution technique pour atténuer les effets du crosstalk a été proposée. Elle consiste à anticiper la portion de signal d'une première voie vidéo (par exemple, gauche) qui est indûment perçue par l'organe de vision adapté à percevoir une deuxième voie vidéo (dans l'exemple, droite), puis à compenser cette portion en modifiant le signal de la deuxième voie. Par exemple, si une portion a.G du signal de gauche G est perçue par l'oeil droit, cette portion a.G est soustraite du signal de droite, de sorte que le signal résultant de la somme du signal de droite altéré, et du signal issu du crosstalk soit égal au signal de droite qui aurait normalement été perçu sans crosstalk. Toutefois, cette technique ne résout que partiellement le problème car la portion de signal issu de la première voie et qui apparaît indûment sur la deuxième voie n'est pas toujours compensable par une diminution du niveau du signal de la deuxième voie. En particulier, dans une image fortement contrastée, le phénomène de crosstalk n'est pas compensable au niveau des frontières entre les zones de contraste. En effet, dans ce cas, le niveau a.G de signal issu du crosstalk est supérieur au niveau de signal dans l'image de droite. Aussi, la compensation est incomplète et un crosstalk résiduel est encore perceptible. Un but de l'invention est de réduire l'effet de crosstalk pour les combinaisons de vidéos pour lesquelles la compensation classique est trop complexe et insuffisante. A cet effet, l'invention a pour objet un procédé de réduction du crosstalk 10 apparaissant sur un système de visualisation stéréoscopique apte à afficher au moins une image en trois dimensions à partir d'un couple d'images. Ce procédé comprend au moins les étapes suivantes : déterminer les pixels de l'image du système de visualisation ayant un effet crosstalk visible ; 15 réduire l'effet de profondeur sur au moins une zone de I' image, ladite zone étant définie en fonction desdits pixels déterminés . Le procédé selon l'invention permet donc de réduire l'effet crosstalk de manière plus importante qu'en appliquant simplement une compensation tel qu'effectuée classiquement dans l'art antérieur. Les pixels détectés par le 20 procédé selon l'invention, et qui sont susceptibles de subir un crosstalk non compensable par les techniques classiques, sont notamment les pixels qui sont situés à proximité d'objets à disparité binoculaire élevée et représentés de manière fortement contrastée. En effet, les pixels correspondant à cet objet dans la première image débordent sur une zone par exemple peu 25 éclairée de la deuxième image, créant ainsi une image « fantôme » particulièrement visible de l'objet lorsqu'aucune correction n'est appliquée. Grâce au procédé selon l'invention, l'effet de crosstalk est réduit sur ces zones sensibles, par diminution de l'effet de profondeur sur ces zones.> 30 Selon un mode de réalisation, le procédé comprend une étape d'estimation de la disparité binoculaire entre les deux images du couple, et dans lequel on exécute l'étape de réduction de l'effet de profondeur sur au moins ladite zone de l' image en fonction de la disparité binoculaire de ladite zone. Cette mise en oeuvre du procédé selon l'invention permet de limiter plus efficacement l'apparition du crosstalk dans les zones dans lesquelles il se 5 manifeste le plus, c'est-à-dire les zones aux fortes disparités binoculaires. Selon une variante de l'invention, on exécute l'étape d'estimation de la disparité binoculaire seulement sur la ou les zones comprenant des pixels déterminés précédemment. 10 Cela permet de réduire la charge de calcul nécessaire à l'estimation. Selon un mode de réalisation, on applique une étape de segmentation des images en différents objets à partir de l'estimation de la disparité binoculaire, et on détermine la ou les dites zones de la première image , chaque zone 15 regroupant lesdits pixels déterminés et les pixels avoisinants appartenant au même objet défini par la segmentation . Selon un mode de réalisation, on choisit ladite zone de sorte qu'elle regroupe des pixels déterminés précédemment et les pixels voisins de ces pixels pour lequel l'écart de disparité entre ces pixels et les pixels déterminés est 20 inférieur à un seuil prédéterminé. Ce mode de réalisation permet d'étendre la zone d'application de la réduction de profondeur à l'ensemble des pixels voisins de disparité proche. La réduction de profondeur peut ainsi être appliquée de manière homogène sur la totalité de la surface d'un objet, évitant ainsi les déformations 25 anormales dues à des réductions de profondeur sur des portions d'objets. Selon un mode de réalisation l'étape de réduction de l'effet de profondeur comprend une étape de réduction des profondeurs par l'attribution d'un coefficient de réduction défini pour au moins ladite région. 30 La réduction de l'échelle des profondeurs peut, par exemple, être effectuée par calcul d'un couple d'images remplaçant le couple d'images initial. Some visual cues, based on information perceived by one eye at a time, are said to be monocular; other clues are called binoculars because they are based on information collected by both eyes together. Monocular indexes include, for example, perspective, occlusions, or the relative size of objects. The binocular indices exploit the differences in perception between what the right eye and the left eye acquire. The human brain is able to combine all these monocular and binocular clues to construct a three-dimensional representation of the visualized scene. Three-dimensional scene representation systems such as 3D televisions or 3D movie theater equipment are intended to best reproduce the visual impressions that humans can perceive with their vision system. The rendering of a 3D scene to a movie or 3D television screen observer depends in particular on the quality of reproduction of the various depth indices. Thus, a poor consistency of these indices causes the observer such annoyances as visual fatigue, headaches or even a nauseated state. In particular, the index constituted by the binocular disparity must be consistent with the monocular indices; in other words, it is necessary that the representation system of the 3D scene allow its user to perceive different information at the level of his right eye and his left eye. However, a difficulty frequently encountered in existing systems is manifested by the phenomenon of "crosstalk" visual, sometimes also described as "crotch", which results in imperfections in the decoupling of the information perceived by the right eye and by the left eye. By analogy, the visual crosstalk is, in the field of stereoscopy, similar to what the phenomenon of crosstalk is in the field of stereophony. Thus some of the information for the right eye is perceived by the left eye and some of the information for the left eye is perceived by the right eye. The causes of this crosstalk are diverse and depend on the technology used to represent the 3D scene. These technologies are numerous. A widespread technology is anaglyph technology, in which one or two of the three components RGB ("Red Green Blue" for Red-Green-Blue) are intended for one eye, the other component or components being intended for the other eye, the separation being done through glasses provided with a different color filter for each eye. This technique does not require a dedicated display device; however, it causes an alteration of the colors. Some technologies are based on the use of active glasses. For example, active glasses can function as shutters synchronized with the frame rate of the images. These systems require a high number of frames per second to avoid flickering effects; they can notably be used in digital cinemas using a projector DLP type (Digital Light Processing), or for screens type LCD (Liquid Crystal Display) or plasma. The decoupling of the information can also be spectral. The information transmitted to the right eye and the left eye then have different frequency spectra. The separation of the information intended for each eye can be obtained by means of dichroic or colored filters present on passive glasses. In addition, large 3D display devices are based on spatial multiplexing. Interlaced video lines are assigned a different polarization, so that an observer with filtering glasses can perceive a first set of lines on the left eye and a second set of lines on the right eye. Some so-called auto-stereoscopic systems, or multi-view display systems do not require the use of glasses. Many of these systems operate on the "2D + Depth" format, which combines 2D information and depth information to create a 3D effect. Nevertheless, whatever the technology used, the crosstalk phenomenon is present and is translated for the observer in the form of a ghost image of the real image, hence the synonymic qualification "ghosting" of the crosstalk phenomenon, sometimes encountered. In addition, the greater the disparity of a represented object, the more important the crosstalk of which the object is affected and thus the more the ghost image is visible. A technical solution to mitigate the effects of crosstalk has been proposed. It consists in anticipating the signal portion of a first video channel (for example, left) which is unduly perceived by the viewing element adapted to perceiving a second video channel (in the example, right), and then compensating for this. portion by changing the signal of the second channel. For example, if a portion aG of the left-hand signal G is perceived by the right eye, this portion aG is subtracted from the right-hand signal, so that the signal resulting from the sum of the altered right-hand signal, and the signal from the right-hand signal. crosstalk is equal to the right signal that would normally have been perceived without crosstalk. However, this technique solves only partially the problem because the portion of the signal from the first channel and which appears unduly on the second channel is not always compensated by a decrease in the signal level of the second channel. In particular, in a highly contrasted image, the crosstalk phenomenon is not compensable for the boundaries between the contrast zones. Indeed, in this case, the signal level a.G from the crosstalk is greater than the signal level in the right image. Also, the compensation is incomplete and a residual crosstalk is still noticeable. An object of the invention is to reduce the effect of crosstalk for combinations of videos for which the conventional compensation is too complex and insufficient. To this end, the subject of the invention is a method for reducing the crosstalk 10 appearing on a stereoscopic display system capable of displaying at least one three-dimensional image from a pair of images. This method comprises at least the following steps: determining the pixels of the image of the display system having a visible crosstalk effect; To reduce the effect of depth on at least one area of the image, said area being defined according to said determined pixels. The method according to the invention therefore makes it possible to reduce the crosstalk effect to a greater extent than by simply applying compensation as conventionally performed in the prior art. The pixels detected by the method according to the invention, which are likely to undergo a non-compensable crosstalk by conventional techniques, are in particular the pixels which are located near objects with high binocular disparity and represented in a highly contrasted manner. Indeed, the pixels corresponding to this object in the first image project over an area, for example, of little illumination of the second image, thus creating a particularly visible "ghost" image of the object when no correction is applied. With the method according to the invention, the effect of crosstalk is reduced on these sensitive areas, by reducing the effect of depth on these zones. According to one embodiment, the method comprises a step of estimating the binocular disparity between the two images of the pair, and in which the step of reducing the effect of depth on at least said area of the image is performed as a function of the binocular disparity of said area. This implementation of the method according to the invention makes it possible more effectively to limit the appearance of the crosstalk in the zones in which it is most evident, that is to say the areas with large binocular disparities. According to a variant of the invention, the step of estimating the binocular disparity only on the zone or zones comprising pixels determined previously. This reduces the computational burden necessary for the estimation. According to one embodiment, a step of segmentation of the images into different objects is applied from the estimation of the binocular disparity, and the zone or zones of the first image are determined, each zone 15 grouping said determined pixels and the neighboring pixels belonging to the same object defined by the segmentation. According to one embodiment, said zone is chosen so that it groups together previously determined pixels and the neighboring pixels of these pixels for which the disparity difference between these pixels and the determined pixels is less than a predetermined threshold. This embodiment makes it possible to extend the zone of application of the reduction of depth to all the neighboring pixels of near disparity. The depth reduction can thus be applied homogeneously over the entire surface of an object, thus avoiding abnormal deformations due to depth reductions on portions of objects. According to one embodiment, the step of reducing the depth effect comprises a depth reduction step by assigning a reduction coefficient defined for at least said region. The reduction of the depth scale may, for example, be performed by calculating a pair of images replacing the initial pair of images.

Selon un mode de réalisation, au moins ladite région correspond à l'image entière. Selon une mise en oeuvre du procédé selon l'invention, cette technique de 5 diminution de l'effet 3D peut être combinée avec la technique de réduction de l'échelle des profondeurs sur toute l'image. Selon un mode de réalisation, l'étape d'estimation comprend un calcul de différence, pixel par pixel, entre une première image du couple 10 stéréoscopique et une deuxième image dudit couple, les pixels de chacune des deux images étant associés à des valeurs pondérées par un coefficient dépendant des caractéristiques du système de visualisation stéréoscopique. Selon un mode de réalisation, on exécute un traitement de filtrage 15 morphologique après l'étape de détermination des pixels non compensables de la première image pour éliminer les pixels isolés. Par exemple, cette phase de filtrage comporte une première étape d'érosion des pixels isolés puis une seconde étape de dilatation des zones de pixels déterminés. 20 Selon un mode de réalisation, une séquence d'images synchronisées, dans lequel on applique le procédé pour au moins une image de ladite séquence. L'invention consiste également en un appareil apte à recevoir un signal 25 comprenant une vidéo stéréoscopique à diffuser sur un dispositif d'affichage. Il comprend un module de traitement configuré pour exécuter en temps réel un procédé de réduction du crosstalk sur les images contenues dans le signal entrant. Ce type de dispositif, communément désigné par l'appellation anglo-saxonne 30 « Set-top Box » et assurant des fonctions de décodage des signaux arrivant par un canal de réception pour les transmettre vers un écran, peut donc être adapté pour réduire le crosstalk affiché sur cet écran. D'autres caractéristiques apparaîtront à la lecture de la description 5 détaillée donnée à titre d'exemple et non limitative qui suit faite en regard de dessins annexés qui représentent : la figure 1, un synoptique illustrant une première mise en oeuvre du procédé selon l'invention ; la figure 2, un synoptique illustrant une deuxième mise en oeuvre du procédé 10 selon l'invention; la figure 3, un synoptique illustrant une troisième mise en oeuvre du procédé selon l'invention. La figure 1 illustre une première mise en oeuvre du procédé selon l'invention. Le procédé prend en entrée deux images L_IN, RUN 15 correspondant à un couple stéréoscopique, une première image L_IN étant destinée à l'oeil gauche d'un observateur, une seconde image R_IN étant destinée à l'oeil droit de l'observateur. Il produit en sortie des images modifiées L_OUT, R_OUT, de sorte que ces images de sortie affichées sur un système de visualisation stéréoscopique ne fassent apparaître qu'un 20 faible crosstalk pour l'observateur. Une première unité de traitement 101 permet d'estimer le crosstalk que le système d'affichage est susceptible de produire à partir des deux images d'entrée L_IN, R_IN, et une deuxième unité de traitement 102 optionnel permet de filtrer le bruit généré lors du premier traitement 101. 25 Avantageusement, une estimation de la disparité est effectuée par une unité d'estimation 103 en parallèle à partir des deux images entrantes L_IN, R_IN. Ensuite, une unité de traitement 104 de réduction de la profondeur de l'effet 3D est appliqué sur une ou plusieurs zones sélectionnées de l'image. La première unité de traitement d'estimation du crosstalk 101 peut 30 être effectué en calculant une image binaire qui est fonction de la différence, pixel par pixel, entre les deux images entrantes L_IN, R_IN pondérées par des coefficients choisis en fonction des caractéristiques du système de visualisation. Cette estimation est donc dépendante du système de visualisation. Par exemple, une différence de type « pixel_gauche » coefficient * pixel_droit » est calculée puis un seuil peut être appliqué sur chaque résultat, le terme "coefficient" dépendant des caractéristiques du système de visualisation. Par exemple, si le seuil est égal à zéro, une première valeur binaire 0 sera affectée aux pixels pour lesquels la différence est positive, et une deuxième valeur binaire 1 sera affectée aux pixels pour lesquels la différence est négative. Ce calcul permet de faire apparaître les pixels pour lesquels une simple compensation du crosstalk par une diminution du niveau de signal sur l'une des deux images n'est pas compensable. Dans l'exemple, La première unité de traitement d'estimation du crosstalk 101 produit en sortie une image binaire pour définir les pixels qui auront un crosstalk non compensable ou pas. On obtiendra des points isolés ainsi que des zones plus denses correspondantes à un vrai problème de crosstalk résiduel. Ce calcul du crosstalk peut être effectué sur les deux images indifféremment à partir de l'une d'entre elles L-R et R-L. La deuxième unité de traitement 102, permet d'éliminer les points isolés détectés comme non compensables. En effet, à l'issue du traitement d'estimation dans la première unité 101, certaines zones denses de points détectés correspondent à un véritable problème de crosstalk résiduel (c'est-à-dire non compensable par les techniques classiques) ; d'autres zones ne comportent que quelques points isolés qui ne sont pas révélateurs à eux- seuls d'un problème de crosstalk résiduel. Le filtrage effectué par le deuxième traitement dans la deuxième unité de traitement 102 permet d'ignorer ces autres zones. Par exemple, un filtrage morphologique comprenant une première étape d'érosion et une deuxième étape de dilatation permet d'éliminer les pixels isolés. According to one embodiment, at least said region corresponds to the entire image. According to one embodiment of the method according to the invention, this technique of reducing the 3D effect can be combined with the technique of reducing the depth scale over the entire image. According to one embodiment, the estimation step comprises a difference calculation, pixel by pixel, between a first image of the stereoscopic pair and a second image of said pair, the pixels of each of the two images being associated with weighted values. by a coefficient depending on the characteristics of the stereoscopic display system. According to one embodiment, a morphological filtering processing is performed after the step of determining the non-compensable pixels of the first image to eliminate isolated pixels. For example, this filtering phase comprises a first step of eroding the isolated pixels and then a second step of dilating the determined pixel zones. According to one embodiment, a sequence of synchronized images in which the method is applied for at least one image of said sequence. The invention also consists of an apparatus adapted to receive a signal comprising a stereoscopic video to be broadcast on a display device. It comprises a processing module configured to execute in real time a crosstalk reduction method on the images contained in the incoming signal. This type of device, commonly referred to as "Set-top Box" and providing decoding functions of the signals arriving via a reception channel to transmit them to a screen, can therefore be adapted to reduce the crosstalk. displayed on this screen. Other characteristics will become apparent on reading the detailed description given by way of nonlimiting example, which follows, with reference to the appended drawings which represent: FIG. 1, a block diagram illustrating a first implementation of the method according to invention; FIG. 2, a block diagram illustrating a second implementation of the method 10 according to the invention; FIG. 3 is a block diagram illustrating a third implementation of the method according to the invention. FIG. 1 illustrates a first implementation of the method according to the invention. The method takes as input two images L_IN, RUN 15 corresponding to a stereoscopic pair, a first image L_IN being intended for the left eye of an observer, a second image R_IN being intended for the right eye of the observer. It outputs modified images L_OUT, R_OUT, so that these output images displayed on a stereoscopic viewing system only show a weak crosstalk for the observer. A first processing unit 101 makes it possible to estimate the crosstalk that the display system is capable of producing from the two input images L_IN, R_IN, and a second optional processing unit 102 makes it possible to filter the noise generated during the First treatment 101. Advantageously, an estimate of the disparity is made by an estimation unit 103 in parallel from the two incoming images L_IN, R_IN. Next, a processing unit 104 for reducing the depth of the 3D effect is applied to one or more selected areas of the image. The first crosstalk estimation processing unit 101 may be performed by calculating a binary image which is a function of the difference, pixel by pixel, between the two incoming images L_IN, R_IN weighted by coefficients chosen according to the characteristics of the system of visualization. This estimate is therefore dependent on the visualization system. For example, a difference of type "left pixel" coefficient * pixel_right "is calculated then a threshold can be applied to each result, the term" coefficient "depending on the characteristics of the display system. For example, if the threshold is equal to zero, a first binary value 0 will be assigned to the pixels for which the difference is positive, and a second binary value 1 will be assigned to the pixels for which the difference is negative. This calculation makes it possible to display the pixels for which a simple compensation of the crosstalk by a decrease of the signal level on one of the two images is not compensable. In the example, the first crosstalk estimation processing unit 101 outputs a binary image to define the pixels that will have a non-compensable crosstalk or not. Isolated points as well as denser areas corresponding to a real residual crosstalk problem will be obtained. This calculation of the crosstalk can be carried out on the two images indifferently from one of them L-R and R-L. The second processing unit 102 makes it possible to eliminate the isolated points detected as non-compensable. Indeed, at the end of the estimation process in the first unit 101, some dense areas of detected points correspond to a real problem of residual crosstalk (that is to say, not compensated by conventional techniques); other areas have only a few isolated points that are not indicative of a residual crosstalk problem. The filtering performed by the second processing in the second processing unit 102 makes it possible to ignore these other zones. For example, a morphological filtering comprising a first erosion step and a second expansion step makes it possible to eliminate the isolated pixels.

Ce filtrage permet également d'agréger les pixels voisins de façon à créer une zone où le traitement sera effectué. La taille de ces zones sera estimée pour déterminer s'il y a un réel problème de crosstalk visible. This filtering also makes it possible to aggregate the neighboring pixels so as to create an area where the processing will be carried out. The size of these areas will be estimated to determine if there is a real visible crosstalk problem.

A l'issue de ce traitement de filtrage, on obtient donc, dans l'exemple, une image débruitée représentant les zones de crosstalk non compensables, donc les zones dont on anticipe qu'elle engendre un problème de crosstalk pour l'observateur. At the end of this filtering treatment, we thus obtain, in the example, a denoised image representing the non-compensable crosstalk zones, and therefore the areas which are expected to generate a crosstalk problem for the observer.

L'unité d'estimation 103 de la disparité permet d'estimer la disparité des pixels de ces zones de crosstalk non compensables. Dans un mode de réalisation, Les zones de crosstalk non compensables déterminées par les traitements 101, 102 sont étendues pour intégrer les pixels de l'objet auquel appartiennent ces pixels. .En parallèle, l'estimation de la disparité va permettre de segmenter la vidéo de façon à associer les pixels non compensables aux pixels appartenant au même objet. Un algorithme de segmentation connu de l'Homme du métier peut être exécuté en utilisant les estimations de disparités calculées. Selon un mode de réalisation alternatif illustré en figure 2, la 20 disparité est estimée 103' uniquement autour des zones détectées par le premier traitement 101, ce qui permet de diminuer la charge de calcul requise. En effet, il n'est pas nécessaire de déterminer les objets représentés dans les zones de non crosstalk résiduel. L'unité de traitement 104 de réduction de l'effet 3D prend en entrée 25 les deux images initiales LIN, R_IN, ainsi que la définition des zones non compensables issues des unités du premier et second traitement 101 d'estimation du crosstalk et de filtrage 102 ainsi que les données d'estimation 103 de la disparité. L'ajustement de profondeur est effectué localement, sur la zone ou les zones déterminées à l'issue des premiers et seconds 30 traitements par les unités101 et 102 d'estimation du crosstalk. Un coefficient d'ajustement est défini pour limiter au mieux l'effet crosstalk résiduel. The estimation unit 103 of the disparity makes it possible to estimate the disparity of the pixels of these non-compensable crosstalk zones. In one embodiment, the non-compensable crosstalk zones determined by the processes 101, 102 are extended to integrate the pixels of the object to which these pixels belong. In parallel, the estimation of the disparity will make it possible to segment the video so as to associate the non-compensable pixels with the pixels belonging to the same object. A segmentation algorithm known to those skilled in the art can be performed using the estimates of calculated disparities. According to an alternative embodiment illustrated in FIG. 2, the disparity is estimated 103 'only around the zones detected by the first processing 101, which makes it possible to reduce the calculation load required. Indeed, it is not necessary to determine the objects represented in the areas of non-residual crosstalk. The processing unit 104 for reducing the 3D effect takes as input the two initial images LIN, R_IN, as well as the definition of the non-compensable zones resulting from the units of the first and second processing 101 of crosstalk estimation and filtering. 102 as well as the estimation data 103 of the disparity. The depth adjustment is performed locally, on the zone or zones determined at the end of the first and second treatments by crosstalk estimation units 101 and 102. An adjustment coefficient is defined to best limit the residual crosstalk effect.

A l'issue du traitement de réduction de l'effet 3D, les images modifiées L OUT et R OUT forment un couple stéréoscopique bénéficiant d'un faible niveau de crosstalk, dans les zones sensibles détectées par la première unité de traitement 101. At the end of the reduction treatment of the 3D effect, the modified images L OUT and R OUT form a stereoscopic pair benefiting from a low level of crosstalk, in the sensitive zones detected by the first processing unit 101.

La figure 3 illustre une troisième mise en oeuvre du procédé selon l'invention. Selon cette mise en oeuvre alternative, cet ajustement est effectué sur l'image globale en fonction de la disparité estimée par l'unité 103. Dans ce cas, une image de profondeur réduite est déterminée par interpolation Alternativement la technique par translation d'image (shift en langue anglaise), connue de l'homme de l'art, peut être utilisée. L'unité de traitement de filtrage 102 effectué dans le procédé illustré en figure 1 est remplacé par une unité d'analyse statistique 105 sur les pixels non compensables détectés lors du premier traitement 101. Cette analyse statistique 105 fournit par exemple, le nombre et la répartition des pixels détectés par le premier traitement 101. Un coefficient d'ajustement est calculé en fonction du nombre et/ou de la répartition des pixels non compensables détectés et l'effet 3D est réduit proportionnellement à ce coefficient sur toute l'image. Le procédé selon l'invention peut être appliqué sur les couples d'images d'une vidéo 3D, chaque couple d'image étant traité par le procédé de réduction du crosstalk de manière à réduire le crosstalk sur la vidéo 3D. Il peut être appliqué à la réduction du crosstalk dans différents contextes d'utilisation de vidéos stéréoscopiques. Selon un premier mode de mise en oeuvre, les images composant la vidéo stéréoscopique sont modifiées par le procédé lors de la phase de production de la vidéo. Le procédé est alors exécuté sur la vidéo 3D en conservant préférablement une grande qualité des images. Le traitement de réduction de l'effet de profondeur est donc exécuté sur des machines à puissance de calcul élevée, en privilégiant la qualité à la rapidité d'exécution. Il ne tient pas compte du crosstalk effectif généré sur un écran particulier mais d'un crosstalk « générique » représentatif du crosstalk moyen obtenu sur les différentes familles d'écrans. FIG. 3 illustrates a third implementation of the method according to the invention. According to this alternative implementation, this adjustment is performed on the overall image as a function of the disparity estimated by the unit 103. In this case, an image of reduced depth is determined by interpolation. shift in English), known to those skilled in the art, can be used. The filter processing unit 102 performed in the method illustrated in FIG. 1 is replaced by a statistical analysis unit 105 on the non-compensable pixels detected during the first processing 101. This statistical analysis 105 provides, for example, the number and the distribution of the pixels detected by the first processing 101. An adjustment coefficient is calculated according to the number and / or distribution of the uncompensated pixels detected and the 3D effect is reduced proportionally to this coefficient over the entire image. The method according to the invention can be applied to the pairs of images of a 3D video, each image pair being processed by the crosstalk reduction method so as to reduce the crosstalk on the 3D video. It can be applied to crosstalk reduction in different contexts of using stereoscopic videos. According to a first mode of implementation, the images composing the stereoscopic video are modified by the method during the production phase of the video. The process is then performed on the 3D video, preferably retaining a high quality of the images. Depth effect reduction processing is therefore performed on machines with high computing power, focusing on quality and speed of execution. It does not take into account the actual crosstalk generated on a particular screen but a "generic" crosstalk representative of the average crosstalk obtained on the different families of screens.

Selon un deuxième mode de mise en oeuvre de l'invention, le procédé est exécuté sur un dispositif de réception et de décodage de signaux vidéo, dispositif parfois nommé de "Set-Top Box", ou STB. Un flux de signaux vidéo est transmis au dispositif, lequel comporte, selon l'invention, un module apte à appliquer le procédé de réduction de crosstalk sur les données décodées. According to a second embodiment of the invention, the method is executed on a device for receiving and decoding video signals, sometimes called "Set-Top Box" device, or STB. A stream of video signals is transmitted to the device, which comprises, according to the invention, a module capable of applying the crosstalk reduction method to the decoded data.

Le procédé est appliqué en temps réel sur le flux vidéo, en tenant compte du système de visualisation, par exemple de l'écran, pour que la vidéo visualisée par l'utilisateur ne comporte qu'un faible crosstalk, augmentant ainsi le confort du spectateur. Avantageusement, le dispositif comporte des moyens d'activation et de désactivation de la fonction de réduction de crosstalk. The method is applied in real time on the video stream, taking into account the display system, for example the screen, so that the video viewed by the user has only a low crosstalk, thus increasing the comfort of the viewer . Advantageously, the device comprises means for activating and deactivating the crosstalk reduction function.

Claims (11)

REVENDICATIONS1. Procédé de réduction du crosstalk apparaissant sur un système de visualisation stéréoscopique apte à afficher au moins une image en trois 5 dimensions à partir d'un couple d'images (L_IN, R_IN), caractérisé en ce qu'il comprend au moins les étapes suivantes : - déterminer (101) les pixels de l'image du système de visualisation ayant un effet crosstalk visible ; - réduire (104) l'effet de profondeur sur au moins une zone de l' image, 10 ladite zone étant définie en fonction desdits pixels déterminés (101). REVENDICATIONS1. A crosstalk reduction method appearing on a stereoscopic display system adapted to display at least one three-dimensional image from a pair of images (L_IN, R_IN), characterized in that it comprises at least the following steps : - determining (101) the pixels of the image of the display system having a visible crosstalk effect; - reducing (104) the effect of depth on at least one area of the image, said area being defined according to said determined pixels (101). 2. Procédé de réduction du crosstalk selon la revendication 1, dans lequel on exécute une étape d'estimation (103) de la disparité binoculaire entre les deux images du couple (L_IN, R_IN), et dans lequel on exécute 15 l'étape (104) de réduction de l'effet de profondeur sur au moins ladite zone de l' image en fonction de la disparité binoculaire de ladite zone. 2. A crosstalk reduction method according to claim 1, in which a step of estimating (103) the binocular disparity between the two images of the pair (L_IN, R_IN), and in which the step is performed ( 104) for reducing the depth effect on at least said area of the image according to the binocular disparity of said area. 3. Procédé de réduction du crosstalk selon la revendication 2, dans lequel on exécute l'étape d'estimation (103) de la disparité binoculaire 20 seulement sur la ou les zones comprenant des pixels déterminés (101) précédemment. 3. Crosstalk reduction method according to claim 2, wherein the step of estimating (103) the binocular disparity only on the area or zones comprising predetermined pixels (101) previously. 4. Procédé de réduction du crosstalk selon la revendication 2 ou 3, dans lequel on applique une étape de segmentation des images en différents 25 objets à partir de l'estimation (103) de la disparité binoculaire, et on détermine la ou les dites zones de la première image, chaque zone regroupant lesdits pixels déterminés (101) et les pixels avoisinants appartenant au même objet défini par la segmentation . 4. Crosstalk reduction method according to claim 2 or 3, wherein a step of segmenting the images into different objects is applied from the estimation (103) of the binocular disparity, and the one or more zones are determined. of the first image, each zone grouping said determined pixels (101) and the neighboring pixels belonging to the same object defined by the segmentation. 5. Procédé de réduction du crosstalk selon la revendication 4, dans lequel on choisit ladite zone de sorte qu'elle regroupe des pixels déterminés (101) précédemment et les pixels voisins de ces pixels pour lequel l'écart de disparité entre ces pixels et les pixels déterminés est inférieur à un seuil prédéterminé. 5. Crosstalk reduction method according to claim 4, wherein said zone is selected so that it groups together previously determined pixels (101) and the neighboring pixels of these pixels for which the disparity gap between these pixels and the pixels determined pixels is less than a predetermined threshold. 6. Procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes, dans lequel l'étape (104) de réduction de l'effet de profondeur comprend une étape de réduction des profondeurs par 10 l'attribution d'un coefficient de réduction défini pour au moins ladite région. The crosstalk reduction method according to any one of the preceding claims, wherein the step (104) of reducing the depth effect comprises a depth reduction step by assigning a reduction coefficient. defined for at least said region. 7. Procédé de réduction du crosstalk selon la revendication 6, dans lequel au moins ladite région correspond à l'image entière. 15 The crosstalk reduction method of claim 6, wherein at least said region corresponds to the entire image. 15 8. Procédé de réduction du crosstalk selon l'une des revendications 2 à 5, dans lequel l'étape d'estimation (103) comprend un calcul de différence, pixel par pixel, entre une première image du couple stéréoscopique (L_IN, R_IN) et une deuxième image dudit couple (L_IN, R_IN), les pixels de chacune des deux images étant associés à des valeurs pondérées par un 20 coefficient dépendant des caractéristiques du système de visualisation stéréoscopique. 8. crosstalk reduction method according to one of claims 2 to 5, wherein the estimation step (103) comprises a difference calculation, pixel by pixel, between a first image of the stereoscopic pair (L_IN, R_IN) and a second image of said pair (L_IN, R_IN), the pixels of each of the two images being associated with values weighted by a coefficient dependent on the characteristics of the stereoscopic display system. 9. Procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes, dans lequel on exécute un traitement (102) de 25 filtrage morphologique après l'étape (101) de détermination des pixels non compensables de la première image pour éliminer les pixels isolés. The crosstalk reduction method of any of the preceding claims, wherein a morphological filter processing (102) is performed after the step (101) of determining the non-compensable pixels of the first image to eliminate the pixels. isolated. 10. Procédé de réduction du crosstalk dans une vidéo stéréoscopique comprenant une séquence d' d'images (L_IN, R_IN) synchronisées, dans 30 lequel on applique le procédé selon l'une quelconque des revendications précédentes pour au moins une image de ladite séquence. A method of crosstalk reduction in a stereoscopic video comprising a synchronized sequence of images (L_IN, R_IN), wherein the method according to any one of the preceding claims is applied for at least one image of said sequence. 11. Appareil apte à recevoir un signal comprenant une vidéo stéréoscopique à diffuser sur un dispositif d'affichage, caractérisé en ce qu'il comprend un module de traitement configuré pour exécuter en temps réel le procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes sur les images contenues dans le signal entrant. 15 Apparatus capable of receiving a signal comprising a stereoscopic video to be broadcast on a display device, characterized in that it comprises a processing module configured to execute in real time the crosstalk reduction method according to any one of the preceding claims on the images contained in the incoming signal. 15
FR1161926A 2011-12-19 2011-12-19 PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES Pending FR2984665A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1161926A FR2984665A1 (en) 2011-12-19 2011-12-19 PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES
PCT/EP2012/074542 WO2013092219A1 (en) 2011-12-19 2012-12-05 Method for reducing crosstalk in stereoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1161926A FR2984665A1 (en) 2011-12-19 2011-12-19 PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES

Publications (1)

Publication Number Publication Date
FR2984665A1 true FR2984665A1 (en) 2013-06-21

Family

ID=47049204

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1161926A Pending FR2984665A1 (en) 2011-12-19 2011-12-19 PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES

Country Status (2)

Country Link
FR (1) FR2984665A1 (en)
WO (1) WO2013092219A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11719930B2 (en) * 2020-09-07 2023-08-08 Samsung Electronics Co., Ltd. Method and apparatus with crosstalk correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532008B1 (en) * 2000-03-13 2003-03-11 Recherches Point Lab Inc. Method and apparatus for eliminating steroscopic cross images
EP1617684A1 (en) * 2003-04-17 2006-01-18 Sharp Kabushiki Kaisha 3-dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
WO2010019922A1 (en) * 2008-08-15 2010-02-18 Real D Enhanced ghost compensation for stereoscopic imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532008B1 (en) * 2000-03-13 2003-03-11 Recherches Point Lab Inc. Method and apparatus for eliminating steroscopic cross images
EP1617684A1 (en) * 2003-04-17 2006-01-18 Sharp Kabushiki Kaisha 3-dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
WO2010019922A1 (en) * 2008-08-15 2010-02-18 Real D Enhanced ghost compensation for stereoscopic imagery

Also Published As

Publication number Publication date
WO2013092219A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
US9036006B2 (en) Method and system for processing an input three dimensional video signal
KR101868654B1 (en) Methods and systems of reducing blurring artifacts in lenticular printing and display
US20100040280A1 (en) Enhanced ghost compensation for stereoscopic imagery
US20100289877A1 (en) Method and equipment for producing and displaying stereoscopic images with coloured filters
AU2011200146A1 (en) Method and apparatus for processing video games
Daly et al. Perceptual issues in stereoscopic signal processing
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
TWI432013B (en) 3d image display method and image timing control unit
JP2011176541A (en) Three-dimensional video processing apparatus and method, and program thereof
WO2013001165A1 (en) A method, a system, a viewing device and a computer program for picture rendering
JP2014515569A (en) Automatic conversion of binocular images to enable simultaneous display of binocular and monocular images
KR20110025977A (en) Display of two-dimensional content during three-dimensional presentation
US9300941B2 (en) Stereoscopic video signal processor with enhanced 3D effect
US20150062315A1 (en) Simultaneous 2d and 3d images on a display
FR2971603A1 (en) STEREOSCOPIC IMAGE PROCESSING METHOD COMPRISING A BLACK STRIP AND CORRESPONDING DEVICE
Aflaki et al. Simultaneous 2D and 3D perception for stereoscopic displays based on polarized or active shutter glasses
FR2984665A1 (en) PROCESS FOR REDUCING CROSSTALK IN STEREOSCOPIC IMAGES
US10009590B2 (en) Method for reducing the size of a stereoscopic image
Winkler et al. Stereoscopic image quality compendium
Chang et al. Ghosting reduction method for color anaglyphs
EP2761876A1 (en) Method and device for filtering a disparity map
TW201316750A (en) 3D image processing method with a reduced ghost effect and 3D display device thereof
US9185381B2 (en) Backward-compatible stereo image processing system and method of generating a backward-compatible stereo image
Redert Dynamic dimension: system for simultaneous 3D and monoscopic viewing
Class et al. Patent application title: SIMULTANEOUS 2D AND 3D IMAGES ON A DISPLAY Inventors: James E. Davis (Santa Cruz, CA, US) Steven Scher (Chula Vista, CA, US) Jing Liu (Mountain View, CA, US) Rajan Vaish (Mountain View, CA, US) Prabath Gunawardane (Mountain View, CA, US) Assignees: THE REGENTS OF THE UNIVERSITY OF CALIFORNIA