FR2968160A1 - Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal - Google Patents
Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal Download PDFInfo
- Publication number
- FR2968160A1 FR2968160A1 FR1059808A FR1059808A FR2968160A1 FR 2968160 A1 FR2968160 A1 FR 2968160A1 FR 1059808 A FR1059808 A FR 1059808A FR 1059808 A FR1059808 A FR 1059808A FR 2968160 A1 FR2968160 A1 FR 2968160A1
- Authority
- FR
- France
- Prior art keywords
- video stream
- views
- terminal
- stereoscopic
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Traitement de données pour l'affichage d'un flux vidéo sur un terminal d'affichage, indépendamment de la compatibilité d'affichage du terminal La présente invention vise un traitement de données pour l'affichage d'un flux vidéo sur un terminal d'affichage. Plus particulièrement, la présente invention vise l'affichage d'un flux vidéo sur un terminal d'affichage lorsque le flux vidéo est initialement destiné à un autre type de terminal d'affichage. La visualisation en relief, c'est-à-dire la visualisation de flux vidéo 3D, est en forte croissance, notamment pour les services de visioconférence, pour le visionnage de films et pour les jeux. Cette croissance entraine l'augmentation du nombre de types de terminaux d'affichage, ces différents types de terminaux d'affichage n'étant pas nécessairement compatibles entre eux. En effet, les terminaux d'affichage 2D ne sont généralement pas capables d'afficher des flux vidéo 3D. De plus, même les terminaux d'affichage 3D n'acceptent pas tous les types de flux vidéo 3D, du fait de différences entre les technologies utilisées. Cependant un utilisateur d'un terminal d'affichage d'un certain type peut souhaiter pouvoir échanger des flux vidéo avec un utilisateur d'un terminal d'affichage d'un autre type, ou plus généralement peut souhaiter pouvoir visionner un flux vidéo d'un type quelconque. La présente invention vient améliorer la situation. The present invention relates to a data processing for displaying a video stream on a terminal of a video terminal on a display terminal, regardless of the display compatibility of the terminal. display. More particularly, the present invention aims at displaying a video stream on a display terminal when the video stream is initially intended for another type of display terminal. 3D visualization, that is to say the visualization of 3D video streams, is growing rapidly, especially for videoconferencing services, for watching movies and for games. This growth leads to an increase in the number of types of display terminals, these different types of display terminals not being necessarily compatible with each other. Indeed, 2D display terminals are generally not able to display 3D video streams. In addition, even 3D display terminals do not accept all types of 3D video streams due to differences in the technologies used. However, a user of a display terminal of a certain type may wish to be able to exchange video streams with a user of a display terminal of another type, or more generally may wish to be able to view a video stream of any type. The present invention improves the situation.
A cet effet, l'invention propose un procédé de traitement de données pour l'affichage d'un flux vidéo sur un terminal d'affichage, comprenant les étapes : a) analyser un flux vidéo à afficher sur le terminal d'affichage pour déterminer si le flux vidéo est adapté pour un affichage sur le terminal d'affichage, et lorsque le flux vidéo est déterminé comme n'étant pas adapté pour un affichage sur le terminal d'affichage, b) traiter ledit flux vidéo pour générer un flux vidéo traité adapté pour un affichage sur le terminal d'affichage. La solution proposée dans cette invention permet une interopérabilité entre des terminaux d'affichage de types différents, de manière automatique, et transparente pour l'utilisateur final. La solution proposée dans cette invention permet en outre d'afficher sur un terminal d'affichage un flux vidéo de type quelconque, provenant par exemple d'un autre terminal d'affichage, d'un signal de télévision, d'un service de vidéo à la demande (VOD), d'un disque optique numérique (DVD), d'un disque de type blu-ray, d'un jeu, etc., même lorsque le flux vidéo est initialement destiné à un autre type de terminal d'affichage. For this purpose, the invention proposes a data processing method for displaying a video stream on a display terminal, comprising the steps of: a) analyzing a video stream to be displayed on the display terminal to determine if the video stream is adapted for display on the display terminal, and when the video stream is determined to be unsuitable for display on the display terminal, b) processing said video stream to generate a video stream processed adapted for display on the display terminal. The solution proposed in this invention allows interoperability between display terminals of different types, automatically, and transparent to the end user. The solution proposed in this invention also makes it possible to display on a display terminal a video stream of any type, coming for example from another display terminal, a television signal or a video service. on demand (VOD), a digital optical disc (DVD), a blu-ray disc, a game, etc., even when the video stream is initially intended for another type of terminal. display.
Le procédé peut comprendre une étape d'échange, entre le terminal d'affichage récepteur du flux vidéo et un terminal émetteur du flux vidéo, de données caractérisant le terminal d'affichage récepteur et/ou le terminal émetteur. L'étape a) peut comprendre la détection de redondances spatiales et/ou temporelles dans une image du flux vidéo à afficher. La détection de redondances spatiales et/ou temporelles est par exemple réalisée en utilisant des vecteurs de mouvement présents dans ladite image du flux vidéo à afficher. L'étape a) peut comprendre la détection d'un marqueur indiquant un nombre de vues comprises dans une image d'un flux vidéo à afficher. The method may comprise a step of exchanging, between the display terminal receiving the video stream and a terminal transmitting the video stream, data characterizing the receiving display terminal and / or the transmitting terminal. Step a) may include the detection of spatial and / or temporal redundancies in an image of the video stream to be displayed. The detection of spatial and / or temporal redundancies is for example carried out using motion vectors present in said image of the video stream to be displayed. Step a) may include detecting a marker indicating a number of views included in an image of a video stream to be displayed.
Selon un mode de réalisation de l'invention, le terminal d'affichage est un terminal d'affichage 2D, le flux vidéo étant un flux vidéo 3D stéréoscopique, l'étape b) comprenant la séparation d'une vue gauche et d'une vue droite d'une image du flux vidéo 3D stéréoscopique pour générer un flux vidéo traité comportant une des vues. Selon un autre mode de réalisation de l'invention, le terminal d'affichage est un terminal d'affichage 2D, le flux vidéo étant un flux vidéo 3D auto-stéréoscopique comprenant au moins une image à n vues, n étant un nombre entier strictement supérieur à 2, l'étape b) comprenant la séparation des n vues de l'image du flux vidéo 3D auto-stéréoscopique pour générer un flux vidéo traité comportant une desdites n vues. Selon un autre mode de réalisation de l'invention, le terminal d'affichage est un terminal 3D auto-stéréoscopique à n vues, n étant un entier strictement supérieur à 2, le flux vidéo étant un flux vidéo 2D, l'étape b) comprenant la duplication n fois d'une image du flux vidéo 2D pour générer un flux vidéo traité à n vues. Selon un autre mode de réalisation de l'invention, le terminal est un terminal 3D stéréoscopique, le flux vidéo étant un flux vidéo 3D auto-stéréoscopique comprenant au moins une image à n vues, n étant un entier strictement supérieur à 2, l'étape b) comprenant la séparation des n vues de l'image du flux vidéo et l'assemblage de deux vues adjacentes sélectionnées parmi les n vues de l'image, pour générer un flux vidéo traité comportant les deux vues adjacentes assemblées. Selon un autre mode de réalisation de l'invention, le terminal est un terminal 3D auto-stéréoscopique à n vues, n étant un entier strictement supérieur à 2, le flux vidéo étant un flux vidéo 3D stéréoscopique, l'étape b) comprenant la séparation des deux vues d'une image du flux vidéo 3D stéréoscopique et la duplication n fois d'une des vues du flux vidéo 3D stéréoscopique, pour générer un flux vidéo traité comprenant n fois la même vue. Selon un autre mode de réalisation de l'invention, le terminal est un terminal 3D auto-stéréoscopique à n vues, n étant un entier strictement supérieur à 2, le flux vidéo étant un flux vidéo 3D stéréoscopique, l'étape b) comprenant la duplication n/2 fois des deux vues d'une image du flux vidéo 3D stéréoscopique pour générer un flux vidéo traité comportant n/2 fois le couple des deux vues. Selon un autre mode de réalisation de l'invention, le terminal est un terminal 3D auto- stéréoscopique à m vues, m étant un entier strictement supérieur à 2, le flux vidéo étant un flux vidéo 3D auto-stéréoscopique comprenant au moins une image à n vues, n étant un entier strictement supérieur à m, l'étape b) comprenant la suppression de (n-m) vues de l'image pour générer un flux vidéo traité comportant m vues. Selon un autre mode de réalisation de l'invention, le terminal est un terminal 3D auto- stéréoscopique à m vues, m étant un entier strictement supérieur à 2, le flux vidéo étant un flux vidéo 3D auto-stéréoscopique comprenant au moins une image à n vues, n étant un entier strictement inférieur à m, l'étape b) comprenant la duplication d'une ou de plusieurs vues de l'image pour générer un flux vidéo traité à m vues. L'invention propose également un programme informatique comportant des instructions pour la mise en oeuvre du procédé précité lorsque ce programme est exécuté par un processeur. L'invention propose également un dispositif de traitement de données pour l'affichage d'un flux vidéo sur un terminal d'affichage, comprenant : - un module d'analyse configuré pour analyser un flux vidéo à afficher sur le terminal d'affichage pour déterminer si ledit flux vidéo est adapté pour un affichage sur ledit terminal d'affichage, et - un module de traitement configuré pour, lorsque ledit flux vidéo est déterminé comme n'étant pas adapté pour un affichage sur ledit terminal d'affichage, traiter ledit flux vidéo pour générer un flux vidéo traité adapté pour un affichage sur ledit terminal d'affichage. D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels : According to one embodiment of the invention, the display terminal is a 2D display terminal, the video stream being a stereoscopic 3D video stream, step b) comprising the separation of a left view and a right view of an image of the stereoscopic 3D video stream for generating a processed video stream having one of the views. According to another embodiment of the invention, the display terminal is a 2D display terminal, the video stream being an auto-stereoscopic 3D video stream comprising at least one image with n views, n being an integer strictly greater than 2, step b) comprising separating the n views of the image of the auto-stereoscopic 3D video stream to generate a processed video stream having one of said n views. According to another embodiment of the invention, the display terminal is an auto-stereoscopic 3D terminal with n views, n being an integer strictly greater than 2, the video stream being a 2D video stream, step b) comprising n times duplicating an image of the 2D video stream to generate a processed video stream with n views. According to another embodiment of the invention, the terminal is a stereoscopic 3D terminal, the video stream being an auto-stereoscopic 3D video stream comprising at least one image with n views, n being an integer strictly greater than 2, step b) comprising separating the n views of the image of the video stream and assembling two adjacent views selected from the n views of the image, to generate a processed video stream having the two assembled adjacent views. According to another embodiment of the invention, the terminal is an auto-stereoscopic 3D terminal with n views, n being an integer strictly greater than 2, the video stream being a stereoscopic 3D video stream, step b) comprising the separating the two views of an image from the stereoscopic 3D video stream and n times duplicating one of the stereoscopic 3D video stream views, to generate a processed video stream comprising n times the same view. According to another embodiment of the invention, the terminal is an auto-stereoscopic 3D terminal with n views, n being an integer strictly greater than 2, the video stream being a stereoscopic 3D video stream, step b) comprising the n / 2 duplication of the two views of an image of the stereoscopic 3D video stream to generate a processed video stream having n / 2 times the pair of the two views. According to another embodiment of the invention, the terminal is a self-stereoscopic 3D terminal with m views, m being an integer strictly greater than 2, the video stream being an auto-stereoscopic 3D video stream comprising at least one image to n views, n being an integer strictly greater than m, step b) including the removal of (nm) views of the image to generate a processed video stream having m views. According to another embodiment of the invention, the terminal is a self-stereoscopic 3D terminal with m views, m being an integer strictly greater than 2, the video stream being an auto-stereoscopic 3D video stream comprising at least one image to n views, n being an integer strictly less than m, step b) comprising duplicating one or more views of the image to generate a processed video stream with m views. The invention also proposes a computer program comprising instructions for implementing the aforementioned method when this program is executed by a processor. The invention also proposes a data processing device for displaying a video stream on a display terminal, comprising: an analysis module configured to analyze a video stream to be displayed on the display terminal for determining whether said video stream is adapted for display on said display terminal, and - a processing module configured for, when said video stream is determined not to be suitable for display on said display terminal, to process said video stream for generating a processed video stream adapted for display on said display terminal. Other features and advantages of the invention will become apparent on reading the description which follows. This is purely illustrative and should be read in conjunction with the attached drawings in which:
- la Figure 1 est un schéma fonctionnel montrant un réseau de télécommunication comportant des terminaux d'affichage de différents types ; - la Figure 2 est un schéma fonctionnel montrant un dispositif de traitement d'un flux vidéo selon un mode de réalisation de l'invention ; - la Figure 3 est un organigramme illustrant les étapes d'un procédé d'affichage sur un terminal d'affichage d'un flux vidéo initialement adapté à un terminal d'affichage d'un autre type, cet organigramme pouvant représenter l'algorithme général du programme informatique au sens de l'invention ; En se référant à la figure 1, on décrit un réseau de télécommunication comprenant un terminal d'affichage 2D 1, un terminal d'affichage 3D stéréoscopique 2, un terminal d'affichage 3D auto-stéréoscopique à n vues 3, et un terminal d'affichage 3D auto-stéréoscopique à m vues 4, n et m étant des entiers tels que 2 < n, 2 < m et n m. Le terminal d'affichage 2D 1 comprend une caméra 2D 10 et un écran 2D 11. Le terminal d'affichage 3D stéréoscopique 2 est un terminal à deux vues, qui est destiné à être utilisé avec des lunettes et comprend une caméra 3D 20 et un écran 3D 21. Le terminal d'affichage 3D auto-stéréoscopique à n vues 3 est un terminal destiné à être utilisé sans lunettes, et comprend une caméra 3D à n vues 30 et un écran 3D à n vues 31. En variante, le terminal d'affichage 3 peut comporter n caméras 2D à la place de la caméra à n vues 30. Le terminal d'affichage 3D auto-stéréoscopique à m vues 4 est un terminal d'affichage destiné à être utilisé sans lunettes, et comprend une caméra 3D à m vues 40 et un écran 3D à m vues 41. En variante, le terminal d'affichage 4 peut comporter m caméras 2D à la place de la caméra à m vues 40. Les terminaux d'affichage 1, 2, 3, 4 ne sont pas compatibles, c'est-à-dire que les flux vidéo respectifs qu'ils génèrent ne sont pas adaptés pour être affichés sur les autres terminaux d'affichage. Par exemple, le terminal d'affichage 2D 1 n'est pas configuré pour afficher un flux vidéo 3D. De plus, un flux vidéo 3D généré par un terminal d'affichage 3D, par exemple le terminal d'affichage 3, n'est pas adapté pour être affiché sur un autre terminal d'affichage 3D, par exemple le terminal d'affichage 2 ou 4, car les technologies de codage et de décodage ainsi que les techniques d'affichage (entrelacement des vues par exemple) utilisées par ces terminaux d'affichage sont différentes. De manière générale, un flux vidéo provenant d'un terminal d'affichage, d'un signal de télévision, d'un service de vidéo à la demande (VOD), d'un disque optique numérique (DVD), d'un disque de type blu-ray, d'un jeu, etc. est adapté à un type particulier de terminal d'affichage et n'est généralement pas compatible avec les autres types de terminaux d'affichage. Un objectif de l'invention est de proposer un dispositif de traitement 5 d'un flux vidéo configuré pour permettre une interopérabilité entre les terminaux d'affichage 1, 2, 3, 4, de manière automatique et transparente pour l'utilisateur final. Un dispositif de traitement 5 peut par exemple être intégré dans chaque terminal d'affichage 1, 2, 3, 4 ou bien dans un boîtier connecté à chaque terminal d'affichage 1, 2, 3, 4. En se référant à la figure 2, le dispositif de traitement 5 comporte un module 50 d'analyse de flux vidéo qui est configuré pour déterminer si un flux vidéo reçu FV est adapté pour être affiché sur un terminal d'affichage 1, 2, 3, 4 d'un type donné. Le dispositif de traitement 5 comporte également un module 51 de traitement qui est configuré pour traiter le flux vidéo FV reçu, initialement adapté à un autre type de terminal d'affichage, afin d'obtenir un flux vidéo traité FVT adapté à l'affichage sur le terminal d'affichage d'un type donné. - Figure 1 is a block diagram showing a telecommunications network with display terminals of different types; FIG. 2 is a block diagram showing a device for processing a video stream according to one embodiment of the invention; FIG. 3 is a flowchart illustrating the steps of a display method on a display terminal of a video stream initially adapted to a display terminal of another type, this flow chart possibly representing the general algorithm computer program within the meaning of the invention; Referring to FIG. 1, a telecommunications network is described comprising a 2D display terminal 1, a stereoscopic 3D display terminal 2, an auto-stereoscopic 3D display terminal with 3 views, and a display terminal. auto-stereoscopic 3D display with 4 views, n and m being integers such that 2 <n, 2 <m and n m. The 2D display terminal 1 comprises a 2D camera 10 and a 2D screen 11. The stereoscopic 3D display terminal 2 is a two-view terminal, which is intended to be used with glasses and comprises a 3D camera 20 and a The 3D auto-stereoscopic 3D display terminal 3 is a terminal intended to be used without glasses, and comprises a 3D camera with n views 30 and a 3D screen with n views 31. In a variant, the terminal 3 is a display terminal intended to be used without glasses, and includes a video camera. The display device 3 may comprise n 2D cameras instead of the n-view camera 30. The self-stereoscopic 3D display terminal 4 In a variant, the display terminal 4 can comprise m 2D cameras in place of the multi-view camera 40. The display terminals 1, 2, 3, 4 are not compatible, that is, the respective video streams they generate are not ad apt to be displayed on other display terminals. For example, the 2D display terminal 1 is not configured to display a 3D video stream. In addition, a 3D video stream generated by a 3D display terminal, for example the display terminal 3, is not adapted to be displayed on another 3D display terminal, for example the display terminal 2 or 4, because the coding and decoding technologies as well as the display techniques (interlace views, for example) used by these display terminals are different. In general, a video stream from a display terminal, a television signal, a video-on-demand (VOD) service, a digital optical disk (DVD), a disk blu-ray type, a game, etc. is adapted to a particular type of display terminal and is generally not compatible with other types of display terminals. An object of the invention is to propose a device 5 for processing a video stream configured to allow interoperability between the display terminals 1, 2, 3, 4, automatically and transparently for the end user. A processing device 5 may for example be integrated in each display terminal 1, 2, 3, 4 or in a box connected to each display terminal 1, 2, 3, 4. Referring to FIG. , the processing device 5 comprises a video stream analysis module 50 which is configured to determine whether a received video stream FV is adapted to be displayed on a display terminal 1, 2, 3, 4 of a given type . The processing device 5 also comprises a processing module 51 which is configured to process the received FV video stream, initially adapted to another type of display terminal, in order to obtain a FVT-treated video stream adapted to the display on the display terminal of a given type.
En se référant à la figure 3, on décrit ci-dessous un procédé d'affichage sur un terminal d'affichage 1, 2, 3 ou 4 d'un flux vidéo FV initialement adapté à un autre type de terminal d'affichage. Le procédé est mis en oeuvre par le dispositif de traitement 5 (figure 2). Le procédé peut être utilisé pour réaliser une visioconférence entre un terminal d'affichage d'un premier type et un terminal d'affichage d'un deuxième type différent du premier type, ou, de manière générale, pour afficher sur un terminal d'affichage un flux vidéo provenant d'une source quelconque et adapté pour un affichage sur un autre type de terminal d'affichage. A l'étape S1, le dispositif de traitement 5 reçoit un flux vidéo FV à afficher sur le terminal d'affichage 1, 2, 3 ou 4. Le module d'analyse 50 analyse alors le flux vidéo reçu FV pour déterminer s'il est adapté pour un affichage sur le terminal d'affichage 1, 2, 3 ou 4. Cette étape est de préférence réalisée en temps réel. Un flux vidéo 3D stéréoscopique ne comprend généralement aucun marqueur précisant qu'il s'agit d'un flux vidéo 3D stéréoscopique. L'étape d'analyse S1 peut donc comprendre la détection de redondances spatiales et/ou temporelles présentes dans une image du flux vidéo FV reçu. Dans les canaux et schémas de diffusion actuels, une image 3D stéréoscopique est généralement constituée de deux vues 2D accolées (« side-by-side »). Par exemple, dans le cas d'un terminal 3D de type écran full-HD de 1920 pixels, la différence entre les vues gauche et droite formant l'image 3D est de quelques pour cent. Referring to Figure 3, there is described below a display method on a display terminal 1, 2, 3 or 4 of an FV video stream initially adapted to another type of display terminal. The method is implemented by the processing device 5 (FIG. 2). The method may be used to perform a video conference between a display terminal of a first type and a display terminal of a second type different from the first type, or, generally, to display on a display terminal a video stream from any source and adapted for display on another type of display terminal. In step S1, the processing device 5 receives a video stream FV to be displayed on the display terminal 1, 2, 3 or 4. The analysis module 50 then analyzes the received video stream FV to determine if is suitable for display on the display terminal 1, 2, 3 or 4. This step is preferably performed in real time. A stereoscopic 3D video stream generally does not include any markers stating that it is a stereoscopic 3D video stream. The analysis step S1 may therefore comprise the detection of spatial and / or temporal redundancies present in an image of the received FV video stream. In current channels and broadcast schemes, a stereoscopic 3D image usually consists of two side-by-side (2D) views. For example, in the case of a 1920-pixel full-HD screen type 3D terminal, the difference between the left and right views forming the 3D image is a few percent.
Par exemple, en considérant un écart inter-pupillaire de l'utilisateur de 6.5cm et une distance entre l'utilisateur et l'écran de 300cm, on obtient : (6.5cm*1920pix)/300cm = 41.6 pixel et (41.6/1920)*100 = 2.17% Les redondances spatiales et temporelles sont donc fortes et l'étape d'analyse S1 permet de les détecter. For example, considering a user's inter-pupillary distance of 6.5cm and a distance between the user and the screen of 300cm, we get: (6.5cm * 1920pix) / 300cm = 41.6 pixel and (41.6 / 1920 ) * 100 = 2.17% The spatial and temporal redundancies are therefore strong and the analysis step S1 makes it possible to detect them.
La détection est par exemple réalisée en utilisant des vecteurs de mouvement présents dans les vues gauche et droite d'une image du flux vidéo reçu. Lorsque le nombre de vecteurs communs dépasse un seuil prédéterminé, par exemple fixé à 75%, le flux vidéo reçu est déterminé comme étant un flux vidéo 3D stéréoscopique. On notera que l'utilisation de vecteurs de mouvement est possible car les images appartiennent à des flux vidéo (images animées). The detection is for example carried out using motion vectors present in the left and right views of an image of the received video stream. When the number of common vectors exceeds a predetermined threshold, for example set at 75%, the received video stream is determined to be a stereoscopic 3D video stream. It should be noted that the use of motion vectors is possible because the images belong to video streams (animated images).
Un flux vidéo 3D auto-stéréoscopique peut contenir un marqueur indiquant le nombre de vues du flux vidéo. L'étape d'analyse SI peut donc comprendre la détection d'un tel marqueur. Cependant, un flux vidéo 3D auto-stéréoscopique provenant d'un terminal d'affichage 3D auto-stéréoscopique 3, 4 comprenant une caméra à x vues, x étant égal à n ou m selon le terminal 3, 4 considéré, ne contient pas nécessairement de marqueur indiquant le nombre de vues du flux vidéo. Dans ce cas, l'utilisation des vecteurs de mouvement décrite précédemment permet de déterminer le nombre de vues du flux vidéo reçu. Lorsque l'analyse du flux vidéo reçu est terminée, le module d'analyse 50 détermine si ce flux vidéo est adapté pour l'affichage sur le terminal d'affichage 1, 2, 3, 4 auquel le dispositif de traitement 5 est associé. L'étape S1 comporte en outre une opération de signalisation comprenant l'échange, entre le terminal d'affichage récepteur du flux vidéo FV et le terminal émetteur du flux vidéo FV, de données caractérisant le terminal récepteur et/ou le terminal émetteur. L'opération de signalisation peut être réalisée avant ou après l'analyse du flux vidéo FV reçu. An auto-stereoscopic 3D video stream may contain a marker indicating the number of views of the video stream. The analysis step S1 may therefore comprise the detection of such a marker. However, an auto-stereoscopic 3D video stream coming from an auto-stereoscopic 3D display terminal 3, 4 comprising a camera with x views, x being equal to n or m depending on the terminal 3, 4 considered, does not necessarily contain marker indicating the number of views of the video stream. In this case, the use of the motion vectors described above makes it possible to determine the number of views of the video stream received. When the analysis of the received video stream is completed, the analysis module 50 determines whether this video stream is adapted for display on the display terminal 1, 2, 3, 4 to which the processing device 5 is associated. Step S1 furthermore comprises a signaling operation comprising the exchange, between the display terminal receiving the video stream FV and the terminal transmitting the video stream FV, of data characterizing the receiving terminal and / or the transmitting terminal. The signaling operation can be performed before or after the analysis of the received FV video stream.
Selon un premier mode de réalisation de l'invention, lors de l'opération de signalisation, le dispositif de traitement 5 associé au terminal d'affichage récepteur transmet, à destination d'un dispositif de traitement associé au terminal émetteur du flux vidéo FV, un message indiquant le type de flux vidéo apte à être affiché sur le terminal d'affichage récepteur. Selon un deuxième mode de réalisation, lors de l'opération de signalisation, un dispositif de traitement associé au terminal émetteur du flux FV transmet, à destination du dispositif de traitement 5 associé au terminal récepteur, un message indiquant le type de flux vidéo apte à être émis par le terminal émetteur. Par exemple, dans le cas d'un flux de vidéo à la demande (VOD) envoyé depuis un serveur VOD vers un terminal d'affichage, soit le serveur VOD signale au terminal d'affichage qu'il est capable d'envoyer un flux vidéo d'un certain type (par exemple un flux vidéo 2D), soit le terminal d'affichage signale au serveur VOD ses capacités d'affichage. Dans le cas d'une visioconférence, chaque terminal envoie ses capacités d'affichage, cette information étant contenue dans un message de signalisation qui est par exemple conforme au protocole H323 ou SIP. According to a first embodiment of the invention, during the signaling operation, the processing device 5 associated with the receiver display terminal transmits, to a processing device associated with the transmitting terminal, the video stream FV, a message indicating the type of video stream that can be displayed on the receiver display terminal. According to a second embodiment, during the signaling operation, a processing device associated with the transmitting terminal of the FV stream transmits, to the processing device associated with the receiving terminal, a message indicating the type of video stream capable of be transmitted by the transmitting terminal. For example, in the case of a video on demand (VOD) stream sent from a VOD server to a display terminal, the VOD server signals to the display terminal that it is capable of sending a stream. video of a certain type (for example a 2D video stream), or the display terminal signals the VOD server its display capabilities. In the case of a videoconference, each terminal sends its display capabilities, this information being contained in a signaling message which is for example in accordance with the H323 or SIP protocol.
Lorsque les opérations d'analyse et de signalisation ont été réalisées et que le flux vidéo est déterminé comme n'étant pas adapté au type du terminal d'affichage, le procédé passe à l'étape S2. A l'étape S2, le module de traitement 51 traite le flux vidéo reçu pour générer un flux vidéo traité FVT qui est adapté au terminal d'affichage sur lequel il doit être affiché. When the analysis and signaling operations have been performed and the video stream is determined not to be suitable for the type of the display terminal, the method proceeds to step S2. In step S2, the processing module 51 processes the received video stream to generate a FVT processed video stream that is adapted to the display terminal on which it is to be displayed.
Dans le cas d'un flux vidéo 3D stéréoscopique devant être affiché sur le terminal d'affichage 2D 1, l'étape de traitement S2 comporte la séparation des vues gauche et droite de chaque image 3D du flux vidéo reçu afin de conserver une seule des deux vues, par exemple la vue gauche. Cette séparation est par exemple réalisée en scindant chaque image 3D en deux dans le sens de la longueur. Par exemple, pour une image 3D comportant X colonnes de pixels, l'image conservée comporte X/2 colonnes de pixels. Le flux vidéo traité FVT comporte une unique vue, correspondant dans l'exemple à la vue gauche du flux vidéo reçu FV. Dans le cas d'un flux vidéo 3D auto-stéréoscopique, chaque image du flux vidéo 3D comporte n vues. Lorsque ce flux vidéo 3D doit être affiché sur le terminal 2D 1, l'étape de traitement S2 comporte la séparation des n vues de chaque image du flux vidéo 3D reçu afin de générer un flux vidéo traité comportant une unique vue par image, qui correspond par exemple à la première vue d'une image du flux vidéo reçu. Dans le cas d'un flux vidéo 2D devant être affiché sur le terminal d'affichage 3D auto-stéréoscopique 3,4, l'étape de traitement S2 comporte l'adaptation du flux vidéo 2D à l'algorithme d'affichage du terminal 3D 3, 4. Par exemple, dans le cas du terminal auto-stéréoscopique à n vues 3, le module de traitement 51 duplique n fois le flux vidéo 2D pour obtenir un flux vidéo traité à n vues. Dans le cas d'un flux vidéo 3D auto-stéréoscopique à n vues devant être affiché sur le terminal d'affichage 3D stéréoscopique 2, l'étape de traitement S2 comprend la séparation des n vues du flux vidéo reçu, puis la récupération de deux vues adjacentes, correspondant par exemple aux deux premières vues du flux vidéo à n vues. Les deux vues adjacentes sont ensuite assemblées pour obtenir un flux vidéo traité stéréoscopique respectant le formalisme d'affichage du terminal d'affichage 2. Dans le cas d'un flux vidéo 3D stéréoscopique devant être affiché sur le terminal d'affichage 3D auto-stéréoscopique à n vues 3, l'étape de traitement S2 comporte la séparation des deux vues du flux vidéo reçu pour ne conserver qu'une des deux vues. La vue conservée est ensuite dupliquée n fois pour obtenir un flux vidéo traité comprenant n fois la même vue. En variante, dans le cas d'un flux vidéo 3D stéréoscopique devant être affiché sur le terminal d'affichage 3D auto-stéréoscopique à n vues 3, l'étape de traitement S2 peut conserver les deux vues d'une image du flux vidéo 3D reçu et les dupliquer n/2 fois. Par exemple, pour n = 2, les deux vues ne sont pas dupliquées mais simplement ajustées pour un affichage auto-stéréoscopique, pour n=4, les deux vues sont dupliquées deux fois, pour n=8, les deux vues sont dupliquées quatre fois, etc. Le flux vidéo traité comporte alors n/2 fois le couple de vues de l'image du flux vidéo reçu. In the case of a stereoscopic 3D video stream to be displayed on the 2D display terminal 1, the processing step S2 comprises separating the left and right views of each 3D image of the received video stream in order to retain only one of the two views, for example the left view. This separation is for example made by splitting each 3D image in two in the direction of the length. For example, for a 3D image with X columns of pixels, the retained image has X / 2 columns of pixels. The processed video stream FVT comprises a single view, corresponding in the example to the left view of the received video stream FV. In the case of an auto-stereoscopic 3D video stream, each image of the 3D video stream has n views. When this 3D video stream is to be displayed on the 2D terminal 1, the processing step S2 comprises separating the n views of each image of the received 3D video stream in order to generate a processed video stream having a single image view, which corresponds to for example at the first view of an image of the received video stream. In the case of a 2D video stream to be displayed on the auto-stereoscopic 3D display terminal 3,4, the processing step S2 comprises the adaptation of the 2D video stream to the display algorithm of the 3D terminal. 3, 4. For example, in the case of the auto-stereoscopic terminal with n views 3, the processing module 51 duplicates the 2D video stream n times to obtain a processed video stream with n views. In the case of an auto-stereoscopic 3D video stream having n views to be displayed on the stereoscopic 3D display terminal 2, the processing step S2 comprises the separation of the n views of the received video stream, then the recovery of two adjacent views, corresponding for example to the first two views of the video stream with n views. The two adjacent views are then assembled to obtain a stereoscopic processed video stream respecting the display formalism of the display terminal 2. In the case of a stereoscopic 3D video stream to be displayed on the auto-stereoscopic 3D display terminal In n views 3, the processing step S2 comprises the separation of the two views of the received video stream to retain only one of the two views. The preserved view is then duplicated n times to obtain a processed video stream comprising n times the same view. As a variant, in the case of a stereoscopic 3D video stream to be displayed on the n-view auto-stereoscopic 3D display terminal 3, the processing step S 2 can retain the two views of an image of the 3D video stream received and duplicate them n / 2 times. For example, for n = 2, the two views are not duplicated but simply adjusted for auto-stereoscopic display, for n = 4, both views are duplicated twice, for n = 8, both views are duplicated four times etc. The processed video stream then comprises n / 2 times the pair of views of the image of the video stream received.
Dans le cas d'un flux vidéo 3D comprenant des images à n vues devant être affichées successivement sur le terminal d'affichage 3D à m vues 4, avec n>m, l'étape de traitement S2 comporte la suppression de (n-m) vues de chaque image du flux vidéo reçu, par exemple les n-m dernières vues de chaque image du flux vidéo reçu. Le flux vidéo traité comporte ainsi m vues de chaque image du flux vidéo reçu. Dans le cas d'un flux vidéo 3D comprenant des images à n vues devant être affichées successivement sur le terminal d'affichage 3D à m vues 4, avec n<m, l'étape de traitement S2 comporte l'ajout pour chaque image de (m-n) vues manquantes. Ces vues sont ajoutées en dupliquant une ou plusieurs vues de chaque image du flux vidéo reçu. Le flux vidéo traité comporte ainsi m vues comportant les n vues de chaque image du flux vidéo reçu dont au moins certaines ont été dupliquées. Dans le cas d'un flux vidéo 3D comprenant des images à n vues devant être affichées successivement sur le terminal d'affichage 3D à m vues 4, lorsque le terminal 4 est apte à afficher une image plane, l'étape de traitement S2 peut en variante comporter la séparation des n vues de chaque image du flux vidéo reçu et la duplication m fois d'une des n vues pour obtenir un flux vidéo traité comportant m fois la même vue. A l'étape S3, le dispositif de traitement 5 transmet le flux vidéo traité FVT au terminal d'affichage 1, 2, 3, 4 sur lequel il doit être affiché. Le procédé décrit ci-dessus peut également être utilisé pour réaliser une visioconférence multipoints avec des terminaux d'affichage hétérogènes. Dans ce cas, le procédé comporte une étape préalable de détermination, parmi les terminaux d'affichage 1, 2, 3, 4 participant à la visioconférence, du terminal d'affichage destiné à afficher le flux vidéo comportant le plus petit nombre de vues. Dans l'exemple d'une visioconférence impliquant les terminaux d'affichage 1, 2, 3 et 4, ce terminal d'affichage est le terminal d'affichage 2D 1 qui est destiné à afficher un flux vidéo avec une unique vue. Cette étape est par exemple réalisée par un pont multipoints (MCU) du réseau de télécommunication. La fonction de plus bas niveau est alors appliquée, c'est-à-dire que les dispositifs de traitement 5 respectifs des terminaux d'affichage 1, 2, 3, 4 traiteront les flux vidéo échangés pour les adapter à la capacité du terminal d'affichage 1 ayant le moins de vues disponibles. Les opérations de traitement permettant cette adaptation sont similaires à ce qui a été décrit précédemment. Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemples ; elle s'étend à d'autres variantes. In the case of a 3D video stream comprising images with n views to be displayed successively on the 3D display terminal at m views 4, with n> m, the processing step S2 comprises the suppression of (nm) views each image of the received video stream, for example the last nm views of each image of the received video stream. The processed video stream thus includes m views of each image of the received video stream. In the case of a 3D video stream comprising images with n views to be displayed successively on the 3D display terminal at m views 4, with n <m, the processing step S2 includes the addition for each image of (mn) missing views. These views are added by duplicating one or more views of each frame of the received video stream. The processed video stream thus comprises m views comprising the n views of each image of the video stream received, at least some of which have been duplicated. In the case of a 3D video stream comprising images with n views to be displayed successively on the 3D display terminal at m views 4, when the terminal 4 is able to display a plane image, the processing step S2 can alternatively, comprising separating the n views of each image of the received video stream and m duplicating one of the n views to obtain a processed video stream having m times the same view. In step S3, the processing device 5 transmits the processed video stream FVT to the display terminal 1, 2, 3, 4 on which it must be displayed. The method described above can also be used to perform a multipoint videoconferencing with heterogeneous display terminals. In this case, the method comprises a preliminary step of determining, among the display terminals 1, 2, 3, 4 participating in the video conference, the display terminal for displaying the video stream having the smallest number of views. In the example of a videoconference involving the display terminals 1, 2, 3 and 4, this display terminal is the 2D display terminal 1 which is intended to display a video stream with a single view. This step is for example performed by a multipoint bridge (MCU) of the telecommunications network. The lower level function is then applied, i.e. the respective processing devices of the display terminals 1, 2, 3, 4 will process the exchanged video streams to suit the capacity of the terminal. display 1 having the fewest views available. The processing operations allowing this adaptation are similar to what has been described previously. Of course, the present invention is not limited to the embodiments described above as examples; it extends to other variants.
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1059808A FR2968160A1 (en) | 2010-11-26 | 2010-11-26 | Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1059808A FR2968160A1 (en) | 2010-11-26 | 2010-11-26 | Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2968160A1 true FR2968160A1 (en) | 2012-06-01 |
Family
ID=44260066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1059808A Withdrawn FR2968160A1 (en) | 2010-11-26 | 2010-11-26 | Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2968160A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026737A1 (en) * | 2008-09-02 | 2010-03-11 | パナソニック株式会社 | Three-dimensional video image transmission system, video image display device and video image output device |
| WO2010058354A1 (en) * | 2008-11-24 | 2010-05-27 | Koninklijke Philips Electronics N.V. | 3d video reproduction matching the output format to the 3d processing ability of a display |
| EP2247117A2 (en) * | 2009-04-27 | 2010-11-03 | Mitsubishi Electric Corporation | Stereoscopic video distribution system, stereoscopic video distribution method, stereoscopic video distribution apparatus, stereoscopic video viewing system, stereoscopic video viewing method, and stereoscopic video viewing apparatus |
-
2010
- 2010-11-26 FR FR1059808A patent/FR2968160A1/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026737A1 (en) * | 2008-09-02 | 2010-03-11 | パナソニック株式会社 | Three-dimensional video image transmission system, video image display device and video image output device |
| US20110141236A1 (en) * | 2008-09-02 | 2011-06-16 | Hiroshi Mitani | Three-dimensional video image transmission system, video image display device and video image output device |
| WO2010058354A1 (en) * | 2008-11-24 | 2010-05-27 | Koninklijke Philips Electronics N.V. | 3d video reproduction matching the output format to the 3d processing ability of a display |
| EP2247117A2 (en) * | 2009-04-27 | 2010-11-03 | Mitsubishi Electric Corporation | Stereoscopic video distribution system, stereoscopic video distribution method, stereoscopic video distribution apparatus, stereoscopic video viewing system, stereoscopic video viewing method, and stereoscopic video viewing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10863217B2 (en) | Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations | |
| US8218855B2 (en) | Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image | |
| EP2136602A1 (en) | Communication terminal and information system | |
| US20110157309A1 (en) | Hierarchical video compression supporting selective delivery of two-dimensional and three-dimensional video content | |
| WO2015024362A1 (en) | Image processing method and device | |
| EP1868383A1 (en) | Motion phase detection of a video fields sequence | |
| EP3707900B1 (en) | Method for forming an output image sequence from an input image sequence, method for reconstructing an input image sequence from an output image sequence, associated devices, server equipment, client equipment and computer programs | |
| US20160021354A1 (en) | Adaptive stereo scaling format switch for 3d video encoding | |
| FR2856219A1 (en) | Reverse tele-cinema process executing method, involves comparing vector of standardized sum of variances of local frame pictures with reference model to reconstruct pictures of original film retrieved from tele-cinema pictures | |
| WO2020231680A1 (en) | Systems and methods for persisting in-band metadata within compressed video files | |
| WO2019211541A2 (en) | Method and device for multi-view video decoding and method and device for image processing | |
| FR2963190A1 (en) | METHOD AND DEVICE FOR ENCODING AN IMAGE SEQUENCE | |
| EP1603341A1 (en) | Method and device for image interpolation systems using motion estimation and compensation | |
| EP3198876B1 (en) | Generation and encoding of residual integral images | |
| EP2368367B1 (en) | Interactive system and method for transmitting key images selected from a video stream over a low bandwidth network | |
| FR2963189A1 (en) | METHOD FOR ADAPTIVE ENCODING OF A DIGITAL VIDEO STREAM, IN PARTICULAR FOR BROADCASTING ON XDSL LINE. | |
| FR2968160A1 (en) | Data processing method for displaying e.g. stereoscopic three-dimensional video stream on two-dimensional display terminal for watching movies, involves processing video stream to generate treated video stream for displaying on terminal | |
| EP2559218B1 (en) | Reception of a digital content in trick mode | |
| EP0495704B1 (en) | A method for multi-path coding | |
| EP3350931B1 (en) | Optimised transmission of video data over a wireless network | |
| Wilczewski | Analysis of content quality evaluation within 3DTV service distribution systems | |
| FR2934453A1 (en) | ERROR MASKING METHOD AND DEVICE | |
| KR102094848B1 (en) | Method and apparatus for live streaming of (super) multi-view media | |
| FR2963528A1 (en) | Three-dimensional stereoscopic video broadcasting method, involves transmitting sequence of left images to channel of broadcasting network for stereoscopic display of sequences of right and left images received on respective channels | |
| US10244225B2 (en) | Method for determining depth for generating three dimensional images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20120731 |