ES2556364T3 - Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo - Google Patents

Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo Download PDF

Info

Publication number
ES2556364T3
ES2556364T3 ES11707909.5T ES11707909T ES2556364T3 ES 2556364 T3 ES2556364 T3 ES 2556364T3 ES 11707909 T ES11707909 T ES 11707909T ES 2556364 T3 ES2556364 T3 ES 2556364T3
Authority
ES
Spain
Prior art keywords
information
frame
continuous
image
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11707909.5T
Other languages
English (en)
Inventor
Giovanni Ballocca
Paolo D'amato
Saverio Celia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel SpA
Original Assignee
Sisvel SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel SpA filed Critical Sisvel SpA
Application granted granted Critical
Publication of ES2556364T3 publication Critical patent/ES2556364T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

Método para transportar datos dentro de un flujo continuo de vídeo digital, en el que dicho flujo continuo de vídeo digital comprende datos de información y/o de aplicación no destinados a una visualización y por lo menos un cuadro que comprende una imagen que va a ser visualizada, estando caracterizado el método por que comprende las etapas siguientes: - insertar dicha imagen en dicho cuadro; - añadir unas líneas y/o columnas a dicho cuadro con el fin de obtener un cuadro mayor, el cual es más grande que dicho cuadro, estando dicho cuadro mayor dimensionado de tal manera que se pueda descomponer en un número entero de macrobloques, dependiendo el tamaño de los macrobloques del algoritmo de codificación utilizado para codificar dicho flujo continuo de vídeo; - insertar dichos datos de información y/o de aplicación en dichas líneas y/o columnas añadidas; y - codificar dicho cuadro mayor de acuerdo con dicho algoritmo de codificación por medio de un codificador.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Metodo para transportar datos de informacion y/o de aplicacion dentro de un flujo continuo de video digital, y dispositivos correspondientes para la generacion y reproduccion de dicho flujo continuo de video.
Campo tecnico
La presente invencion se refiere en general a la produccion y visualizacion de contenido de video digital.
En particular, la invencion se refiere al uso de tecnicas de codificacion y descodificacion de video para transportar datos de informacion y/o de aplicacion dentro de contenido de video digital, asf como a los dispositivos utilizados para generar y reproducir dicho contenido.
La invencion es aplicable de manera preferida y ventajosa a la codificacion y descodificacion de flujos continuos digitales de video estereoscopico, y se implementa por lo tanto en dispositivos usados para generar y reproducir dichos flujos continuos de video estereoscopico.
Tecnica anterior
Como es sabido, la distribucion de contenido de video en formato digital requiere la adopcion de tecnicas de codificacion (compresion) con el fin de reducir la velocidad de bits antes de difundir o almacenar dicho contenido en memorias masivas.
Para reproducir dicho contenido, el usuario utilizara entonces un dispositivo de descodificacion adecuado el cual aplicara tecnicas de descompresion que consisten habitualmente en operaciones inversas a las correspondientes llevadas a cabo por el codificador.
Dicho contenido de video puede tener formatos diferentes. Por ejemplo, los materiales de archivos se caracterizan por el historico formato de 4:3, mientras que el contenido mas reciente puede estar en el formato 16:9. El contenido obtenido a partir de producciones cinematograficas puede presentar formatos incluso mas amplios. El contenido de este tipo se puede reproducir en dispositivos de visualizacion que se caracterizan por diferentes formatos de pantalla.
Como consecuencia, la distribucion de dicho contenido en una red de transporte o memoria masiva especffica conlleva la adopcion de tecnicas de adaptacion y optimizacion de visualizacion, las cuales tambien pueden depender de las preferencias del espectador.
Por ejemplo, el contenido de 4:3 se puede visualizar en dispositivos de visualizacion de 16:9 insertando dos bandas negras verticales, si es que el espectador prefiere visionar una imagen no deformada.
Para que el dispositivo de visualizacion pueda aplicar correctamente dichas tecnicas de adaptacion y optimizacion, al mismo se le debe proporcionar informacion que describa el formato de la imagen recibida.
Esto no es solamente necesario en el mundo del contenido bidimensional (2D); de hecho, este requisito tiene todavfa mayor consideracion en relacion con el contenido estereoscopico (3D).
Por ejemplo, los flujos continuos de video estereoscopico pueden contener imagenes compuestas en las cuales una imagen derecha y una imagen izquierda estan dispuestas de manera adecuada y estan destinadas, respectivamente, al ojo derecho y al ojo izquierdo del usuario que esta mirando el video. En el formato de “lado-con- lado” (“side-by-side”), las dos imagenes derecha e izquierda se submuestrean horizontalmente y se disponen de manera que ocupan la mitad izquierda y la mitad derecha de la imagen compuesta. En el formato de “arriba-abajo” (“top-bottom”), las imagenes derecha a izquierda se submuestrean verticalmente y se disponen en las mitades superior e inferior de la imagen compuesta.
A su vez, los dispositivos de visualizacion utilizan tecnicas diferentes para visualizar la imagen estereoscopica. Para permitir que dichos dispositivos visualicen videos correctamente de acuerdo con la tecnica que se este usando, resulta apropiado senalizar el formato de la imagen compuesta dentro del flujo continuo de video que va a ser visualizada. De hecho, para poder reconstruir las imagenes derecha a izquierda, el descodificador debe saber como estan dispuestas las mismas dentro de la imagen compuesta; en caso contrario, no podra reconstruirlas ni permitir que se visualice correctamente el contenido 3D.
En la actualidad hay disponibles muchos metodos para introducir datos de informacion y/o de aplicacion en flujos continuos de video.
Por ejemplo, en la television analogica los datos de este tipo se introducfan en los intervalos de borrado vertical. Al cambiar a la television digital, estos intervalos de borrado se han eliminado, y los datos se transportan por medio de
5
10
15
20
25
30
35
40
45
50
55
60
65
secciones adecuadas del flujo continuo de video separadas con respecto a la parte de video. Por ejemplo, se conoce el uso de tablas de senalizacion adecuadas en el flujo continuo de transporte MPEG2, conteniendo dichas tablas informacion sobre el formato de imagenes 2D.
Los documentos US-A-2009/0167941 y US-A-2007/0296859 divulgan unos metodos de insercion de informacion que no es imagenes, en lfneas adicionales de un cuadro de una senal de video digital. No obstante, en dichos documentos no existe ninguna referencia a la codificacion de senales de video.
El documento US-A-5650825 divulga la colocacion de informacion privada en bytes de relleno de un flujo continuo de transporte de video. No obstante, los bytes de relleno no se insertan en cuadros de imagenes a codificar.
Se conoce tambien el uso de encabezamientos para transportar datos de senalizacion dentro del flujo continuo de video digital codificado.
Estos datos de informacion y/o de aplicacion estan presentes y son utilizables unicamente en aquella seccion de la cadena de distribucion entre el codificador y el descodificador. De hecho, en el nivel de la produccion, el contenido de video no se comprime (o se comprime unicamente con bajas tasas de compresion) con el fin de permitir que el mismo sea procesado o reproducido posteriormente sin ninguna perdida de calidad, incluso a una frecuencia reducida (visualizacion a camara lenta).
Objetivos y breve descripcion de la invencion
Es un objetivo de la presente invencion proporcionar un metodo alternativo y un sistema alternativo para transportar datos de informacion y/o de aplicacion dentro de un contenido de video digital. En particular, la presente invencion tiene como finalidad proporcionar un metodo de transporte de datos el cual se puede aplicar sin distincion en contenido 2D y 3D.
Es otro objetivo de la presente invencion proporcionar un metodo y un sistema para transportar datos de informacion y/o de aplicacion que permitan que dichos datos se utilicen incluso cuando se produce contenido de video digital.
Estos y otros objetivos de la presente invencion, los cuales se exponen en las reivindicaciones adjuntas, se logran a traves de un metodo y un sistema para transportar datos de informacion y/o de aplicacion dentro de un flujo continuo de video (y dispositivos que implementan dichos metodos) que incorporan las caracterfsticas que se exponen en las reivindicaciones adjuntas, y las cuales estan destinadas a ser una parte integral de la presente descripcion.
En particular, una idea que subyace tras la presente invencion es introducir datos, en particular informacion sobre las caracterfsticas del flujo continuo de video estereoscopico digital, por ejemplo, su formato, en algunas areas de los cuadros que constituyen el flujo continuo de video. En particular, se introducen datos de informacion y/o de aplicacion en lfneas de cuadros que no contienen informacion visual util, es decir, informacion perteneciente a la imagen que va a ser visualizada. De esta manera, la informacion y/o los datos de aplicacion viajan junto con la imagen (contenida tambien en el cuadro) y por lo tanto pueden resistir cualesquiera cambios del sistema de transmision que pudieran provocar la perdida de los metadatos asociados al video.
Puesto que la informacion y/o los datos de aplicacion no se mezclan con los pfxeles de la imagen a visualizar, la informacion y/o los datos de aplicacion no son visibles y no molestan al espectador.
De forma ventajosa, la informacion y/o los datos de aplicacion se introducen en las primeras o ultimas lfneas del cuadro, para permitir que la informacion visual (por ejemplo, imagen compuesta) se separe facilmente con respecto a la informacion no visual (datos de informacion y/o de aplicacion).
La eleccion de introducir la informacion y/o los datos de aplicacion en las ocho primeras o ultimas lfneas resulta especialmente adecuada para el caso de la compresion H.264 de contenido de alta definicion (ya sea 2D o 3D). Dicha codificacion H.264 se describe en el documento de la ITU-T “H.264 Advanced video coding for generic audiovisual services”.
De acuerdo con el formato de codificacion H.264, cada imagen que constituye el flujo continuo de video se descompone en los denominados “macrobloques” de un tamano de 16x16 pfxeles. Cada macrobloque contiene una matriz de luminancia de 16x16, mientras que, para las dos senales de crominancia (que tienen una resolucion menor), se usan matrices de 8x8 pfxeles que cubren la misma area que la matriz de luminancia. Consecuentemente, una imagen de 1.920x1.080 pfxeles se representara con una matriz de 1.920x1.088 pfxeles, es decir, con ocho lfneas anadidas en la parte inferior, necesarias debido a que 1.080 no es un numero divisible por dieciseis, mientras que cada imagen se debe descomponer en un numero entero de macrobloques. Por lo tanto, la invencion usa las ocho lfneas no ocupadas por la imagen real para transmitir los datos de informacion y/o de aplicacion.
Otros objetivos y ventajas de la presente invencion se pondran mas claramente de manifiesto a partir de la siguiente descripcion de algunas de sus formas de realizacion, las cuales se aportan a tftulo de ejemplo no limitativo.
5
10
15
20
25
30
35
40
45
50
55
60
65
Breve descripcion de los dibujos
A continuacion se describiran a tftulo de ejemplo no limitativo algunas formas de realizacion preferidas y ventajosas, en referencia a los dibujos adjuntos, en los cuales:
la figura 1 muestra un diagrama de flujo de las diversas etapas que van desde la generacion hasta la fructificacion del contenido de video;
la figura 2 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una primera forma de realizacion de la presente invencion;
las figuras 3a y 3b muestran dos ejemplos de un sistema para reproducir un flujo continuo de video estereoscopico de acuerdo con la presente invencion;
la figura 4 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una segunda forma de realizacion de la presente invencion;
la figura 5 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una tercera forma de realizacion de la presente invencion;
la figura 6 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico segun una cuarta forma de realizacion de la presente invencion;
la figura 7 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una quinta forma de realizacion de la presente invencion;
la figura 8 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una sexta forma de realizacion de la presente invencion;
la figura 9 muestra un sistema para producir y distribuir un flujo continuo de video estereoscopico de acuerdo con una septima forma de realizacion de la presente invencion.
Las figuras muestran diferentes aspectos y formas de realizacion de la presente invencion y, cuando resulte apropiado, las estructuras, componentes, materiales y/o elementos similares se designan con numeros de referencia similares en los diversos dibujos.
Descripcion detallada de la invencion
La figura 1 muestra esquematicamente el proceso que va desde la generacion hasta la fructificacion de contenido de video digital.
En una primera etapa 100 se genera y procesa el contenido; a esta etapa se le denomina produccion y puede incluir etapas tales como la adquisicion de imagenes por medio de camaras de video, la creacion de contenido de video mediante graficos por ordenador, el mezclado y la edicion de las imagenes adquiridas y la grabacion de las mismas en una copia maestra de alta calidad (es decir, con una compresion inexistente o baja).
Subsiguientemente, el contenido de video asf producido se codifica con el fin de reducir la velocidad de bits y permitir que el mismo se grabe para el usuario (por ejemplo, en soportes opticos, tales como DVD o Blue-Ray) o que se distribuya a traves de una red de difusion general o de telecomunicaciones. A esta etapa se le denomina distribucion, y se designa con el numero de referencia 200 en la figura 1.
A continuacion se lleva a cabo una etapa final, a la que se hace referencia como etapa de fructificacion 300 a efectos de la presente descripcion, en la cual el contenido de video distribuido es descodificado mediante descodificadores adecuados (por ejemplo, lectores de DVD o cajas particulares del televisor) y visualizado en una pantalla.
La figura 2 muestra esquematicamente un sistema para generar flujos continuos de video estereoscopico 2 de acuerdo con una primera forma de realizacion de la presente invencion. Esta figura ilustra alguno de los elementos tecnicos que contribuyen a las etapas de produccion y distribucion antes descritas en referencia a la figura 1.
El sistema comprende dos pares de camaras de video 3a y 3b; evidentemente, este numero de pares de camaras de video es solamente un ejemplo no limitativo, puesto que el mismo puede variar desde un numero mfnimo de un par de camaras de video a diez pares de camaras de video e incluso mas. De manera similar, el par de camaras de video puede estar integrado en un unico dispositivo con capacidad de adquirir dos imagenes.
5
10
15
20
25
30
35
40
45
50
55
60
65
Para cada par, las dos camaras de video adquieren imageries desde dos perspectivas diferentes. A continuacion, las camaras de video generan una secuencia de imagenes derechas 4 y una secuencia de imagenes izquierdas 5, las cuales son recibidas por un multiplexor 6 y se introducen en cuadros de flujos continuos de video correspondientes.
El multiplexor 6 combina un par de imagenes derecha e izquierda pertenecientes a las secuencias 4 y 5 en una imagen compuesta C a la cual se da salida a continuacion hacia un mezclador de direcciones 10. En una forma de realizacion, la imagen compuesta C generada por el multiplexor 6 es una imagen de 1.080x1.920 pfxeles.
La senal de salida del mezclador 10 se puede enviar directamente al codificador 8 para su compresion o, antes de la codificacion, se puede grabar y someter a un procesado adicional de post-produccion.
Por este motivo, en la figura 2, el sistema de edicion y post-produccion 7 utilizado para procesar la imagen compuesta se indica con una lfnea de trazos.
La imagen compuesta, posiblemente procesada por el sistema 7, se suministra a un codificador 8, el cual la comprime y la codifica en un formato adecuado para su transmision y/o grabacion.
En una forma de realizacion preferida, el codificador 8 es un codificador H.264 modificado apropiadamente para introducir datos (por ejemplo, senalizacion) en el flujo continuo de video, tal como se describira de forma detallada posteriormente.
A continuacion, el codificador 8 genera un flujo continuo de video que comprende una secuencia de cuadros transmitidos por medio de matrices de 1.088x1.920, en las cuales las primeras 1.080 lfneas contienen la imagen compuesta de entrada (C0) recibida y una o mas de las ultimas ocho lfneas contienen los datos de informacion y/o de aplicacion.
En el ejemplo de la figura 2, el sistema comprende unos medios 9 que proporcionan al codificador 8 la informacion a introducir en el cuadro en calidad de datos de informacion y/o de aplicacion.
En una forma de realizacion, los medios 9 son unos medios que permiten introducir manualmente en el cuadro los datos de informacion y/o de aplicacion; por ejemplo, dichos medios pueden ser un ordenador personal controlado por un usuario para introducir manualmente los datos que van a ser colocados en el cuadro. Alternativamente, los medios de insercion 9 se pueden limitar a un dispositivo de introduccion de datos, tal como un teclado o un periferico de entrada de pantalla tactil, conectado adecuadamente al codificador 8 para permitir que el usuario aporte la informacion que debera ser transportada en los cuadros por el flujo continuo de video.
La informacion suministrada al codificador 8 puede ser de diversos tipos y puede tener diferentes funciones. En particular, dicha informacion es usada por el descodificador para reconstruir las imagenes derecha a izquierda, y por lo tanto puede incluir informacion de empaquetamiento de los cuadros (es decir, la disposicion de las imagenes derecha a izquierda en la imagen compuesta).
Cuando el codificador 8 recibe la informacion anterior desde los medios de insercion 9, el mismo da salida a un flujo continuo de video que incluye tanto la imagen compuesta de entrada como los datos de informacion y/o de aplicacion que permitiran que el descodificador reconstruya las imagenes derecha a izquierda, de manera que puedan ser visualizadas correctamente.
El flujo continuo de video estereoscopico 2 generado por el codificador 8 se puede grabar a continuacion en un soporte adecuado (DVD, Blue-ray, memoria masiva, disco duro, etcetera) o se puede transmitir a traves de una red de comunicaciones, tal como una red difusion general o de telecomunicaciones.
La senal de salida, que en el ejemplo de la figura 2 se codifica de acuerdo con las especificaciones actuales de la norma H.264, contiene indicaciones (ventana de recorte, es decir la ventana que delimita la imagen) que dan instrucciones al descodificador para delimitar (recortar) apropiadamente la imagen en el momento de la descodificacion. De acuerdo con una forma de realizacion preferida, el codificador 8 inserta en los metadatos una informacion adecuada para notificar al descodificador que las lfneas adicionales se deben analizar antes de ser descartadas. Dichos metadatos se pueden colocar, por ejemplo, en paquetes de datos adecuados, tales como las unidades de NAL (Capa de Abstraccion de Red) de la codificacion H.264.
Abordemos a continuacion el otro extremo de la cadena de distribucion, es decir el lado de recepcion y visualizacion/reproduccion. La figura 3a muestra esquematicamente un sistema 3000 para reproducir contenido y video producido y distribuido por el sistema de la figura 2.
El sistema 3000 comprende un descodificador 3100 que adquiere el flujo continuo de video 2 a traves de un bloque de adquisicion 3110. El bloque de adquisicion 3110 puede comprender uno o mas de los siguientes: un sintonizador para recibir un flujo continuo de video difundido de forma general por via aerea (por ejemplo, a traves de una red
5
10
15
20
25
30
35
40
45
50
55
60
65
terrestre o de satelites), una entrada de datos para recibir un flujo continuo de video transmitido por cable (cable coaxial, fibra optica, cable duplex o similares), un lector para leer un flujo continuo de video grabado en forma de senal de video en un soporte optico (por ejemplo DVD o Blue-Ray) o en una memoria masiva.
El flujo continuo de video adquirido por el bloque 3110 es descodificado por el bloque de descodificacion 3120, en particular un descodificador H.264 modificado, el cual da salida a dos secuencias de imagenes (derecha a izquierda) extrafdas del flujo continuo de video descodificado 2.
El bloque de descodificacion 3120 comprende una unidad 3121 para analizar los metadatos contenidos en el flujo continuo de video, uno o mas registros 3122 para almacenar temporalmente los cuadros recibidos (por ejemplo, imagenes de tipo I, B o P en la codificacion H.264), una unidad de reconstruccion de cuadros 3123 para reconstruir las imagenes compuestas contenidas en los cuadros y disponerlas en el orden temporal correcto, una unidad de extraccion de imagenes derechas e izquierdas 3124 para extraer las imagenes derechas e izquierdas contenidas en las imagenes compuestas reconstruidas, sobre la base de informacion no visual (datos de informacion y/o de aplicacion) contenida en los cuadros recibidos. El descodificador 3100 comprende tambien una interfaz de salida 3130 que proporciona al dispositivo de visualizacion 3200 las secuencias de imagenes derechas e izquierdas extrafdas del flujo continuo de video 2.
La interfaz 3130 puede ser una HDMI (Interfaz Multimedia de Alta Definicion), una interfaz que de salida a dos flujos continuos de video (uno para la secuencia de imagenes derechas y otro para la secuencia de imagenes izquierdas), por ejemplo, dos flujos continuos VGA o XVGA, o una interfaz que de salida a dos flujos continuos RGB.
La forma de realizacion descrita anteriormente en referencia a las figuras 2 y 3a, en la que los metadatos incluyen una informacion sobre la presencia de datos de informacion y/o de aplicacion en las lfneas adicionales, ofrece la ventaja de que, si dichos datos estan ausentes, el descodificador puede omitir su analisis. Por otro lado, esta solucion implica una complejidad aumentada de las operaciones que lleva a cabo el codificador, asf como un proceso mas complejo de descodificacion de flujos continuos.
En una forma de realizacion alternativa, el codificador no anade metadatos al flujo continuo codificado, dejando para el descodificador el analisis del contenido de las lfneas adicionales antes de descartarlas. Esta solucion simplifica el codificador y la estructura del flujo continuo de video codificado, aunque hace que aumente la carga computacional soportada por el descodificador, y en particular por la unidad de extraccion 3124, la cual, para extraer las imagenes derechas e izquierdas, en primer lugar debe analizar el contenido de las lfneas y/o columnas adicionales que contienen los datos de informacion y/o de aplicacion.
En ausencia de metadatos dedicados, los datos de informacion y/o de aplicacion se pueden buscar, por ejemplo, en aquellas lfneas y/o columnas de cuadros que (segun indiquen los metadatos, tales como los metadatos de la ventana de recorte) no coinciden en la reconstruccion de la imagen en el nivel del descodificador. En una forma de realizacion, los datos se buscan en aquellas lfneas y/o columnas adicionales que contienen pfxeles no uniformes.
En otra forma de realizacion, que se muestra en la figura 3b, el descodificador 3100 difiere con respecto al mostrado en la figura 3a, en que no incluye la unidad de extraccion 3124. En esta forma de realizacion, el descodificador unicamente descodifica el flujo continuo de video sin extraer las imagenes derecha a izquierda, las cuales permanecen multiplexadas en imagenes compuestas.
Estas ultimas son transmitidas por una interfaz 3131, que es similar a la interfaz 3130, pero da salida a un flujo continuo de video individual cuyos cuadros contienen las imagenes compuestas descomprimidas.
En esta forma de realizacion, la extraccion de las imagenes derecha a izquierda es una tarea que lleva a cabo el dispositivo de visualizacion 3200, el cual esta equipado con unos medios aptos para esta finalidad.
A continuacion se describira una serie de variantes del sistema de la figura 2, resultando todas ellas adecuadas para generar y distribuir flujos continuos de video de acuerdo con la presente invencion.
En el ejemplo de la figura 4, las camaras de video generan imagenes que estan compuestas por 1.080x1.920 pfxeles, y el multiplexor 60 genera una secuencia de cuadros C1 que estan compuestos por matrices de 1.088x1.920 pfxeles, ocupando la imagen compuesta las primeras 1.080 lfneas y los pfxeles de las ultimas ocho lfneas son, por ejemplo, todos negros o grises.
En particular, las ocho lfneas adicionales que permiten transportar los datos de informacion y/o de aplicacion se crean en la placa del multiplexor 60, la cual recibe los dos flujos continuos de video derecho e izquierdo y da salida al flujo continuo de video estereoscopico que contiene las imagenes compuestas C1.
El cuadro C1 generado por los diferentes multiplexores 60 del sistema es recibido por el mezclador de direcciones 10, el cual a continuacion da salida a una secuencia de imagenes de 1.088x1.920 pfxeles de tamano que son compatibles con el formato requerido para la compresion H.264.
5
10
15
20
25
30
35
40
45
50
55
60
65
Las ocho lineas de C1 que contienen informacion que no se debe visualizar (es decir, que no contienen la imagen compuesta) se crean por tanto durante la fase de produccion y ya se usan en esta fase para transportar datos que se introducen a la salida del mezclador 10 a traves de un sistema de introduccion de datos de senalizacion 90. Igual que los medios 9 de la figura 2, el sistema 90 permite que un operador introduzca manualmente (por ejemplo, a traves de un ordenador o un teclado) los datos de informacion y/o de aplicacion. Estos datos se introducen en una o mas de las ocho lineas anadidas a la imagen compuesta C1 en la fase de multiplexado. Asf, el sistema 90 da salida a cuadros de 1.088x1.920 C1a, conteniendo 1.080 linea la informacion visual, es decir la imagen que va a ser visualizada, y las ocho lineas restantes contienen informacion no visual (es decir, que no se visualizara), lo cual incluye los datos introducidos por el sistema 90.
Las imagenes C1a a las que da salida el sistema 90 pueden ser procesadas por el sistema de edicion y post- produccion 70 (indicado con una linea de trazos 4, ya que se puede omitir) y se pueden modificar en imagenes C2, manteniendo todavfa un tamano de 1.088x1.920 pfxeles.
El sistema 70 es similar al sistema 7, siendo la unica diferencia que puede gestionar imagenes de 1.088x1.920 pfxeles.
Las imagenes C1a, posiblemente modificadas por el sistema 70 en imagenes C2, son recibidas por el codificador 80 (preferentemente del tipo H.264), el cual las comprime y genera el flujo continuo de video estereoscopico 2. A diferencia de un ejemplo de la figura 2, en el cual los datos de informacion y/o de aplicacion se introducfan en el cuadro cuando se codificaba el flujo continuo de video, en el ejemplo de la figura 4 los datos se introducen en la fase de produccion.
Preferentemente, si los datos de informacion y/o de aplicacion se introducen en la fase de produccion, entonces estos datos pueden ser de diversos tipos y pueden presentar diferentes funciones. En particular, dichos datos son usados por el descodificador para reconstruir las imagenes derecha a izquierda, y por lo tanto pueden incluir en particular informacion de empaquetamiento de cuadros (es decir, informacion sobre la disposicion de las imagenes derecha a izquierda en la imagen compuesta), aunque tambien pueden contener informacion sobre los parametros de filmacion. Puesto que las imagenes tomadas por una camara de video se pueden combinar con imagenes generadas utilizando metodo de graficas por ordenador, los datos de informacion y/o de aplicacion pueden comprender una informacion sobre como se llevo a cabo la filmacion con camara de video, para garantizar una adaptacion correcta entre imagenes reales y artificiales. Por ejemplo, dicha informacion puede referirse a la distancia entre las dos camaras de video (derecha a izquierda), la cual no es siempre igual a la distancia media entre los ojos humanos; ademas, dicha informacion puede indicar si las dos camaras de video son paralelas o convergentes (en algunos casos se produce una imitacion del comportamiento de los ojos humanos, los cuales tienden a converger cuando enfocan un objeto proximo).
Las informaciones antes descritas son tambien utiles para verificar que, cuando se combinan entre si dos imagenes que provienen de fuentes diferentes - pudiendo no ser necesariamente ordenadores dichas fuentes sino tambien camaras de video - la imagen resultante es, por decirlo de alguna manera, “coherente” y por lo tanto agradable a la vista. De hecho, la combinacion de imagenes entre si producidas con diferentes parametros de filmacion puede derivar en efectos extranos y desagradables.
La figura 5 muestra una variante del ejemplo de la figura 4, en el que el multiplexor 600, ademas de utilizar un numero mayor de lineas de lo necesario para introducir la imagen compuesta (formateada en un formato predefinido, por ejemplo 1.080 lineas y 1.920 columnas), tambien introduce en las lineas adicionales los datos de informacion y/o de aplicacion.
Uno o mas sistemas de introduccion de datos 900 (en el ejemplo de la figura 5 se muestra solamente uno, aunque se podrfan proporcionar mas, hasta uno por multiplexor) estan conectados a los multiplexores 600 y proporcionan los datos de informacion y/o de aplicacion a introducir en lineas no visibles del cuadro C1a a la salida del multiplexor 600. Estos datos pueden ser del mismo tipo que los datos introducidos por el sistema 90 de la figura 4. De esta manera, los cuadros C1a a los que da salida el multiplexor 600 se corresponderan sustancialmente con aquellos a los que da salida el sistema 90 de la figura 4, y se pueden tratar de la misma manera a traves de procesos de compresion y, posiblemente, edicion y post-produccion.
En el ejemplo de la figura 6, el multiplexor 6 es del mismo tipo que el mostrado en la figura 2; por lo tanto recibe los flujos continuos de video de las camaras de video y los combina en un flujo continuo de video estereoscopico cuyos cuadros contienen imagenes compuestas.
Las ocho lineas para los datos de informacion y/o de aplicacion son generadas por el sistema de edicion y post- produccion 70, el cual genera asf una secuencia de cuadros que contienen tanto la imagen compuesta como los datos de informacion y/o de aplicacion. Estos ultimos se generan utilizando la informacion proporcionada por los medios 9000, similares a los medios 90 descritos en referencia a la figura 4.
5
10
15
20
25
30
35
40
45
50
55
60
65
Tal como en el ejemplo de la figura 2, el codificador 80 comprime la secuencia de cuadros C2 y les da salida para su grabacion y/o transmision.
En otra forma de realizacion, no mostrada en los dibujos, las ocho lfneas para los datos de informacion y/o de aplicacion se anaden a la imagen compuesta por medio del sistema de edicion, aunque los datos de informacion y/o de aplicacion se introducen en estas ocho lfneas en el nivel del codificador, por ejemplo a traves de medios del tipo descrito en referencia a la figura 2.
Todavfa en otra forma de realizacion, los datos usados como datos de informacion y/o de aplicacion se obtienen automaticamente a partir de metadatos asociados a los flujos continuos de video generados por las camaras de video o al flujo continuo de video al que da salida el multiplexor o al flujo continuo de video al que da salida el sistema de edicion y post-produccion. Esta solucion resulta ser particularmente ventajosa por cuanto no requiere ninguna entrada manual. Una solucion de este tipo tambien parece ser ventajosa debido a que muchas de las herramientas utilizadas para la produccion profesional de contenido audiovisual, que van desde sistemas de adquisicion (camaras de video) hasta sistemas de transporte (formatos de archivo, por ejemplo MXF - Formato de Intercambio de Material) y sistemas de archivado/gestion de flujo de trabajo (Gestion de Archivos Digitales), hacen uso de metadatos para anotar y describir las “esencias” (es decir, las senales de video reales); por tanto, con frecuencia estos metadatos estan disponibles en la placa que produce el flujo continuo estereoscopico o en el codificador.
Para una mayor claridad, y sin ninguna limitacion en absoluto, la figura 7 muestra el sistema de la figura 2, en el que la informacion referente a los datos de informacion y/o de aplicacion se introduce automaticamente sin requerir los medios de insercion 9. El codificador 800 recibe en su entrada la imagen compuesta C y los metadatos asociados, y a continuacion extrae los metadatos y los procesa para generar los datos de informacion y/o de aplicacion a introducir en las ocho lfneas anadidas a la imagen compuesta y transmitidas en el cuadro del flujo continuo de video estereoscopico.
Debe indicarse que en el entorno de produccion pueden tener lugar actividades de procesado complejas, tales como, por ejemplo, combinacion de imagenes de fuentes diferentes, en donde algunas imagenes provienen de un archivo o de una emisora diferente que utiliza un formato diferente de empaquetamiento de cuadros (empaquetamiento de las dos imagenes derecha e izquierda en la imagen compuesta). En este ultimo caso, sera necesaria una conversion de formato para combinar las imagenes entre sf.
El uso de los datos de informacion y/o de aplicacion segun se ha propuesto anteriormente (que especifica el formato del empaquetamiento de los cuadros) en todas las senales de video que circulan en el entorno de produccion permite automatizar el proceso de conversion.
El flujo continuo de video resultante que sale del entorno de produccion y va al entorno de distribucion tendra un unico formato de empaquetamiento de cuadros con la senalizacion asociada.
En los ejemplos antes descritos, las imagenes derecha e izquierda adquiridas por las dos camaras de video 3a o 3b se combinan inmediatamente en una imagen compuesta.
No obstante, esto no es esencial para los objetivos de la presente invencion, y las secuencias de imagenes derechas e izquierdas pueden viajar por separado al codificador.
Esto se muestra a tftulo de ejemplo en la figura 8, en el que las imagenes derecha e izquierda adquiridas por los pares de camaras de video 3a y 3b son recibidas por el mezclador de direcciones 10, el cual da salida a dos flujos continuos de video independientes para las imagenes derecha e izquierda.
Las imagenes derecha e izquierda seleccionadas por el mezclador de direcciones 10 se envfan al sistema de edicion y post-produccion 7000, donde son procesadas, por ejemplo, con la adicion de efectos especiales. Alternativamente, las imagenes se envfan directamente al codificador/multiplexor 8000. En caso de que este presente, el sistema de edicion y post-produccion 7000 enviara por separado los dos flujos continuos de video derecho e izquierdo al codificador/multiplexor 8000.
Este ultimo combina los flujos continuos de video de entrada en un unico flujo continuo de video estereoscopico 2, cuyos cuadros contienen una imagen compuesta mas los datos de informacion y/o de aplicacion (que en este ejemplo se reciben de los medios de insercion 9, aunque alternativamente se pueden obtener de manera automatica tal como se ha descrito anteriormente) colocados en un cierto numero de lfneas (en particular ocho) que no transportan informacion visual, es decir informacion que va a ser visualizada. El codificador/multiplexor 8000 puede combinar, por ejemplo, las imagenes derecha e izquierda de acuerdo con cualquier formato (arriba-abajo, lado-con- lado, etcetera) y a continuacion puede codificarlas de acuerdo con la codificacion H.264.
En otra forma de realizacion, que se describe en la presente en referencia a la figura 9, el codificador 8001 codifica el flujo continuo estereoscopico de acuerdo con la MVC (Codificacion Multivista), descrita en el apendice H de la
5
10
15
20
25
30
35
40
45
50
55
60
65
norma H.264. En lugar de generar una imagen compuesta real, esta norma preve la transmision de una imagen de base (capa base), por ejemplo la imagen derecha, y la diferencia entre la imagen derecha y la imagen izquierda (capa de mejora). Un ejemplo posible de esta tecnica es la codificacion denominada 2D mas Delta. En la presente forma de realizacion, los datos de informacion y/o de aplicacion referentes al empaquetamiento de cuadros no son necesarios puesto que no hay empaquetamiento de cuadros. Por otra parte, la senal comprimida en H.264 contiene todos los metadatos necesarios, de manera que no es estrictamente necesario usar las ocho lfneas adicionales para introducir informacion util en el dispositivo de visualizacion. No obstante, los inventores observaron que, en este caso, la introduccion de una senalizacion en las imagenes de una de las capas o de las dos capas parece resultar util y ventajosa. En particular, resulta ventajoso introducir datos de informacion y/o de aplicacion en el nivel de produccion.
En el ejemplo de la figura 9, los flujos continuos de video a los que da salida el mezclador 10 son recibidos por el sistema de introduccion de datos 9000, el cual incrementa el numero de lfneas de cada cuadro de los flujos continuos de video de entrada e introduce datos de informacion y/o de aplicacion en las lfneas anadidas. Preferentemente, las camaras de video generan flujos continuos de video con cuadros de 1.080x1.920 pfxeles de tamano, que son incrementados por el sistema 9000 hasta 1.088x1.920 pfxeles; a continuacion, los datos de informacion y/o de aplicacion se introducen en las lfneas anadidas. Estos datos pueden indicar si la imagen contenida en el cuadro se refiere a una imagen destinada al ojo derecho o izquierdo, y pueden proporcionar informacion sobre como se adquirio la imagen (por ejemplo, relaciones espaciales entre las dos camaras de video de un par), el formato de la imagen (4:3 o 16:9), etcetera. Dicha informacion preferentemente tambien se preserva en el entorno de distribucion, puesto que con frecuencia se da el caso que, despues de que hayan transcurrido muchos anos desde la produccion de un programa, la copia maestra de alta calidad ya no esta disponible y, por lo tanto, si ese programa se debe recuperar para ser usado, por ejemplo, en un denominado “programa nostalgia”, resultara util conocer los parametros de filmacion de manera que dicho programa antiguo se pueda combinar apropiadamente con contenido mas nuevo.
El sistema 9000 puede obtener automaticamente los datos de los flujos continuos de video de entrada segun se ha descrito anteriormente, o, si no, puede recibirlos de un periferico adecuado de introduccion de datos controlado por un operador, el cual introduce manualmente los datos.
Las imagenes modificadas por el sistema de introduccion de datos 9000 se pueden enviar al codificador 8001 o (en caso de que este presente) al sistema de edicion y post-produccion tal como se muestra en la figura 9.
A partir de los ejemplos antes descritos, resulta evidente que el flujo continuo de video estereoscopico 2 generado con el metodo segun la presente invencion comprende informacion visual util (imagen compuesta o imagenes MVC) y datos de informacion y/o de aplicacion introducidos en un area del cuadro que no contiene ninguna informacion visual util.
En una forma de realizacion, los datos de informacion y/o de aplicacion se introducen en todos los cuadros del flujo continuo de video estereoscopico.
En otra forma de realizacion, los datos de informacion y/o de aplicacion se introducen unicamente en algunos de los cuadros del flujo continuo de video estereoscopico. Preferentemente, en los cuadros que no contienen ningun dato de informacion y/o de aplicacion, las lfneas que no contienen ninguna informacion visual util se rellenan con pfxeles del mismo color, en particular gris o negro. De manera similar, tambien en aquellos cuadros que contienen dichos datos, las lfneas adicionales (o partes de las mismas) no usadas para los datos contienen preferentemente pfxeles del mismo color, en particular negro o gris.
Los datos de informacion y/o de aplicacion, ya sea contenidos en todos los cuadros o solamente en una parte de los mismos, pueden ser usados por el descodificador para descodificar la senal y reconstruir correctamente las imagenes derecha e izquierda para su visualizacion.
Cuando el descodificador recibe el flujo continuo estereoscopico 2, por ejemplo, comprimido de acuerdo con la codificacion H.264, el mismo lo descomprime y extrae la informacion/datos de aplicacion de los cuadros.
Posteriormente, la informacion contenida en dichos datos se puede usar para extraer y/o reconstruir las imagenes transportadas por el flujo continuo de video. En particular, estos datos pueden ser utiles para reconstruir las imagenes derecha e izquierda, de manera que estas ultimas se puedan suministrar a un sistema de visualizacion, por ejemplo un aparato de television o un proyector de video, el cual las presentara de una manera tal que el contenido 3D pueda ser disfrutado apropiadamente por el espectador.
En una forma de realizacion, el descodificador conoce el formato de presentacion, es decir el formato que se requiere en la entrada del dispositivo de visualizacion, que se puede corresponder o no con el utilizado para la visualizacion (por ejemplo, alternancia de lfneas, alternancia de cuadros, etcetera). En este caso, el descodificador, si fuera necesario, puede llevar a cabo una conversion del formato de transporte al formato de presentacion basandose en los datos de informacion y/o de aplicacion introducidos en las lfneas adicionales.
5
10
15
20
25
30
35
40
45
50
55
60
65
En una primera forma de realizacion, el descodificador conoce el formato requerido en la entrada del dispositivo de visualizacion, puesto que esta informacion se programo e introdujo de manera permanente, por ejemplo en un area de memoria dedicada, en el momento de la fabricacion o bien del descodificador o bien del dispositivo de visualizacion. Esta solucion resulta particularmente ventajosa cuando el descodificador esta incorporado en el dispositivo de visualizacion, y por lo tanto esta asociado de manera estricta a este ultimo.
En otra forma de realizacion, la informacion del formato de presentacion es transmitida para el dispositivo de
visualizacion al descodificador, el cual la cargara en un area de memoria dedicada. Esto resulta particularmente
ventajoso siempre que el descodificador es un dispositivo diferenciado con respecto al dispositivo de visualizacion y es asociable facilmente a este ultimo por medio de una interfaz que permite un intercambio bidireccional de datos. Asf, el contenido 3D se puede visualizar correctamente sin ningun riesgo de errores y sin requerir la intervencion del usuario.
En otra forma de realizacion, dicha informacion se proporciona manualmente al descodificador por parte de un usuario.
Las caracterfsticas y ventajas de la presente invencion resultan evidentes a partir de la anterior descripcion de
algunas formas de realizacion de la misma, quedando definido el alcance de proteccion de la invencion por las
reivindicaciones adjuntas. Es evidente por lo tanto que una persona versada en la materia puede efectuar muchos cambios y variaciones sobre los metodos y sistemas antes descritos para transportar datos dentro de flujos continuos de video y para descodificar estos ultimos.
Se pone de manifiesto que el sistema descrito en la presente es tambien aplicable a otros aparatos o modelos no profesionales para la produccion y distribucion de contenido de video 2D o 3D como los descritos de forma detallada a continuacion. Por ejemplo, el dispositivo de adquisicion de imagenes que implementa la invencion se puede incorporar en una camara fotografica, una camara de video o un telefono movil adaptado para capturar imagenes de video y almacenarlas en una memoria masiva con el fin de visualizarlas posteriormente en el propio aparato o en aparatos diferentes.
Con este fin, el flujo continuo de video capturado se puede transferir a un aparato diferente de reproduccion y visualizacion (por ejemplo, un PC con un monitor, un aparato de television, un reproductor portatil multimedia, etcetera) de diferentes maneras (por ejemplo, transfiriendo el soporte de almacenamiento de datos de un aparato a otro, a traves de una red LAN inalambrica o de cable, por medio de Internet, por medio de Bluetooth, mediante transmision en forma de MMS a traves de una red celular, etcetera). Asimismo, en este escenario se sigue aplicando el mismo modelo esquematico que consiste en la produccion, la distribucion y la fructificacion del contenido de video segun se ha ilustrado en el presente documento, el problema tecnico que se aborda es el mismo, y se puede aplicar la misma solucion tecnica de la presente invencion con solamente algunos cambios que se pondran de manifiesto para los expertos en la materia.
Ademas, un tecnico puede combinar entre si caracterfsticas de metodos, sistemas y dispositivos diferentes entre los correspondientes que se han descrito con anterioridad en referencia a diferentes formas de realizacion de la invencion.
En particular, se pone de manifiesto que las diversas etapas del metodo para generar el flujo continuo de video (edicion, multiplexado, codificacion, etcetera) se pueden implementar a traves de dispositivos independientes o a traves de dispositivos integrados y/o conectados entre si por cualesquiera medios. Por ejemplo, las dos camaras de video y el multiplexor que reciben los videos adquiridos se pueden incluir en una unica camara de video estereoscopica dotada de una o mas lentes.
De forma mas general, debe subrayarse que es posible y ventajoso proporcionar un sistema para introducir datos en un flujo continuo de video, el cual comprende:
- una unidad de entrada para recibir uno o mas flujos continuos de video,
- una unidad de procesado para generar cuadros que contienen las imagenes de dicho o dichos flujos continuos de video, conteniendo dichos cuadros un numero de pfxeles que es mayor que el numero de pfxeles de dichas imagenes de fuente,
- unos medios de adquisicion adaptados para adquirir datos de informacion y/o de aplicacion a introducir en dichos cuadros y unos medios de insercion adaptados para introducir dichos datos de informacion y/o de aplicacion en pfxeles de dichos cuadros que no estan ocupados por dichas imagenes. Dichos pfxeles pueden ocupar lfneas y/o columnas perifericas de dichos cuadros.
Las unidades y medios de este sistema tambien se pueden integrar en un unico aparato o pueden pertenecer a diferentes aparatos.
5
10
15
20
25
Debe senalarse que las formas de realizacion ilustradas en la presente se refieren al formato de 1.920x1.080, es decir, el formato mas comun el cual, en la codificacion H.264, requiere un incremento del tamano de la imagen codificada. Esta situacion puede surgir y se puede aprovechar de manera similar tambien para diferentes formatos de imagenes y para diferentes sistemas de codificacion.
La invencion se ha descrito en la presente unicamente en referencia a la codificacion H.264, aunque es aplicable igualmente a otras tecnicas de compresion de video que requieren un incremento del tamano de la imagen que va a ser suministrada al codificador, por ejemplo debido a que el tamano original no permite que la imagen se descomponga en un numero entero de macrobloques, o por cualquier otro motivo. Dicha situacion puede surgir, por ejemplo en los herederos de la codificacion H.264 que estan siendo estudiados y desarrollados actualmente (como el denominado H.265/HVC). Resulta evidente asimismo, que, en funcion del formato de los cuadros, los datos de informacion y/o de aplicacion se pueden introducir en cualesquiera lineas y/o columnas del cuadro, siempre que no contengan informacion visual, es decir, pixeles de la imagen que va a ser visualizada.
Los datos de informacion y/o de aplicacion pueden transportar informacion de diversos tipos, incluso no referente a la asignacion de formato de la imagen estereoscopica y/o al modo de filmacion estereoscopico. Por ejemplo, los datos de informacion y/o de aplicacion se pueden usar para senalizar el uso pretendido del flujo continuo de video, para permitir que el mismo sea descodificado unicamente por descodificadores situados o distribuidos en una region determinada del mundo, por ejemplo solamente en los Estados Unidos o solamente en Europa. Por lo tanto, los datos de informacion y/o de aplicacion pueden transportar cualquier tipo de informacion, ya se encuentre en correlacion o no con las imagenes en las cuales se introducen, y se pueden usar, por ejemplo, para aplicaciones ejecutables en el nivel del descodificador o del dispositivo de visualizacion.
Ademas, aunque en las formas de realizacion antes descritas los cuadros que transportan los datos de informacion y/o de aplicacion contienen imagenes estereoscopicas, resulta evidente a partir de la descripcion anterior que la invencion es aplicable de manera similar a imagenes 2D o a las representaciones denominadas “multivista”. De hecho, se pueden introducir tambien datos de informacion y/o de aplicacion en lineas y/o columnas de cuadros que no contienen ningun pixel de imagenes que van a ser visualizadas en flujos continuos digitales de video 2D.

Claims (31)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Metodo para transportar datos dentro de un flujo continuo de video digital, en el que dicho flujo continuo de video digital comprende datos de informacion y/o de aplicacion no destinados a una visualizacion y por lo menos un cuadro que comprende una imagen que va a ser visualizada, estando caracterizado el metodo por que comprende las etapas siguientes:
    - insertar dicha imagen en dicho cuadro;
    - anadir unas lfneas y/o columnas a dicho cuadro con el fin de obtener un cuadro mayor, el cual es mas grande que dicho cuadro, estando dicho cuadro mayor dimensionado de tal manera que se pueda descomponer en un numero entero de macrobloques, dependiendo el tamano de los macrobloques del algoritmo de codificacion utilizado para codificar dicho flujo continuo de video;
    - insertar dichos datos de informacion y/o de aplicacion en dichas lfneas y/o columnas anadidas; y
    - codificar dicho cuadro mayor de acuerdo con dicho algoritmo de codificacion por medio de un codificador.
  2. 2. Metodo segun la reivindicacion 1, en el que dichas lfneas y/o columnas son anadidas por el mismo dispositivo que inserta dichos datos, o dichas lfneas y/o columnas son anadidas por un dispositivo distinto al que introduce dichos datos.
  3. 3. Metodo segun la reivindicacion 1, en el que dichas lfneas y/o columnas anadidas son unas lfneas y/o columnas perifericas de dicho cuadro mayor, o dichas lfneas y/o columnas anadidas son unas lfneas y/o columnas adyacentes de dicho cuadro mayor.
  4. 4. Metodo segun la reivindicacion 1, en el que dichos datos de informacion y/o de aplicacion ocupan la totalidad o solamente una parte de las lfneas y/o columnas anadidas.
  5. 5. Metodo segun la reivindicacion 1, en el que dicha imagen que va a ser visualizada es una imagen compuesta de un flujo continuo de video estereoscopico.
  6. 6. Metodo segun la reivindicacion 1, en el que dicha imagen es o bien una imagen derecha o bien una imagen izquierda de un par de imagenes estereoscopicas, y comprendiendo dicho flujo continuo de video por lo menos un segundo cuadro que contiene la diferencia entre dichas imagenes derecha e izquierda.
  7. 7. Metodo segun la reivindicacion 1, en el que dichas lfneas y/o columnas son anadidas por un dispositivo situado aguas arriba de dicho codificador que comprime dicho flujo continuo de video.
  8. 8. Metodo segun la reivindicacion 1, en el que dichos datos son introducidos por dicho codificador que comprime dicho flujo continuo de video, o en el que dichos datos estan adaptados para permitir que el formato de los cuadros del flujo continuo de video sea procesado y/o convertido automaticamente de un formato de transporte a un formato de presentacion, o dichos datos se refieren al formato de dicha imagen, y en particular comprenden uno o mas elementos de datos de entre los correspondientes incluidos en el grupo constituido por:
    un identificador que indica si la imagen es una imagen 2D o 3D, una relacion de aspecto, un empaquetamiento de cuadros, un modo de filmacion, o dichos datos se introducen automaticamente, o dichos datos se introducen manualmente por parte de un operador, o dichos datos se obtienen a partir de unos metadatos asociados a un flujo continuo de video, a partir del cual se obtiene dicha imagen.
  9. 9. Metodo segun la reivindicacion 8, en el que dicho codificador introduce unos metadatos en dicho flujo continuo de video, comprendiendo dichos metadatos una informacion adaptada para indicar la presencia de datos en dichas lfneas y/o columnas anadidas.
  10. 10. Dispositivo para introducir datos en un flujo continuo de video, que comprende:
    - una unidad de entrada para recibir una imagen;
    - una unidad de procesado para generar un cuadro de dicho flujo continuo de video de manera que dicho cuadro contenga dicha imagen;
    caracterizado por que comprende unos medios de adquisicion adaptados para adquirir unos datos de informacion y/o de aplicacion que van a ser introducidos en dicho flujo continuo de video y unos medios de insercion, estando dicha unidad de entrada adaptada para recibir un cuadro que contiene dicha imagen, estando dicha unidad de procesado adaptada para anadir unas lfneas y/o columnas a dicho cuadro con el fin de obtener un cuadro mayor, el cual es mas grande que dicho cuadro, y estando dichos medios de insercion adaptados para introducir dichos datos
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    de informacion y/o de aplicacion en dichas lineas y/o columnas anadidas; comprendiendo ademas el dispositivo unos medios de codificacion para codificar dicho flujo continuo de video de acuerdo con un algoritmo de codificacion, y estando dicho cuadro mayor dimensionado de tal manera que se pueda descomponer en un numero entero de macrobloques, dependiendo el tamano de dichos macrobloques de dicho algoritmo de codificacion, siendo dicho cuadro mayor codificado de acuerdo con dicho algoritmo de codificacion.
  11. 11. Dispositivo segun la reivindicacion 10, en el que dichas lineas y/o columnas anadidas son unas lineas y/o columnas perifericas y/o adyacentes de dicho cuadro mayor.
  12. 12. Dispositivo segun la reivindicacion 10, en el que dichos datos de informacion y/o de aplicacion ocupan la totalidad o solamente una parte de las lineas y/o columnas anadidas.
  13. 13. Dispositivo segun la reivindicacion 10, en el que dichos medios de adquisicion estan adaptados para obtener dichos datos de informacion y/o de aplicacion a partir de unos metadatos asociados a un flujo continuo de video, a partir del cual se obtiene dicha imagen.
  14. 14. Dispositivo segun la reivindicacion 10, que ademas comprende una interfaz para la conexion a una unidad de introduccion de datos accionada manualmente.
  15. 15. Dispositivo segun cualquiera de las reivindicaciones 10 a 14, en el que dichos medios de codificacion estan adaptados para introducir los metadatos en el flujo continuo de video codificado, comprendiendo dichos metadatos una informacion adaptada para indicar la presencia de datos en dichas lineas y/o columnas anadidas.
  16. 16. Dispositivo multiplexor, que comprende un dispositivo segun cualquiera de las reivindicaciones 10 a 15.
  17. 17. Aparato de adquisicion de imagenes, en particular una camara de video o una camara fotografica, que comprende un dispositivo segun cualquiera de las reivindicaciones 10 a 15.
  18. 18. Flujo continuo de video digital, que comprende unos datos de informacion y/o de aplicacion no destinados a ser visualizados y por lo menos un cuadro que comprende una imagen que va a ser visualizada, caracterizado por que:
    - dicha imagen esta insertada en dicho cuadro;
    - unas lineas y/o columnas se anaden a dicho cuadro con el fin de obtener un cuadro mayor el cual es mas grande que dicho cuadro, estando dicho cuadro mayor dimensionado de tal manera que se pueda descomponer en un numero entero de macrobloques, dependiendo el tamano de los macrobloques del algoritmo de codificacion utilizado para codificar dicho flujo continuo de video;
    - dichos datos de informacion y/o de aplicacion estan insertados en dichas lineas y/o columnas anadidas; y
    - dicho cuadro mayor esta codificado de acuerdo con dicho algoritmo de codificacion.
  19. 19. Flujo continuo de video segun la reivindicacion 18, en el que dicha imagen es una imagen estereoscopica compuesta que comprende una imagen derecha y una imagen izquierda multiplexadas entre si.
  20. 20. Flujo continuo de video segun la reivindicacion 18, en el que dicho flujo continuo de video esta codificado de acuerdo con la norma de codificacion H.264 de la ITU-T, “H.264 Advanced video coding for generic audiovisual services”, o dicho flujo continuo de video esta codificado de acuerdo con el Apendice H de la norma de codificacion H.264 de la ITU-T, “H.264 Advanced video coding for generic audiovisual services”.
  21. 21. Flujo continuo de video segun la reivindicacion 18, en el que dichos datos estan colocados en unas lineas y/o columnas perifericas de dicho por lo menos un cuadro.
  22. 22. Flujo continuo de video segun la reivindicacion 18, que ademas comprende unos metadatos que contienen una informacion adaptada para indicar la presencia de datos en dichos pfxeles de dicho cuadro que no estan ocupados por dicha imagen.
  23. 23. Metodo para descodificar un flujo continuo de video, en el que dicho flujo continuo de video es un flujo continuo de video segun cualquiera de las reivindicaciones 18 a 22, y en el que el metodo comprende las etapas siguientes:
    - extraer dichos datos de informacion y/o de aplicacion;
    - extraer dicha imagen del cuadro;
    - extraer dichas lineas y/o columnas anadidas a dicho cuadro, para obtener dicho cuadro mayor;
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    - extraer dichos datos de informacion y/o de aplicacion insertados en dicho cuadro mayor.
  24. 24. Metodo segun la reivindicacion 23, en el que dichos datos de informacion y/o de aplicacion se extraen utilizando la informacion contenida en los metadatos introducidos en dicho flujo continuo de video, o dichos datos de informacion y/o de aplicacion son codificados por medio de unos valores de pixeles, y en el que el metodo comprende las etapas siguientes:
    - buscar, entre dichas lineas y/o columnas adicionales, aquellas que contienen pixeles no uniformes,
    - extraer dichos datos de informacion y/o de aplicacion de dichas lineas y/o columnas que contienen pixeles no uniformes.
  25. 25. Metodo segun la reivindicacion 24, que ademas comprende las etapas siguientes:
    encontrar, en particular por medio de la informacion de ventanas de recorte, lineas y/o columnas del cuadro que van a ser recortadas,
    buscar dichos datos de informacion y/o de aplicacion en dichas lineas y/o columnas que van a ser recortadas, extraer dichos datos de informacion y/o de aplicacion.
  26. 26. Metodo segun la reivindicacion 23, en el que dicho flujo continuo de video es un flujo continuo de video estereoscopico, en particular que comprende por lo menos una imagen compuesta o un par de imagenes derecha e izquierda.
  27. 27. Metodo segun la reivindicacion 23, en el que los cuadros de dicho flujo continuo de video a descodificar estan en un formato de transporte, y en el que dicho formato de transporte se determina sobre la base de dichos datos extrafdos, y el formato de los cuadros de dicho flujo continuo de video pasa automaticamente de dicho formato de transporte a un formato de presentacion.
  28. 28. Dispositivo para descodificar un flujo continuo de video estereoscopico, caracterizado por que comprende unos medios adaptados para implementar el metodo segun cualquiera de las reivindicaciones 23 a 27:
    - unos medios para extraer dichos datos de informacion y/o de aplicacion;
    - unos medios para extraer dicha imagen del cuadro;
    - unos medios para extraer dichas lineas y/o columnas anadidas a dicho cuadro, para obtener dicho cuadro mayor;
    - unos medios para extraer dichos datos de informacion y/o de aplicacion insertados en dicho cuadro mayor.
  29. 29. Dispositivo para visualizar un flujo continuo de video adaptado para implementar un metodo segun las reivindicaciones 23 a 27.
  30. 30. Dispositivo para convertir el formato de cuadros de un flujo continuo de video de entrada en un formato de cuadros de un flujo continuo de video de salida destinado a ser visualizado en un dispositivo de visualizacion, caracterizado por que comprende unos medios adaptados para convertir dicho flujo continuo de video de entrada en dicho flujo continuo de video de salida sobre la base de datos de informacion y/o de aplicacion introducidos en dicho flujo continuo de video de entrada de acuerdo con el metodo segun cualquiera de las reivindicaciones 1 a 9.
  31. 31. Dispositivo segun la reivindicacion 30, en el que el dispositivo adquiere conocimiento del formato que va a ser utilizado en la entrada del dispositivo de visualizacion sobre la base de ajustes introducidos cuando el dispositivo se fabrica o ensambla, o el dispositivo adquiere conocimiento del formato de presentacion que va a ser utilizado en la entrada del dispositivo de visualizacion sobre la base de informacion recibida desde dicho dispositivo de visualizacion, o el dispositivo adquiere conocimiento del formato de presentacion que va a ser utilizado en la entrada del dispositivo de visualizacion sobre la base de la informacion introducida manualmente por un usuario.
ES11707909.5T 2010-01-22 2011-01-19 Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo Active ES2556364T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO20100042 2010-01-22
ITTO2010A000042A IT1397789B1 (it) 2010-01-22 2010-01-22 Metodo per il trasporto di dati informativi e/o applicativi all'interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video.
PCT/IB2011/050243 WO2011089556A1 (en) 2010-01-22 2011-01-19 Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream

Publications (1)

Publication Number Publication Date
ES2556364T3 true ES2556364T3 (es) 2016-01-15

Family

ID=42668638

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11707909.5T Active ES2556364T3 (es) 2010-01-22 2011-01-19 Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo

Country Status (8)

Country Link
US (1) US20120307882A1 (es)
EP (1) EP2526689B1 (es)
JP (1) JP2013518458A (es)
KR (1) KR20120127605A (es)
CN (1) CN102934452A (es)
ES (1) ES2556364T3 (es)
IT (1) IT1397789B1 (es)
WO (1) WO2011089556A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877068B2 (en) 2014-03-26 2018-01-23 Koninklijke Philips N.V. Transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an HDMI interface
US9560100B1 (en) * 2015-03-19 2017-01-31 Action Streamer, LLC Method and system for stabilizing and streaming first person perspective video
US9826013B2 (en) 2015-03-19 2017-11-21 Action Streamer, LLC Method and apparatus for an interchangeable wireless media streaming device
EP3780588A1 (de) * 2019-08-14 2021-02-17 Siemens Aktiengesellschaft Verfahren zum übertragen einer metainformation zu einem bild eines videostroms

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5650825A (en) * 1995-03-31 1997-07-22 Matsushita Electric Corporation Of America Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream
JPH11187363A (ja) * 1997-12-24 1999-07-09 Mitsubishi Electric Corp 移動局映像伝送システム
KR20040034564A (ko) * 2001-06-19 2004-04-28 해리스 코포레이션 정보를 영상 신호로 부호화하는 시스템 및 방법
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP4603446B2 (ja) * 2004-09-29 2010-12-22 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
JP2009164812A (ja) * 2007-12-28 2009-07-23 Toshiba Corp 映像データ受信装置

Also Published As

Publication number Publication date
ITTO20100042A1 (it) 2011-07-23
JP2013518458A (ja) 2013-05-20
CN102934452A (zh) 2013-02-13
KR20120127605A (ko) 2012-11-22
US20120307882A1 (en) 2012-12-06
EP2526689B1 (en) 2015-10-14
EP2526689A1 (en) 2012-11-28
IT1397789B1 (it) 2013-01-24
WO2011089556A1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
KR102518819B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP2579591A1 (en) Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
US9578298B2 (en) Method for decoding 2D-compatible stereoscopic video flows
JP2005252989A (ja) 立体視化パラメータ記憶媒体、立体視化パラメータ埋込装置、立体視画像再生装置、立体視化パラメータ埋込プログラム、立体視画像再生プログラム、及びビデオコンテンツデータの流通方法
US11259049B2 (en) Area-based processing method and apparatus for 360-degree video
BRPI0613124A2 (pt) método e dispositivo para codificar um conteúdo de vìdeo compreendendo uma seqüência de imagens e um logotipo
US20210235056A1 (en) Information processing apparatus, information processing method, and program
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR102640664B1 (ko) Vr 디바이스 및 vr 디바이스 제어 방법
WO2012128069A1 (ja) 画像処理装置および画像処理方法
KR20130050302A (ko) 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들
US20180279014A1 (en) Method and apparatus for track composition
ES2556364T3 (es) Método para transportar datos de información y/o de aplicación dentro de un flujo continuo de vídeo digital, y dispositivos correspondientes para la generación y reproducción de dicho flujo continuo de vídeo
TW201440484A (zh) 用於產生及重建一視訊串流之裝置與方法
ES2690492T3 (es) Procedimiento para la generación, transmisión y recepción de imágenes estereoscópicas, y dispositivos relacionados
ES2446165A2 (es) Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes
US20200413094A1 (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
Santamaria et al. Coding of volumetric content with MIV using VVC subpictures
JP2006129463A (ja) 立体視化パラメータ記憶媒体
CN115706793A (zh) 适用虚拟现实的影像传输方法、影像处理装置及影像生成***
Yeung et al. DELIVERING OBJECT-BASED IMMERSIVE MEDIA EXPERIENCES IN SPORTS
Pinto Asymmetric 3D video coding based on regions of perceptual relevance
Vetro 3D in the Home: Mass Market or Niche?