ES2838676T3

ES2838676T3 - Dispositivo de transmisión, procedimiento de transmisión, dispositivo de recepción y procedimiento de recepción

Info

Publication number: ES2838676T3
Application number: ES15779798T
Authority: ES
Inventors: Ikuo Tsukagoshi
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-04-14
Filing date: 2015-04-09
Publication date: 2021-07-02
Anticipated expiration: 2035-04-09
Also published as: CN106134206B; US20200112752A1; CN106134206A; JP2015204537A; AU2015247144A1; EP3133816B1; US11800162B2; PT3133816T; RU2688668C2; ES2941610T3; EP4178208A1; AU2015247144B2; JP5836424B2; US10506264B2; EP3133816A1; WO2015159786A1; US20170127092A1; EP3133816A4; HUE061371T2; HUE052762T2

Abstract

Un dispositivo de transmisión, que comprende: una unidad de codificación de imágenes (102A, 102B) configurada para realizar una codificación jerárquica en datos de imagen de cada imagen que constituye datos de imagen en movimiento y generar un flujo base que tiene datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de imágenes en una jerarquía superior, que es una jerarquía superior a la jerarquía más alta que puede tener cualquier imagen del flujo base, donde las jerarquías de las imágenes incluidas en el flujo base y la jerarquía de las imágenes incluidas en el flujo mejorado se encuentran dentro de rangos respectivos asignados previamente, que son independientes entre sí; y una unidad de transmisión (105) configurada para transmitir un contenedor en un formato predeterminado que incluye el flujo base y el flujo mejorado que son generados por la unidad de codificación de imágenes.

Description

DESCRIPCIÓN

Dispositivo de transmisión, procedimiento de transmisión, dispositivo de recepción y procedimiento de recepción

CAMPO TÉCNICO

La presente técnica se refiere a un dispositivo de transmisión, un procedimiento de transmisión, un dispositivo de recepción y un procedimiento de recepción, y se refiere al dispositivo de transmisión, o similar, para transmitir de forma continua flujos de vídeo de una pluralidad de servicios.

TÉCNICA ANTERIOR

En la radiodifusión, se supone que las transmisiones se realizan mezclando una pluralidad de servicios que tienen diferentes formatos de imagen, por ejemplo, en diferentes velocidades de cuadro. Por ejemplo, los programas deportivos se proporcionan en un servicio de 120P, otros programas se proporcionan en un servicio de 60P y similares.

Convencionalmente, con respecto a la HEVC (codificación de vídeo de alta eficacia), por ejemplo, se ha propuesto una escalabilidad temporal en la que se realiza una codificación jerárquica en datos de imagen de cada imagen que constituye datos de imagen en movimiento (véase el documento 1, que no es una patente). El lado de recepción puede identificar una jerarquía de cada imagen basándose en información de ID temporal (temporal_id) que se inserta en una cabecera de una unidad NAL (capa de abstracción de red), y se puede realizar una descodificación selectiva para las jerarquías que corresponden a su rendimiento de descodificación.

LISTA DE CITAS DOCUMENTOS QUE NO SON PATENTES

Documento 1 que no es una patente: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOLOGY, VOL. 22, N.212, páginas 1649-1668, diciembre de 2012.

El documento US 2009/187960 A1 divulga un sistema de recepción de televisión de protocolo de Internet (IPTV) y un procedimiento para procesar datos. El sistema de recepción de IPTV comprende una unidad de recepción de señales para recibir una señal de IPTV que incluye flujos de vídeo escalables respectivos para servicios de IPTV de una pluralidad de capas que incluyen una capa base y al menos una capa de mejora, donde los flujos de vídeo escalables respectivos de la pluralidad de capas tienen diferentes identificadores e información de tabla de programas para los flujos de vídeo escalables, una unidad de desmodulación para desmodular los flujos de vídeo escalables respectivos de la pluralidad de capas y la información de tabla de programas de la señal de IPTV recibida, un desmultiplexor para identificar y proporcionar el flujo de vídeo desmodulado de la capa base con referencia a la información de tabla de programas desmodulada e identificar y proporcionar el flujo de vídeo desmodulado de al menos una capa de mejora, y un descodificador para realizar descodificación de vídeo en un flujo de vídeo de al menos una capa identificado y proporcionado por el desmultiplexor.

El documento US 2013/070859 divulga un marco genérico de codificación y descodificación para proporcionar una codificación y una descodificación de vídeo flexibles y eficientes al multiplexar múltiples flujos de bits componente en un flujo de bits de codificación de múltiples capas (MLE) con información de identificación de reajuste de los múltiples flujos de bits componente correspondientes.

RESUMEN DE LA INVENCIÓN PROBLEMAS A RESOLVER POR LA INVENCIÓN

Un objetivo de la presente técnica es evitar fácilmente que se produzca un corte de visualización cuando se conmuta un servicio.

SOLUCIONES A LOS PROBLEMAS

La invención se define mediante las reivindicaciones independientes adjuntas y se entenderá más fácilmente después de leer la siguiente descripción detallada tomada junto con los dibujos adjuntos.

Un concepto de la presente técnica se refiere a un dispositivo de transmisión de acuerdo con la reivindicación 1 y a un procedimiento de transmisión de acuerdo con la reivindicación 6.

El primer flujo de vídeo y el segundo flujo de vídeo se componen de un primer a un M-ésimo flujo de entre un primer a un N-ésimo flujo (M<N). A continuación, la unidad de transmisión aplica un identificador fijo a los respectivos primer a enésimo flujos.

De esta manera, de acuerdo con la presente técnica, se aplica un identificador fijo a cada flujo. A continuación, en el lado de recepción, incluso cuando se conmuta el servicio, no es necesario cambiar la configuración del filtro para extraer cada flujo y, por lo tanto, se puede evitar que se produzca un corte de visualización y se puede lograr una visualización ininterrumpida.

Aquí, en la presente técnica, por ejemplo, la unidad de transmisión puede insertar constantemente, durante un período de transmisión del primer flujo de vídeo, información de identificador de cada flujo que constituye el primer flujo de vídeo en una capa de contenedor y transmitir, y posiblemente insertar, en un momento inmediatamente anterior al inicio de un período de transmisión del segundo flujo de vídeo, una información de identificador de cada flujo que constituye el segundo flujo de vídeo en la capa de contenedor y transmitirla. En este caso, el lado de recepción puede reconocer fácilmente el identificador de cada flujo que constituye el flujo de vídeo que recibe actualmente y, además, esto ayuda a reconocer fácilmente, antes de realizarse la conmutación, el identificador de cada flujo que constituye el flujo de vídeo que se recibe después de la conmutación.

Además, en la presente técnica, por ejemplo, la unidad de transmisión puede insertar, durante el período de transmisión de cada flujo de vídeo, la información de identificador de los respectivos primer a enésimo flujos en una capa de contenedor y transmitirla. En este caso, el lado de recepción siempre puede reconocer la información de identificador de los primer a enésimos flujos.

Además, en la presente técnica, por ejemplo, la unidad de transmisión puede insertar, durante el período de transmisión de cada flujo de vídeo, información de conmutación en una capa de contenedor y transmitirla. En este caso, por ejemplo, la información de conmutación puede incluir información de velocidad de cuadro y/o información de estructura de flujo de los datos de imagen codificados incluidos en el segundo flujo de vídeo. En este caso, el lado de recepción puede reconocer fácilmente, antes de realizarse la conmutación, información de conmutación, tal como una velocidad de cuadro de un flujo de vídeo que se recibirá después de la conmutación.

Además, en la presente técnica, por ejemplo, el primer flujo de vídeo y el segundo flujo de vídeo pueden estar compuestos por al menos un flujo base de entre el flujo base y un flujo mejorado. En este caso, por ejemplo, un flujo de vídeo compuesto por el flujo base puede incluir datos de imagen codificados a una primera velocidad de cuadro, y un flujo de vídeo compuesto por el flujo base y el flujo mejorado puede incluir datos de imagen codificados a una segunda velocidad de cuadro que es el doble de rápida que la primera velocidad de cuadro.

Además, en la presente técnica, por ejemplo, la unidad de codificación de imágenes puede clasificar datos de imagen de cada imagen que constituye los datos de imagen en movimiento en una pluralidad de jerarquías, codificar los datos de imagen de las imágenes en cada jerarquía clasificada, dividir la pluralidad de jerarquías en un número M de grupos jerárquicos y generar del primer al M-ésimo flujos de cada uno del flujo de vídeo que tiene respectivamente los datos de imagen codificados de las imágenes de cada grupo jerárquico dividido, y se puede realizar una codificación jerárquica de modo que las jerarquías de las imágenes incluidas respectivamente en los respectivos primer a M-ésimo flujos se encuentren dentro de rangos asignados previamente que sean independientes entre sí. Con esta codificación jerárquica, es posible evitar una discrepancia entre una capa de sistema y una capa de vídeo acerca de en qué flujo se incluye una jerarquía predeterminada.

Además, en la presente técnica, por ejemplo, la unidad de transmisión puede insertar constantemente, durante el período de transmisión del primer flujo de vídeo, información de rango jerárquico de la imagen de cada flujo que constituye el primer flujo de vídeo en la capa de contenedor y transmitir, y posiblemente insertar, en un momento inmediatamente anterior al inicio de un período de transmisión del segundo flujo de vídeo, información de rango jerárquico de la imagen de cada flujo que constituye el segundo flujo de vídeo en la capa de contenedor y transmitirla. En este caso, el lado de recepción puede reconocer fácilmente el rango jerárquico de cada flujo que constituye el flujo de vídeo que recibe actualmente y, además, puede reconocer fácilmente, antes de realizarse la conmutación, el rango jerárquico de cada flujo que constituye el flujo de vídeo que se recibe después de la conmutación.

Además, en la presente técnica, por ejemplo, el primer flujo de vídeo y el segundo flujo de vídeo pueden incluir, al menos, un flujo base de entre el flujo base y un flujo mejorado, y la unidad de codificación de imágenes puede codificar de modo que el número de jerarquías de las imágenes incluidas en el flujo mejorado pase a ser uno. En este caso, por ejemplo, durante el período de transmisión de cada flujo de vídeo, cuando solo se incluye el flujo base en el flujo de vídeo, la unidad de transmisión puede insertar información de rango jerárquico de la imagen del flujo base e información de rango jerárquico de la imagen del flujo mejorado en la capa de contenedor y transmitirlas.

Además, otro concepto de la presente técnica se refiere a un dispositivo de recepción de acuerdo con la reivindicación 7 y a un procedimiento de recepción de acuerdo con la reivindicación 8.

De acuerdo con la presente técnica, la unidad de recepción recibe un contenedor en un formato predeterminado que incluye continuamente un primer flujo de vídeo y un segundo flujo de vídeo que incluyen datos de imagen codificados. Aquí, el primer flujo de vídeo y el segundo flujo de vídeo se componen de un primer a un M-ésimo flujo de entre un primer a un N-ésimo flujo (M < N), y un identificador fijo se aplica a los respectivos primer a N-ésimo flujos. A continuación, la unidad de procesamiento procesa cada flujo incluido en el primer flujo de vídeo y el segundo flujo de vídeo mediante filtrado en función de los identificadores aplicados.

De esta manera, de acuerdo con la presente técnica, se aplica un identificador fijo a cada flujo. Por tanto, en el lado de recepción, incluso cuando se conmuta el servicio, no es necesario cambiar la configuración del filtro para extraer cada flujo y, por lo tanto, se puede evitar que se produzca un corte de visualización y se puede lograr una visualización ininterrumpida.

Aquí, en la presente técnica, por ejemplo, en el primer a M-ésimo flujos de cada uno del flujo de vídeo, los datos de imagen de cada imagen que constituye los datos de imagen en movimiento pueden clasificarse en una pluralidad de jerarquías, los datos de imagen de las imágenes en cada una de las jerarquías clasificadas pueden codificarse, la pluralidad de jerarquías puede dividirse en un número M de grupos jerárquicos y los datos de imagen codificados de las imágenes de cada uno de los grupos jerárquicos divididos pueden incluirse respectivamente, y se puede realizar una codificación jerárquica de modo que las jerarquías de las imágenes incluidas en cada uno del primer a M-ésimo flujos se encuentren dentro de rangos asignados previamente que sean independientes entre sí. Con esta codificación jerárquica, se evita una discrepancia entre una capa de sistema y una capa de vídeo acerca de en qué flujo se incluye una jerarquía predeterminada.

EFECTOS DE LA INVENCIÓN

De acuerdo con la presente técnica, se puede evitar fácilmente que se produzca un corte de visualización cuando se conmutan los servicios. Cabe señalar que los efectos aquí descritos no están necesariamente limitados y se puede lograr uno cualquiera de los efectos descritos en esta divulgación.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La Fig. 1 es un diagrama de bloques que ilustra un ejemplo de estructura de un sistema de transmisión y recepción como una forma de realización.

Las Fig. 2(a) a 2(f) son diagramas que ilustran casos de ejemplo de conmutación de servicio.

Las Fig. 3(a) a 3(e) son diagramas que ilustran ejemplos de codificación jerárquica.

Las Fig. 4(a) y 4(b) son diagramas que ilustran un ejemplo de estructura de una cabecera de unidad NAL y un contenido de un parámetro principal en el ejemplo de estructura.

La Fig. 5 es un diagrama de bloques que ilustra un ejemplo de estructura de un dispositivo de transmisión. La Fig. 6 es un diagrama que ilustra un ejemplo de estructura de un descriptor HEVC.

La Fig. 7 es un diagrama que ilustra un ejemplo de estructura de un descriptor de conmutación sin interrupciones.

La Fig. 8 es un diagrama que ilustra un contenido de información principal en el ejemplo de estructura del descriptor de conmutación sin interrupciones.

La Fig. 9 es un diagrama que ilustra un ejemplo de estructura de un descriptor de control de descodificación de vídeo.

La Fig. 10 es un diagrama que ilustra contenidos de información principal en el ejemplo de estructura del descriptor de control de descodificación de vídeo.

La Fig. 11 es un diagrama que ilustra esquemáticamente una estructura de un multiplexor.

La Fig. 12 es un diagrama que ilustra un ejemplo de estructura de un flujo de transporte, TS, en un caso de transmisión de un flujo de vídeo en un servicio de 60P (que solo incluye un flujo base).

La Fig. 13 es un diagrama que ilustra un ejemplo de estructura de un flujo de transporte, TS, en un caso de transmisión de un flujo de vídeo en un servicio de 120P (que incluye un flujo base y un flujo mejorado).

La Fig. 14 es un diagrama de bloques que ilustra un ejemplo de estructura de un dispositivo de recepción. La Fig. 15 es un diagrama que ilustra un ejemplo de estructura de un desmultiplexor.

La Fig. 16 es un diagrama que ilustra un ejemplo de funcionamiento en un lado de transmisión (el dispositivo de transmisión).

La Fig. 17 es un diagrama que ilustra un ejemplo de funcionamiento en un lado de recepción (el dispositivo de recepción).

La Fig. 18 es un diagrama que ilustra otro ejemplo de funcionamiento del lado de transmisión (el dispositivo de transmisión).

La Fig. 19 es un diagrama que ilustra otro ejemplo de funcionamiento del lado de recepción (el dispositivo de recepción).

La Fig. 20 es un diagrama que ilustra un ejemplo de un cambio de una estructura de codificación jerárquica de acuerdo con un funcionamiento de conmutación de servicio.

La Fig. 21 es un diagrama que ilustra otro ejemplo del cambio de la estructura de codificación jerárquica de acuerdo con el funcionamiento de conmutación de servicio.

La Fig. 22 es un diagrama que ilustra otro ejemplo del cambio de la estructura de codificación jerárquica de acuerdo con el funcionamiento de conmutación de servicio.

MODO DE LLEVAR A CABO LA INVENCIÓN

A continuación se describirá un modo de llevar a cabo la invención (en lo sucesivo, denominada "forma de realización"). La explicación se realizará en el siguiente orden:

1. Forma de realización

2. Forma de realización modificada

<1. Forma de realización>

[Sistema de transmisión y recepción]

La Fig. 1 ilustra un ejemplo de estructura de un sistema de transmisión y recepción como una forma de realización 10. El sistema de transmisión y recepción 10 tiene una configuración que incluye un dispositivo de transmisión 100 y un dispositivo de recepción 200.

El dispositivo de transmisión 100 transmite un flujo de transporte, TS, que es un formato de contenedor, usando una onda de radiodifusión o un paquete en una red. En el flujo de transporte, TS, se incluyen de forma continua flujos de vídeo de diferentes servicios. En este caso, cada flujo de vídeo está formado por un primer a un M-ésimo flujos de entre un primer a un N-ésimo flujos (M < N). En este caso, un PID fijo (identificador de paquete) se aplica respectivamente a los primer a enésimo flujos.

Además, en los primer a M-ésimo flujos que constituyen cada flujo de vídeo, los datos de imagen de imágenes respectivas que constituyen datos de imagen en movimiento se clasifican en una pluralidad de jerarquías, los datos de imagen de las imágenes clasificadas en cada jerarquía se codifican, la pluralidad de jerarquías se divide en un número M de grupos jerárquicos y los datos de imagen codificados de las imágenes en cada grupo jerárquico dividido se incluyen respectivamente. En este caso, se realiza una codificación jerárquica de modo que las jerarquías de las imágenes incluidas en los respectivos primer a M-ésimo flujos se encuentren dentro de rangos asignados previamente que sean independientes entre sí.

Las Fig. 2(a) a 2(f) ilustran casos de ejemplo de conmutación de servicio. La Fig. 2(a) ilustra la conmutación desde un servicio con un formato de vídeo de 2160/60/p a un servicio con un formato de vídeo de 2160/120/p. Esto es conmutar de un flujo a dos flujos. La Fig. 2(b) ilustra la conmutación desde un servicio con un formato de vídeo de 1080/60/p a un formato de vídeo de 2160/60/p. Esto es conmutar de un flujo a un flujo.

La Fig. 2(c) ilustra la conmutación desde un servicio con un formato de vídeo de 1080/60/p a un servicio con un formato de vídeo de 2160/120/p. Esto es conmutar de un flujo a dos flujos. La Fig. 2(d) ilustra la conmutación desde un servicio con un formato de vídeo de 2160/120/p a un servicio con un formato de vídeo de 1080/60/p. Esto es conmutar de dos flujos a un flujo.

La Fig.2(e) ilustra la conmutación desde un servicio con un formato de vídeo de 1080/60/p a un servicio con un formato de vídeo de 1080/60/i. Esto es conmutar de un flujo a un flujo. La Fig. 2(f) ilustra la conmutación desde un servicio de tres programas con un formato de vídeo de 2160/60/p a un servicio con un formato de vídeo de 4320/60/p. Esto es conmutar de tres flujos a un flujo.

Las Fig. 3(a) a 3(e) ilustran ejemplos de codificación jerárquica y cada forma rectangular representa una imagen. La Fig. 3(a) es un ejemplo de que la jerarquía más alta es 3 y las jerarquías 0 a 3 están todas en el rango jerárquico del flujo base. En este ejemplo, hay imágenes en todas las jerarquías 0 a 3. La Fig. 3(b) es un ejemplo de que la jerarquía más alta es 3 y las jerarquías 0 a 3 están todas en el rango jerárquico del flujo base. En este ejemplo, no hay ninguna imagen en la jerarquía 3 y esto genera una brecha de jerarquía. La Fig. 3(c) es un ejemplo de que la jerarquía más alta es 3 y las jerarquías 0 a 3 están todas en el rango jerárquico del flujo base. En este ejemplo, no hay ninguna imagen en la jerarquía 2 y esto genera una brecha de jerarquía.

La Fig. 3(d) es un ejemplo de que la jerarquía más alta es 4, las jerarquías 0 a 3 están todas en el rango jerárquico del flujo base y la jerarquía 4 está en el rango jerárquico del flujo mejorado. En este ejemplo, no hay ninguna imagen en la jerarquía 3 y esto genera una brecha de jerarquía. La Fig. 3(e) es un ejemplo de que la jerarquía más alta es 3, las jerarquías 0 a 2 están en el rango jerárquico del flujo base y la jerarquía 3 está en el rango jerárquico del flujo mejorado. En este ejemplo, hay imágenes en todas las jerarquías 0 a 3.

En la codificación jerárquica, por ejemplo, la codificación tal como H.264/AVC y H.265/HEVC se realiza de modo que una imagen referenciada se codifica para pertenecer a su jerarquía y/o una jerarquía inferior a su jerarquía. Para codificar los datos de imagen de las imágenes en cada jerarquía, se aplica información de identificación jerárquica (temporal_id) para identificar su jerarquía, para cada imagen. En una parte de cabecera de una unidad NAL (nal_unit) de cada imagen, se proporciona "nuh_temporal_id_plus1", que indica información de identificación de jerarquía (temporal_id). De esta manera, cuando se aplica información de identificación de jerarquía, la jerarquía de cada imagen se puede encontrar en un lado de recepción.

La Fig. 4(a) ilustra un ejemplo de estructura de una cabecera de unidad NAL (sintaxis) y la Fig. 4(b) ilustra contenidos (semántica) de un parámetro principal en el ejemplo de estructura. En el campo de 1 bit de "Forbidden_zero_bit", 0 es obligatorio. El campo de 6 bits de "Nal_unit_type" indica un tipo de la unidad NAL. En el campo de 6 bits de "Nuh_layer_id", se asume 0. El campo de 3 bits de "Nuh_temporal_id_plus1" indica temporal_id y toma un valor (1 a 7) al que se añade 1.

Durante un período de transmisión de flujos de vídeo de cada servicio, la información PID (identificador de paquete) se inserta en una capa de contenedor. En este caso, por ejemplo, la información se inserta con la siguiente primera o segunda manera de inserción de información PID. La información PID se inserta en una tabla de mapas de programas (PMT), por ejemplo.

[Primera manera de inserción de información PID]

En la primera manera de inserción de información PID, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma continua información PID de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio de un período de transmisión de flujos de vídeo de un servicio posterior, se inserta información PID de cada flujo que constituye el flujo de vídeo.

[Segunda manera de inserción de información PID]

En la segunda manera de inserción de información PID, durante un período de transmisión de flujo de vídeo de cada servicio, se inserta información PID de los respectivos primer a enésimo flujos.

Además, durante el período de transmisión de flujo de vídeo de cada servicio, se inserta información de rango jerárquico en la capa de contenedor. La información de rango jerárquico se inserta en la tabla de mapas de programas (PMT), por ejemplo. En este caso, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma continua información de rango jerárquico de imágenes de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio de un período de transmisión de flujos de vídeo de un servicio posterior, se inserta información de rango jerárquico de imágenes de cada flujo que constituye el flujo de vídeo.

Además, durante el período de transmisión de flujo de vídeo de cada servicio, se inserta información de conmutación en la capa de contenedor. La información de conmutación incluye, por ejemplo, información de velocidad de cuadro, información de estructura de flujo, o similar, de datos de imagen codificados incluidos en el flujo de vídeo del siguiente servicio. La información de conmutación se inserta en la tabla de mapas de programas (PMT), por ejemplo.

El dispositivo de recepción 200 recibe el flujo de transporte, TS, descrito anteriormente que se transmite desde el dispositivo de transmisión 100 a través de una onda de radiodifusión o un paquete en una red. En el flujo de transporte, TS, se incluyen de forma continua flujos de vídeo de una pluralidad de servicios. Cada flujo de vídeo está compuesto por un primer a un M-ésimo flujos de entre un primer a un N-ésimo flujos (M < N). En este caso, un PID fijo (identificador de paquete) se aplica respectivamente a los primer a N-enésimo flujos.

El dispositivo de recepción 200 reconoce los PID de los flujos respectivos que constituyen los flujos de vídeo incluidos en el flujo de transporte, TS, en función de la información PID (identificador de paquete) insertada en la capa de contenedor. El dispositivo de recepción 200 procesa los flujos respectivos que constituyen los flujos de vídeo mediante filtrado en función de los PID aplicados a los mismos. El dispositivo de recepción 200 muestra de forma secuencial imágenes de los flujos de vídeo de cada servicio que se incluye de forma continua en el flujo de transporte, TS.

En este caso, dado que un PID fijo (identificador de paquete) se aplica respectivamente a los primer a enésimo flujos, incluso cuando se conmutan los servicios, no es necesario cambiar la configuración del filtro para extraer cada flujo. Esto evita que se produzca un corte de visualización y se realiza una visualización ininterrumpida.

En función de la información de rango jerárquico insertada en la capa de contenedor, el dispositivo de recepción 200 reconoce los rangos jerárquicos de las imágenes de los flujos respectivos que constituyen los flujos de vídeo incluidos en el flujo de transporte, TS. En este caso, dado que se realiza una codificación jerárquica de modo que las jerarquías de las imágenes incluidas respectivamente en los primer a M-ésimo flujos estén dentro de rangos asignados previamente que son independientes entre sí, se evita una discrepancia entre una capa de sistema y una capa de vídeo acerca de en qué flujo se incluye la jerarquía predeterminada.

Además, en función de la información de conmutación insertada en la capa de contenedor, el dispositivo de recepción 200 reconoce información de velocidad de cuadro, o similar, de datos de imagen codificados en un flujo de vídeo de un servicio siguiente antes de conmutarse el servicio.

De acuerdo con la presente forma de realización, se supone que, dado que N = 2, cada flujo de vídeo está compuesto por un flujo base solamente o está compuesto por un flujo base y un flujo mejorado. Aquí, en caso de un servicio de 60P, un flujo de vídeo está compuesto únicamente por un flujo base y, en caso de un servicio de 120P, un flujo de vídeo está compuesto por un flujo base y un flujo mejorado.

De acuerdo con la presente forma de realización, se realiza una codificación de modo que el número de jerarquías de las imágenes que se incluirán en el flujo mejorado pase a ser uno. Además, en un período de transmisión de un flujo de vídeo que está compuesto por un flujo base solamente, se utiliza la primera o segunda maneras siguientes. En la primera manera, solo se inserta la información de rango jerárquico del flujo base. En la segunda manera, además de insertar la información de rango jerárquico del flujo base, se inserta información de rangos jerárquicos que se pueden utilizar en el flujo mejorado.

En este caso, por ejemplo, un valor mínimo (min) y un valor máximo (max) se establecen como valores diferentes e incluso se supone que, en realidad, existe cualquier flujo mejorado. En otras palabras, de acuerdo con la presente forma de realización, se realiza una codificación de modo que el número de jerarquías de las imágenes que se incluirán en el flujo mejorado pase a ser uno y, cuando exista un flujo mejorado, el valor mínimo (min) y el valor máximo (max) pasen a ser el mismo valor.

[Estructura del dispositivo de transmisión]

La Fig. 5 ilustra un ejemplo de una estructura del dispositivo de transmisión 100. El dispositivo de transmisión 100 incluye una CPU (unidad central de procesamiento) 101, codificadores 102A y 102B, memorias intermedias de datos comprimidos (cpb) 103A y 103B, un multiplexor 104 y una unidad de transmisión 105. La CPU 101 es una unidad de control y controla el funcionamiento de cada unidad del dispositivo de transmisión 100.

El codificador 102A introduce datos de imagen en movimiento no comprimidos VDA con una frecuencia de cuadro de 60 Hz y, por ejemplo, realiza una codificación tal como H.264/AVC y H.265/HEVC. En este caso, el codificador 102A clasifica datos de imagen de cada imagen que constituye los datos de imagen en movimiento VDA en una pluralidad de jerarquías, codifica los datos de imagen de las imágenes clasificadas en cada jerarquía y genera un flujo de vídeo relacionado con un servicio de 60P que tiene los datos de imagen codificados de las imágenes de cada jerarquía. La memoria intermedia de datos comprimidos (cpb) 103A almacena temporalmente el flujo de vídeo.

En este flujo de vídeo, solo se incluye un flujo base. En otras palabras, el codificador 102A genera un flujo base que incluye datos de imagen codificados de las imágenes en todas las jerarquías que se obtienen mediante codificación jerárquica. Aquí, se realiza una codificación jerárquica de modo que los rangos jerárquicos de las imágenes que se incluirán en el flujo base se encuentren dentro de un rango asignado previamente. Por ejemplo, cuando los rangos jerárquicos de las imágenes incluidas en el flujo base son jerarquías 0 a 3, por ejemplo, se realiza una codificación jerárquica de modo que la jerarquía más alta sea igual a o menor que 3, como se ilustra en las Figs. 3(a) a 3(c).

El codificador 102B introduce datos de imagen en movimiento no comprimidos VDB con una frecuencia de cuadro de 120 Hz y, por ejemplo, realiza una codificación tal como H.264/AVC y H.265/HEVC. En este caso, el codificador 102B clasifica datos de imagen de cada imagen que constituye los datos de imagen en movimiento VDB en una pluralidad de jerarquías, codifica los datos de imagen de las imágenes clasificadas en cada jerarquía y genera un flujo de vídeo relacionado con un servicio de 120P que tiene los datos de imagen codificados de las imágenes de cada jerarquía. La memoria intermedia de datos comprimidos (cpb) 103B almacena temporalmente el flujo de vídeo.

En este flujo de vídeo, se incluyen un flujo base y un flujo mejorado. En otras palabras, el codificador 102B divide la pluralidad de jerarquías en dos y genera un flujo base que tiene datos de imagen codificados de las imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de las imágenes en jerarquías superiores.

Aquí se realiza una codificación jerárquica de modo que los rangos jerárquicos de las imágenes incluidas en el flujo base y el flujo mejorado se encuentren dentro del rango asignado previamente, y se realiza una codificación de modo que el número de jerarquías de las imágenes incluidas en el flujo mejorado pase a ser uno. Por ejemplo, cuando los rangos jerárquicos de las imágenes incluidas en el flujo base son jerarquías 0 a 3 y el rango jerárquico de las imágenes incluidas en el flujo mejorado son jerarquías 4 a 5, por ejemplo, como se ilustra en la Fig. 3(d), la jerarquía de las imágenes que se incluirán en el flujo base se establece como 3 o menos, y la jerarquía de las imágenes que se incluirán en el flujo mejorado se establece como 4.

Cuando se realiza un servicio de 60P, el multiplexor 104 lee un flujo de vídeo almacenado en la memoria intermedia de datos comprimidos 103A y adquiere un flujo de transporte, TS, como un flujo multiplexado al empaquetar los datos en un flujo elemental empaquetado (PES) y multiplexar los datos en paquetes de transporte. En este flujo de transporte, TS, solo se incluye un flujo base como se describió anteriormente. El multiplexor 104 aplica un PID fijo (= PID_1) a este flujo base.

Además, cuando se realiza un servicio de 120P, el multiplexor 104 lee un flujo de vídeo almacenado en la memoria intermedia de datos comprimidos 103B y adquiere un flujo de transporte, TS, como un flujo multiplexado al empaquetar los datos en un flujo elemental empaquetado (PES) y multiplexarlos en paquetes de transporte. En este flujo de transporte, TS, se incluyen un flujo base y un flujo mejorado como se describió anteriormente. El multiplexor 104 aplica un PID fijo (= PID_1) al flujo base y un PID fijo (= PID_2) al flujo mejorado.

La unidad de transmisión 105 transmite el flujo de transporte, TS, adquirido por el multiplexor 104 al dispositivo de recepción 200 a través de una onda de radiodifusión o un paquete en una red. En este caso, por ejemplo, se transmite un flujo de transporte, TS, de un servicio de 60P y, después, se transmite un flujo de transporte, TS, de un servicio de 120P. De forma alternativa, se transmite un flujo de transporte, TS, de un servicio de 120P y, después, se transmite un flujo de transporte, TS, de un servicio de 60P.

Durante un período de transmisión de flujo de vídeo de cada servicio, el multiplexor 140 inserta información PID en la tabla de mapas de programas (PMT). En este caso, el multiplexor 140 inserta la información PID en la primera manera de inserción de información PID o segunda manera de inserción de información PID siguientes.

En otras palabras, en la primera manera de inserción de información PID, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma continua información PID de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio del siguiente período de transmisión de flujos de vídeo, se inserta información PID de cada flujo que constituye el flujo de vídeo. Además, en la segunda manera de inserción de información PID, durante un período de transmisión de flujo de vídeo de cada servicio, se inserta información PID tanto del flujo base como del flujo mejorado.

Además, durante un período de transmisión de flujo de vídeo de cada servicio, el multiplexor 104 inserta información de rango jerárquico en la tabla de mapas de programas (PMT). En este caso, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma continua información de rango jerárquico de la imagen de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio de un período de transmisión de flujos de vídeo de un servicio posterior, se inserta información de rango jerárquico de imágenes de cada flujo que constituye el flujo de vídeo.

Aquí, durante un período de transmisión de un flujo de vídeo compuesto solamente por un flujo base, el multiplexor 104 inserta información de rango jerárquico en la primera o segunda manera siguientes. En otras palabras, en la primera manera, solo se inserta información de rango jerárquico del flujo base. Además, en la segunda manera, además de información de rango jerárquico del flujo base, se inserta información de un rango jerárquico que puede ser tomado por el flujo mejorado.

Como se describió anteriormente, se supone que el número de jerarquías de las imágenes que se incluirán en el flujo mejorado es uno, y la información del rango jerárquico que puede ser tomado por el flujo mejorado incluye una pluralidad de jerarquías, por ejemplo. Con esta manera, el rango jerárquico que puede ser tomado por el flujo mejorado indica literalmente un rango jerárquico que el flujo mejorado puede tomar y sugiere que, en realidad, no hay ningún flujo mejorado.

Para esta inserción de la información de rango jerárquico, se utilizan los campos "temporal_id_min" y "temporal_id_max" de un descriptor HEVC convencional. La Fig. 6 ilustra un ejemplo de estructura (sintaxis) de un HEVC_descriptor. El campo de 8 bits de "descriptor_tag" representa un tipo del descriptor y representa un descriptor HEVC en este ejemplo. El campo de 8 bits de "descriptorjength" representa la longitud (tamaño) del descriptor y representa el número de octetos siguientes como la longitud del descriptor.

El campo de 8 bits de "leveljdc" representa un valor de especificación de nivel de velocidad de bits. Además, cuando "temporal_layer_subset_flag = 1", hay un campo de 5 bits de "temporal_id_min" y un campo de 5 bits de "temporal_id_max". "temporal_id_min" representa un valor de temporal_id de la jerarquía más baja de datos de codificación jerárquica incluidos en el flujo de vídeo correspondiente. "temporal_id_max" representa un valor de temporal_id de la jerarquía más alta de datos de codificación jerárquica incluidos en el flujo de vídeo correspondiente.

Además, durante un período de transmisión de flujo de vídeo de cada flujo, al menos en el momento inmediatamente anterior al inicio del período de transmisión de flujos de vídeo de un servicio posterior, el multiplexor 140 inserta información de conmutación en la tabla de mapas de programas (PMT). Para esta inserción de la información de conmutación, se utiliza un descriptor de conmutación sin interrupciones recién definido (descriptor Seamless_switch) o un descriptor de control de descodificación de vídeo existente (descriptor Video_decode_control).

La Fig. 7 ilustra un ejemplo de estructura (sintaxis) de un descriptor de conmutación sin interrupciones. Además, la Fig. 8 ilustra contenidos de información principal (semántica) del ejemplo de estructura. El campo de 8 bits de "descriptor_tag" representa un tipo de descriptor. Aquí, indica que es un descriptor de conmutación sin interrupciones. El campo de 8 bits de "descriptorjength" representa la longitud (tamaño) del descriptor y representa el número de octetos siguientes como la longitud del descriptor.

El campo de 1 bit de "EOSJlag" es una bandera que indica que "end_of_seq " se está codificando al final del flujo. "1" indica que se ha codificado. "0" indica que no se ha codificado. El campo de 3 bits de "number_of_streams" representa el número de flujos de servicio después de la conmutación. El campo de 4 bits de "frame_rate" representa una frecuencia de cuadro de flujos de servicio después de la conmutación. Por ejemplo, "1001" representa 60 Hz y "1100" representa 120 Hz.

El campo de 4 bits de "spatial_resolution" representa imágenes de superficie de flujo de servicio después de la conmutación. Por ejemplo, "0001" representa 720(h)*480(v), "0010" representa 1280(h)*720(v), "0011" representa 1920(h)*1080(v), "0100" representa 3840(h)*2160(v), y "0101" representa 7680(h)*4320(v). El campo de 1 bit de "scanning_format" representa una estructura de cuadro. "1" representa progresivo y "0" indica entrelazado.

La Fig. 9 ilustra un ejemplo de estructura (sintaxis) de un descriptor de control de descodificación de vídeo. Además, la Fig. 10 ilustra contenidos de información principal (semántica) del ejemplo de estructura. El campo de 8 bits de "descriptor_tag" ilustra un tipo de descriptor. Aquí, representa un descriptor de control de descodificación de vídeo. El campo de 8 bits de "descriptor_length" indica una longitud (tamaño) del descriptor y representa el número de octetos siguientes como la longitud del descriptor.

El campo de 1 bit de "sequence_end_code_flag" es una bandera que indica que "end_of_seq " se ha codificando al final del flujo. "1" representa que se ha codificado. "0" representa que no se ha codificado. El campo de 4 bits de "video_encode_format" representa un formato de flujo de servicio después de la conmutación. Por ejemplo, "0000" representa 1080p (2K), "0111" representa 2160p (4K), y "1000" representa 4320p (8K).

El campo de 1 bit de "frame_rate_type" es un campo definido recientemente y representa un tipo de frecuencia de cuadro del flujo después de la conmutación. "1" indica que se forme una velocidad de cuadro convencional de 60 Hz o inferior y "0" indica que se forme una velocidad de cuadro de 120 Hz o superior. El campo de 1 bit de "stream_not_extended_flag" es un campo definido recientemente e indica que no hay ningún flujo mejorado en el flujo después de la conmutación. "1" indica que no hay ningún flujo mejorado con un PID diferente, y "0" indica que un flujo mejorado con un PID diferente está multiplexado y constituido mediante 120p.

La Fig. 11 ilustra esquemáticamente una estructura del multiplexor 104. El multiplexor 104 incluye una unidad de generación de información de sección (que incluye un descriptor) 141, una unidad de generación de paquetes nulos 142, un selector 143, una unidad de asignación de PID 144 y una unidad de multiplexación de TS 145. El selector 143 introduce un flujo de vídeo (un flujo base) de un servicio de 60P introducido desde el exterior, un flujo de vídeo (un flujo base y un flujo mejorado) de un servicio de 120P, flujos de otros servicios, información de sección generada en la unidad de generación de información de sección 141 y un paquete nulo generado en la unidad de generación de paquetes nulos 142, y extrae de forma selectiva algunos datos de los mismos.

La unidad de asignación de PID 144 asigna un PID a cada señal que se extrae de forma selectiva en el selector 143, es decir, un flujo de vídeo, información de sección, un paquete nulo y similares. La unidad de multiplexación de TS 145 multiplexa cada señal y obtiene un flujo de transporte, TS.

[Estructura del flujo de transporte, TS]

La Fig. 12 ilustra un ejemplo de estructura de un flujo de transporte, TS, en caso de transmisión de un flujo de vídeo (que solo incluye un flujo base) de un servicio de 60P. En este ejemplo de estructura, hay un paquete PES, "video PES1", del flujo base que se identifica mediante PID1. Aquí, PID1 es un PID fijado al flujo base.

En los datos de imagen codificados de cada imagen, hay una unidad NAL tal como VPS, SPS, PPS, SLICE, SEI o similares. Como se describió anteriormente, en la cabecera de la unidad NAL, se proporciona información de identificación jerárquica ("nuh_temporal_id_plus1", que significa temporal_id) de la imagen. En un SPS está insertado "general_level_idc", que es un valor de especificación de nivel de un flujo de bits.

Además, en un flujo de transporte, TS, se incluye una PMT (tabla de mapas de programas) como PSI (información específica de programa). La PSI es información que indica a qué programa pertenece cada flujo elemental incluido en el flujo de transporte. En la PMT, hay un bucle de programa que describe información relacionada con todo el programa. Además, en la PMT, hay un bucle elemental que tiene información relacionada con cada flujo elemental. En este ejemplo de estructura, hay un bucle elemental de vídeo (bucle de ES1 de vídeo) que se aplica al flujo base.

En este bucle elemental de vídeo (bucle ES1 de vídeo), se proporciona información tal como un tipo de flujo, un PID (identificador de paquete), y similares, correspondientes al flujo base (PES1 de vídeo) y también se proporciona un descriptor que describe información relacionada con el flujo de vídeo. Se supone que un valor de "Stream_type" del flujo base se establece como "0 x 24", y la información PID indica PID1 que se aplica al paquete PES, "video PES1", del flujo base como se describió anteriormente.

Además, como descriptor proporcionado al bucle elemental de vídeo (bucle ES1 de vídeo), se inserta el descriptor HEVC descrito anteriormente o descriptor de conmutación sin interrupciones (descriptor Seamless_switch). Aquí, en caso de uso de un descriptor de control de descodificación de vídeo (descriptor Video_decode_control) en el que se ha definido recientemente un campo de "frame_rate", no es necesaria una inserción del descriptor de conmutación sin interrupciones.

En el ejemplo ilustrado, "leveljdc " se establece como "level5.1" en el descriptor HEVC. Además, se establece como "temporal_id_min = 0" y "temporal_id_max = 3" de modo que se define que el rango jerárquico del flujo base son las jerarquías de 0 a 3.

Aquí, en la primera manera, solo hay bucle elemental de vídeo (bucle ES1 de vídeo) correspondiente al flujo base bajo la PMT; sin embargo, en la segunda manera, también hay un bucle elemental de vídeo (bucle ES2 de vídeo), que se ilustra mediante líneas discontinuas, correspondientes al flujo mejorado.

En este bucle elemental de vídeo (bucle ES2 de vídeo), correspondiente a un flujo mejorado (PES2 de vídeo) que no existe actualmente, se proporciona información tal como un tipo de flujo, un PID (identificador de paquete) y similares, y también se proporciona un descriptor que describe información relacionada con el flujo de vídeo. Se supone que un valor de "Stream_type" del flujo mejorado se establece como "0 x 25", y la información PID indica PID2 que se asigna al paquete PES, "video PES2", del flujo mejorado.

Además, como descriptor proporcionado al bucle elemental de vídeo, se inserta el descriptor HEVC descrito anteriormente o descriptor de conmutación sin interrupciones (descriptor Seamless_switch). Aquí, en caso de uso de un descriptor de control de descodificación de vídeo (descriptor Video_decode_control) en el que se ha definido recientemente un campo de "frame_rate", no es necesaria la inserción del descriptor de conmutación sin interrupciones.

En el ejemplo ilustrado, en el descriptor HEVC, "level_idc" se establece como "level5.2". Además, se establece como "temporal_id_min = 5" y "temporal_id_max = 6", y se indica que el rango jerárquico que puede tomar el flujo mejorado son las jerarquías 5 y 6 y que el flujo mejorado no existe actualmente.

En este caso, se supone, en general, que la PMT incluida en el flujo de transporte, TS, en caso de transmisión de un flujo de vídeo (que solo incluye un flujo base) de un servicio de 60P, tiene el contenido ilustrado y, en el momento inmediatamente anterior al inicio de la transmisión de un flujo de vídeo de un servicio posterior, se actualiza a una nueva PMT que tiene contenidos correspondientes al flujo de vídeo.

La Fig. 13 ilustra un ejemplo de estructura de un flujo de transporte, TS, en caso de transmisión de un flujo de vídeo (que incluye un flujo base y un flujo mejorado) de un servicio de 120P. En este ejemplo de estructura, hay un paquete PES, "video PES1", del flujo base que se identifica con PID1, y un paquete PES, "video PES2", del flujo mejorado que se identifica con PID2. Aquí, "stream_id" representa el mismo servicio (canal de radiodifusión), PID1 es un PID fijo del flujo base y PID2 es un PID fijo del flujo mejorado.

En los datos de imagen codificados de cada imagen del flujo base, hay una unidad NAL tal como VPS, SPS, PPS, SLICE, SEI o similares. En la cabecera de la unidad NAL, se proporciona información de identificación jerárquica ("nuh_temporal_id_plus1", que significa temporal_id de la imagen. En el SPS está insertado "general_level_idc", que es un valor de especificación de nivel de un flujo de bits. Además, en el SPS, las imágenes que pertenecen a cada jerarquía indicada por "temporal_id" se recopilan como una subcapa (sub_layer) y, cuando "sublayer_level_presented_flag" está establecido como "1", se inserta "sublayer_level_idc", que es un valor de especificación de nivel de una velocidad de bits de cada subcapa.

Por otro lado, en los datos de imagen codificados de cada imagen del flujo mejorado, hay una unidad NAL tal como PPS, SLICE o similares. En la cabecera de la unidad NAL, se proporciona información de identificación jerárquica ("nuh_temporal_id_plus1", que significa temporal_id de la imagen.

Además, en un flujo de transporte, TS, se incluye una PMT (tabla de mapas de programas) como PSI (información específica de programa). La PSI es información que describe qué programa pertenece cada flujo elemental incluido en el flujo de transporte.

En la PMT, hay un bucle de programa que describe información relacionada con todo el programa. Además, en la PMT, hay un bucle elemental que tiene información relacionada con cada flujo elemental. En este ejemplo de estructura, hay dos bucles elementales de vídeo (bucle ES1 de vídeo y bucle ES2 de vídeo).

En cada bucle elemental de vídeo, correspondiente a flujos de vídeo (PES1 de vídeo y PES2 de vídeo), se proporciona información tal como tipos de flujo, identificadores de paquete (PID) y similares, y también se proporcionan descriptores que describen información relacionada con los flujos de vídeo. Se omite la descripción detallada del bucle elemental de vídeo (bucle ES1 de vídeo), pero tiene la misma estructura con la estructura TS de la Fig. 12.

En el bucle elemental de vídeo (bucle ES2 de vídeo), correspondiente al flujo mejorado (PES2 de vídeo), se proporciona información tal como un tipo de flujo, un PID (identificador de paquete) y similares, y también se proporciona un descriptor que describe información relacionada con el flujo de vídeo. Se supone que el valor de "Stream_type" del flujo mejorado se establece como "0 x 25", y la información PID indica PID2 que se asigna a un paquete PES, " video PES2", del flujo mejorado.

Además, como descriptor proporcionado en el bucle elemental de vídeo, se inserta el descriptor HEVC descrito anteriormente o descriptor de conmutación sin interrupciones (descriptor Seamless_switch). Aquí, cuando se usa un descriptor de control de descodificación de vídeo (descriptor Video_decode_control) en el que se ha definido recientemente un campo de "frame_rate", no es necesaria la inserción del descriptor de conmutación sin interrupciones. En el ejemplo ilustrado, en el descriptor HEVC, "level_idc" se establece como "level5.2". Además, se indica que se establece como "temporal_id_min = 5" y "temporal_id_max = 5", y que las imágenes incluidas en el flujo mejorado se encuentran en la jerarquía 5.

En este caso, se supone, en general, que la PMT incluida en el flujo de transporte, TS, en caso de transmisión de un flujo de vídeo (que solo incluye un flujo base) de un servicio de 120P, tiene los contenidos ilustrados y, en el momento inmediatamente anterior al inicio de la transmisión de un flujo de vídeo de un servicio posterior, se actualiza a una nueva PMT que tiene el contenido correspondiente al flujo de vídeo.

A continuación se explicará brevemente un funcionamiento del dispositivo de transmisión 100 ilustrado en la Fig. 5. En el codificador 102A se introducen datos de imagen en movimiento no comprimidos VDA que tienen una frecuencia de cuadro de 60 Hz. En el codificador 102A, en estos datos de imagen en movimiento VDA, por ejemplo, se realiza una codificación tal como H.264/AVC, H.265/HEVC y similares. En este caso, en el codificador 102A, datos de imagen de cada imagen que constituye los datos de imagen en movimiento VDA se clasifican en una pluralidad de jerarquías, se codifican los datos de imagen de las imágenes clasificadas en cada jerarquía y se genera un flujo de vídeo relacionado con un servicio de 60P que tiene los datos de imagen codificados de las imágenes en cada jerarquía.

En este flujo de vídeo, solo se incluye un flujo base. En otras palabras, el codificador 102A genera un flujo base que tiene datos de imagen codificados de las imágenes en todas las jerarquías que se obtienen mediante codificación jerárquica. Aquí, se realiza una codificación jerárquica de modo que el rango jerárquico de las imágenes incluidas en el flujo base se encuentre dentro de un rango asignado previamente. El flujo de vídeo (flujo base) que se genera en el codificador 102A e incluye datos codificados de las imágenes en cada jerarquía se suministra a la memoria intermedia de datos comprimidos (cpb) 103A y se almacena temporalmente.

Además, en el codificador 102B se introducen datos de imagen en movimiento no comprimidos VDB que tienen una frecuencia de cuadro de 120 Hz. En el codificador 102B, por ejemplo, se realiza una codificación tal como H.264/AVC, H.265/HEVC o similares. En este caso, en el codificador 102B, datos de imagen de cada imagen que forma los datos de imagen en movimiento VDB se clasifican en una pluralidad de jerarquías, se codifican datos de imagen de las imágenes clasificadas en cada jerarquía y se genera un flujo de vídeo relacionado con un servicio de 120P que tiene los datos de imagen codificados de imágenes en cada jerarquía.

En este flujo de vídeo, se incluyen un flujo base y un flujo mejorado. En otras palabras, en el codificador 102B, la pluralidad de jerarquías se divide en dos y se genera un flujo base que tiene datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de imágenes en jerarquías superiores. Aquí se realiza una codificación jerárquica de modo que el rango jerárquico de las imágenes incluidas en el flujo base y el flujo mejorado se encuentre dentro de los rangos asignados previamente, y el número de jerarquías de las imágenes que se incluirán en el flujo mejorado pase a ser uno. El flujo de vídeo (un flujo base y un flujo mejorado) que se genera en el codificador 102B e incluye datos codificados de imágenes de cada jerarquía se suministra a la memoria intermedia de datos comprimidos (cpb) 103B y se almacena temporalmente.

En el multiplexor 104, cuando se realiza un servicio 60P, se lee un flujo de vídeo almacenado en la memoria intermedia de datos comprimidos 103A, se empaqueta en un flujo elemental empaquetado (PES), se empaqueta en un paquete de transporte y se multiplexa para obtener un flujo de transporte, TS, como un flujo multiplexado. Este flujo de transporte, TS, solo incluye un flujo base. En el multiplexor 104, un PID fijo (= PID_1) se aplica al flujo base.

Además, en el multiplexor 104, cuando se realiza un servicio 120P, se lee un flujo de vídeo almacenado en la memoria intermedia de datos comprimidos 103B, se empaqueta en un flujo elemental empaquetado (PES), se empaqueta en un paquete de transporte y se multiplexa para obtener un flujo de transporte, TS, como un flujo multiplexado. Este flujo de transporte, TS, incluye un flujo base y un flujo mejorado. En el multiplexor 104, un PID fijo (= PID_1) se aplica al flujo base y un PID fijo (= PID_2) se aplica al flujo mejorado.

Además, en el multiplexor 104, durante un período de transmisión de flujo de vídeo de cada servicio, se inserta información PID en una tabla de mapas de programas (PMT). Aquí, de acuerdo con la primera manera de inserción de información PID, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma continua información PID de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio de un período de transmisión de flujos de vídeo de un servicio posterior, se inserta información PID de cada flujo que constituye el flujo de vídeo. Además, de acuerdo con la segunda manera de inserción de información PID, durante el período de transmisión de flujo de vídeo de cada servicio, se inserta información PID tanto de un flujo base como de un flujo mejorado.

Además, en el multiplexor 104, durante un período de transmisión de flujo de vídeo de cada servicio, se inserta información de rango jerárquico en la tabla de mapas de programas (PMT). En este caso, durante un período de transmisión de flujo de vídeo de un servicio, se inserta de forma constante información de rango jerárquico de las imágenes de cada flujo que constituye el flujo de vídeo y, en el momento inmediatamente anterior al inicio de un período de transmisión de flujos de vídeo de un servicio posterior, se inserta información de rango jerárquico de imágenes de cada flujo que constituye el flujo de vídeo.

Aquí, en el multiplexor 104, durante un período de transmisión de un flujo de vídeo formado con un flujo base, solo se inserta información de rango jerárquico de un flujo base de acuerdo con la primera manera, y, además de información de rango jerárquico del flujo base, también se inserta información del rango jerárquico que puede tomar el flujo mejorado de acuerdo con la segunda manera. Se supone que el número de jerarquías de las imágenes que se incluirán en el flujo mejorado es uno, pero se supone que la información del rango jerárquico que puede tomar el flujo mejorado incluye una pluralidad de jerarquías, por ejemplo.

Además, en el multiplexor 140, durante el período de transmisión de flujo de vídeo de cada servicio, al menos en el momento inmediatamente anterior al inicio del período de transmisión de flujos de vídeo de un servicio posterior, se inserta información de conmutación en la tabla de mapas de programas (PMT). En la inserción de esta información de conmutación, se utiliza un descriptor de conmutación sin interrupciones recién definido (descriptor Seamless_switch) o un descriptor de control de descodificación de vídeo convencional (descriptor Video_decode_control).

En la unidad de transmisión 105, el flujo de transporte, TS, obtenido en el multiplexor 104 se transmite al dispositivo de recepción 200 a través de una onda de radiodifusión o un paquete en una red. En este caso, por ejemplo, se transmite el flujo de transporte, TS, de un servicio de 60P y, posteriormente, se transmite un flujo de transporte, TS, de un servicio de 120P. De forma alternativa, se transmite un flujo de transporte, TS, de un servicio de 120P y, posteriormente, se transmite un flujo de transporte, TS, de un servicio de 60P.

Aquí, se ha descrito que el codificador 102A genera un flujo de vídeo (un flujo base) de un servicio de 60P, el codificador 102B genera un flujo de vídeo (un flujo base y un flujo mejorado) de un servicio de 120P, y el multiplexor 104 los conmuta. Sin embargo, se puede dar el mismo efecto al codificador 102B. En este caso, el codificador 102B tiene una función para introducir datos de imagen en movimiento no comprimidos VDB que tienen una frecuencia de cuadro de 120 Hz y para proporcionar como conmutación una salida de un flujo de vídeo (un flujo base) de un servicio de 60P y una salida de un flujo de vídeo (un flujo base y un flujo mejorado) de un servicio de 120P.

[Estructura del dispositivo de recepción]

La Fig. 14 ilustra un ejemplo de estructura del dispositivo de recepción 200. El dispositivo de recepción 200 incluye una CPU (unidad central de procesamiento) 201, una unidad de recepción 202, un desmultiplexor 203 y una memoria intermedia de datos comprimidos (cpb) 204. Además, el dispositivo de recepción 200 incluye un descodificador 205, una memoria intermedia de datos descomprimidos (dpb) 206, una unidad de postprocesamiento 207 y una unidad de visualización 208. La CPU 201 está compuesta por una unidad de control y controla el funcionamiento de cada unidad del dispositivo de recepción 200.

La unidad de recepción 202 recibe, desde el dispositivo de transmisión 100, un flujo de transporte, TS, transmitido a través de una onda de radiodifusión o un paquete en una red. El desmultiplexor 203 extrae un flujo que constituye el flujo de vídeo del flujo de transporte, TS, mediante filtrado con un filtro PID y transmite los datos a la memoria intermedia de datos comprimidos (cpb) 204.

En este caso, un PID fijo se aplica respectivamente al flujo base y al flujo mejorado. Por lo tanto, por ejemplo, incluso cuando se realiza una conmutación desde un servicio de 60p a un servicio de 120p o se conmuta en sentido opuesto, no es necesario cambiar la configuración del filtro para extraer cada flujo y, por lo tanto, se puede evitar que se produzca un corte de visualización y se logra una visualización ininterrumpida.

La Fig. 15 ilustra un ejemplo de estructura del desmultiplexor 203. El desmultiplexor 203 incluye un filtro de PID 231, memorias intermedias de multiplexación 232_0 a 232_n, 232_null y 232_c, un filtro de sección 233 y una unidad de análisis de PMT 234.

Basándose en el PID, el filtro de PID 231 deja pasar los datos de sección y un paquete nulo incluido en el flujo de transporte, TS. En el ejemplo ilustrado, un valor de PID de los datos de sección se establece como PID_c y un PID del paquete nulo se establece como PID_null. El paquete nulo se puede transferir para insertarse en el flujo de PID del vídeo sin tener un valor de PID propio. Por lo tanto, la memoria intermedia de multiplexación de un receptor puede detectar el paquete nulo y usar esta detección para determinar que puede producirse una conmutación. Además, el filtro de PID 231 deja pasar un paquete de TS correspondiente a un número de programa de acuerdo con un canal de servicio de radiodifusión, que se incluye en el flujo de transporte, TS, en función del valor de PID que se establecerá. En el ejemplo ilustrado, los valores de PID de los paquetes de TS que se pueden establecer se establecen como PID_0 a PID_n.

Las memorias intermedias de multiplexación 232_0 a 232_n, 232_null y 232_c almacenan temporalmente los paquetes de TS, los datos de sección y el paquete nulo que han pasado a través del filtro de PID 231. En otras palabras, en el desmultiplexor 203, las memorias intermedias de multiplexación se gestionan en función de los valores de PID. El filtro de sección 233 extrae una tabla de mapas de programas (PMT) a partir de los datos de sección almacenados en la memoria intermedia de multiplexación 232_c en función del valor de PID.

La unidad de análisis de PMT 234 analiza la PMT extraída por el filtro de sección 233 y, en función del resultado del análisis, establece el filtro de PID 231 en un valor de PID de los paquetes de TS que se deben dejar pasar. Por ejemplo, cuando el flujo de transporte, TS, es un servicio de 60P, por ejemplo, "101", que es un valor de PID fijo aplicado al flujo base, se establece como PID_0. Además, cuando el flujo de transporte, TS, es un servicio de 120P, por ejemplo, "101", que es un valor de PID fijo aplicado al flujo base, se establece como PID_0, y "102", que es un valor de PID fijo aplicado al flujo mejorado, se establece como PID_1.

Dependiendo del rendimiento de descodificación del descodificador 205, el desmultiplexor 203 transfiere paquetes de TS almacenados en las memorias intermedias de multiplexación 232_0 a 232_n, basándose en los valores de PID, a la memoria intermedia de datos comprimidos 204. Por ejemplo, cuando el descodificador 205 es un descodificador de 60p, el desmultiplexor 203 transfiere los paquetes de TS del flujo base almacenados en la memoria intermedia de multiplexación 232_0 a la memoria intermedia de datos comprimidos 204. Además, por ejemplo, cuando el descodificador 205 es un descodificador de 120p, el desmultiplexor 203 transfiere un paquete de TS de un flujo base almacenado en la memoria intermedia de multiplexación 232_0 y un paquete de TS de un flujo mejorado almacenado en la memoria intermedia de multiplexación 232_1 a la memoria intermedia de datos comprimidos 204.

Cabe destacar que se ha descrito que, cuando el flujo de transporte, TS, es un servicio de 120P, por ejemplo, el filtro de PID 231 deja pasar un paquete de TS de PID_0, PID_1; sin embargo, cuando el descodificador 205 es un descodificador de 60p, puede usarse un procedimiento en el que el filtro de PID 231 solo deja pasar paquetes de TS de PID_0.

Con referencia de nuevo a la Fig. 14, la memoria intermedia de datos comprimidos (cpb) 204 almacena temporalmente paquetes de TS transferidos desde el desmultiplexor 203, que son datos de imagen codificados de cada imagen. El descodificador 205 lee y descodifica datos de imagen codificados de cada imagen almacenados en la memoria intermedia de datos comprimidos 204, respectivamente, en un momento de descodificación proporcionado por una DTS (marca de tiempo de descodificación) de la imagen y los transmite a la memoria intermedia de datos descomprimidos (dpb) 206.

La memoria intermedia de datos descomprimidos (dpb) 206 almacena temporalmente datos de imagen de cada imagen decodificada en el descodificador 205. La unidad de postprocesamiento 207 procesa la velocidad de cuadro de datos de imagen de cada imagen que se lee secuencialmente en tiempos de visualización proporcionados por la PTS (marca de tiempo de presentación) desde la memoria intermedia de datos descomprimidos (dpb) 206 para ajustar la capacidad de visualización.

Por ejemplo, en caso de que la velocidad de cuadro de los datos de imagen de cada imagen después de la descodificación sea de 60 fps y la capacidad de visualización sea de 120 fps, la unidad de postprocesamiento 207 realiza un proceso de interpolación en los datos de imagen de cada imagen después de la descodificación para tener el doble de resolución en una dirección temporal y transmite los datos como datos de imagen de 120 fps a la unidad de visualización 208.

La unidad de visualización 208 está compuesta, por ejemplo, por un panel LCD (pantalla de cristal líquido), un panel de EL orgánica (electroluminiscencia orgánica) o similares. Aquí, la unidad de visualización 208 puede ser un dispositivo externo que se conectará al dispositivo de recepción 200.

A continuación se describirá brevemente un funcionamiento del dispositivo de recepción 200 ilustrado en la Fig. 14. En la unidad de recepción 202, se recibe un flujo de transporte, TS, transmitido desde el dispositivo de transmisión 100 a través de una onda de radiodifusión o un paquete en una red. Este flujo de transporte, TS, se transmite al desmultiplexor 203. En el desmultiplexor 203, en función de la información de PID incluida en una PMT, un paquete de TS correspondiente al servicio se extrae del flujo de transporte, TS. Este paquete de TS se transmite a la memoria intermedia de datos comprimidos (cpb) 204 y se almacena temporalmente.

Por ejemplo, cuando el flujo de transporte, TS, es un servicio de 60P, se extrae un paquete de TS de un flujo base y se transfiere a la memoria intermedia de datos comprimidos 204. Además, por ejemplo, con el flujo de transporte, TS, de un servicio de 120p, cuando el descodificador 205 es un descodificador de 60p, se extrae un paquete de TS de un flujo base y se transfiere a la memoria intermedia de datos comprimidos 204 y, cuando el descodificador 205 es un descodificador de 120p, se extrae un paquete de TS tanto del flujo base como del flujo mejorado y se transfiere a la memoria intermedia de datos comprimidos 204.

En el descodificador 205, los datos de imagen codificados de cada imagen almacenados en la memoria intermedia de datos comprimidos 204 se descodifican, respectivamente, en tiempos de descodificación de las imágenes, se transmiten a la memoria intermedia de datos descomprimidos (dpb) 206 y se almacenan temporalmente. A continuación, los datos de imagen de cada imagen que se leen secuencialmente desde la memoria intermedia de datos descomprimidos (dpb) 206 en tiempos de visualización se transmiten a la unidad de postprocesamiento 207. En la unidad de postprocesamiento 207, se realiza interpolación o submuestreo en los datos de imagen de cada imagen para ajustar esas velocidades de cuadro a la capacidad de visualización. Los datos de imagen de cada imagen procesados en la unidad de postprocesamiento 207 se suministran a la unidad de visualización 208 y se muestra una imagen en movimiento.

A continuación se explicará una operación de conmutación de un programa 4K de 60p a un programa 4K de120p en el sistema de transmisión y recepción 10 ilustrado en la Fig. 1. La Fig. 16 ilustra un ejemplo de funcionamiento de un emisor, es decir, el dispositivo de transmisión 100. Durante un período de transmisión de servicio de 60p, el codificador 102A genera un flujo de vídeo de un servicio de 60p. En este flujo de vídeo solo se incluye un flujo base, al que, por ejemplo, se aplica "101" como valor PID.

A continuación, durante el período de transmisión de un servicio de 60p, en el multiplexor 104, este flujo base se empaqueta como un flujo elemental empaquetado (PES), después se genera como un paquete de transporte y se multiplexa para obtener un flujo de transporte, TS, como un flujo multiplexado, que sirve como un flujo de transmisión de un programa 4K de 60p.

Durante este período de transmisión de servicio de 60p, una PMT, que se ilustra como una "PMT anterior" se inserta constantemente en la capa de contenedor y se transmite. Esta PMT incluye información de "Servicejd" y "Número de versión", e información de "Elementary_PID" y "Stream_type" correspondientes al flujo base.

Además, durante este período de transmisión de servicio de 60p, en el momento inmediatamente anterior al inicio de un período de transmisión de servicio de 120p, que es, por ejemplo, un momento un segundo anterior al final del período de transmisión de servicio de 60p, una PMT, que se ilustra como "nueva PMT" se inserta en la capa de contenedor y se transmite. De manera similar a "PMT anterior", esta PMT incluye información de "Servicejd" y "Número de versión". "Número de versión" se cambia de "V0" a "V0+1" para indicar el cambio a la "nueva PMT".

Además, esta PMT incluye información de "Elementary_PID" y "Stream_type" correspondientes al flujo base y también información de "Elementary_PID" y "Stream_type" correspondientes al flujo mejorado. Además, en esta PMT, se incluye un descriptor de conmutación sin interrupciones (descriptor Seamless_switch) en el que se escribe la información de conmutación.

Aquí, se establece como "EOS_flag = 1" y se indica que "end_of_seq" se ha codificado. Además, se establece como "number_of_streams = 2" y se indica que el número de flujos de servicio después de la conmutación es de dos. Además, se establece como "frame_rate = 1100(120Hz)" y se indica que la frecuencia de cuadro del flujo de servicio después de la conmutación es de 120 Hz.

Cuando finaliza el período de transmisión del servicio de 60p, se conmuta a un período de transmisión de un servicio de 120p. Durante el período de transmisión del servicio de 120p, el codificador 102B genera un flujo de vídeo de un servicio de 120p. En este flujo de vídeo, se incluyen un flujo base al que, por ejemplo, se aplica "101" como valor de PID y un flujo mejorado al que, por ejemplo, se aplica "102" como valor de PID.

A continuación, durante este período de transmisión de servicio de 120p, en el multiplexor 104, el flujo base y el flujo mejorado se generan como paquetes de PES, después se generan como paquetes de transporte y se multiplexan para obtener un flujo de transporte, TS, como flujo multiplexado, que sirve como un flujo de transmisión de un programa 4K de 120p. Aquí, entre el flujo de transmisión del programa 4K de 60p y el flujo de transmisión del programa 4K de 120p, hay un período de separación durante el cual se transmite un paquete nulo.

La Fig. 17 ilustra un ejemplo de funcionamiento del lado de recepción, es decir, el dispositivo de recepción 200. Durante el período de transmisión de un servicio de 60p, el desmultiplexor 203 proporciona un flujo de vídeo de un programa 4K de 60p. A continuación, el descodificador 205 proporciona datos de imagen de un programa 4K de 60p en ambos casos de un descodificador de 60p y un descodificador de 120p.

Durante este período de transmisión del servicio de 60p, a partir de la capa de contenedor, se obtiene constantemente una PMT ilustrada como "PMT anterior" y, en el momento inmediatamente anterior al inicio del período de transmisión del servicio de 120p, se obtiene una "nueva PMT". Cuando el valor de PID del flujo mejorado incluido en la "nueva PMT" se establece en el filtro de PID, el desmultiplexor 203 se encuentra en un estado en el que puede proporcionar un flujo de vídeo de un programa 4K de 120p.

Cuando finaliza el período de transmisión de servicio de 60p, se conmuta a un período de transmisión de servicio de 120p. En este caso, la salida del desmultiplexor 203 conmuta de un flujo de vídeo de programa 4K de 60p (solo un flujo base) a un flujo de vídeo de programa 4K de 120p (un flujo base y un flujo mejorado) después de un período de separación que incluye un paquete nulo. A continuación, desde el descodificador 205, se proporcionan datos de imagen de programa 4k de 60p en caso de un descodificador de 60p, y se proporcionan datos de imagen de programa 4K de 120p en caso de un descodificador de 120p.

Se explicará adicionalmente el funcionamiento del desmultiplexor 203 cuando se conmuta de un período de transmisión de servicio de 60p a un período de transmisión de servicio de 120p. Durante el período de transmisión de servicio de 60p, solo un flujo de PID_0 (101) (un flujo base) pasa a través del filtro de PID 231 y se almacena en la memoria intermedia de multiplexación 232_0.

En el momento un segundo anterior a que finalice el período de transmisión del servicio de 60p, el filtro de sección 233 extrae una "nueva PMT". Esta "nueva PMT" se analiza en la unidad de análisis de PMT 234, y se detecta un valor de PID de un flujo a través del cual se pasa por el filtro de PID 231, así como "Stream_type" y "Descriptor", y se establece un valor de PID para el filtro de PID 231. Por lo tanto, en el período de transmisión del siguiente servicio de 120p, el filtro de PID 231 puede dejar pasar un flujo de PID_1 (102) (el flujo mejorado) así como un flujo de PID_0 (101) (el flujo base).

Después de conmutar al período de transmisión del servicio de 120p, el flujo de PID_0 (101) (el flujo base) pasa a través del filtro de PID 231 y se almacena en la memoria intermedia de multiplexación 232_0, y el flujo de PID_0 (102) (el flujo mejorado) también pasa a través del filtro de PID 231 y se almacena en la memoria intermedia de multiplexación 232_1. Aquí, cuando "EOS_flag" del descriptor de conmutación sin interrupciones en "nueva PMT" es "1", se determina que se producirá la conmutación con el número de formatos de vídeo y los flujos de servicio en el momento de detectar EOS del flujo de vídeo.

Aquí, los ejemplos de funcionamiento anteriores ilustrados en las Figs. 16 y 17 ilustran que el valor de PID del flujo mejorado se notifica con una "nueva PMT" insertada en la capa de contenedor en el momento inmediatamente anterior al inicio del período de transmisión del servicio de 120p, es decir, por ejemplo, en el momento un segundo anterior a que finalice el período de transmisión del servicio de 60p (la primera manera de inserción de PID). Sin embargo, es posible reservar el valor de PID del flujo mejorado al incluir el valor de PID del flujo mejorado en "PMT anterior", que se inserta constantemente en la capa de contenedor durante el período de transmisión del servicio de 60p (la segunda manera de inserción de PID). Las Fig. 18 y 19 ilustran ejemplos de operaciones en el lado de transmisión y el lado de recepción.

A continuación, se explicará un cambio de la estructura de codificación jerárquica correspondiente a las operaciones de conmutación de servicio en el sistema de transmisión y recepción 10 ilustrado en la Fig. 1. La Fig. 20 ilustra un ejemplo de un cambio de la estructura de codificación jerárquica correspondiente a un funcionamiento de conmutación de servicio. En este ejemplo, las jerarquías 0 a 3 se asignan a los flujos base, y las jerarquías 4 y 5 se asignan a los flujos mejorados.

En este ejemplo, en el flujo de vídeo del servicio de 60p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 3. En el flujo de vídeo de servicio de 60p, solo se incluye un flujo base. En este flujo base, se incluyen imágenes en todas las jerarquías 0 a 3. En este caso, en el SPS del flujo base, "general_level_idc" se establece como "level5.1" y se establece como "sps_max_sublayer_minus1 = 3".

Además, en este ejemplo, en el flujo de vídeo del servicio de 120p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 4. En el flujo de vídeo del servicio de 120p, se incluyen un flujo base y un flujo mejorado. Las imágenes en las jerarquías 0 a 3 se incluyen en el flujo base, y las imágenes en la jerarquía 4 se incluyen en el flujo mejorado. En este caso, en el SPS (conjunto de parámetros de secuencia) del flujo base, "general_level_idc" se establece como "level5.2" y se establece como "sps_max_sublayer_minus1 = 4".

En el momento inmediatamente anterior al inicio del período de transmisión del servicio de 60p, la PMT que tiene información del flujo de vídeo del servicio de 60p se inserta en la capa de contenedor. En un descriptor de HEVC incluido en la PMT, "level_idc" se establece como "level5.1" y se establece como "temporal_id_min = 0" y "temporal_id_max = 3".

Del mismo modo, durante el período de transmisión de servicio de 60p, en el momento inmediatamente anterior al inicio del servicio de 120p, la PMT que tiene información del flujo de vídeo del servicio de 120p se inserta en la capa de contenedor. En el descriptor de HEVC del flujo base incluido en la PMT, "level_idc" se establece como "level5.1" y, además, se establece como "temporal_id_min = 0" y "temporal_id_max= 3". Además, en el descriptor de HEVC del flujo mejorado incluido en la PMT, "level_idc" se establece como "level5.2" y, además, se establece como "temporal_id_min = 4" y "temporal_id_max = 4".

En este caso, en un período T que comienza a partir de una inserción de la PMT que tiene información del flujo de vídeo del servicio de 120p hasta el final del período de transmisión del servicio de 60 p, la información de la capa de vídeo es la información del flujo de vídeo en el servicio de 60p, mientras que la información de la capa de sistema es la información del flujo de vídeo en el servicio de 120p. Sin embargo, en este caso, los intervalos del valor de "temporal_id" del vídeo y el valor de "temporal_id" del descriptor de HEVC coinciden. Esto se debe a que se realiza una codificación jerárquica en el flujo de vídeo de cada servicio de modo que las jerarquías de imágenes incluidas respectivamente en el flujo base y el flujo mejorado se encuentren dentro de rangos asignados previamente que sean independientes entre sí.

La Fig. 21 ilustra otro ejemplo de un cambio de una estructura de codificación jerárquica de acuerdo con el funcionamiento de conmutación de servicio. En este ejemplo, las jerarquías 0 a 3 se asignan al flujo base, y las jerarquías 5 y 6 se asignan al flujo mejorado.

En este ejemplo, en el flujo de vídeo de un servicio de 60p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 3. En el flujo de vídeo del servicio de 60p, solo se incluye un flujo base. En este flujo base, se incluyen imágenes en todas las jerarquías 0 a 3. En este caso, en el SPS del flujo base, "genera ljeve ljdc" se establece como "level5. 1" y se establece como "sps_max_sublayer_minus1 = 3".

Además, en este ejemplo, en el flujo de vídeo de un servicio de 120p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 2 y 5. En el flujo de vídeo del servicio de 120p, se incluyen un flujo base y un flujo mejorado. El flujo base incluye imágenes en las jerarquías de 0 a 2 y el flujo mejorado incluye imágenes en la jerarquía 5. En este caso, en el SPS (conjunto de parámetros de secuencia) del flujo base, "genera ljeveljdc" se establece como "level5.2" y se establece como "sps_max_sublayer_minus1 = 5".

En el momento inmediatamente anterior al inicio del período de transmisión del servicio de 60p, una PMT que tiene información del flujo de vídeo del servicio de 60p se inserta en la capa de contenedor. En esta PMT, hay información del flujo base y del flujo mejorado. En el descriptor de HEVC del flujo base incluido en la "leveljdc" se establece como "level5.1" y, además, se establece como "temporal_id_min = 0" y "temporal_id_max= 3".

Además, en el descriptor de HEVC del flujo mejorado, "level_idc" se establece como "level5.2" y, además, se establece como "temporal_id_min = 5" y "temporal_id_max = 6". Con los ajustes, se indica que el rango jerárquico que puede tomar el flujo mejorado son las jerarquías 5 y 6, y se indica que un flujo mejorado no existe actualmente. Aquí, de manera similar a la ilustración de la Fig. 20, la información del flujo mejorado puede no existir en la PMT.

Además, durante el período de transmisión del servicio de 60p, en el momento inmediatamente anterior al inicio del servicio de 120p, una PMT que tiene información del flujo de vídeo del servicio de 120p se inserta en la capa de contenedor. En el descriptor de HEVC del flujo base incluido en la PMT, "leveljdc" se establece como "level5. 1 " y, además, se establece como "temporal_id_min = 0" y "temporal_id_max = 3". Además, en el descriptor de HEVC del flujo mejorado incluido en la PMT, "level_idc" se establece como "level5.2" y, además, se establece como "temporal_id_min = 5" y "temporal_id_max = 5".

En este caso, en el período T que comienza a partir de la inserción de la PMT que tiene la información del flujo de vídeo del servicio de 120p hasta el final del período de transmisión del servicio de 60p, la información de la capa de vídeo es información del flujo de vídeo del servicio de 60p, mientras que la información de la capa de sistema es la información del flujo de vídeo del servicio de 120p. Sin embargo, en este ejemplo, el intervalo del valor de "temporaljd" del vídeo y el intervalo del valor de "temporaljd" del descriptor de HEVC coinciden. Esto se debe a que se realiza una codificación jerárquica en el flujo de vídeo de cada servicio de modo que las jerarquías de las imágenes incluidas respectivamente en el flujo base y el flujo mejorado se encuentren dentro de los rangos asignados previamente que sean independientes entre sí.

La Fig. 22 ilustra un ejemplo de un cambio de la estructura de codificación jerárquica de acuerdo con el funcionamiento de la conmutación de servicio. Este es un ejemplo de que las jerarquías de las imágenes incluidas respectivamente en el flujo base y el flujo mejorado no se asignan de antemano.

En este ejemplo, en el flujo de vídeo del servicio de 60p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 3. En el flujo de vídeo del servicio de 60p, solo se incluye un flujo base. En este flujo base, las imágenes se incluyen en todas las jerarquías 0 a 3. En este caso, en el SPS del flujo base, "genera ljeveljdc" se establece como "level5. 1" y se establece como "sps_max_sublayer_minus1 = 3".

Además, en este ejemplo, en el flujo de vídeo del servicio de 120p, se incluyen datos de imagen codificados de cada imagen en los que se realiza codificación jerárquica. En este caso, hay imágenes en las jerarquías 0 a 3. En el flujo de vídeo del servicio de 120p, se incluyen un flujo base y un flujo mejorado. El flujo base incluye imágenes en las jerarquías de 0 a 2 y el flujo mejorado incluye imágenes en la jerarquía 3. En este caso, en el SPS (conjunto de parámetros de secuencia) del flujo base, "genera ljeveljdc" se establece como "level5.2" y se establece como "sps_max_sublayer_minus1 = 3".

En el momento inmediatamente anterior al inicio del período de transmisión del servicio de 60p, una PMT que tiene información del flujo de vídeo del servicio de 60p se inserta en la capa de contenedor. En el descriptor de HEVC incluido en la PMT, "level_idc" se establece como "level5.1" y, además, se establece como "temporal_id_min = 0" y "temporal_id_max = 3".

Del mismo modo, durante el período de transmisión del servicio de 60p, en el momento inmediatamente anterior al inicio del servicio de 120p, una PMT que tiene información del flujo de vídeo del servicio de 120p se inserta en la capa de contenedor. En el descriptor de HEVC del flujo base incluido en la PMT, "level_idc" se establece como "level5.1" y, además, se establece como "temporal_id_min = 0" y "temporal_id_max= 2". Además, en el descriptor de HEVC del flujo mejorado incluido en la PMT, "level_idc" se establece como "level5.2" y se establece como "temporal_id_min = 3" y "temporal_id_max = 3".

En este caso, en el período T que comienza a partir de la inserción de la PMT que tiene información del flujo de vídeo del servicio de 120p hasta el final del período de transmisión del servicio de 60p, la información de la capa de vídeo es la información del flujo de vídeo del servicio de 60p, mientras que la información de la capa de sistema es la información del flujo de vídeo del servicio de 120p. Entonces, en este ejemplo, el intervalo del valor de "temporal_id" del vídeo y del valor de "temporal_id" del descriptor de HEVC coinciden. Esto se debe a que no se realiza una codificación jerárquica en el flujo de vídeo de cada servicio de modo que las jerarquías de las imágenes incluidas respectivamente en el flujo base y el flujo mejorado se encuentren dentro de los rangos asignados previamente que son independientes entre sí, y la capa de temporal_ID = 3 pueda variar para existir en el flujo base o existir en el flujo mejorado.

Tal como se describió anteriormente, en el sistema de transmisión y recepción 10 ilustrado en la Fig. 1, en el dispositivo de transmisión 100, un identificador fijo (PID) se aplica al flujo base y al flujo mejorado. Por lo tanto, en el lado de transmisión, incluso cuando se conmuta de un servicio de 60p a un servicio de 120p o de un servicio de 120p a un servicio de 60p, no es necesario cambiar la configuración del filtro para extraer cada flujo en el desmultiplexor 203. Por lo tanto, se puede evitar que se produzca un corte de visualización y se logra una visualización ininterrumpida.

Además, en el sistema de transmisión y recepción 10 ilustrado en la Fig. 1, esto es lo que realiza una codificación jerárquica de un flujo de vídeo de cada servicio de modo que, en el flujo de vídeo de cada servicio, las jerarquías de las imágenes incluidas respectivamente en el flujo base y el flujo mejorado se encuentren dentro de rangos asignados previamente que sean independientes entre sí. Por lo tanto, puede evitarse una discrepancia entre el intervalo del valor de "temporal_id" del vídeo y el intervalo del valor de "temporal_id" del descriptor de HEVC.

<2. Modificación>

Aquí, de acuerdo con la forma de realización descrita anteriormente, se ha ilustrado el sistema de transmisión y recepción 10 compuesto por el dispositivo de transmisión 100 y el dispositivo de recepción 200; sin embargo, la estructura del sistema de transmisión y recepción al que se puede aplicar la presente técnica no se limita a esta estructura. Por ejemplo, la sección del dispositivo de recepción 200 puede ser, por ejemplo, una estructura de un descodificador y un monitor que están conectados a través de una interfaz digital tal como un HDMI (interfaz multimedia de alta definición). Cabe señalar que el "HDMI" es una marca registrada.

Además, la forma de realización descrita anteriormente ha descrito un ejemplo en el que el contenedor es el flujo de transporte (TS de MPEG-2). Sin embargo, la presente técnica también se puede aplicar a un sistema de una estructura en la que los datos se entregan a un terminal de recepción mediante el uso de una red, tal como Internet. Para la entrega a través de Internet, los datos a menudo se entregan con un contenedor de MP4 o en otros formatos. En otras palabras, como contenedor, varios contenedores de formato tales como un flujo de transporte (TS de MPEG-2) utilizado como normas de radiodifusión digital, y MP4 utilizado para la entrega a través de Internet.

La principal característica de la presente técnica es que, al aplicar un identificador fijo a un flujo base y un flujo mejorado, el lado de recepción no necesita cambiar la configuración del filtro para extraer cada flujo mediante el desmultiplexor, incluso cuando conmutan los servicios, y esto evita que se produzca un corte de visualización y logra una visualización ininterrumpida (véase la Fig. 16). Además, la principal característica de la presente técnica es que se realiza una codificación jerárquica en el flujo de vídeo de cada servicio de modo que las jerarquías de imágenes incluidas respectivamente en el flujo base y el flujo mejorado se encuentran dentro de los rangos asignados previamente que son independientes entre sí, y esto evita una discrepancia entre los valores de "temporal_id" del vídeo y el descriptor de HEVC (véase la Fig. 20).

LISTA DE SIGNOS DE REFERENCIA

10 Sistema de transmisión y recepción

100 Dispositivo de transmisión

101 CPU

102A, 102B Codificador

103A, 103B Memoria intermedia de datos comprimidos (cpb)

104 Multiplexor

105 Unidad de transmisión

Unidad de generación de información de sección Unidad de generación de paquetes nulos Selector

Unidad de asignación de PID

Unidad de multiplexación de TS

Dispositivo de recepción

CPU

Unidad de recepción

Desmultiplexor

Memoria intermedia de datos comprimidos (cpb) Descodificador

Memoria intermedia de datos descomprimidos (dpb) Unidad de postprocesamiento

Unidad de visualización

Filtro de PID

0 a 232 n, 232 nuil, 232 c Memoria intermedia de multiplexación

Filtro de sección

Unidad de análisis de PMT

Claims

REIVINDICACIONES

1. Un dispositivo de transmisión, que comprende:

una unidad de codificación de imágenes (102A, 102B) configurada para realizar una codificación jerárquica en datos de imagen de cada imagen que constituye datos de imagen en movimiento y generar un flujo base que tiene datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de imágenes en una jerarquía superior, que es una jerarquía superior a la jerarquía más alta que puede tener cualquier imagen del flujo base, donde las jerarquías de las imágenes incluidas en el flujo base y la jerarquía de las imágenes incluidas en el flujo mejorado se encuentran dentro de rangos respectivos asignados previamente, que son independientes entre sí; y

una unidad de transmisión (105) configurada para transmitir un contenedor en un formato predeterminado que incluye el flujo base y el flujo mejorado que son generados por la unidad de codificación de imágenes.

2. El dispositivo de transmisión de acuerdo con la reivindicación 1, que comprende además:

una unidad de inserción de información (104) configurada para insertar un valor de especificación de nivel de una velocidad de bits del flujo base y el flujo mejorado en el contenedor.

3. El dispositivo de transmisión de acuerdo con la reivindicación 1, que comprende además:

una unidad de inserción de información (104) configurada para insertar información de rango jerárquico de las imágenes del flujo base y del flujo mejorado en el contenedor.

4. El dispositivo de transmisión de acuerdo con la reivindicación 1, en el que

el flujo base incluye datos de imagen codificados de 60 Hz y el flujo base y el flujo mejorado incluyen datos de imagen codificados de 120 Hz.

5. El dispositivo de transmisión de acuerdo con la reivindicación 1, en el que

el número de jerarquías de las imágenes incluidas en el flujo mejorado es uno.

6. Un procedimiento de transmisión, que comprende:

una etapa de codificación de imágenes para realizar una codificación jerárquica en datos de imagen de cada imagen que constituye datos de imagen en movimiento y generar un flujo base que incluye datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que incluye datos de imagen codificados de imágenes en una jerarquía superior, que es una jerarquía superior a la jerarquía más alta que puede tener cualquier imagen del flujo base, donde las jerarquías de las imágenes incluidas en el flujo base y la jerarquía de las imágenes incluidas en el flujo mejorado se encuentran dentro de rangos respectivos asignados previamente, que son independientes entre sí; y

una etapa de transmisión para transmitir un contenedor en un formato predeterminado que incluye el flujo base y el flujo mejorado que son generados en la etapa de codificación de imágenes.

7. Un dispositivo de recepción, que comprende:

una unidad de recepción (202) configurada para recibir un contenedor en un formato predeterminado que incluye un flujo base que tiene datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de imágenes en una jerarquía superior, que se generan realizando una codificación jerárquica en datos de imagen de cada imagen que constituye datos de imagen en movimiento, donde la jerarquía superior es una jerarquía superior a la jerarquía más alta que puede tener cualquier imagen del flujo base, donde las jerarquías de las imágenes incluidas en el flujo base y la jerarquía de las imágenes incluidas en el flujo mejorado se encuentran dentro de rangos respectivos asignados previamente, que son independientes entre sí; y

una unidad de procesamiento (203) configurada para extraer solamente datos de imagen codificados de las imágenes de cada jerarquía incluidas en el flujo base de acuerdo con un rendimiento de descodificación o extraer tanto datos de imagen codificados de las imágenes de cada jerarquía incluidas en el flujo base como datos de imagen codificados de las imágenes de la jerarquía superior incluidas en el flujo mejorado, y obtener datos de imagen de cada imagen que constituye datos de imagen en movimiento realizando un proceso de descodificación en los datos de imagen codificados de cada imagen extraída.

8. Un procedimiento de recepción, que comprende:

una etapa de recepción para recibir un contenedor en un formato predeterminado que incluye un flujo base que tiene datos de imagen codificados de imágenes en jerarquías inferiores y un flujo mejorado que tiene datos de imagen codificados de imágenes en una jerarquía superior, que se generan realizando una codificación jerárquica en los datos de imagen de cada imagen que constituye datos de imagen en movimiento, donde la jerarquía superior es una jerarquía superior a la jerarquía más alta que puede tener cualquier imagen del flujo base, donde las jerarquías de las imágenes incluidas en el flujo base y las jerarquías de las imágenes incluidas en el flujo mejorado se encuentran dentro de rangos respectivos asignados previamente, que son independientes entre sí; y

una etapa de procesamiento para extraer solamente datos de imagen codificados de las imágenes de cada jerarquía incluidas en el flujo base o extraer tanto datos de imagen codificados de las imágenes de cada jerarquía incluidas en el flujo base como datos de imagen codificados de las imágenes de la jerarquía superior incluidas en el flujo mejorado de acuerdo con un rendimiento de descodificación, y obtener datos de imagen de cada imagen que constituye datos de imagen en movimiento realizando un proceso de descodificación en los datos de imagen codificados de cada imagen extraída.