ES2827213T3

ES2827213T3 - Procedimiento de codificación de imágenes y dispositivo de codificación de imágenes

Info

Publication number: ES2827213T3
Application number: ES12841179T
Authority: ES
Inventors: Viktor Wahadaniah; Chong Soon Lim; Sue Mon Thet Naing; hai wei Sun; Takahiro Nishi; Hisao Sasai; Youji Shibahara; Toshiyasu Sugio; Kyoko Tanikawa; Toru Matsunobu; Kengo Terada
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-10-19
Filing date: 2012-09-28
Publication date: 2021-05-20
Anticipated expiration: 2032-09-28
Also published as: US10021415B2; EP2770734A1; EP2770734A4; RU2625944C2; US20190132610A1; US20180199059A1; US20130101034A1; EP2770734B1; JPWO2013057884A1; KR102010100B1; CN104025598A; JP2016220237A; EP4024871B1; JP5995111B2; US10602184B2; CA2850598C; IN2014CN02604A; PL3742735T3; US10390043B2; EP4024871A1

Abstract

Un procedimiento de codificación de imágenes para generar un flujo de bits codificado mediante la codificación de una imagen, el procedimiento de codificación de imágenes caracterizado por comprender: escribir (S101) descripciones de memorias intermedias (BD0 - BDn) en un conjunto de parámetros de secuencia incluido en el flujo de bits codificado, cada una de las descripciones de memoria intermedia (BD0 - BDn) incluye elementos de memoria intermedia (BEO - BE2), en el que cada uno de los elementos de memoria intermedia (BEO - BE2) (i) está asociado con un índice de elemento de memoria intermedia y (ii) especifica una instantánea de referencia que se va a contener en una memoria intermedia para codificar instantáneas; construir (S102) una lista de instantáneas de referencia por defecto que incluye todas las instantáneas de referencia que se indican en las descripciones de memoria intermedia (BDO - BDn) de acuerdo con un esquema de construcción predeterminado; seleccionar una de las descripciones de memoria intermedia (BDO - BDn); escribir, en un encabezamiento de segmento de un segmento actual incluido en el flujo de bits codificado, información de selección de descripción de memoria intermedia para especificar la descripción de memoria intermedia seleccionada; modificar al menos uno de los elementos de memoria intermedia (BEO - BE2) incluidos en la descripción de memoria intermedia seleccionada (BDO - BDn) especificando una instantánea de referencia que se va a asociar con el elemento de memoria intermedia; escribir información de actualización de descripción de memoria intermedia en el encabezamiento de segmento, en el que la información de actualización de descripción de memoria intermedia incluye un índice de elemento de memoria intermedia del elemento de memoria intermedia que se va a modificar y una diferencia de POC entre la instantánea de referencia que se va a asociar con el elemento de memoria intermedia y el segmento actual; reordenar (S103) instantáneas de referencia incluidas en la lista de instantáneas de referencia por defecto que corresponde a la descripción de memoria intermedia seleccionada y modificada para definir una primera lista de instantáneas de referencia (l0); reordenar (S103) instantáneas de referencia incluidas en la lista de instantáneas de referencia por defecto que corresponde a la descripción de memoria intermedia seleccionada y modificada para definir una segunda lista de instantáneas de referencia (l1); escribir (S104) información de reordenación de lista de referencia en el encabezamiento de segmento, en el que, en la información de reordenación, se especifica una instantánea de referencia objetivo que se va a reordenar mediante un índice de elemento de memoria intermedia en la descripción de memoria intermedia seleccionada y modificada; y codificar (S105) el segmento actual usando la descripción de memoria intermedia seleccionada y modificada (BD0 - BDn), la primera lista de instantáneas de referencia (l0) y la segunda lista de instantáneas de referencia (l1).

Description

DESCRIPCIÓN

Procedimiento de codificación de imágenes y dispositivo de codificación de imágenes

La invención se refiere a procedimientos de codificación de imágenes, procedimientos de descodificación de imágenes, aparatos de codificación de imágenes, aparatos de descodificación de imágenes y aparatos de codificación y descodificación de imágenes y, en particular, a un procedimiento de codificación de imágenes y un procedimiento de descodificación de imágenes, cada uno de los cuales usa una descripción de memoria intermedia para especificar una instantánea que se va a contener en una memoria intermedia y una lista de referencia para especificar una instantánea a la que se va a hacer referencia.

Los esquemas de codificación de vídeo del estado de la técnica, tales como MPEG-4 AVC / H.264 (véase la Referencia no de patente 1) y la futura HEVC (Codificación de Vídeo de Eficiencia Alta), realizan la codificación de contenido de imagen o vídeo usando predicción inter instantáneas a partir de instantáneas de referencia previamente codificadas o descodificadas. En otras palabras, los esquemas de codificación de vídeo aprovechan la redundancia de información entre instantáneas consecutivas en el tiempo. En el esquema de codificación de vídeo de MPEG-4 AVC, las instantáneas de referencia en la memoria intermedia de instantáneas descodificadas (DPB) se gestionan o bien usando un esquema de ventana deslizante predefinida para retirar instantáneas anteriores en el orden de codificación de la DPB, o bien usando explícitamente una serie de señales de gestión de memoria intermedia en el flujo de bits codificado para gestionar y retirar instantáneas de referencia no usadas. En las referencias no de patente 2 y 3 se divulgan ejemplos para manejar instantáneas de referencia.

[Referencias no de patente]

[Referencias no de patente 1] ISO/IEC 14496-10 "MPEG-4 Part10 Advanced Video Coding'

[Referencia no de patente 2] Rickard Sjoberg y col.: "Absolute signaling of reference pictures - Proposed changes to the HEVC Working Draff', Equipo de Colaboración Conjunta en Codificación de Vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 6a Reunión: Turín, 2011,22 de julio de 2011

[Referencias no de patente 3] Thomas Wiegand y col.: "Proposed Editorial Changes to H.263++ Annex U", 10a Reunión de VCEG; 16-05-2000 - 19-05-2000; Osaka, Japón; n.° q15j49, 19 de mayo de 2000

En el procedimiento de codificación de imágenes y el procedimiento de descodificación de imágenes que adoptan tales esquemas de codificación de vídeo, existen demandas para una mejora adicional en la eficiencia de codificación y una reducción en la cantidad de cálculo.

Por lo tanto, la presente invención proporciona un procedimiento de codificación de imágenes o un procedimiento de descodificación de imágenes en el que se puede mejorar la eficiencia de codificación o se puede reducir la cantidad de cálculo.

Esto se consigue mediante las características de las reivindicaciones independientes. Las realizaciones adicionales en la descripción se proporcionan solo como ejemplos ilustrativos.

Estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa informático, o un medio de grabación legible por ordenador tal como un CD-ROM, o cualquier combinación de sistemas, procedimientos, circuitos integrados, programas informáticos, o medio de grabación legible por ordenador.

La presente invención puede proporcionar un procedimiento de codificación de imágenes o un procedimiento de descodificación de imágenes en el que se puede mejorar la eficiencia de codificación o se puede reducir la cantidad de cálculo.

[Figura 1] La figura 1 muestra un ejemplo de una estructura de referencia de instantáneas.

[Figura 2] La figura 2 muestra una estructura de un flujo de bits codificado.

[Figura 3] La figura 3 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la primera realización de la presente invención.

[Figura 4] La figura 4 es un diagrama de flujo de un procedimiento de codificación de imágenes de acuerdo con la primera realización de la presente invención.

[Figura 5] La figura 5 es un diagrama de flujo del primer ejemplo de reordenación de una lista de referencia de acuerdo con la primera realización de la presente invención.

[Figura 6] La figura 6 es un diagrama de flujo del segundo ejemplo de reordenación de una lista de referencia de acuerdo con la primera realización de la presente invención.

[Figura 7] La figura 7 muestra una estructura de un flujo de bits codificado de acuerdo con el primer ejemplo de la primera realización de la presente invención.

[Figura 8] La figura 8 muestra una estructura de un flujo de bits codificado de acuerdo con el primer ejemplo de la primera realización de la presente invención.

[Figura 9] La figura 9 muestra una estructura de sintaxis de un encabezamiento de segmento de acuerdo con el primer ejemplo de la primera realización de la presente invención.

[Figura 10] La figura 10 muestra una estructura de un flujo de bits codificado de acuerdo con el segundo ejemplo de la primera realización de la presente invención.

[Figura 11] La figura 11 muestra una estructura de un flujo de bits codificado de acuerdo con el segundo ejemplo de la primera realización de la presente invención.

[Figura 12] La figura 12 muestra una estructura de sintaxis de un conjunto de parámetros de secuencia de acuerdo con el segundo ejemplo de la primera realización de la presente invención.

[Figura 13] La figura 13 muestra una estructura de sintaxis de un encabezamiento de segmento de acuerdo con el segundo ejemplo de la primera realización de la presente invención.

[Figura 14] La figura 14 muestra una estructura de un flujo de bits codificado de acuerdo con el tercer ejemplo de la primera realización de la presente invención.

[Figura 15] La figura 15 muestra una estructura de un flujo de bits codificado de acuerdo con el tercer ejemplo de la primera realización de la presente invención.

[Figura 16] La figura 16 muestra una estructura de sintaxis de un conjunto de parámetros de secuencia de acuerdo con el tercer ejemplo de la primera realización de la presente invención.

[Figura 17] La figura 17 muestra una estructura de sintaxis de un encabezamiento de segmento de acuerdo con el tercer ejemplo de la primera realización de la presente invención.

[Figura 18] La figura 18 muestra una estructura de un flujo de bits codificado de acuerdo con el cuarto ejemplo de la primera realización de la presente invención.

[Figura 19] La figura 19 muestra una estructura de sintaxis de un conjunto de parámetros de secuencia de acuerdo con el cuarto ejemplo de la primera realización de la presente invención.

[Figura 20] La figura 20 muestra una estructura de sintaxis de un conjunto de parámetros de instantánea de acuerdo con la cuarta realización de la presente invención.

[Figura 21] La figura 21 muestra una estructura de sintaxis de un encabezamiento de segmento de acuerdo con el cuarto ejemplo de la primera realización de la presente invención.

[Figura 22] La figura 22 muestra una estructura de un flujo de bits codificado de acuerdo con el quinto ejemplo de la primera realización de la presente invención.

[Figura 23] La figura 23 muestra una estructura de sintaxis de un conjunto de parámetros de secuencia de acuerdo con el quinto ejemplo de la primera realización de la presente invención.

[Figura 24] La figura 24 muestra una estructura de sintaxis de un conjunto de parámetros de instantánea de acuerdo con la quinta realización de la presente invención.

[Figura 25] La figura 25 muestra una estructura de sintaxis de un encabezamiento de segmento de acuerdo con el quinto ejemplo de la primera realización de la presente invención.

[Figura 26] La figura 26 es un diagrama de bloques de un aparato de descodificación de imágenes de acuerdo con la primera realización de la presente invención.

[Figura 27] La figura 27 es un diagrama de flujo de un procedimiento de descodificación de imágenes de acuerdo con la primera realización de la presente invención.

[Figura 28] La figura 28 es un diagrama de flujo de un procedimiento de codificación de imágenes de acuerdo con la segunda realización de la presente invención.

[Figura 29] La figura 29 es un diagrama de flujo de un procedimiento de descodificación de imágenes de acuerdo con la segunda realización de la presente invención.

[Figura 30] La figura 30 muestra una configuración global de un sistema de suministro de contenido para implementar servicios de distribución de contenido.

[Figura 31] La figura 31 muestra una configuración global de un sistema de difusión digital.

[Figura 32] La figura 32 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión.

[Figura 33] La figura 33 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información desde y en un medio de grabación que es un disco óptico.

[Figura 34] La figura 34 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.

[Figura 35A] La figura 35A muestra un ejemplo de un teléfono celular.

[Figura 35B] La figura 35B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.

[Figura 36] La figura 36 ilustra una estructura de datos multiplexados.

[Figura 37] La figura 37 muestra esquemáticamente cómo se multiplexa cada flujo en datos multiplexados. [Figura 38] La figura 38 muestra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle.

[Figura 39] La figura 39 muestra una estructura de paquetes de TS y paquetes de origen en los datos multiplexados.

[Figura 40] La figura 40 muestra una estructura de datos de una PMT.

[Figura 41] La figura 41 muestra una estructura interna de información de datos multiplexados.

[Figura 42] La figura 42 muestra una estructura interna de información de atributo de flujo.

[Figura 43] La figura 43 muestra etapas para identificar datos de vídeo.

[Figura 44] La figura 44 es un diagrama de boques que muestra un ejemplo de una configuración de un circuito integrado para implementar el procedimiento de codificación de instantáneas en movimiento y el procedimiento de descodificación de instantáneas en movimiento de acuerdo con cada una de las realizaciones.

[Figura 45] La figura 45 muestra una configuración para conmutar entre frecuencias de accionamiento.

[Figura 46] La figura 46 muestra etapas para identificar datos de vídeo y conmutación entre frecuencias de accionamiento.

[Figura 47] La figura 47 muestra un ejemplo de una tabla de búsqueda en la que las normas de datos de vídeo están asociadas con frecuencias de accionamiento.

[Figura 48A] La figura 48A es un diagrama que ilustra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señal.

[Figura 48B] La figura 48B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señal.

(Conocimiento subyacente que forma la base de la presente invención)

Desarrollos recientes en el esquema de codificación de vídeo de HEVC incluyen la introducción de la gestión de DPB usando descripciones de memoria intermedia. Una descripción de memoria intermedia define las instantáneas que se retienen en la DPB, en lugar de definir las instantáneas que se van a retirar de la DPB. En otras palabras, una descripción de memoria intermedia es una lista de identificadores de instantánea que indican todas las instantáneas de referencia almacenadas en la DPB. Cada elemento en esta lista se denomina elemento de memoria intermedia. Un elemento de memoria intermedia contiene un identificador de instantánea único para cada instantánea, tal como un número de recuento de orden de instantánea (POC) e información adicional de la instantánea tal como un valor de temporaljd.

Esta descripción de memoria intermedia se activa al inicio de la codificación o descodificación de una instantánea. Las instantáneas que no están incluidas en la descripción de memoria intermedia activa se retiran de la DPB. Los beneficios de esta descripción de memoria intermedia incluyen una robustez mejorada contra las pérdidas de transmisión/entrega y un manejo simplificado de las instantáneas no existentes.

En algunos casos, múltiples instantáneas en una secuencia de vídeo comparten la misma estructura de referencia de instantáneas. Por ejemplo, una estructura de codificación de retardo bajo usa una estructura de agrupación periódica en la que la misma estructura de capa se repite periódicamente en unidades de cuatro instantáneas como se muestra en la figura 1. Esta unidad de repetición (es decir, cuatro instantáneas en el presente documento) se denomina agrupación.

En el ejemplo mostrado en la figura 1, los números de instantánea (P0 a P12) indican tanto el orden de codificación único como el orden de salida o visualización único de las instantáneas. Las instantáneas P0, P4, P8 y P12 constituyen la primera capa de las instantáneas. Estas instantáneas se codifican con la calidad más alta, por ejemplo, aplicando una cuantificación de la forma menos fuerte. Las instantáneas P2, P6 y P10 constituyen la segunda capa. Estas instantáneas se codifican con una calidad más baja que la primera capa. Las instantáneas P1, P3, P5, P7, P9 y P11 constituyen la tercera capa. Estas instantáneas se codifican con la calidad más baja. En una estructura de referencia periódica de este tipo, las instantáneas ubicadas en la misma posición relativa dentro de sus agrupaciones (por ejemplo, P1, P5 y P9) usan habitualmente la misma estructura de referencia de instantáneas relativa. Por ejemplo, la instantánea P5 usa las instantáneas P4 y P2 como instantáneas de referencia, mientras que la instantánea P9 usa las instantáneas P8 y P6 como instantáneas de referencia.

Con el fin de dar cabida a estructuras de agrupamiento periódicas tales como la estructura anterior, un enfoque concebible es la señalización periódica de descripciones de memoria intermedia. Esta descripción de memoria intermedia especifica las posiciones o distancias temporales de las instantáneas de referencia en relación con una instantánea objetivo que se va a codificar o descodificar. Al hacer esto, se pueden especificar las instantáneas de referencia almacenadas en la DPB. Por ejemplo, esta descripción de memoria intermedia se señaliza una vez en el conjunto de parámetros de instantánea (PPS). A continuación, se hace referencia a esta descripción de memoria intermedia repetidamente en los encabezamientos de segmento de las instantáneas que tienen la misma posición relativa dentro de una agrupación. Por ejemplo, se puede usar una descripción de memoria intermedia que especifica unas posiciones relativas de {-1, -3} tanto en P5 para especificar {P4, P2} como instantáneas de referencia como en P9 para especificar {P8, P6} como instantáneas de referencia.

La figura 2 muestra un ejemplo de la estructura de señalización de la descripción de memoria intermedia en este caso. Un flujo de bits codificado 500 mostrado en la figura 2 incluye un conjunto de parámetros de secuencia (SPS) 501 (SPS0), una pluralidad de conjuntos de parámetros de instantánea (^pP^s) 502 (PPS0 y PPS1) y una pluralidad de datos de instantánea 503. Cada uno de los datos de instantánea 503 incluye una pluralidad de datos de segmento 535. Cada uno de los datos de segmento 535 incluye un encabezamiento de segmento 541 y una parte de datos de segmento 542. La parte de datos de segmento 542 incluye una pluralidad de datos de unidad de codificación (CU) 543.

Cada uno de los PPS 502 incluye un identificador de PPS 522 (pps_id) y una información de definición de descripción de memoria intermedia 512 (definición de BD). La información de definición de descripción de memoria intermedia 512 indica una pluralidad de descripciones de memoria intermedia 515 (BD0 a BDn). Cada una de las descripciones de memoria intermedia 515 incluye una pluralidad de elementos de memoria intermedia 515A (BE0 a Por lo tanto, la pluralidad de descripciones de memoria intermedia 515 se definen usando la información de definición de descripción de memoria intermedia 512 en los conjuntos de parámetros de instantánea 502. Cada uno de los PPS 502 se identifica mediante un identificador de PPS 522 único para el PPS.

El encabezamiento de segmento 541 incluye información de selección de PPS 533 (pps_select) e información de actualización de descripción de memoria intermedia 523 (actualización de BD).

La información de selección de PPS 533 indica el PPS 502 al que se hace referencia durante la codificación o descodificación del segmento. En el ejemplo de la figura 2, se satisface pps_select = 0 y se selecciona el PPS0 que tiene pps_id = 0.

La información de actualización de descripción de memoria intermedia 523 incluye información que especifica la descripción de memoria intermedia seleccionada de entre las descripciones de memoria intermedia 515. En el ejemplo en la figura 2, se selecciona la descripción de memoria intermedia BD1. Además, la información de actualización de descripción de memoria intermedia 523 incluye información de modificación de descripción de memoria intermedia. La información de modificación de descripción de memoria intermedia asigna un identificador de instantánea a un elemento de memoria intermedia 515A seleccionado dentro de la descripción de memoria intermedia 515 seleccionada. En el presente caso, el identificador de instantánea se especifica o bien usando su posición relativa o bien usando un identificador único para la instantánea. El identificador único para la instantánea incluye, por ejemplo, el número de recuento de orden de instantánea (POC). En el ejemplo de la figura 2, la instantánea P214 identificada por su número de POC = 214 se asigna al elemento de memoria intermedia BE0 dentro de la descripción de memoria intermedia BD1. Esta modificación se aplica solo al segmento objetivo actual y no se aplica a segmentos posteriores.

En un flujo de bits codificado, las instantáneas de referencia usadas para el proceso de inter predicción de unidades de predicción (un bloque N x N) se identifican usando índices de referencia. Todas las instantáneas de referencia disponibles y sus índices de referencia asociados se describen en una lista de referencia. Cuando se usa una inter predicción bipredictiva, se usan dos listas de referencia para describir dos grupos de instantáneas de referencia y los índices de referencia asociados. Unos índices de referencia más pequeños se representan con menos bits en el flujo de bits codificado en comparación con índices de referencia más grandes. Por lo tanto, se logra una eficiencia de codificación más alta asignando índices de referencia más pequeños a las instantáneas de referencia usadas frecuentemente.

Al inicio de la codificación o descodificación de un segmento, se construye una lista de referencia por defecto asignando índices a todas las instantáneas de referencia disponibles de acuerdo con un esquema de ordenación predeterminado. El aparato de codificación de imágenes puede reordenar además los índices de referencia incluidos en la lista de referencia por defecto y escribir información de reordenación de lista de referencia en el encabezamiento de segmento en el flujo de bits codificado. La lista de referencia reordenada se aplica solo al segmento objetivo actual y no se aplica a segmentos posteriores.

En el presente caso, la información de reordenación de lista de referencia (parámetro) para describir la reordenación de lista de referencia usa las diferencias de número de instantánea o las diferencias de número de POC para especificar una instantánea de referencia que se va a reordenar en una lista de instantáneas de referencia. Específicamente, el valor de diferencia se calcula o bien entre el número de instantánea (número de POC) del segmento (o instantánea) actual y el número de instantánea (número de POC) de la instantánea de referencia que se va a reordenar, o bien entre el número de instantánea (número de POC) de la instantánea de referencia que se va a reordenar y el número de instantánea (número de POC) de la instantánea de referencia previamente reordenada. El valor de diferencia puede ser un valor positivo o uno negativo. Para reordenar una instantánea de referencia a largo plazo en una lista de instantáneas de referencia, se usa un conjunto separado de parámetros en el que se identifica una instantánea de referencia a largo plazo usando el valor absoluto de su número de instantánea a largo plazo.

En la anterior técnica, la información de reordenación de lista de referencia usa el número de instantánea o el número de POC para especificar una instantánea de referencia que se va a reordenar. Por otro lado, el conjunto de instantáneas de referencia disponibles en la DPB también se identifica de forma única y se enumera completamente en la descripción de memoria intermedia activa. Los inventores de la presente invención hallaron que la información fácilmente disponible en la descripción de memoria intermedia no se utiliza en la información de reordenación de lista de instantáneas de referencia. Por lo tanto, la información de reordenación de lista de referencia en la anterior técnica usa información redundante.

Además, los inventores de la presente invención hallaron que la anterior técnica tiene el problema de que la información (parámetros) para describir la reordenación de lista de referencia solo se aplica una vez en un segmento actual que se va a codificar o descodificar. Sin embargo, como se ha descrito anteriormente, múltiples instantáneas en una secuencia de vídeo comparten la misma estructura de referencia en algunos casos. En consecuencia, en el flujo de bits codificado se señaliza repetidamente una información para describir el mismo proceso de reordenación de lista de referencia.

Por lo tanto, los inventores de la presente invención hallaron el problema de una disminución en la eficiencia de codificación que es debida a información repetida incluida en el flujo de bits codificado.

El procedimiento de codificación de imágenes de acuerdo con un aspecto de la presente invención es un procedimiento de codificación de imágenes para generar un flujo de bits codificado codificando una imagen usando (i) una descripción de memoria intermedia para especificar una instantánea que se va a contener en una memoria intermedia y (ii) una lista de referencia para especificar una instantánea a la que se va a hacer referencia, y comprende: escribir, en el flujo de bits codificado, información de definición de descripción de memoria intermedia para definir la descripción de memoria intermedia; construir una lista de referencia por defecto que incluye una pluralidad de instantáneas indicadas en la descripción de memoria intermedia; reordenar las instantáneas incluidas en la lista de referencia por defecto; escribir, en el flujo de bits codificado, información de reordenación de lista de referencia para indicar detalles de la reordenación; y codificar la imagen usando la descripción de memoria intermedia y una lista de referencia resultante de la reordenación, en el que, en la información de reordenación de lista de referencia, entre las instantáneas, se especifica una instantánea que se va a reordenar usando un índice que se usa en otro procesamiento en el procedimiento de codificación de imágenes.

Al hacer esto, se especifica una instantánea que se va a reordenar usando un índice que también se usa en otro procesamiento. Por lo tanto, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de codificación de imágenes y el aparato de descodificación de imágenes implican una cantidad reducida de cálculo.

Por ejemplo, la información de definición de descripción de memoria intermedia y la información de reordenación de lista de referencia se escriben en diferentes encabezamientos que pertenecen a capas de abstracción de red (NAL) de diferentes tipos.

Al hacer esto, se especifica una instantánea que se va a reordenar usando un índice de elemento de memoria intermedia que se usa en una descripción de memoria intermedia. Por lo tanto, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de codificación de imágenes y el aparato de descodificación de imágenes implican una cantidad reducida de cálculo. Por ejemplo, la reordenación incluye: seleccionar, de entre las instantáneas incluidas en la lista de referencia, una primera instantánea que se va a reordenar; asignar un primer índice de referencia predeterminado a la primera instantánea; e incrementar, en uno, un índice de referencia de cada una de las instantáneas que es mayor o igual que el primer índice de referencia, siendo cada una de las instantáneas una instantánea incluida en la lista de referencia distinta de la primera instantánea.

Por ejemplo, en la reordenación, un procesamiento que incluye la selección, la asignación y el incremento se realiza repetidamente un número predeterminado de veces, en una invocación inicial del procesamiento, el primer índice de referencia se establece a cero y, en cada invocación subsiguiente del procesamiento, el primer índice de referencia establecido en una invocación inmediatamente previa del procesamiento se incrementa en uno.

Por ejemplo, en la información de reordenación de lista de referencia, la instantánea que se va a reordenar se indica usando un valor absoluto del índice.

Por ejemplo, en la información de reordenación de lista de referencia, entre una pluralidad de instantáneas objetivo que se van a reordenar, se indica una instantánea objetivo inicial usando un valor absoluto del índice, y entre las instantáneas objetivo, se indica una instantánea objetivo distinta de la instantánea objetivo inicial usando un valor de diferencia entre el índice de la instantánea objetivo y el índice de una instantánea objetivo inmediatamente previa. Por ejemplo, la descripción de memoria intermedia incluye índices de elemento de memoria intermedia, cada uno asociado con un elemento de memoria intermedia que especifica una instantánea, y el índice es uno de los índices de elemento de memoria intermedia.

Al hacer esto, se puede reducir la cantidad de la información de reordenación de lista de referencia en el procedimiento de codificación de imágenes.

Por ejemplo, la información de definición de descripción de memoria intermedia define una pluralidad de descripciones de memoria intermedia que incluyen la descripción de memoria intermedia, la información de definición de descripción de memoria intermedia se escribe en un conjunto de parámetros de secuencia incluido en el flujo de bits codificado, el procedimiento de codificación de imágenes comprende además: definir una pluralidad de descripciones de lista de referencia que se corresponden una a una con las descripciones de memoria intermedia, y escribir, en un encabezamiento de segmento de un segmento actual incluido en el flujo de bits codificado, información de definición de descripción de lista de referencia que incluye la información de reordenación de lista de referencia; y seleccionar una de las descripciones de memoria intermedia, y escribir, en el encabezamiento de segmento, información de selección de descripción de memoria intermedia para especificar la descripción de memoria intermedia seleccionada y, en la codificación, el segmento actual se codifica usando la descripción de memoria intermedia seleccionada y una de las descripciones de lista de referencia que corresponde a la descripción de memoria intermedia seleccionada.

Al hacer esto, en el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención, la información de definición de descripción de lista de referencia se escribe en el conjunto de parámetros de instantánea compartido por una pluralidad de instantáneas. Esto permite que el aparato de codificación de imágenes reduzca la información redundante y, por lo tanto, mejore la eficiencia de la codificación en comparación con el caso en el que la información de definición de descripción de lista de referencia se escribe en un encabezamiento de segmento.

Además, el procedimiento de descodificación de imágenes de acuerdo con un aspecto de la presente invención es un procedimiento de descodificación de imágenes para descodificar un flujo de bits codificado usando (i) una descripción de memoria intermedia para especificar una instantánea que se va a contener en una memoria intermedia y (ii) una lista de referencia para especificar una instantánea a la que se va a hacer referencia, y comprende: obtener, del flujo de bits codificado, información de definición de descripción de memoria intermedia para definir la descripción de memoria intermedia; construir una lista de referencia por defecto que incluye una pluralidad de instantáneas indicadas en la descripción de memoria intermedia; obtener, a partir del flujo de bits codificado, información de reordenación de lista de referencia para indicar detalles de la reordenación que se va a realizar sobre la lista de referencia por defecto; reordenar, de acuerdo con la información de reordenación de lista de referencia, las instantáneas incluidas en la lista de referencia por defecto; y descodificar una instantánea o segmento actual usando la descripción de memoria intermedia y una lista de referencia resultante de la reordenación, en el que, en la información de reordenación de lista de referencia, entre las instantáneas, se especifica una instantánea que se va a reordenar usando un índice que se usa en otro procesamiento en el procedimiento de descodificación de imágenes.

Al hacer esto, se especifica una instantánea que se va a reordenar usando un índice que también se usa en otro procesamiento. Por lo tanto, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de descodificación de imágenes implica una cantidad reducida de cálculo.

Además, el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención es un aparato de codificación de imágenes para generar un flujo de bits codificado codificando una imagen usando (i) una descripción de memoria intermedia para especificar una instantánea que se va a contener en una memoria intermedia y (ii) una lista de referencia para especificar una instantánea a la que se va a hacer referencia, y comprende una unidad de control de memoria de tramas configurada para realizar lo siguiente: escribir, en el flujo de bits codificado, información de definición de descripción de memoria intermedia para definir la descripción de memoria intermedia; construir una lista de referencia por defecto que incluye una pluralidad de instantáneas indicadas en la descripción de memoria intermedia; reordenar las instantáneas incluidas en la lista de referencia por defecto; y escribir, en el flujo de bits codificado, información de reordenación de lista de referencia para indicar detalles de la reordenación, en el que el aparato de codificación de imágenes codifica la imagen usando la descripción de memoria intermedia y una lista de referencia resultante de la reordenación y, en la información de reordenación de lista de referencia, entre las instantáneas, se especifica una instantánea que se va a reordenar usando un índice que se usa en otro procesamiento en el aparato de codificación de imágenes.

Además, el aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención es un aparato de descodificación de imágenes para descodificar un flujo de bits codificado usando (i) una descripción de memoria intermedia para especificar una instantánea que se va a contener en una memoria intermedia y (ii) una lista de referencia para especificar una instantánea a la que se va a hacer referencia, y comprende una unidad de control de memoria de tramas configurada para realizar lo siguiente: obtener, del flujo de bits codificado, información de definición de descripción de memoria intermedia para definir la descripción de memoria intermedia; construir una lista de referencia por defecto que incluye una pluralidad de instantáneas indicadas en la descripción de memoria intermedia; obtener, a partir del flujo de bits codificado, información de reordenación de lista de referencia para indicar detalles de la reordenación que se va a realizar sobre la lista de referencia por defecto; y reordenar, de acuerdo con la información de reordenación de lista de referencia, las instantáneas incluidas en la lista de referencia por defecto, en el que el aparato de descodificación de imágenes descodifica una instantánea o segmento actual usando la descripción de memoria intermedia y una lista de referencia resultante de la reordenación y, en la información de reordenación de lista de referencia, entre la instantánea que se va a reordenar, se especifica una instantánea usando un índice que se usa en otro procesamiento en el aparato de descodificación de imágenes.

Además, un aparato de codificación y de descodificación de imágenes de acuerdo con un aspecto de la presente invención comprende el aparato de codificación de imágenes y el aparato de descodificación de imágenes.

En lo sucesivo, se describen realizaciones ilustrativas con mayor detalle con referencia a los dibujos adjuntos.

Cada una de las realizaciones ilustrativas descritas a continuación muestra un ejemplo general o específico. Los valores numéricos, formas, materiales, elementos estructurales, la disposición y conexión de los elementos estructurales, etapas, el orden de procesamiento de las etapas etc. mostrados en las siguientes realizaciones ilustrativas son meros ejemplos y, por lo tanto, no limitan la presente invención. Por lo tanto, entre los elementos estructurales en las siguientes realizaciones ilustrativas, los elementos estructurales no indicados en ninguna de las reivindicaciones independientes que definen la parte más genérica del concepto inventivo se describen como elementos estructurales arbitrarios.

En lo sucesivo se describen dos realizaciones. Será evidente para los expertos en la materia que se pueden llevar a cabo combinaciones de estas realizaciones para aumentar adicionalmente la usabilidad y adaptabilidad de las descripciones de listas de referencia periódicas.

(Primera realización)

En la presente realización, se especifica una instantánea que se va a reordenar usando un índice de elemento de memoria intermedia que se usa en una descripción de memoria intermedia. Al hacer esto, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de codificación de imágenes y el aparato de descodificación de imágenes implican una cantidad reducida de cálculo. [Aparato de codificación]

La figura 3 es un diagrama de bloques que muestra una estructura de un aparato de codificación de imágenes 100 de acuerdo con la presente realización.

El aparato de codificación de imágenes 100 codifica una señal de imagen de entrada 120 de una forma bloque por bloque con el fin de generar un flujo de bits codificado 132. Como se muestra en la figura 3, el aparato de codificación de imágenes 100 incluye un restador 101, una unidad de transformación ortogonal 102, una unidad de cuantificación 103, una unidad de cuantificación inversa 104, una unidad de transformación ortogonal inversa 105, un sumador 106, una memoria de bloques 107, una memoria de tramas 108, una unidad de intra predicción 109, una unidad de inter predicción 110, una unidad de determinación de tipo de instantánea 111, una unidad de codificación de longitud variable 112 y una unidad de control de memoria de tramas 113.

La señal de imagen de entrada 120 es un flujo de bits de imagen o vídeo. El restador 101 calcula una diferencia entre los datos de imagen de predicción 131 y la señal de imagen de entrada 120, generando de ese modo datos de error de predicción 121. La unidad de transformación ortogonal 102 realiza una transformación ortogonal sobre los datos de error de predicción 121 para generar coeficientes de frecuencia 122. La unidad de cuantificación 103 cuantifica los coeficientes de frecuencia 122, generando de ese modo valores cuantificados 123. La unidad de codificación de longitud variable 112 realiza una codificación por entropía (codificación de longitud variable) sobre los valores cuantificados 123, generando de ese modo el flujo de bits codificado 132.

La unidad de cuantificación inversa 104 cuantifica inversamente los valores cuantificados 123, generando de ese modo coeficientes de frecuencia 124. La unidad de transformación ortogonal inversa 105 realiza una transformación ortogonal inversa sobre los coeficientes de frecuencia 122, generando de ese modo datos de error de predicción 125. El sumador 106 añade los datos de error de predicción 125 y los datos de imagen de predicción 131, generando de ese modo los datos de imagen descodificados 126. La memoria de bloques 107 contiene los datos de imagen descodificados 126 como datos de imagen descodificados 127 de una forma bloque por bloque. La memoria de tramas 108 contiene los datos de imagen descodificados 126 como datos de imagen descodificados 128 de una forma trama por trama.

La unidad de intra predicción 109 realiza una intra predicción para generar datos de imagen de predicción 129 de un bloque actual que se va a codificar. Específicamente, la unidad de intra predicción 109 busca dentro de los datos de imagen descodificados 127 almacenados en la memoria de bloques 107 y estima un área de imagen que es la más similar a la señal de imagen de entrada 120.

La unidad de inter predicción 110 realiza una inter predicción usando los datos de imagen descodificados por trama 128 almacenados en la memoria de tramas 108, para generar datos de imagen de predicción 130 del bloque actual. La unidad de determinación de tipo de instantánea 111 selecciona uno de los datos de imagen de predicción 129 y los datos de imagen de predicción 130 y emite los datos seleccionados como los datos de imagen de predicción 131.

La unidad de control de memoria de tramas 113 gestiona los datos de imagen descodificados 128 almacenados en la memoria de tramas 108. Específicamente, la unidad de control de memoria de tramas 113 determina si los datos de imagen descodificados 128 se mantienen en la memoria de tramas 208 o se retiran de la memoria de tramas 208. Además, la unidad de control de memoria de tramas 113 construye listas de referencia que van a ser usadas por la unidad de inter predicción 110. Además, la unidad de control de memoria de tramas 113 genera información de control de memoria de tramas 133 que incluye la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia. La unidad de codificación de longitud variable 112 genera el flujo de bits codificado 132 que incluye esta información de control de memoria de tramas 133.

[Proceso de codificación]

A continuación, se da una descripción para un procedimiento de codificación de imágenes que es realizado por el aparato de codificación de imágenes 100 como se ha mencionado anteriormente.

La figura 4 es un diagrama de flujo de un procedimiento de codificación de imágenes de acuerdo con la presente realización.

En primer lugar, el aparato de codificación de imágenes 100 escribe, en un primer encabezamiento de un flujo de bits, información de definición de descripción de memoria intermedia que define descripciones de memoria intermedia (S101). Las descripciones de memoria intermedia se usan para especificar instantáneas que se van a contener en la memoria intermedia (memoria de tramas). Específicamente, cada una de las descripciones de memoria intermedia incluye una pluralidad de elementos de memoria intermedia. Cada elemento de memoria intermedia contiene un identificador de instantánea único (tal como un número de POC) correspondiente a una instantánea de referencia almacenada en la memoria de tramas. Esto significa que cada una de las descripciones de memoria intermedia indica una pluralidad de instantáneas de referencia almacenadas en la memoria de tramas. A continuación, el aparato de codificación de imágenes 100 construye una lista de referencia por defecto que incluye todas las instantáneas de referencia que se indican en las descripciones de memoria intermedia (S102). En el presente caso, la lista de referencia por defecto es una lista de referencia que se construye de acuerdo con un esquema de construcción de lista de referencia por defecto predeterminado en el aparato de codificación de imágenes y el aparato de descodificación de imágenes. En otras palabras, como la lista de referencia por defecto para la misma instantánea (o segmento), se construye la misma lista de referencia en el aparato de codificación de imágenes y el aparato de descodificación de imágenes.

A continuación, el aparato de codificación de imágenes 100 reordena la pluralidad de instantáneas de referencia incluidas en la lista de referencia por defecto construida (S103).

El aparato de codificación de imágenes 100 escribe entonces, en el segundo encabezamiento del flujo de bits codificado, la información de reordenación de lista de referencia que indica los detalles de la reordenación en la etapa S103 (S104). En el presente caso, en la información de reordenación de lista de referencia, se especifica una instantánea que se va a reordenar usando su índice de elemento de memoria intermedia en la descripción de memoria intermedia.

Finalmente, el aparato de codificación de imágenes 100 codifica un segmento actual usando la descripción de memoria intermedia y la lista de referencia resultante de la reordenación (S105). Además, el aparato de codificación de imágenes 100 genera el flujo de bits codificado 132 que incluye los datos codificados resultantes.

En el presente caso, el primer y el segundo encabezamientos pertenecen a la misma unidad de capa de abstracción de red (NAL) única. Un ejemplo de la unidad de NAL única es una unidad de NAL de segmento. Esto significa que el primer y el segundo encabezamientos son, cada uno, un encabezamiento de segmento único. Se ha de hacer notar que esta misma unidad de NAL única puede ser una unidad de NAL de conjunto de parámetros de adaptación (APS), una unidad de NAL de conjunto de parámetros de instantánea (PPS) o una unidad de NAL de conjunto de parámetros de secuencia (SPS).

Además, el primer y el segundo encabezamientos anteriores pertenecen a unidades de NAL de diferentes tipos de unidad de NAL. Por ejemplo, el primer encabezamiento pertenece a una unidad de NAL de SPS mientras que el segundo encabezamiento pertenece a una unidad de NAL de APS. Como alternativa, puede ser que el primer encabezamiento pertenezca a una unidad de NAL de PPS mientras que el segundo encabezamiento pertenece a una unidad de NAL de APS. Puede ser que el primer encabezamiento pertenezca a una unidad de NAL de SPS mientras que el segundo encabezamiento pertenece a una unidad de NAL de segmento. Puede ser que el primer encabezamiento pertenezca a una unidad de NAL de PPS mientras que el segundo encabezamiento pertenece a una unidad de NAL de segmento.

Lo siguiente describe un proceso de reordenación de la lista de referencia por defecto (S103) mostrada en la figura 4. La figura 5 es un diagrama de flujo del primer ejemplo de esta reordenación (S103).

En primer lugar, el aparato de codificación de imágenes 100 identifica y selecciona una instantánea de referencia que se va a reordenar de entre las instantáneas de referencia incluidas en una lista de referencia actual (S111). En el flujo de bits codificado, la instantánea de referencia que se va a reordenar se indica usando su índice de elemento de memoria intermedia correspondiente dentro de la descripción de memoria intermedia activa.

A continuación, el aparato de codificación de imágenes 100 asigna un índice de referencia predeterminado a la instantánea de referencia que se va a reordenar en la lista de referencia (S112).

A continuación, el aparato de codificación de imágenes 100 incrementa los índices de referencia en uno para las instantáneas de referencia distintas de la instantánea de referencia anterior que se va a reordenar que están en la lista de instantáneas de referencia y tienen índices de referencia mayores o iguales que el índice de referencia predeterminado (S113).

Se da un ejemplo específico como sigue. Por ejemplo, se selecciona una instantánea de referencia R en la etapa S111. A continuación, a la instantánea de referencia R se le asigna un índice de referencia = 2 en la etapa S112. Posteriormente, en la etapa S113, los índices de referencia de las instantáneas de referencia que previamente tenían índices de referencia 2 o mayores asignados a los mismos entre las otras instantáneas de referencia en la lista de referencia por defecto se incrementan para ser 3 o más. Al hacer esto, se construye una lista de referencia reordenada.

La figura 6 es un diagrama de flujo del segundo ejemplo de la reordenación (S103).

La reordenación (S103) mostrada en la figura 6 incluye un número predeterminado de procesos repetitivos. Cada uno de los procesos repetitivos incluye un procesamiento que corresponde a las etapas S111 a S113 anteriores mostradas en la figura 5. Específicamente, cada uno de los procesos repetitivos incluye un proceso de selección de una instantánea de referencia que se va a reordenar (S122), un proceso de asignación de un índice de referencia a la instantánea de referencia que se va a reordenar (S123), y un proceso de incrementar índices de referencia en uno (S124). Por ejemplo, el flujo de bits codificado incluye información que indica el número de veces de este proceso repetitivo. Se ha de hacer notar que el flujo de bits codificado puede incluir información que indica si, después de cada uno de los procesos repetitivos, se va a realizar o no otro conjunto del proceso repetitivo.

En primer lugar, el aparato de codificación de imágenes 100 establece el primer índice de referencia a cero (S121) en el proceso repetitivo inicial y entonces realiza el procesamiento en las etapas S122 a S124.

Específicamente, el aparato de codificación de imágenes 100 identifica y selecciona una instantánea de referencia que se va a reordenar de entre las instantáneas de referencia incluidas en una lista de referencia actual (S122). En el flujo de bits codificado, la instantánea de referencia que se va a reordenar se indica usando su índice de elemento de memoria intermedia correspondiente dentro de la descripción de memoria intermedia activa.

A continuación, el aparato de codificación de imágenes 100 asigna un índice de referencia predeterminado (= 0) a la instantánea de referencia que se va a reordenar en la lista de referencia (S123).

A continuación, el aparato de codificación de imágenes 100 incrementa los índices de referencia en uno para las instantáneas de referencia distintas de la instantánea de referencia anterior que se va a reordenar que están en la lista de instantáneas de referencia y tienen índices de referencia mayores o iguales que el índice de referencia predeterminado (S124).

Cuando el primer índice de referencia es menor que un valor predeterminado (No en S125), es decir, cuando el proceso repetitivo no se ha realizado el número predeterminado de veces, el aparato de codificación de imágenes 100 incrementa el valor del primer índice de referencia en uno (S126) y entonces realiza el procesamiento en la etapa S122 y las siguientes etapas. En otras palabras, el procesamiento en las etapas S126 y S122 a S124 se realiza repetidamente hasta que el proceso repetitivo se ha realizado el número predeterminado de veces (Sí en S125).

En el presente caso, en la presente realización, se indica una instantánea de referencia que se va a reordenar en la información de reordenación de lista de referencia incluida en el flujo de bits codificado, usando el valor absoluto de su índice de elemento de memoria intermedia.

Puede ser que la información de reordenación de lista de referencia indique, entre las instantáneas de referencia que se van a reordenar, una instantánea de referencia inicial usando el valor absoluto de su índice de elemento de memoria intermedia, e indique cada una de las siguientes instantáneas de referencia que se van a reordenar, usando el valor de diferencia entre su índice de elemento de memoria intermedia y el índice de elemento de memoria intermedia de la instantánea de referencia inmediatamente previa que se va a reordenar. En concreto, puede ser que, en el proceso repetitivo inicial, se indique la instantánea de referencia que se va a reordenar usando el valor absoluto de su índice de elemento de memoria intermedia y, en cada uno del segundo y posteriores procesos repetitivos, se indique la instantánea de referencia que se va a reordenar usando el valor de diferencia entre los índices de elemento de memoria intermedia.

[Diagrama de sintaxis: Primer ejemplo]

Las figuras 7 y 8 son, cada una, un diagrama de sintaxis que muestra las ubicaciones de la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia en un flujo de bits codificado en el primer ejemplo de la presente realización.

El flujo de bits codificado 132 mostrado en la figura 7 incluye el SPS 301, el PPS 302 y una pluralidad de datos de instantánea 303. Cada uno de los datos de instantánea 303 incluye un encabezamiento de instantánea 331 y una parte de datos de instantánea 332. La parte de datos de instantánea 332 incluye una pluralidad de datos de segmento 335.

Cada uno de los datos de segmento 335 incluye un encabezamiento de segmento 341 y una parte de datos de segmento 342. La parte de datos de segmento 342 incluye una pluralidad de datos de unidad de codificación (CU) 343.

El encabezamiento de segmento 341 incluye información de definición de descripción de memoria intermedia 312 (definición de BD) e información de definición de descripción de lista de referencia 313 (definición de RLD).

La información de definición de descripción de memoria intermedia 312 define descripciones de memoria intermedia 315. Por ejemplo, como las descripciones de memoria intermedia 515 mencionadas anteriormente, las descripciones de memoria intermedia 315 incluyen, cada una, una pluralidad de elementos de memoria intermedia.

La información de definición de descripción de lista de referencia 313 define una pluralidad de descripciones de lista de referencia 316. Esta información de definición de descripción de lista de referencia 313 incluye la información de reordenación de lista de referencia mencionada anteriormente y una bandera de reordenación para indicar si se va a reordenar o no la lista de referencia por defecto.

Además, en un flujo de bits codificado 132A mostrado en la figura 8, la información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 se incluyen no en un encabezamiento de segmento 341A, sino en un encabezamiento de instantánea 331A. La información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 pueden incluirse en APS en HEVC. En el presente caso, una instantánea incluye una pluralidad de segmentos. Por lo tanto, todos los sectores incluidos en una instantánea usan una de las listas de referencia que se construyen de acuerdo con la información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313.

Se ha de hacer notar que "segmento" en la explicación anterior puede sustituirse por "unidad de subinstantánea (SPU)". La unidad de subinstantánea incluye, por ejemplo, una tesela, un segmento de entropía y un grupo de bloques que constituyen una partición de subinstantánea de procesamiento de frente de onda (unidad de procesamiento paralelo de frente de onda (WPP)).

La información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 anteriores se señalizan en la estructura de sintaxis del encabezamiento de segmento de acuerdo con el pseudocódigo en la tabla mostrada en la figura 9. Se ha de hacer notar que lo mismo es de aplicación a las estructuras de sintaxis del encabezamiento de SPU y el encabezamiento de instantánea.

Los descriptores definen el proceso de análisis de cada elemento de sintaxis de acuerdo con la misma representación de bits que el esquema de codificación de vídeo de AVC como sigue:

ue(v): elemento de sintaxis codificado por Golomb Exp entero sin signo con el bit izquierdo en primer lugar. u(n): entero sin signo que usa n bits. Cuando n es "v" en la tabla de sintaxis, el número de bits varía de una manera dependiente del valor de otros elementos de sintaxis.

Lo siguiente explica la semántica asociada con los elementos de sintaxis que representan la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia. En la figura 9, PredictionType indica el tipo de predicción del segmento (o SPU o instantánea) actual. PredictionType = P indica predicción única y PredictionType = B indica bipredicción. Este PredictionType es información indicada anteriormente en el flujo de bits codificado y es, por ejemplo, información indicada anteriormente en los elementos de sintaxis de encabezamiento de segmento precedentes o en la estructura de sintaxis de APS.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 9.

Las variables o listas BDDeltaPOC y BDTemporalID representan los elementos de memoria intermedia ordenados BE en la descripción de memoria intermedia activa BD.

number_of_bes_minus1 indica el número de elementos de memoria intermedia BE en la descripción de memoria intermedia BD. El número de elementos de memoria intermedia BE es (number_of_bes_minus1 1).

first_delta_poc_sign_flag indica el signo (más o menos) de la diferencia de POC entre una instantánea actual y la instantánea de referencia asociada con el elemento de memoria intermedia BE[0] en la descripción de memoria intermedia BD. first_delta_poc_sign_flag[i] igual a 0 especifica que la diferencia de POC tiene un valor positivo, mientras que first_delta_poc_sign_flag[i] igual a 1 especifica que la diferencia de POC tiene un valor negativo.

first_delta_poc_minus1 indica un valor de diferencia de POC absoluto entre una instantánea actual y la instantánea de referencia asociada con el elemento de memoria intermedia BE[0] en la descripción de memoria intermedia BD. first_delta_poc_sign_flag y first_delta_poc definen el valor de la variable con signo BDDeltaPOC[0] como BDDeltaPOC[0] = ( first_delta_poc_minus1 1 ) *

( 1 - 2 * first_delta_poc_sign_flag )

BDDeltaPOC[0] deberá ser el valor de diferencia de POC con signo más alto entre todas las instantáneas de referencia asociadas con los elementos de memoria intermedia BE[j] en la descripción de memoria intermedia BD. first_temporal_id especifica un identificador temporal y se representa mediante un número predeterminado de bits. Por ejemplo, el número predeterminado de bits se indica anteriormente en el flujo de bits codificado y se indica, por ejemplo, en el SPS activo o el PPS activo. first_temporal_id define el valor de la variable sin signo BDTemporalID[0] como BDTemporalID[0] = first_temporal_id

delta_poc_minus1[j] especifica un valor de distancia de POC negativo desde la instantánea de referencia asociada con el elemento de memoria intermedia BE[j] a la instantánea de referencia asociada con el elemento de memoria intermedia BE[j 1] en la descripción de memoria intermedia BD. delta_poc_minus1[j] define el valor de la variable con signo BDDeltaPOC[j 1] como

BDDeltaPOC[j 1] = BDDeltaPOC [j] -(delta_poc_minus1[j] 1)

temporal_id[j] especifica un identificador temporal y se representa mediante un número predeterminado de bits de manera similar a first_temporal_id. temporal_id[j] define el valor de la variable sin signo BDTemporalID[j 1] como BDTemporaIID[j 1] = temporal_id[j]

ref_pic_list_modification_flag_l0 igual a 1 especifica que num_ref_idx_10_active_minus1 y more_modification_flag están presentes para especificar la lista de instantáneas de referencia RL0 correspondiente a la descripción de memoria intermedia BD. ref_pic_list_modification_flag_l0 igual a 0 especifica que num_ref_idx_l0_active_minus1 y more_modification_flag no están presentes.

Cuando ref_pic_list_modification_flag_l0 es igual a 1, el número de veces que more_modification_flag es igual a 1 a continuación de ref_pic_list_modification_flag_l0 no deberá superar (num_ref_idx_10_active_minus1 1).

ref_pic_Nst_modification_flag_M igual a 1 especifica que el num_ref_idx_l1_active_minus1 y el more_modification_flag están presentes para especificar la lista de instantáneas de referencia RL1 correspondiente a la descripción de memoria intermedia BD. ref_pic_list_modification_flag_l1 igual a 0 especifica que num_ref_idx_l1_active_minus1 y more_modification_flag no están presentes.

Cuando ref_pic_list_modification_flag_l1 es igual a 1, el número de veces que more_modification_flag es igual a 1 a continuación de ref_pic_list_modification_flag_l1 no deberá superar (num_ref_idx_l1_active_minus1 1).

num_ref_idx_l0_active_minus1 especifica el índice de referencia máximo para la lista de instantáneas de referencia RL0 correspondiente a la descripción de memoria intermedia BD.

num_ref_idx_l1_active_minus1 especifica el índice de referencia máximo para la lista de instantáneas de referencia RL1 correspondiente a la descripción de memoria intermedia BD.

more_modification_flag junto con be_idx especifica cuáles de las instantáneas de referencia se correlacionan de nuevo. more_modification_flag igual a 1 especifica que be_idx está presente inmediatamente a continuación de more_modification_flag. more_modification_flag igual a 0 especifica el final del ciclo para correlacionar de nuevo instantáneas de referencia en la lista de instantáneas de referencia.

be_idx_in_ref_pic_list especifica la instantánea de referencia asociada con el elemento de memoria intermedia BE[be_idx_in_ref_pic_list] en la descripción de memoria intermedia actual BD. be_idx_in_ref_pic_list identifica la instantánea que se va correlacionar de nuevo en la lista de instantáneas de referencia actual RL0 o RL1 asociada con la descripción de memoria intermedia BD. El proceso de nueva correlación o reordenación se realiza siguiendo al procesamiento descrito en las figuras 5 y 6.

[Diagrama de sintaxis: Segundo ejemplo]

Las figuras 10 y 11 son, cada una, un diagrama de sintaxis que muestra las ubicaciones de la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia en un flujo de bits codificado en el segundo ejemplo de la presente realización. Lo siguiente describe principalmente diferencias con respecto al primer ejemplo y, por lo tanto, omite explicaciones superpuestas. Elementos iguales o semejantes a los elementos mostrados en las figuras 7 y 8 son indicados por las mismas referencias. Esto es de aplicación a otros ejemplos a continuación.

Un flujo de bits codificado 132B mostrado en la figura 10 es diferente del flujo de bits codificado 132 mostrado en la figura 7 en que el SPS incluye la información de definición de descripción de memoria intermedia 312. Específicamente, el flujo de bits codificado 132B mostrado en la figura 10 es diferente del flujo de bits codificado 132 mostrado en la figura 7 en que el SPS 301, el PPS 302 y el encabezamiento de segmento 341 se sustituyen por el SPS 301B, el PPS 302B y un encabezamiento de segmento 341B, respectivamente.

El SPS 301B incluye la información de definición de descripción de memoria intermedia 312 y un identificador de SPS 311 (sps_id).

La información de definición de descripción de memoria intermedia 312 define una pluralidad de descripciones de memoria intermedia 315. Además, la información de definición de descripción de memoria intermedia 312 incluye el número de descripciones de memoria intermedia 314 (number_of_bds) que indica el número de descripciones de memoria intermedia 315 incluidas en la información de definición de descripción de memoria intermedia 312.

Además, el SPS 301B se identifica mediante el identificador de SPS único 311 (por ejemplo, sps_id = 0).

Cada uno de los PPS 302B incluye información de selección de SPS 321 (sps_select) y un identificador de PPS 322 (pps_id). La información de selección de SPS 321 (por ejemplo, sps_select = 0) indica el SPS 301B al que se hace referencia. Además, cada uno de los SPS 302B se identifica mediante el identificador de PPS único 322 (por ejemplo, pps_id = 0).

El encabezamiento de segmento 341B incluye información de selección de PPS (pps_select) 333, información de selección de descripción de memoria intermedia 334 (bd_select), información de actualización de descripción de memoria intermedia 323 (actualización de BD) y la información de definición de descripción de lista de referencia 313.

La información de selección de PPS 333 (por ejemplo, pps_select = 0) indica el PPS 302B al que se hace referencia. Usando esta información de selección de PPS 333, se hace referencia a uno de los PPS 302B desde el encabezamiento de segmento 341B. Además, usando la información de selección de SPS 321 incluida en el PPS 302B, se hace referencia al SPS 301B desde el PPS 302B al que se hace referencia. Esto vincula el segmento actual a la pluralidad disponible de descripciones de memoria intermedia definidas en el SPS 301B.

Con la información de selección de descripción de memoria intermedia 334 (por ejemplo, bd_select = 2), se especifica una de las descripciones de memoria intermedia. Por lo tanto, se selecciona una descripción de memoria intermedia de entre la pluralidad de descripciones de memoria intermedia.

La información de actualización de descripción de memoria intermedia 323 es información para actualizar la descripción de memoria intermedia seleccionada. La descripción de memoria intermedia actualizada se usa entonces en el proceso de codificación o descodificación del segmento actual. Cuando no se actualizan las descripciones de memoria intermedia por defecto definidas usando la información de definición de descripción de memoria intermedia 312 incluida en el SPS 301B, el encabezamiento de segmento 341B no incluye la información de actualización de descripción de memoria intermedia 323.

Como un flujo de bits codificado 132C mostrado en la figura 11, la información de definición de descripción de memoria intermedia 312 se puede incluir en el PPS 302C.

La información de definición de descripción de memoria intermedia 312 anterior se señaliza en la estructura de sintaxis del conjunto de parámetros de secuencia de acuerdo con el pseudocódigo en la tabla mostrada en la figura 12. Se ha de hacer notar que lo mismo es de aplicación a la estructura de sintaxis del conjunto de parámetros de instantánea. La información de actualización de descripción de memoria intermedia 323 y la información de definición de descripción de lista de referencia 313 anteriores se señalizan en la estructura de sintaxis del encabezamiento de segmento de acuerdo con el pseudocódigo en la tabla mostrada en la figura 13. Se ha de hacer notar que lo mismo es de aplicación a las estructuras de sintaxis del encabezamiento de SPU y el encabezamiento de instantánea.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 12.

Las variables o listas BDDeltaPOC[i] y BDTemporalID[i] representan los elementos de memoria intermedia ordenados BE[i] en la descripción de memoria intermedia activa BD[i].

bits_for_temporal_id indica el número de bits de first_temporal_id y temporal_id.

number_of_bds (el número de descripciones de memoria intermedia 314) indica el número de number_of_bes_minus1 incluidos en el ^sP^s301. En otras palabras, number_of_bds indica el número de descripciones de memoria intermedia 315 incluidas en el SPS 301.

number_of_bes_minus1[i] indica el número de elementos de memoria intermedia en la descripción de memoria intermedia BD[i].

first_delta_poc_sign_flag[i] indica el signo (más o menos) de la diferencia de POC entre una instantánea actual y la instantánea de referencia asociada con el elemento de memoria intermedia BE[i][0] en la descripción de memoria intermedia BD[i]. first_delta_poc_sign_flag[i] igual a 0 especifica que la diferencia de POC tiene un valor positivo, mientras que first_delta_poc_sign_flag[i] igual a 1 especifica que la diferencia de POC tiene un valor negativo.

first_delta_poc_minus1[i] indica un valor de diferencia de POC absoluto entre una instantánea actual y la instantánea de referencia asociada con el elemento de memoria intermedia BE[i][0] en la descripción de memoria intermedia BD[i]. first_delta_poc_sign_flag[i] y first_delta_poc[i] definen el valor de la variable con signo BDDeltaPOC[i][0] como

BDDeltaPOC[i][0] = ( first_delta_poc_minus1[i] 1 ) * (1 - 2 * first_delta_poc__sign_flag[i] ) BDDeltaPOC[i][0] deberá ser el valor de diferencia de POC con signo más alto entre todas las instantáneas de referencia asociadas con los elementos de memoria intermedia BE[i][j] en la descripción de memoria intermedia BD[i].

first_temporal_id[i] especifica un identificador temporal y se representa mediante bits_for_temporal_id bits. first_temporal_id[i] define el valor de la variable sin signo BDTemporalID[i][0] como BDTemporalID[i][0] = first_temporal_id[i ]

delta_poc_minus1[i][j] indica un valor de distancia de POC negativo desde la instantánea de referencia asociada con el elemento de memoria intermedia BE[i][j] a la instantánea de referencia asociada con el elemento de memoria intermedia BE[i][j 1] en la descripción de memoria intermedia BD[i]. delta_poc_minus1[i][j] define el valor de la variable con signo BDDeltaPOC[i][j 1] como

BDDeltaPOC[i][j l] = BDDeltaPOC[i][j] -(delta_poc_minus1[i][j] 1) temporal_id[i][j] especifica un identificador temporal y se representa mediante bits_for_temporal_id bits. temporal_id[i] define el valor de la variable sin signo BDTemporalID[i][j 1] como BDTemporalID[i][j 1] = temporal_id[i][j]

Lo siguiente describe los elementos de sintaxis mostrados en la figura 13.

La variable PredictionType indica el tipo de predicción del segmento (o SPU o instantánea) actual. Los detalles de PredictionType son como se ha descrito anteriormente.

Las variables o listas BDDeltaPOC[bd_select] y BDTemporalID[bd_select] representan los elementos de memoria intermedia ordenados BE[bd_select] en la descripción de memoria intermedia seleccionada BD[bd_select]. Las variables o listas actualizadas BDDeltaPOC[bd_select] y BDTemporalID[bd_select] representan la descripción de memoria intermedia activa usada en el proceso de codificación o descodificación del segmento actual.

bd_select especifica un índice en las listas BDDeltaPOC y BDTemporalID que representa la descripción de memoria intermedia BD[bd_select] que va a ser modificada por el encabezamiento de segmento.

bd_modification_operation especifica una operación de modificación que se va a aplicar sobre la descripción de memoria intermedia seleccionada BD[bd_select]. bd_modification_operation igual a 0 especifica el final del bucle para modificar la descripción de memoria intermedia BD[bd_select].

En la presente realización, mientras bd_modification_operation igual a 1 especifica que a un elemento de memoria intermedia indicado por be_idx_in_bd_update en la descripción de memoria intermedia BD[bd_select] se le va a asignar un valor de diferencia de POC para una instantánea actual. Este valor de diferencia de POC representa una diferencia entre el número de POC de la instantánea de referencia y el número de POC de la instantánea o segmento actual.

En implementaciones alternativas, se pueden definir operaciones de modificación de descripción de memoria intermedia adicionales indicadas por bd_modification_operation. Un ejemplo es la operación para asignar un marcado para una instantánea indicada por un elemento de memoria intermedia como una instantánea de referencia a corto plazo o a largo plazo.

be_idx_in_bd_update especifica el elemento de memoria intermedia que se va a modificar en la descripción de memoria intermedia BD[bd_select].

delta_poc_sign_flag especifica el signo (más o menos) de la diferencia de POC entre una instantánea actual y la instantánea de referencia que se va a asociar con el elemento de memoria intermedia BE[bd_select][be_idx_in_bd_update] en la descripción de memoria intermedia BD[bd_select]. delta_poc_sign_flag igual a 0 especifica que la diferencia de POC tiene un valor positivo, mientras que delta_poc_sign_flag igual a 1 especifica que la diferencia de POC tiene un valor negativo.

delta_poc_minus1 especifica un valor de diferencia de POC absoluto entre una instantánea actual y la instantánea de referencia que se va a asociar con el elemento de memoria intermedia BE[bd_select][be_idx_in_bd_update] en la descripción de memoria intermedia BD[bd_select]. first_delta_poc_sign_flag y first_delta_poc definen el valor de la variable con signo BDDeltaPOC[bd_select][be_idx_in_bd_update] como BDDeltaPOC[bd_select][be_idxin_bd_update =

delta_poc_minus1 1 = *

( 1 - 2 * delta_poc_sign_flag )

temporal_id especifica un identificador temporal y se representa mediante bits_for_temporal_id bits. temporaljd define el valor de la variable sin signo BDTemporalID[bd_select][be_idx_in_bd_update] como BDTemporalID[bd_select][be_idx_in_bd_update] = temporaljd

La semántica de los elementos de sintaxis de la información de definición de descripción de lista de referencia reJpicJist_modification_flagJ0, ref_pic_list_modification_flag_l1, num_ref_idx_10_active_minus1, num_ref_idxJ1_active_minus1, more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 13 es la misma que la de la figura 9.

[Diagrama de sintaxis: Tercer ejemplo]

Las figuras 14 y 15 son, cada una, un diagrama de sintaxis que muestra las ubicaciones de la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia en un flujo de bits codificado en el tercer ejemplo de la presente realización.

Un flujo de bits codificado 132D mostrado en la figura 14 es diferente del flujo de bits codificado 132B mostrado en la figura 10 en que el SPS incluye la información de definición de descripción de lista de referencia 313. Específicamente, el flujo de bits codificado 132D mostrado en la figura 14 es diferente del flujo de bits codificado 132b mostrado en la figura 10 en que el SPS 301B y el encabezamiento de segmento 341B se sustituyen por el SPS 301D y un encabezamiento de segmento 341D, respectivamente.

El SPS 301D incluye además la información de definición de descripción de lista de referencia 313 además de la información de definición de descripción de memoria intermedia 312 y el identificador de SPS 311.

La información de definición de descripción de lista de referencia 313 define una pluralidad de descripciones de lista de referencia 316. Cada descripción de lista de referencia 316 (por ejemplo, RLD2) está asociada exclusivamente con una descripción de memoria intermedia 315 (por ejemplo, BD2).

El encabezamiento de segmento 341D incluye la información de selección de PPS 333, la información de selección de descripción de memoria intermedia 334, la información de actualización de descripción de memoria intermedia 323 y la información de actualización de descripción de lista de referencia 324 (RLD update).

La información de actualización de descripción de lista de referencia 324 es información para actualizar la descripción de lista de referencia que corresponde a la descripción de memoria intermedia actualizada. La descripción de memoria intermedia actualizada y la descripción de lista de referencia se usan entonces en el proceso de codificación o descodificación del segmento actual. Cuando no se actualizan las descripciones de memoria intermedia por defecto y la descripción de lista de referencia definidas usando la información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313, respectivamente, que se incluyen en el SPS 301D, el encabezamiento de segmento 341D no incluye la información de actualización de descripción de memoria intermedia 323 o la información de actualización de descripción de lista de referencia 324.

En el SPS 301D, la información de definición de descripción de lista de referencia 313 sigue a la información de definición de descripción de memoria intermedia 312. En el encabezamiento de segmento 341D, la información de actualización de descripción de lista de referencia 324 sigue a la información de actualización de descripción de memoria intermedia 323. La información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324 incluyen, cada una, una bandera de reordenación para indicar si se va a reordenar o no la lista de referencia. Cuando se va a reordenar la lista de referencia, cada una de la información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324 incluye además información de reordenación de lista de referencia que indica los detalles de la reordenación.

Cuando la información de actualización de descripción de lista de referencia 324 indica que no se va a realizar la reordenación, se construye una lista de referencia usando la información de definición de descripción de lista de referencia 313. Por otro lado, cuando la información de actualización de descripción de lista de referencia 324 indica que se va a realizar la reordenación, no se usa la lista de referencia construida usando la información de definición de descripción de lista de referencia 313, sino que la lista de referencia se construye usando la información de actualización de descripción de lista de referencia 324. Específicamente, se construye una lista de referencia por defecto de acuerdo con un esquema de construcción de lista de referencia por defecto predeterminado. A continuación, la lista de referencia por defecto se reordena de acuerdo con la información de reordenación incluida en la información de actualización de descripción de lista de referencia 324. En otras palabras, la lista de referencia reordenada usando la información de definición de descripción de lista de referencia 313 sobrescribe la lista de referencia reordenada usando la información de actualización de descripción de lista de referencia 324. En el presente caso, en la información de reordenación de lista de referencia incluida en la información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324, se identifica una lista de referencia que se va a reordenar usando su índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia.

Como un flujo de bits codificado 132E mostrado en la figura 15, la información de definición de descripción de lista de referencia 313 se puede incluir en el PPS 302E.

La información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 anteriores se señalizan en la estructura de sintaxis del conjunto de parámetros de secuencia de acuerdo con el pseudocódigo en la tabla mostrada en la figura 16. Se ha de hacer notar que lo mismo es de aplicación a la estructura de sintaxis del conjunto de parámetros de instantánea. La información de actualización de descripción de memoria intermedia 323 y la información de actualización de descripción de lista de referencia 324 anteriores se señalizan en la estructura de sintaxis del encabezamiento de segmento de acuerdo con el pseudocódigo en la tabla mostrada en la figura 17. Se ha de hacer notar que lo mismo es de aplicación a las estructuras de sintaxis del encabezamiento de SPU y el encabezamiento de instantánea.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 16.

Las variables o listas BDDeltaPOC[i] y BDTemporalID[i] representan los elementos de memoria intermedia ordenados BE[i] en la descripción de memoria intermedia activa BD.

La semántica de los elementos de sintaxis de la información de definición de descripción de memoria intermedia bits_for_temporal_id, number_of_bds, number_of_bes_minusl[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] y temporal_id[i][j] mostrados en la figura 16 es la misma que la de la figura 12.

ref_pic_list_modification_flag_l0[i] igual a 1 especifica que num_ref_idx_l0_active_minus1[i] y more_modification_flag están presentes para especificar la lista de instantáneas de referencia RL0[i] correspondiente a la descripción de memoria intermedia BD[i]. ref_pic_list_modification_flag_l0[i] igual a 0 especifica que num_ref_idx_l0_active_minus1[i] y more_modification_flag no están presentes.

Cuando ref-pic_list-modification_flag-l0[i] es igual a 1, el número de veces que more_modification_flag es igual a 1 a continuación de ref_pic_list_modification_flag_l0[i] no deberá superar (num_ref_idx_l0_active_minusl[i] 1).

ref_pic_Nst_modification_flag_M[i] igual a 1 especifica que num_ref_idx_l1_active_minusl[i] y more_modification_flag están presentes para especificar la lista de instantáneas de referencia RL1[i] correspondiente a la descripción de memoria intermedia BD[i]. ref_pic_list_modification_flag_l1[i] igual a 0 especifica que num_ref_idx_l1_active_minus1[i] y more_modification_flag no están presentes.

Cuando ref_pic_list_modification_flag_l1[i] es igual a 1, el número de veces que more_modification_flag es igual a 1 a continuación de ref_pic_list_modification_flag_l1[i] no deberá superar (num_ref_idx_l1_active_minus1[i] 1). num_ref_idx_l0_active_minus1[i] indica el índice de referencia máximo para la lista de instantáneas de referencia RL0[i] correspondiente a la descripción de memoria intermedia BD[i].

num_ref_idx_M_active_mmus1[i] indica el índice de referencia máximo para la lista de instantáneas de referencia RL1[i] correspondiente a la descripción de memoria intermedia BD[i].

be_idx_in_ref_pic_list especifica la instantánea de referencia asociada con el elemento de memoria intermedia BE[i][be_idx_in_ref_pic_list] en la descripción de memoria intermedia actual BD[i]. be_idx_in_ref_pic_list identifica la instantánea que se va correlacionar de nuevo en la lista de referencia actual RL0[i] o RL1[i] asociada con la descripción de memoria intermedia BD[i]. El proceso de nueva correlación o reordenación se realiza siguiendo al procesamiento descrito en las figuras 5 y 6.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 17.

La semántica de los elementos de sintaxis de la información de actualización de descripción de memoria intermedia bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 y temporaljd mostrados en la figura 17 es la misma que la de la figura 13.

La semántica de los elementos de sintaxis de la información de actualización de lista de referencia ref_pic_list_modification_flag_I0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num-ref-idx-l1-active-minus1, more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 17 es la misma que la de la figura 9.

[Diagrama de sintaxis: Cuarto ejemplo]

La figura 18 es un diagrama de sintaxis que muestra las ubicaciones de la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia en un flujo de bits codificado en el cuarto ejemplo de la presente realización.

Un flujo de bits codificado 132F mostrado en la figura 18 es diferente del flujo de bits codificado 132D mostrado en la figura 14 en que el PPS incluye además la información de actualización de descripción de memoria intermedia y la información de actualización de descripción de lista de referencia. Específicamente, el flujo de bits codificado 132F mostrado en la figura 18 es diferente del flujo de bits codificado 132B mostrado en la figura 14 en que el PPS 302B se sustituye por el 302F.

El PPS 302F incluye además información de actualización de descripción de memoria intermedia 323F e información de actualización de descripción de lista de referencia 324F además de la información de selección de SPS 321 y el identificador de PPS 322.

La información de actualización de descripción de memoria intermedia 323F incluye información de número de actualizaciones 325 (number_of_bd_updates) y uno o más fragmentos de información de actualización 326. Cada fragmento de la información de actualización 326 incluye información de selección de descripción de memoria intermedia 327 (bd_select) e información de modificación de descripción de memoria intermedia 328 (modificación de BD).

La información de número de actualizaciones 325 (por ejemplo, number_of_bd_updates = 2) indica el número de descripciones de memoria intermedia que se van a modificar y el número de descripciones de lista de referencia correspondientes que se van a modificar.

La información de selección de descripción de memoria intermedia 327 especifica una descripción de memoria intermedia que se va a actualizar. La información de modificación de descripción de memoria intermedia 328 indica los detalles de modificación de la descripción de memoria intermedia.

La información de actualización de descripción de lista de referencia 324F incluye uno o más fragmentos de información de definición de lista de referencia 329 (definición de RLD). Cada fragmento de la información de definición de lista de referencia 329 define la descripción de lista de referencia correspondiente a la descripción de memoria intermedia actualizada.

En el PPS 302F, la información de actualización de descripción de lista de referencia 324F sigue a la información de actualización de descripción de memoria intermedia 323F. Como en el caso de la información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324, la información de actualización de descripción de lista de referencia 324F incluye una bandera de reordenación para indicar si se va a reordenar o no la lista de referencia. Cuando se va a reordenar la lista de referencia, la información de actualización de descripción de lista de referencia 324F incluye además información de reordenación de lista de referencia que indica los detalles de la reordenación.

Cuando la información de actualización de descripción de lista de referencia 324 indica que no se va a realizar la reordenación, se construye una lista de referencia usando la información de actualización de descripción de lista de referencia 324F incluida en el PPS. Por otro lado, cuando la información de actualización de descripción de lista de referencia 324 indica que se va a realizar la reordenación, no se usa la lista de referencia construida usando la información de actualización de descripción de lista de referencia 324F, sino que la lista de referencia se construye usando la información de actualización de descripción de lista de referencia 324. Específicamente, se construye una lista de referencia por defecto de acuerdo con un esquema de construcción de lista de referencia por defecto predeterminado. A continuación, la lista de referencia por defecto se reordena de acuerdo con la información de reordenación incluida en la información de actualización de descripción de lista de referencia 324. En otras palabras, la lista de referencia reordenada usando la información de actualización de descripción de lista de referencia 324F sobrescribe la lista de referencia reordenada usando la información de actualización de descripción de lista de referencia 324.

La relación entre la información de actualización de descripción de lista de referencia 324F incluida en el PPS 302F y la información de definición de descripción de lista de referencia 313 incluida en el SPS 301D es la misma que o semejante a la relación entre la información de actualización de descripción de lista de referencia 324 y la información de actualización de descripción de lista de referencia 324F. Específicamente, es suficiente que "la información de actualización de descripción de lista de referencia 324" en la explicación anterior sea sustituida por "la información de actualización de descripción de lista de referencia 324F" y que "la información de actualización de descripción de lista de referencia 324F" en la explicación anterior sea sustituida por "la información de definición de descripción de lista de referencia 313".

En el presente caso, en la información de reordenación de lista de referencia incluida en la información de actualización de descripción de lista de referencia 324F, se identifica una lista de referencia que se va a reordenar usando su índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia, como en el caso de la información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324.

La información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 anteriores se señalizan en la estructura de sintaxis del conjunto de parámetros de secuencia de acuerdo con el pseudocódigo en la tabla mostrada en la figura 19. La información de actualización de descripción de memoria intermedia 323F y la información de actualización de descripción de lista de referencia 324F anteriores se señalizan en la estructura de sintaxis del conjunto de parámetros de instantánea de acuerdo con el pseudocódigo en la tabla mostrada en la figura 20. La información de actualización de descripción de memoria intermedia 323 y la información de actualización de descripción de lista de referencia 324 anteriores se señalizan en la estructura de sintaxis del encabezamiento de segmento de acuerdo con el pseudocódigo en la tabla mostrada en la figura 21. Se ha de hacer notar que lo mismo es de aplicación a las estructuras de sintaxis del encabezamiento de SPU y el encabezamiento de instantánea.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 19.

La semántica de los elementos de sintaxis de la información de definición de descripción de memoria intermedia bits_for_temporal_id, number_of_bds, number_of_bes_minus1[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] y temporal-id[i][j] mostrados en la figura 19 es la misma que la de la figura 12.

La semántica de los elementos de sintaxis de la información de definición de descripción de lista de referencia ref_pic_list_modification_flag_l0[i], ref-pic-list-modification-flag-l1[i], num_ref_idx_l0_active_minus1[i], num_ref_idx_l1_active_minus1[i], more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 19 es la misma que la de la figura 16.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 20.

Las variables o listas BDDeltaPOC[bd_select] y BDTemporalID[bd_select] representan los elementos de memoria intermedia ordenados BE[bd_select] en la descripción de memoria intermedia seleccionada BD[bd_select].

number_of_bd_updates especifica el número de veces que el elemento de sintaxis bd_select está presente en PPS. En otras palabras, number_of_bd_updates representa el número de descripciones de memoria intermedia que van a ser modificadas por PPS.

bd_select especifica un índice en las listas BDDeltaPOC y BDTemporalID que representa la descripción de memoria intermedia BD[bd_select] que va a ser modificada por PPS.

bd_modification_operation especifica una operación de modificación que se va a aplicar sobre la descripción de memoria intermedia seleccionada BD[bd_select]. bd_modification_operation igual a 0 especifica el final del bucle para modificar la descripción de memoria intermedia BD[bd_select].bd_modification_operation deberá no ser igual a 0 inmediatamente a continuación del elemento de sintaxis bd_select.

En la presente realización, mientras bd_modification_operation igual a 1 especifica que a un elemento de memoria intermedia indicado por be_idx_in_bd_update en la descripción de memoria intermedia BD[bd_select] se le va a asignar un valor de diferencia de POC para una instantánea actual. Este valor de diferencia de POC sustituye al valor de diferencia de POC almacenado existente.

En implementaciones alternativas, se pueden definir operaciones de modificación de descripción de memoria intermedia adicionales indicadas por bd_modification_operation. Un ejemplo es la operación para asignar un marcado para una instantánea indicada por un elemento de memoria intermedia como una instantánea de referencia a corto plazo o a largo plazo. Otro ejemplo es la operación para definir descripciones de memoria intermedia adicionales nuevas. En este caso, bd_select especifica un índice para una pluralidad de descripciones de memoria intermedia nuevas (no existentes) y las operaciones de modificación de descripción de memoria intermedia posteriores asignan indicadores de instantánea a los elementos de memoria intermedia en las descripciones de memoria intermedia nuevas.

Los elementos de sintaxis de la información de actualización de descripción de memoria intermedia be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 y temporaljd mostrados en la figura 20 son los mismos que los de la figura 13.

Los elementos de sintaxis de la información de actualización de descripción de lista de referencia ref_pic_list_modification_flag_l0[i], ref_pic_list_modification_flag_l1 [i], num_ref_idx_l0_active_minus1[i], num_ref_idxJ1_active_minus1[i], more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 20 son los mismos que los de la figura 16.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 21.

La semántica de los elementos de sintaxis de la información de actualización de descripción de memoria intermedia bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 y temporal_id mostrados en la figura 21 es la misma que la de la figura 13.

La semántica de los elementos de sintaxis de la información de actualización de lista de referencia ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 21 es la misma que la de la figura 9.

Se ha de hacer notar que el bucle de sintaxis que describe información de actualización de descripción de memoria intermedia y la información de actualización de descripción de lista de referencia se pueden combinar como uno solo. En tales implementaciones, los parámetros para definir una descripción de lista de referencia modificada siguen inmediatamente a los parámetros para modificar la descripción de memoria intermedia correspondiente. En el ejemplo de la figura 18, la secuencia de parámetros se convierte en [number_of_bd_updates = 2], [bd_select = 2], [BD2 modify], [RLD2 define], [bd_select = 3], [BD3 modify], [RLD3 define].

[Diagrama de sintaxis: Quinto ejemplo]

La figura 22 es un diagrama de sintaxis que muestra las ubicaciones de la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia en un flujo de bits codificado en el quinto ejemplo de la presente realización.

Un flujo de bits codificado 132G mostrado en la figura 22 es diferente del flujo de bits codificado 132F mostrado en la figura 18 en que la información de actualización de descripción de memoria intermedia 323F y la información de actualización de descripción de lista de referencia 324F en el PPS 302F sustituyen a la información de actualización de descripción de memoria intermedia 323G y la información de actualización de descripción de lista de referencia 324G en el PPS 302G. Además, un encabezamiento de segmento 341G es diferente del encabezamiento de segmento 341D.

La información de actualización de descripción de memoria intermedia 323G incluye información de selección de la descripción de memoria intermedia 351 (por ejemplo, bd_select = 2) para especificar una descripción de memoria intermedia seleccionada y una bandera de modificación de descripción de memoria intermedia 352 (por ejemplo, modify_flag = 1) que indica si se van a modificar o no la descripción de memoria intermedia seleccionada y la descripción de lista de referencia correspondiente a la descripción de memoria intermedia seleccionada. Cuando la bandera de modificación de descripción de memoria intermedia 352 indica que se realiza una modificación, la información de actualización de descripción de memoria intermedia 323G incluye además la información de modificación de descripción de memoria intermedia 328 (modificación de BD). Además, cuando la bandera de modificación de descripción de memoria intermedia 352 indica que se realiza una modificación, el PPS 302G incluye la información de actualización de descripción de lista de referencia 324G que incluye la información de definición de lista de referencia 329 (definición de RLD) que define la lista de referencia modificada. Por otra parte, cuando la bandera de modificación de descripción de memoria intermedia 352 indica que no se realiza una modificación, el PPS 302G no incluye la información de modificación de descripción de memoria intermedia 328 y la información de definición de lista de referencia 329.

Se ha de hacer notar que el encabezamiento de segmento 341G no incluye la información de selección de descripción de memoria intermedia 334.

Con lo anterior, el PPS 302G se identifica mediante el identificador PPS 322 (por ejemplo, pps_id = 0) y se hace referencia al mismo en el encabezamiento de segmento 341G usando la información de selección de PPS 333 (por ejemplo, pps_select = 0). Cuando se hace referencia al PPS 302G, también se hace referencia a la descripción de memoria intermedia seleccionada y a la descripción de lista de referencia asociada. Los segmentos (o unidades de subinstantánea) en la instantánea actual se codifican o se descodifican usando instantáneas de referencia ordenadas de acuerdo con la descripción de memoria intermedia seleccionada y la descripción de lista de referencia seleccionada.

En el presente caso, en la información de reordenación de lista de referencia incluida en la información de actualización de descripción de lista de referencia 324G, se identifica una lista de referencia que se va a reordenar usando su índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia, como en el caso de la información de definición de descripción de lista de referencia 313 y la información de actualización de descripción de lista de referencia 324.

La información de definición de descripción de memoria intermedia 312 y la información de definición de descripción de lista de referencia 313 anteriores se señalizan en la estructura de sintaxis del conjunto de parámetros de secuencia de acuerdo con el pseudocódigo en la tabla mostrada en la figura 23. La información de actualización de descripción de memoria intermedia 323G y la información de actualización de descripción de lista de referencia 324G anteriores se señalizan en la estructura de sintaxis del conjunto de parámetros de instantánea de acuerdo con el pseudocódigo en la tabla mostrada en la figura 24. La información de actualización de descripción de memoria intermedia 323 y la información de actualización de descripción de lista de referencia 324 anteriores se señalizan en la estructura de sintaxis del encabezamiento de segmento de acuerdo con el pseudocódigo en la tabla mostrada en la figura 25. Se ha de hacer notar que lo mismo es de aplicación a las estructuras de sintaxis del encabezamiento de SPU y el encabezamiento de instantánea.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 23.

La semántica de los elementos de sintaxis de la información de definición de descripción de memoria intermedia bits_for_temporal_id, number_of_bds, number_of_bes_minus1[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] y temporal_id[i][j] mostrados en la figura 23 es la misma que la de la figura 12.

La semántica de los elementos de sintaxis de la información de definición de descripción de lista de referencia ref_pic_list_modification_flag_l0[i], ref_pic_list_modification_flag_l1[i], num_ref_idx_l0_active_minus1[i], num_ref_idx_l1_active_minus1[i], more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 23 es la misma que la de la figura 16.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 24.

Los elementos de sintaxis de la información de actualización de descripción de memoria intermedia bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 y temporal_id mostrados en la figura 24 son los mismos que los de la figura 20. Esta información de actualización de descripción de memoria intermedia es diferente de la de la figura 20 en que esta no incluye el elemento de sintaxis number_of_bd_updates, sino que solo incluye una descripción de memoria intermedia y una descripción de lista de referencia seleccionadas. Esta descripción de memoria intermedia y descripción de lista de referencia se usan en todos los segmentos que se refieren al PPS.

Los elementos de sintaxis de la información de actualización de descripción de lista de referencia ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_I1, num_ref_idx_I0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 24 son los mismos que los de la figura 9.

Lo siguiente describe los elementos de sintaxis mostrados en la figura 25.

La semántica de los elementos de sintaxis de la información de actualización de descripción de memoria intermedia bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 y temporaljd mostrados en la figura 25 es la misma que la de la figura 13. En el presente caso, bd_select no se incluye en el encabezamiento de segmento, sino que se seleccionan la descripción de memoria intermedia y la descripción de lista de referencia correspondiente en el PPS al que se hace referencia desde el encabezamiento de segmento. La semántica de los elementos de sintaxis de la información de actualización de lista de referencia ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idxJ0_active_minus1, num_ref_idxJ1_active_minus1, more_modification_flag y be_idx_in_ref_pic_list mostrados en la figura 25 es la misma que la de la figura 9.

[Efecto del procedimiento de codificación]

Con lo anterior, en el aparato de codificación de imágenes 100 de acuerdo con la presente realización, se identifica una lista de referencia que se va a reordenar usando su índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia. De esta manera, se especifica una instantánea que se va a reordenar usando el índice de elemento de memoria intermedia que también se usa en la descripción de memoria intermedia. Por lo tanto, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de codificación de imágenes y el aparato de descodificación de imágenes implican una cantidad reducida de cálculo y proporcionan una eficiencia de codificación mejorada.

Aunque lo anterior ha explicado un ejemplo en el que, en la información de reordenación de lista de referencia, se identifica una lista de referencia que se va a reordenar usando su índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia, el aparato de codificación de imágenes o el aparato de descodificación de imágenes pueden especificar la instantánea de referencia que se va a reordenar, usando un índice que se usa en otro procesamiento. En el presente caso, este índice es, por ejemplo, uno de los números de serie asignados a una pluralidad de instantáneas y empezando desde 0. Incluso en este caso, se reducen la redundancia y la complejidad de la información de reordenación de lista de referencia, con el resultado de que el aparato de codificación de imágenes y el aparato de descodificación de imágenes implican una cantidad reducida de cálculo.

Por ejemplo, el índice anterior puede ser un índice de referencia en una lista de referencia por defecto.

[Aparato de descodificación]

La figura 26 es un diagrama de bloques que muestra una estructura de un aparato de descodificación de imágenes 200 de acuerdo con la presente realización.

El aparato de descodificación de imágenes 200 mostrado en la figura 26 descodifica un flujo de bits codificado 232 de una forma bloque por bloque, generando de ese modo datos de imagen descodificados 226. Este aparato de descodificación de imágenes 200 incluye una unidad de descodificación de longitud variable 212, una unidad de cuantificación inversa 204, una unidad de transformación ortogonal inversa 205, un sumador 206, una memoria de bloques 207, una memoria de tramas 208, una unidad de intra predicción 209, una unidad de inter predicción 210, una unidad de determinación de tipo de instantánea 211 y una unidad de control de memoria de tramas 213.

El flujo de bits codificado 232 es, por ejemplo, el flujo de bits codificado 132 generado por el aparato de codificación de imágenes 100 anterior.

La unidad de descodificación de longitud variable 212 realiza una descodificación de longitud variable (descodificación por entropía) en el flujo de bits codificado 232 para generar valores cuantificados 223 e información de control de memoria de tramas 233. En el presente caso, la información de control de memoria de tramas 233 corresponde a la información de control de memoria de tramas 133 anterior.

La unidad de cuantificación inversa 204 cuantifica inversamente los valores cuantificados 223, generando de ese modo coeficientes de frecuencia 224. La unidad de transformación ortogonal inversa 205 realiza una transformada de frecuencia inversa sobre los coeficientes de frecuencia 224, generando de ese modo datos de error de predicción 225. El sumador 206 añade los datos de error de predicción 225 y los datos de imagen de predicción 231, generando de ese modo los datos de imagen descodificados 226. Los datos de imagen descodificados 226 se emiten desde el aparato de descodificación de imágenes 200 y, por ejemplo, se visualizan.

La memoria de bloques 207 contiene los datos de imagen descodificados 226 como datos de imagen descodificados 227 de una forma bloque por bloque. La memoria de tramas 208 contiene los datos de imagen descodificados 226 como datos de imagen descodificados 228 de una forma trama por trama.

La unidad de intra predicción 209 realiza una intra predicción para generar datos de imagen de predicción 229 de un bloque actual que se va a descodificar. Específicamente, la unidad de intra predicción 209 busca dentro de los datos de imagen descodificados 227 almacenados en la memoria de bloques 207 y estima un área de imagen que es la más similar a los datos de imagen descodificados 226.

La unidad de inter predicción 210 realiza una inter predicción usando los datos de imagen descodificados por trama 228 almacenados en la memoria de tramas 208, para generar datos de imagen de predicción 230 del bloque actual. La unidad de determinación de tipo de instantánea 211 selecciona uno de los datos de imagen de predicción 229 y los datos de imagen de predicción 230 y emite los datos seleccionados como los datos de imagen de predicción 231. La unidad de control de memoria de tramas 213 gestiona los datos de imagen descodificados 228 almacenados en la memoria de tramas 208. Específicamente, la unidad de control de memoria de tramas 213 realiza procesos de gestión de memoria de acuerdo con la información de control de memoria de tramas 233. Específicamente, la unidad de control de memoria de tramas 213 determina si los datos de imagen descodificados 128 se mantienen en la memoria de tramas 208 o se retiran de la memoria de tramas 208. Además, la unidad de control de memoria de tramas 213 construye listas de referencia que van a ser usadas por la unidad de inter predicción 210.

[Proceso de descodificación]

A continuación, se da una descripción con respecto a un procedimiento de descodificación de imágenes que es realizado por el aparato de descodificación de imágenes 200 como se ha mencionado anteriormente.

La figura 27 es un diagrama de flujo del procedimiento de descodificación de imágenes de acuerdo con la presente realización.

En primer lugar, el aparato de descodificación de imágenes 200 obtiene, a partir del flujo de bits codificado 232, información de definición de descripción de memoria intermedia que define descripciones de memoria intermedia (S201).

A continuación, el aparato de descodificación de imágenes 200 construye una lista de referencia por defecto que incluye todas las instantáneas de referencia que se indican en las descripciones de memoria intermedia (S202). A continuación, el aparato de descodificación de imágenes 200 obtiene, a partir del flujo de bits codificado 232, información de reordenación de lista de referencia que indica los detalles de la reordenación que se va a realizar sobre la lista de referencia por defecto (S203).

A continuación, el aparato de descodificación de imágenes 200 reordena, de acuerdo con la información de reordenación de lista de referencia obtenida, las instantáneas incluidas en la lista de referencia por defecto (S204). A continuación, el aparato de descodificación de imágenes 200 descodifica una instantánea o segmento actual usando la descripción de memoria intermedia y la lista de referencia resultante de la reordenación anterior (S205). En el presente caso, en la información de reordenación de lista de referencia, se especifica una instantánea que se va a reordenar usando un índice que se usa en otro procesamiento en el procedimiento de codificación de imágenes. Específicamente, este índice es un índice de elemento de memoria intermedia dentro de la descripción de memoria intermedia.

Los detalles de la reordenación en las etapas S202 y S204 son iguales que o semejantes a los de las etapas S102 y S103 en el aparato de codificación de imágenes 100 descrito anteriormente, por ejemplo.

[Efecto del procedimiento de descodificación]

Con lo anterior, el aparato de descodificación de imágenes 200 de acuerdo con la presente realización es capaz de descodificar un flujo de bits codificado que se codifica en forma de eficiencia de codificación mejorada y complejidad reducida de descripciones de lista de referencia.

(Segunda realización)

En el procedimiento de codificación de imágenes de acuerdo con la presente realización, la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia se escriben en el conjunto de parámetros de instantánea compartido por una pluralidad de instantáneas. Esto permite una reducción en la información redundante y, por lo tanto, permite una mejora en la eficiencia de codificación en el procedimiento de codificación de imágenes en comparación con el caso en el que la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia se escriben en un encabezamiento de segmento o similar.

[Aparato de codificación]

El diagrama de bloques del aparato de codificación de imágenes 100 de acuerdo con la presente realización es el mismo que o semejante al mostrado en la figura 3 y, por lo tanto, no se explica.

[Proceso de codificación]

Lo siguiente describe un procedimiento de codificación de imágenes que es realizado por el aparato de codificación de imágenes 100 de acuerdo con la presente realización.

En primer lugar, el aparato de codificación de imágenes 100 determina una pluralidad de descripciones de memoria intermedia y las descripciones de lista de referencia correspondientes a la pluralidad de descripciones de memoria intermedia que se van a usar a lo largo de una pluralidad de instantáneas en una secuencia de vídeo (S301).

A continuación, el aparato de codificación de imágenes 100 escribe, en PPS en el flujo de bits codificado 132, la información de definición de descripción de memoria intermedia que define las descripciones de memoria intermedia determinadas (S302).

A continuación, el aparato de codificación de imágenes 100 escribe, en PPS, la información de definición de descripción de lista de referencia para definir la pluralidad de descripciones de lista de referencia (S303).

A continuación, el aparato de codificación de imágenes 100 selecciona, para cada instantánea, una de las descripciones de memoria intermedia que se va a usar para codificar la instantánea (S304). Se ha de hacer notar que el aparato de codificación de imágenes 100 puede seleccionar una descripción de memoria intermedia para cada segmento.

A continuación, el aparato de codificación de imágenes 100 escribe la información de selección de descripción de memoria intermedia que especifica la descripción de memoria intermedia seleccionada en un encabezamiento de segmento correspondiente al segmento actual e incluido en el flujo de bits codificado 132 (S305). Además, se selecciona una descripción de lista de referencia correspondiente a la descripción de memoria intermedia seleccionada.

Finalmente, el aparato de codificación de imágenes 100 codifica el segmento actual usando la descripción de memoria intermedia seleccionada para el segmento actual y la descripción de lista de referencia correspondiente a la descripción de memoria intermedia (S306). Además, el aparato de codificación de imágenes 100 genera el flujo de bits codificado 132 que incluye los datos codificados resultantes.

Aunque lo anterior ha explicado un ejemplo en el que la información de selección de descripción de memoria intermedia se escribe en un encabezamiento de segmento, la información de selección de descripción de memoria intermedia se puede escribir en un encabezamiento de instantánea o APS.

Además, aunque lo anterior ha explicado un ejemplo en el que la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia se escriben en PPS, la información de definición de descripción de memoria intermedia y la información de definición de descripción de lista de referencia se escriben en SPS o un encabezamiento de segmento.

También es posible que, como se ha descrito en la primera realización anterior, la información de reordenación de lista de referencia incluida en la información de definición de descripción de lista de referencia se especifique usando un índice de elemento de memoria intermedia.

[Diagrama de sintaxis]

El diagrama de sintaxis del flujo de bits codificado de acuerdo con la presente realización es el mismo que o semejante al mostrado en la figura 15, por ejemplo.

[Efecto del procedimiento de codificación]

Con lo anterior, el aparato de codificación de imágenes 100 de acuerdo con la presente realización es capaz de evitar una repetición redundante de los mismos parámetros para construir las listas de referencia en el flujo de bits codificado. Esto permite que el aparato de codificación de imágenes 100 mejore la eficiencia de codificación de los parámetros que describen la construcción de listas de referencia. Además, el aparato de codificación de imágenes 100 es capaz de lograr una armonización de diseño de las unidades de datos de descripción de lista de referencia con las unidades de datos de descripción de memoria intermedia y con las unidades de señalización estructuradas jerárquicamente de un flujo de bits codificado.

[Aparato de descodificación]

El diagrama de bloques del aparato de descodificación de imágenes 200 de acuerdo con la presente realización es el mismo que o semejante al mostrado en la figura 26 y, por lo tanto, no se explica.

[Proceso de descodificación]

La figura 29 es un diagrama de flujo del procedimiento de descodificación de imágenes de acuerdo con la presente realización.

En primer lugar, el aparato de descodificación de imágenes 200 obtiene, a partir de PPS en el flujo de bits codificado 232, información de definición de descripción de memoria intermedia que define una pluralidad de descripciones de memoria intermedia (S401). A continuación, el aparato de descodificación de imágenes 200 obtiene, a partir del PPS anterior, información de definición de descripción de lista de referencia que define una pluralidad de descripciones de lista de referencia (S402). En el presente caso, las descripciones de lista de referencia se corresponden una a una con las descripciones de memoria intermedia.

A continuación, el aparato de descodificación de imágenes 200 obtiene información de selección de descripción de memoria intermedia a partir de un encabezamiento de segmento en el flujo de bits codificado 232 (S403). Para el segmento actual, el aparato de descodificación de imágenes 200 selecciona entonces, de entre las descripciones de memoria intermedia, una descripción de memoria intermedia especificada en la información de selección de descripción de memoria intermedia (S404). Además, el aparato de descodificación de imágenes 200 selecciona una descripción de lista de referencia correspondiente a la descripción de memoria intermedia seleccionada.

Finalmente, el aparato de descodificación de imágenes 200 descodifica el segmento actual usando la descripción de memoria intermedia seleccionada y la descripción de lista de referencia seleccionada (S405).

Aunque lo anterior ha explicado un ejemplo en el que la información de selección de descripción de memoria intermedia se incluye en un encabezamiento de segmento, la información de selección de descripción de memoria intermedia se puede incluir en un encabezamiento de instantánea o APS.

[Efecto del procedimiento de descodificación]

Con lo anterior, el aparato de descodificación de imágenes 200 de acuerdo con la presente realización es capaz de descodificar un flujo de bits codificado que se codifica en forma de eficiencia de codificación mejorada y diseño armonizado de datos de descripción de lista de referencia.

Aunque se han descrito anteriormente el aparato de codificación de imágenes y el aparato de descodificación de imágenes de acuerdo con las realizaciones de la presente invención, la presente invención no se limita a estas realizaciones.

Por ejemplo, aunque lo anterior describe un ejemplo en el que se incluye un SPS en el flujo de bits codificado que incluye datos de segmento y similares, se puede transmitir un SPS desde el aparato de codificación de imágenes al aparato de descodificación de imágenes por separado del flujo de bits codificado que incluye los datos de segmento y similares.

Unas unidades de procesamiento respectivas incluidas en el aparato de codificación de imagen y el aparato de decodificación de imagen de acuerdo con cada una de las realizaciones anteriores se implementa habitualmente como una integración a gran escala (LSI) que es un circuito integrado. Cada una de estas unidades de procesamiento se puede proporcionar en un único chip, y parte o la totalidad de las mismas se pueden conformar como un único chip.

Además, las maneras para conseguir la integración no se limitan al LSI, y un circuito especial o un procesador de propósito general y así sucesivamente pueden conseguir también la integración. Se puede usar para el mismo fin una Matriz de Puertas Programables en Campo (FPGA) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la re-configuración de la conexión o la configuración de un LSI.

Cada uno de los elementos estructurales en cada una de las realizaciones anteriormente descritas puede configurarse en forma de un producto de hardware exclusivo, o pueden realizarse ejecutando un programa de software adecuado para el elemento estructural. Cada uno de los elementos estructurales puede realizarse por medio de una unidad de ejecución de programa, tal como una CPU y un procesador, leyendo y ejecutando el programa de software grabado en un medio de grabación tal como un disco duro o una memoria de semiconductores.

Además, la presente invención puede implementarse como el programa de software anterior y también puede implementarse como un medio de grabación legible por ordenador no transitorio en el que se graba un programa de este tipo. Además, no hace falta decir que un programa de este tipo puede distribuirse a través de una red de comunicación tal como internet.

Los números en el presente documento se proporcionan para ilustrar específicamente la presente invención y, por lo tanto, no limitan la presente invención.

La segmentación de los bloques funcionales en cada diagrama de bloques es un ejemplo, y algunos de los bloques funcionales pueden implementarse como un bloque funcional mientras un bloque funcional puede dividirse en partes plurales, o parte de la función de un bloque funcional puede desplazarse a otro bloque de función. Adicionalmente, las funciones de una pluralidad de bloques funcionales que tienen funciones similares pueden procesarse en paralelo o de modo segmentado en tiempo mediante hardware o software individual.

El orden de procesamiento de las etapas incluidas en el procedimiento de codificación o descodificación de imágenes anterior se da para ilustrar específicamente la presente invención y, por lo tanto, puede ser cualquier otro orden. Parte de las etapas anteriores puede realizarse al mismo tiempo que (en paralelo con) otra etapa.

(Tercera realización)

El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, uno o más programas para implementar las configuraciones del procedimiento de codificación de instantáneas en movimiento (procedimiento de codificación de imágenes) y el procedimiento de descodificación de instantáneas en movimiento (procedimiento de descodificación de imágenes) descritos en cada una de las realizaciones. El medio de grabación puede ser cualquier medio de grabación siempre que el programa pueda grabarse, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta de CI, y una memoria de semiconductores.

En lo sucesivo, se describirán las aplicaciones al procedimiento de codificación de instantáneas en movimiento y al procedimiento de descodificación de instantáneas en movimiento descritos en cada una de las realizaciones y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y de descodificación de imágenes que incluye un aparato de codificación de imágenes que usa el procedimiento de codificación de imágenes y un aparato de descodificación de imágenes que usa el procedimiento de descodificación de imágenes. Pueden cambiarse otras configuraciones en el sistema según sea apropiado, dependiendo de los casos.

La figura 30 ilustra una configuración general de un sistema de provisión de contenido ex100 para la implementación de servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en células de tamaño deseado, y las estaciones base ex106, ex107, ex108, ex109 y ex110 que son estaciones inalámbricas fijas se colocan en cada una de las células.

El sistema de provisión de contenido ex100 está conectado a dispositivos, tales como a un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una máquina de juegos ex115, mediante Internet ex101, un proveedor de servicios de Internet ex102, una red de telefonía ex104, así como a las estaciones base ex106 a ex110, respectivamente.

Sin embargo, la configuración del sistema de provisión de contenido ex100 no se limita a la configuración mostrada en la figura 30, y es aceptable una combinación en la que está conectado cualquiera de los elementos. Además, cada dispositivo puede estar directamente conectado a la red de telefonía ex104, en lugar de mediante las estaciones base ex106 a ex110 que son las estaciones inalámbricas fijas. Adicionalmente, los dispositivos pueden interconectarse entre sí mediante una comunicación inalámbrica de corta distancia y otras.

La cámara ex113, tal como una cámara de vídeo digital, puede capturar vídeo. Una cámara ex116, tal como una cámara digital, puede capturar tanto imágenes fijas como vídeo. Adicionalmente, el teléfono celular ex114 puede ser el que cumple cualquiera de las normas tales como el Sistema Global para Comunicación Móvil (GSM) (marca registrada), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDMA), Evolución a Largo Plazo (LTE) y Acceso por Paquetes a Alta Velocidad (HSPA). Como alternativa, el teléfono celular ex114 puede ser un Sistema Móvil Personal (PHS).

En el sistema de provisión de contenido ex100, un servidor de envío por flujo continuo ex103 está conectado a la cámara ex113 y a otros mediante la red de telefonía ex104 y la estación base ex109, que posibilita la distribución de imágenes de un espectáculo en directo y otros. En una distribución de este tipo, un contenido (por ejemplo, vídeo de un espectáculo en directo de música) capturado por el usuario que usa la cámara ex113 se codifica como se ha descrito anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención), y el contenido codificado se transmite al servidor de flujo continuo ex103. Por otra parte, el servidor de flujo continuo ex103 lleva a cabo distribución de flujo en los datos de contenido transmitidos a los clientes tras sus solicitudes. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono celular ex114, y la máquina de juegos ex115 que pueden descodificar los datos codificados anteriormente mencionados. Cada uno de los dispositivos que han recibido los datos distribuidos descodifica y reproduce los datos codificados

(es decir, funciona como el aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención).

Los datos capturados pueden codificarse por la cámara ex113 o el servidor de flujo continuo ex103 que transmite los datos, o los procedimientos de codificación pueden compartirse entre la cámara ex113 y el servidor de flujo continuo ex103. De manera similar, los datos distribuidos pueden descodificarse por los clientes o el servidor de flujo continuo ex103, o los procedimientos de descodificaciones pueden compartirse entre los clientes y el servidor de flujo continuo ex103. Adicionalmente, los datos de las imágenes fijas y el vídeo capturado no únicamente por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de flujo continuo ex103 a través del ordenador ex111. Los procedimientos de codificación pueden realizarse por la cámara ex116, el ordenador ex111, o el servidor de flujo continuo ex103, o compartirse entre ellos.

Adicionalmente, los procedimientos de codificación y descodificación pueden realizarse por un LSI ex500 generalmente incluido en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 puede estar configurado de un único chip o una pluralidad de chips. El software para codificar y descodificar vídeo puede estar integrado en algún tipo de un medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que es legible por el ordenador ex111 y otros, y los procedimientos de codificación y descodificación pueden realizarse usando el software. Adicionalmente, cuando el teléfono celular ex114 está equipado con una cámara, los datos de vídeo obtenidos por la cámara pueden transmitirse. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.

Adicionalmente, el servidor de flujo continuo ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar los datos y procesar los datos descentralizados, registrar o distribuir los datos.

Como se ha descrito anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema de provisión de contenido ex100. En otras palabras, los clientes pueden recibir y descodificar información transmitida por el usuario, y reproducir los datos descodificados en tiempo real en el sistema de provisión de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo particular puede implementar difusión personal.

Además del ejemplo del sistema de provisión de contenido ex100, al menos uno del aparato de codificación de instantáneas en movimiento (aparato de codificación de imágenes) y el aparato de descodificación de instantáneas en movimiento (aparato de descodificación de imágenes) descritos en cada una de las realizaciones pueden implementarse en un sistema de difusión digital ex200 ilustrado en la figura 31. Más específicamente, una estación de difusión ex201 comunica o transmite mediante ondas de radio a un satélite de difusión ex202, datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por el procedimiento de codificación de instantáneas en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención). Tras la recepción de los datos multiplexados, el satélite de difusión ex202 transmite ondas de radio para difusión. A continuación, una antena de uso doméstico ex204 con una función de recepción de difusión por satélite recibe las ondas de radio. A continuación, un dispositivo tal como una televisión (receptor) ex300 y un descodificador de salón (STB) ex217 descodifica los datos multiplexados recibidos, y reproduce los datos descodificados (es decir, funciona como el aparato de descodificación de imágenes de acuerdo con un aspecto de la presente invención).

Adicionalmente, un lector/grabador ex218 (i) lee y descodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (ii) codifica señales de vídeo en el medio de grabación ex215 y, en algunos casos, escribe datos obtenidos multiplexando una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de descodificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se visualizan en el monitor ex219, y pueden reproducirse por otro dispositivo o sistema usando el medio de grabación ex215 en el que se graban los datos multiplexados. Es también posible implementar el aparato de descodificación de instantáneas en movimiento en el descodificador de salón ex217 conectado al cable ex203 para una televisión por cable o a la antena ex204 para difusión por satélite y/o terrestre, para visualizar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de descodificación de instantáneas en movimiento puede implementarse no en el descodificador de salón sino en la televisión ex300.

La figura 32 ilustra la televisión (receptor) ex300 que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de descodificación de instantáneas en movimiento descritos en cada una de las realizaciones. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos multiplexando datos de audio a datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una difusión; una unidad de modulación/desmodulación ex302 que desmodula los datos multiplexados recibidos o modula datos en datos multiplexados a suministrarse al exterior; y una unidad de multiplexación/desmultiplexación ex303 que desmultiplexa los datos multiplexados modulados en datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señal en datos ex306.

La televisión ex300 incluye adicionalmente: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 que descodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (que funciona como el aparato de codificación de imágenes y el aparato de descodificación de imágenes de acuerdo con los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio descodificada, y una unidad de visualización ex308 que visualiza la señal de vídeo descodificada, tal como una pantalla. Adicionalmente, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Adicionalmente, la televisión ex300 incluye una unidad de control ex310 que controla de manera global cada elemento constituyente de la televisión ex300, y una unidad de circuito de fuente de alimentación ex311 que suministra potencia a cada uno de los elementos. Además de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que se conecta a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para posibilitar la conexión del medio de grabación ex216, tal como una tarjeta de SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectarse a una red de telefonía. En este punto, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria de semiconductores no volátil/volátil para almacenamiento. Los elementos constituyentes de la televisión ex300 están conectados entre sí a través de un bus síncrono.

En primer lugar, se describirá la configuración en la que la televisión ex300 descodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos descodificados. En la televisión ex300, después de la operación de un usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexación/desmultiplexación ex303 desmultiplexa los datos multiplexados desmodulados por la unidad de modulación/desmodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Adicionalmente, la unida ex304 de procesamiento de señal de audio descodifica los datos de audio desmultiplexados, y la unidad de procesamiento de señal de vídeo ex305 descodifica los datos de vídeo desmultiplexados, usando el procedimiento de descodificación descrito en cada una de las realizaciones, en la televisión ex300. La unidad de salida ex309 proporciona la señal de vídeo descodificada y la señal de audio al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex318 y ex319, y otros de modo que las señales se reproducen en sincronización entre sí. Adicionalmente, la televisión ex300 puede leer datos multiplexados no a través de una difusión y otros sino desde el medio de grabación ex215 y ex216, tal como un disco magnético, un disco óptico, y una tarjeta de SD. A continuación, se describirá una configuración en la que la televisión ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, después de una operación de usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señal de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señal de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 usando el procedimiento de codificación descrito en cada una de las realizaciones. La unidad de multiplexación/desmultiplexación ex303 multiplexa la señal de vídeo y la señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad de multiplexación/desmultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321, y otros de modo que las señales se reproducen en sincronización entre sí. En este punto, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser varias como se ilustra, o al menos una memoria intermedia puede compartirse en la televisión ex300. Adicionalmente, se pueden almacenar datos en una memoria intermedia de modo que puede evitarse el desbordamiento y subdesbordamiento del sistema entre la unidad de modulación/desmodulación ex302 y la unidad de multiplexación/desmultiplexación ex303, por ejemplo.

Adicionalmente, la televisión ex300 puede incluir una configuración para recibir una entrada de AV desde un micrófono o una cámara distinta de la configuración para obtener datos de audio y de vídeo desde una difusión o de un medio de grabación, y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos al exterior en la descripción, puede únicamente recibir, descodificar y proporcionar datos al exterior pero no codificar, multiplexar y proporcionar datos al exterior.

Adicionalmente, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o en un medio de grabación, una de la televisión ex300 y el lector/grabador ex218 pueden descodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabador ex218 puede compartir la descodificación o codificación.

Como un ejemplo, la figura 33 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando se leen o escriben datos desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye los elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describen en lo sucesivo. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 acciona eléctricamente un láser de semiconductores incluido en el cabezal óptico ex401, y modula la luz de láser de acuerdo con datos grabados. La unidad de desmodulación de reproducción ex403 amplifica una señal de reproducción obtenida detectando eléctricamente la luz reflejada desde la superficie de grabación usando un fotodetector incluido en el cabezal óptico ex401, y desmodula la señal de reproducción separando un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 mantiene temporalmente la información a grabarse en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 gira el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el mecanismo de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control de sistema ex407 controla la totalidad de la unidad de reproducción/grabación de información ex400. Los procedimientos de lectura y escritura pueden implementarse por la unidad de control de sistema ex407 usando diversa información almacenada en la memoria intermedia ex404 y generando y añadiendo nueva información según sea necesaria, y por la unidad de grabación de modulación ex402, la unidad de desmodulación de reproducción ex403, y la unidad de servocontrol ex406 que graban y reproducen información a través del cabezal óptico ex401 mientras se operan de una manera coordinada. La unidad de control de sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta procesamiento provocando que un ordenador ejecute un programa para lectura y escritura.

Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede realizar grabación de alta densidad usando luz de campo cercano.

La figura 34 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, se forman de manera espiral surcos de guía, y una pista de información ex230 graba, con antelación, información de dirección que indica una posición absoluta en el disco de acuerdo con el cambio en una forma de las ranuras de guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. Reproducir la pista de información ex230 y leer la información de dirección en un aparato que graba y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Adicionalmente, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interna ex232, y un área de circunferencia externa ex234. El área de grabación de datos ex233 es un área para su uso al grabar los datos de usuario. El área de circunferencia interna ex232 y el área de circunferencia externa ex234 que están en el interior y el exterior del área de grabación de datos ex233, respectivamente son para uso específico excepto para la grabación de los datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe datos de audio codificado, datos de vídeo codificado, o datos multiplexados obtenidos multiplexando los datos de audio y vídeo codificados, desde y en el área de grabación de datos ex233 del medio de grabación ex215.

Aunque se describe un disco óptico que tiene una capa, tal como un DVD y un BD como un ejemplo en la descripción, el disco óptico no se limita a esto, y puede ser un disco óptico que tiene una estructura de múltiples capas y que puede grabarse en una parte distinta de la superficie. Adicionalmente, el disco óptico puede tener una estructura para grabación/reproducción multidimensional, tal como grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde diferentes ángulos.

Adicionalmente, un coche ex210 que tiene una antena ex205 puede recibir datos desde el satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación de coche ex211 establecido en el coche ex210, en el sistema de difusión digital ex200. En este punto, una configuración del sistema de navegación de automóvil ex211 será una configuración, por ejemplo, que incluye una unidad de recepción de GPS a partir de la configuración ilustrada en la figura 32. Lo mismo se cumplirá para la configuración del ordenador ex111, el teléfono celular ex114, y otros.

La figura 35A ilustra el teléfono celular ex114 que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de descodificación de instantáneas en movimiento descritos en las realizaciones. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 capaz de capturar imágenes en movimiento y fijas; y una unidad de visualización ex358 tal como un visualizador de cristal líquido para visualizar datos tales como vídeo descodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 incluye adicionalmente: una unidad de cuerpo principal que incluye una unidad de teclas de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para la salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para la entrada de audio; una unidad de memoria ex367 para almacenar vídeo capturado o instantáneas fijas, audio grabado, datos codificados o des codificados del vídeo recibido, las instantáneas fijas, correos electrónicos, u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma forma que la unidad de memoria ex367.

A continuación, un ejemplo de una configuración del teléfono celular ex114 se describirá con referencia a la figura 35B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar en general cada unidad del cuerpo principal que incluye la unidad de visualización ex358 así como la unidad de teclas de operación ex366 se conecta mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de fuente de alimentación ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/desmodulación ex352, una unidad de multiplexación/desmultiplexación ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando una tecla de fin de llamada o una tecla de alimentación es activada por una operación de un usuario, la unidad de circuito de fuente de alimentación ex361 abastece a las unidades respectivas con alimentación procedente de un paquete de batería con el fin de activar el teléfono celular ex114.

En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en modo de conversación por voz en señales de audio digital bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Entonces, la unidad de modulación/desmodulación ex352 realiza un procesamiento de espectro ensanchado sobre las señales de audio digital, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos, con el fin de transmitir los datos resultantes por medio de la antena ex350. Asimismo, en el teléfono celular ex114, la unidad de transmisión y de recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación por voz y realiza la conversión en frecuencia y la conversión de digital a analógico sobre los datos. Entonces, la unidad de modulación/desmodulación ex352 realiza un procesamiento de espectro ensanchado inverso sobre los datos, y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógico, con el fin de emitir las mismas por medio de la unidad de salida de audio ex357. Además, cuando se transmite un correo electrónico en modo de comunicación de datos, datos de texto del correo electrónico introducido al operar la unidad de teclas de operación ex366 y otros del cuerpo principal se envían fuera a la unidad de control principal ex360 por medio de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 da lugar a que la unidad de modulación/desmodulación ex352 realice un procesamiento de espectro ensanchado sobre los datos de texto, y la unidad de transmisión y de recepción ex351 realiza la conversión de analógico a digital y la conversión en frecuencia sobre los datos resultantes para transmitir los datos a la estación base ex110 por medio de la antena ex350. Cuando se recibe un correo electrónico, un procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico se realiza sobre los datos recibidos, y los datos resultantes se proporcionan a la unidad de visualización ex358.

Cuando se transmite o transmiten vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos, la unidad de procesamiento de señales de vídeo ex355 comprime y codifica señales de vídeo suministradas desde la unidad de cámara ex365 usando el procedimiento de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de codificación de imágenes de acuerdo con el aspecto de la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexación/desmultiplexación ex353. En contraposición, durante cuando la unidad de cámara ex365 captura vídeo, imágenes fijas, y otros, la unidad de procesamiento de señales de audio ex354 codifica las señales de audio recogidas por la unidad de entrada de audio ex356, y transmite los datos de audio codificados a la unidad de multiplexación/desmultiplexación ex353.

La unidad de multiplexación/desmultiplexación ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señales de audio ex354, usando un procedimiento predeterminado. Entonces, la unidad de modulación/desmodulación (unidad de circuito de modulación/desmodulación) ex352 realiza un procesamiento de espectro ensanchado sobre los datos multiplexados, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos con el fin de transmitir los datos resultantes por medio de la antena ex350.

Cuando se reciben datos de un archivo de vídeo que está vinculado a una página web y otros en modo de comunicación de datos o cuando se recibe un correo electrónico con vídeo y/o audio adjunto, para descodificar los datos multiplexados recibidos a través de la antena ex350, la unidad de multiplexación/desmultiplexación ex353 desmultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señales de vídeo ex355 los datos de vídeo codificados y la unidad de procesamiento de señales de audio ex354 con los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señales de vídeo ex355 descodifica la señal de vídeo usando un procedimiento de descodificación de instantáneas en movimiento que se corresponde con el procedimiento de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de descodificación de imágenes de acuerdo con el aspecto de la presente invención) y, entonces, la unidad de visualización ex358 visualiza, por ejemplo, el vídeo y las imágenes fijas incluidos en el archivo de vídeo vinculado a la página Web por medio de la unidad de control de LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 descodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.

Adicionalmente, de manera similar a la televisión ex300, un terminal tal como el teléfono celular ex114 probablemente tiene 3 tipos de configuraciones de implementación que incluyen no únicamente (i) un terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de descodificación, sino también (ii) un terminal de transmisión que incluye únicamente un aparato de codificación y (iii) un terminal de recepción que incluye únicamente un aparato de descodificación. Aunque el sistema de difusión digital ex200 recibe y transmite los datos multiplexados obtenidos multiplexando datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos multiplexando no datos de audio sino datos de caracteres relacionados con vídeo en datos de vídeo, y pueden no ser datos multiplexados sino los mismos datos de vídeo. En este sentido, el procedimiento de codificación de instantáneas en movimiento y el procedimiento de descodificación de instantáneas en movimiento en cada una de las realizaciones se pueden usar en cualquiera de los dispositivos y sistemas descritos. Por lo tanto, se pueden obtener las ventajas descritas en cada una de las realizaciones.

Además, la presente invención no se limita a cada una de las realizaciones, y son posibles diversas modificaciones y revisiones sin apartarse del ámbito de la presente invención.

(Cuarta realización)

Los datos de vídeo se pueden generar conmutando, según sea necesario, entre (i) el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento mostrados en cada una de realizaciones y (ii) un procedimiento de codificación de instantáneas en movimiento o un aparato de codificación de instantáneas en movimiento cumpliendo con una norma diferente, tal como MPEG-2, AVC de MPEG-4 y VC-1. En este punto, cuando se genera una pluralidad de datos de vídeo que cumple con las diferentes normas y se descodifican a continuación, necesitan seleccionarse los procedimientos de descodificación para cumplir con las diferentes normas. Sin embargo, puesto que no puede detectarse con qué norma cumple cada uno de la pluralidad de los datos de vídeo que se va a descodificar, existe un problema de que no puede seleccionarse un procedimiento de descodificación apropiado.

Para resolver el problema, los datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica con qué norma cumplen los datos de vídeo. Se describirá en lo sucesivo la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento y por el aparato de codificación de instantáneas en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en el formato de Flujo de Transporte de MPEG-2.

La figura 36 ilustra una estructura de los datos multiplexados. Como se ilustra en la figura 36, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG), y un flujo de gráficos interactivo. El flujo de vídeo representa vídeo primario y vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primario y una parte de audio secundario a mezclarse con la parte de audio primario, y el flujo de gráficos de presentación representa subtítulos de la película. En este punto, el vídeo primario es vídeo normal a visualizarse en una pantalla, y el vídeo secundario es vídeo a visualizarse en una ventana más pequeña en el vídeo primario. Adicionalmente, el flujo de gráficos interactivo representa una pantalla interactiva a generarse disponiendo los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones, o en un procedimiento de codificación de instantáneas en movimiento o por un aparato de codificación de instantáneas en movimiento cumpliendo con una norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1. El flujo de audio se codifica de acuerdo con una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, se asigna 0x1011 al flujo de vídeo a usar para vídeo de una película, se asigna 0x1100 a 0x111F a los flujos de audio, se asigna 0x1200 a 0x121F al flujo de gráficos de presentación, se asigna 0x1400 a 0x141F al flujo de gráficos interactivos, se asigna 0x1B00 a 0x1B1F a los flujos de vídeo a usar para vídeo secundario de la película, y se asigna 0x1A00 a 0x1A1F a los flujos de audio a usar para el audio secundario a mezclarse con el audio principal.

La figura 37 ilustra esquemáticamente cómo se multiplexan datos. En primer lugar, un flujo de vídeo ex235 compuesto por tramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes de PES ex236 y un flujo de paquetes de PES ex239, y adicionalmente en paquetes de TS ex237 y paquetes de TS ex240, respectivamente. De manera similar, los datos de un flujo de gráficos de presentación ex241 y los datos de un flujo de gráficos interactivo ex244 se transforman en un flujo de paquetes de PES ex242 y un flujo de paquetes de PES ex245, y adicionalmente en paquetes de TS ex243 y paquetes de TS ex246, respectivamente. Estos paquetes de TS se multiplexan en un flujo para obtener datos multiplexados ex247.

La figura 38 ilustra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle. La primera barra en la figura 38 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes de PES. Como se indica por las flechas indicadas como yy1, yy2, yy3 y yy4 en la figura 38, el flujo de vídeo se divide en instantáneas como instantáneas I, instantáneas B e instantáneas P cada una de las cuales es una unidad de presentación de vídeo, las instantáneas se almacenan en una cabida útil de cada uno de los paquetes de PES. Cada uno de los paquetes de PES tiene un encabezamiento de PES, y el encabezamiento de PES almacena una Indicación de Tiempo de Presentación (PTS) que indica un tiempo de visualización de la instantánea, y una Indicación de Tiempo de descodificación (DTS) que indica un tiempo de descodificación de la instantánea.

La figura 39 ilustra un formato de paquetes de TS a escribir finalmente en los datos multiplexados. Cada uno de los paquetes de TS es un paquete de longitud fija de 188 bytes que incluye un encabezamiento de TS de 4 bytes que tiene información, tal como un PID para identificar un flujo y una cabida útil de TS de 184 bytes para almacenar datos. Los paquetes de PES se dividen y se almacenan en las cabidas útiles de TS, respectivamente. Cuando se usa un BD ROM, a cada uno de los paquetes de TS se le proporciona un TP_Encabezamiento_Adicional de 4 bytes, dando como resultado por lo tanto paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. El TP_Encabezamiento_Adicional almacena información tal como una Indicación_Tiempo_Llegada (ATS). La ATS muestra un tiempo de inicio de transferencia en el que se ha de transferir cada uno de los paquetes de TS a un filtro de PID. Los paquetes de origen se disponen en los datos multiplexados como se muestra en la parte inferior de la figura 39. Los números que incrementan desde la cabecera de los datos multiplexados se denominan números de paquete de origen (SPN).

Cada uno de los paquetes de TS incluidos en los datos multiplexados incluye no únicamente flujos de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programa (PAT), una Tabla de Mapa de Programa (PMT), y una Referencia de Reloj de Programa (PCR). La PAT muestra qué indica un PID en una PMT usada en los datos multiplexados, y un PID de la misma PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, y la información de atributo de los flujos que se corresponden con los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si se permite o no el copiado de los datos multiplexados. La PCR almacena información de tiempo de STC que se corresponde con una ATS que muestra cuándo se transfiere el paquete de PCR a un descodificador, para conseguir sincronización entre un Reloj de Tiempo de Llegada (ATC) que es el eje de tiempo de las ATS, y un Reloj de Tiempo de Sistema (STC) que es un eje de tiempo de las PTS y ^dT^s.

La figura 40 ilustra la estructura de datos de la PMT en detalle. Un encabezamiento de PMT está dispuesto en la parte superior de la PMT. El encabezamiento de la PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados están dispuestos después del encabezamiento de PMT. La información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, está dispuesta una pluralidad de fragmentos de la información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada fragmento de la información de flujo incluye descriptores de flujo que cada uno describe información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo, e información de atributo de flujo (tal como una velocidad de tramas o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.

Cuando los datos multiplexados se graban en un medio de grabación y otros, se registran juntos con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la figura 41. Los archivos de información de datos multiplexados están en una correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributo de flujo y un mapa de entrada.

Como se ilustra en la figura 41, la información de datos multiplexados incluye una tasa de sistema, un tiempo de inicio de reproducción y un tiempo de fin de reproducción. La velocidad de sistema indica la velocidad de trasferencia máxima a la que un descodificador objetivo de sistema que se va a describir más adelante transfiere los datos multiplexados a un filtro de PID. Los intervalos de las ATS incluidas en los datos multiplexados se establecen para que no sean superiores a una velocidad de sistema. El tiempo de inicio de reproducción indica una PTS en una trama de vídeo en la cabecera de los datos multiplexados. Un intervalo de una trama se añade a una PTS en una trama de vídeo al final de los datos multiplexados, y la PTS se establece al tiempo de fin de reproducción.

Como se muestra en la figura 42, se registra un fragmento de información de atributo en la información de atributo de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada fragmento de información de atributo tiene diferente información dependiendo de si el correspondiente flujo es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación, o un flujo de gráficos interactivo. Cada fragmento de información de atributo de flujo de vídeo lleva información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de vídeo, y la resolución, relación de aspecto y velocidad de tramas de los fragmentos de datos de instantánea que se incluyen en el flujo de vídeo. Cada fragmento de información de atributo de flujo de audio lleva información que incluye qué clase de códec de compresión se usa para comprimir el flujo de audio, cuántos canales están incluidos en el flujo de audio, qué idioma soporta el flujo de audio, y cómo de alta es la frecuencia de muestreo. La información de atributo de flujo de vídeo y la información de atributo de flujo de audio se usan para inicialización de un descodificador antes de que el reproductor reproduzca la información.

En la presente realización, los datos multiplexados a usar son de un tipo de flujo incluido en la PMT. Adicionalmente, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributo de flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones incluyen una etapa o una unidad para asignar información única que indica datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo. Con la configuración, los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones pueden distinguirse de los datos de vídeo que se ajustan a otra norma.

Adicionalmente, la figura 43 ilustra las etapas del procedimiento de descodificación de instantáneas en movimiento de acuerdo con la presente realización. En la etapa exS100, el tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo incluido en la información de datos multiplexados se obtiene desde los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributo de flujo de vídeo indica o no que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributo de flujo de vídeo indica que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, en la etapa exS102, se realiza descodificación por el procedimiento de descodificación de instantáneas en movimiento en cada una de las realizaciones. Adicionalmente, cuando el tipo de flujo o la información de atributo de flujo de vídeo indica el cumplimiento de las normas convencionales, tales como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS103, se realiza descodificación por un procedimiento de descodificación de instantáneas en movimiento cumpliendo con las normas convencionales. En este sentido, asignar un nuevo valor único al tipo de flujo o la información de atributo de flujo de vídeo posibilita la determinación de si el procedimiento de descodificación de instantáneas en movimiento o el aparato de descodificación de instantáneas en movimiento que se describen en cada una de las realizaciones puede realizar o no la descodificación. Incluso cuando se introducen datos multiplexados que se ajustan a una norma diferente, puede seleccionarse un procedimiento o aparato de descodificación apropiado. Por lo tanto, se hace posible descodificar información sin error alguno. Adicionalmente, el procedimiento o aparato de codificación de instantáneas en movimiento, o el procedimiento o aparato de descodificación de instantáneas en movimiento en la presente realización se puede usar en los dispositivos y sistemas anteriormente descritos.

(Quinta realización)

Cada uno del procedimiento de codificación de instantáneas en movimiento, el aparato de codificación de instantáneas en movimiento, el procedimiento de descodificación de instantáneas en movimiento, y el aparato de descodificación de instantáneas en movimiento en cada una de las realizaciones se consigue típicamente en forma de un circuito integrado o un circuito Integrado a Gran Escala (LSI). Como un ejemplo del LSI, la figura 44 ilustra una configuración del LSI ex500 que se hace en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, y ex509 que se van a describir a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de fuente de alimentación ex505 se activa suministrando a cada uno de los elementos con potencia cuando se activa la unidad de circuito de fuente de alimentación ex505.

Por ejemplo, cuando se realiza codificación, el LSI ex500 recibe una señal de AV desde un micrófono ex117, una cámara ex113, y otros a través de una ES de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504, y una unidad de control de frecuencia de accionamiento ex512. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos de acuerdo con la cantidad de procesamiento y velocidad a transmitir a una unidad de procesamiento de señal ex507. A continuación, la unidad de procesamiento de señal ex507 codifica una señal de audio y/o una señal de vídeo. En este punto, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Adicionalmente, la unidad de procesamiento de señal ex507 multiplexa en ocasiones los datos de audio codificados y los datos de vídeo codificados, y una ES de flujo ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando se multiplexan conjuntos de datos, los datos deberían almacenarse temporalmente en la memoria intermedia ex508 de modo que los conjuntos de datos se sincronizan entre sí.

Aunque la memoria ex511 es un elemento fuera del LSI ex500, puede incluirse en el LSI ex500. La memoria intermedia ex508 no se limita a una memoria intermedia, sino que puede estar compuesta por memorias intermedias. Adicionalmente, el LSI ex500 puede estar fabricado en un chip o una pluralidad de chips.

Adicionalmente, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de accionamiento ex512, la configuración de la unidad de control ex501 no se limita a esto. Por ejemplo, la unidad de procesamiento de señal ex507 puede incluir adicionalmente una CPU. La inclusión de otra CPU en la unidad de procesamiento de señal ex507 puede mejorar la velocidad de procesamiento. Adicionalmente, como otro ejemplo, la CPU ex502 puede servir como o ser una parte de la unidad de procesamiento de señal ex507, y, por ejemplo, puede incluir una unidad de procesamiento de señal de audio. En un caso de este tipo, la unidad de control ex501 incluye la unidad de procesamiento de señal ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señal ex507.

El nombre usado en el presente documento es LSI, pero puede denominarse también CI, sistema LSI, súper LSI o ultra LSI dependiendo del grado de integración.

Además, las maneras para conseguir la integración no se limitan al LSI, y un circuito especial o un procesador de propósito general y así sucesivamente pueden conseguir también la integración. El Campo de Matriz de Puertas Programables (FPGa ) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la re-configuración de la conexión o configuración de un LSI puede usarse para el mismo fin.

En el futuro, con el avance de la tecnología de semiconductores, una tecnología nueva puede sustituir a la LSI. Los bloques funcionales pueden integrarse usando una tecnología de este tipo. La posibilidad es que la presente invención se aplique a biotecnología.

(Sexta realización)

Cuando se descodifican datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en comparación con cuando se descodifican datos de vídeo que se ajustan a una norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, probablemente aumenta la cantidad de procesamiento. Por lo tanto, el LSI ex500 necesita establecer una frecuencia de accionamiento más alta que la de la CPU ex502 a usar cuando se descodifican datos de vídeo de conformidad con la norma convencional. Sin embargo, cuando la frecuencia de accionamiento se establece más alta, existe un problema de que el consumo de potencia aumenta.

Para resolver el problema, el aparato de descodificación de instantáneas en movimiento, tal como la televisión ex300 y el LSI ex500 están configurados para determinar a qué norma se ajustan los datos de vídeo, y conmutar entre las frecuencias de accionamiento de acuerdo con la norma determinada. La figura 45 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento superior cuando se generan datos de vídeo por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de descodificación ex801 que ejecute el procedimiento de descodificación de instantáneas en movimiento descrito en cada una de las realizaciones para descodificar los datos de vídeo. Cuando los datos de vídeo se ajustan a la norma convencional, la unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento inferior a la de los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de descodificación ex802 que se ajusta a la norma convencional que descodifique los datos de vídeo.

Más específicamente, la unidad de conmutación de frecuencia de accionamiento ex803 incluye la CPU ex502 y la unidad de control de frecuencia de accionamiento ex512 en la figura 44. En este punto, cada una de la unidad de procesamiento de descodificación ex801 que ejecuta el procedimiento de descodificación de instantáneas en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de descodificación ex802 que se ajusta a la norma convencional se corresponden con la unidad de procesamiento de señal ex507en la figura 44. La CPU ex502 determina a qué norma se ajustan los datos de vídeo. A continuación, la unidad de control de frecuencia de accionamiento ex512 determina una frecuencia de accionamiento basándose en una señal desde la CPU ex502. Adicionalmente, la unidad de procesamiento de señal ex507 descodifica los datos de vídeo basándose en la señal desde la CPU ex502. Por ejemplo, la información de identificación descrita en la cuarta realización se usa probablemente para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la cuarta realización sino que puede ser cualquier información siempre que la información indique a qué norma se ajustan los datos de vídeo. Por ejemplo, cuando a qué norma se ajustan los datos de vídeo puede determinarse basándose en una señal externa para determinar que los datos de vídeo se usan para una televisión o un disco, etc., la determinación puede realizarse basándose en una señal externa de este tipo. Adicionalmente, la CPU ex502 selecciona una frecuencia de accionamiento basándose en, por ejemplo, una tabla de correspondencia en la que las normas de los datos de vídeo están asociadas con las frecuencias de accionamiento como se muestra en la figura 47. La frecuencia de accionamiento puede seleccionarse almacenando la tabla de búsqueda en la memoria intermedia ex508 y en una memoria interna de un LSI, y con referencia a la tabla de búsqueda por la CPU ex502.

La figura 46 ilustra etapas para ejecutar un procedimiento en la presente realización. En primer lugar, en la etapa exS200, la unidad de procesamiento de señal ex507 obtiene información de identificación desde los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no por el procedimiento de codificación y el aparato de codificación descritos en cada una de las realizaciones, basándose en la información de identificación. Cuando los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento superior a la de la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más alta. Por otra parte, cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento inferior a la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento inferior que la de en el caso en el que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones.

Adicionalmente, junto con la conmutación de las frecuencias de accionamiento, el efecto de conservación de potencia puede mejorarse cambiando la tensión a aplicarse al LSI ex500 o a un aparato que incluye el LSI ex500. Por ejemplo, cuando la frecuencia de accionamiento se establece más baja, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece a una tensión inferior que en el caso en el que la frecuencia de accionamiento se establece más alta.

Adicionalmente, cuando la cantidad de procesamiento para descodificación es mayor, la frecuencia de accionamiento puede establecerse más alta, y cuando la cantidad de procesamiento para descodificación es más pequeña, la frecuencia de accionamiento puede establecerse más baja que el procedimiento para establecer la frecuencia de accionamiento. Por lo tanto, el procedimiento de ajuste no se limita a los anteriormente descritos. Por ejemplo, cuando la cantidad de procesamiento para descodificar datos de vídeo de conformidad con MPEG-4 AVC es mayor que la cantidad de procesamiento para descodificar datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la frecuencia de accionamiento probablemente se establece en orden inverso al ajuste anteriormente descrito.

Adicionalmente, el procedimiento para establecer la frecuencia de accionamiento no se limita al procedimiento para establecer la frecuencia de accionamiento más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece más alta. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece más baja. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, el accionamiento de la CPU ex502 probablemente no tiene que suspenderse. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, el accionamiento de la CPU ex502 probablemente se suspende a un tiempo dado puesto que la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en el caso en el que la CPU ex502 tiene capacidad de procesamiento adicional, el accionamiento de la CPU ex502 probablemente se suspende en un tiempo dado. En un caso de este tipo, el tiempo de suspensión probablemente se establece más corto que en el caso cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1.

Por consiguiente, el efecto de conservación de potencia puede mejorarse conmutando entre las frecuencias de accionamiento de acuerdo con la norma a la que se ajustan los datos de vídeo. Adicionalmente, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se accionan usando una batería, la duración de la batería puede ampliarse con el efecto de conservación de potencia.

(Séptima realización)

Existen casos en los que una pluralidad de datos de vídeo que se ajustan a diferentes normas, se proporcionan a los dispositivos y sistemas, tales como una televisión y un teléfono celular. Para posibilitar la descodificación de la pluralidad de datos de vídeo que se ajustan a las diferentes normas, la unidad de procesamiento de señal ex507 del LSI ex500 necesita ajustarse a las diferentes normas. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y el aumento en el coste surgen con el uso individual de las unidades de procesamiento de señal ex507 que se ajustan a las normas respectivas.

Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de descodificación para implementar el procedimiento de descodificación de instantáneas en movimiento descrita en cada una de las realizaciones y la unidad de procesamiento de descodificación que se ajusta a la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1 se comparten parcialmente. Ex900 en la figura 48A muestra un ejemplo de la configuración. Por ejemplo, el procedimiento de descodificación de instantáneas en movimiento descrito en cada una de las realizaciones y el procedimiento de descodificación de instantáneas en movimiento que se ajusta a AVC de MPEG-4 tienen, parcialmente en común, los detalles de procesamiento, tal como codificación por entropía, cuantificación inversa, filtrado por desbloqueo y predicción con compensación de movimiento. Los detalles de procesamiento a compartir probablemente incluyen el uso de una unidad de procesamiento de descodificación ex902 que se ajusta a MPEG-4 AVC. En contraposición, una unidad de procesamiento de descodificación especializada ex901 probablemente se usa para otro procesamiento que es único para un aspecto de la presente invención y no se ajusta a MPEG-4 AVC. Debido a que el aspecto de la presente invención se caracteriza por el control de memoria de tramas en particular, por ejemplo, la unidad de procesamiento de descodificación dedicada ex901 se usa para el control de memoria de tramas. De otra manera, la unidad de procesamiento de descodificación probablemente se comparte para una de la descodificación por entropía, filtración de desbloqueo, y compensación de movimiento, o todo el procesamiento. La unidad de procesamiento de descodificación para implementar el procedimiento de descodificación de instantáneas en movimiento descrita en cada una de las realizaciones puede compartirse para el procesamiento a compartirse, y una unidad de procesamiento de descodificación especializada puede usarse para procesamiento único al de MPEG-4 AVC.

Adicionalmente, ex1000 en la figura 48B muestra otro ejemplo en el que el procesamiento se comparte parcialmente. Este ejemplo usa una configuración que incluye una unidad de procesamiento de descodificación especializada ex1001 que soporta el procesamiento único de un aspecto de la presente invención, una unidad de procesamiento de descodificación especializada ex1002 que soporta el procesamiento único de otra norma convencional, y una unidad de procesamiento de descodificación ex1003 que soporta procesamiento a compartirse entre el procedimiento de descodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de descodificación de instantáneas en movimiento convencional. En este punto, las unidades de procesamiento de descodificación especializadas ex1001 y exl002 no están necesariamente especializadas para el procesamiento de acuerdo con el aspecto de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser las que pueden implementar procesamiento general. Adicionalmente, la configuración de la presente realización puede implementarse por el LSI ex500.

En este sentido, reducir la escala del circuito de un LSI y reducir el coste son posibles compartiendo la unidad de procesamiento de descodificación para el procesamiento a compartirse entre el procedimiento de descodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de descodificación de instantáneas en movimiento cumpliendo con la norma convencional.

Aunque se han descrito anteriormente el aparato de codificación de imágenes y el aparato de descodificación de imágenes de acuerdo con las realizaciones de la presente invención, la presente invención no se limita a estas realizaciones. Los expertos en la materia apreciarán fácilmente que las realizaciones son de un ámbito que pretende cubrir y abarcar estructuras, procedimientos y/o usos equivalentes, sin apartarse materialmente del ámbito de las reivindicaciones adjuntas.

rAplicabilidad industrial!

La presente invención es aplicable a procedimientos de codificación de imágenes, procedimientos de descodificación de imágenes, aparatos de codificación de imágenes y aparatos de descodificación de imágenes. Además, la presente invención puede usarse para dispositivos de visualización de información y dispositivos de formación de imágenes con alta resolución que incluye el aparato de codificación de imágenes, tales como televisiones, grabadores de vídeo digital, sistemas de navegación de automóvil, teléfonos celulares, cámaras digitales y cámaras de vídeo digitales.

[Lista de signos de referencia!

100 Aparato de codificación de imágenes

101 Restador

102 Unidad de transformación ortogonal

103 Unidad de cuantificación

104, 204 Unidad de cuantificación inversa

105, 205 Unidad de transformación ortogonal inversa

106, 206 Sumador

107, 207 Memoria de bloques

108, 208 Memoria de tramas

109, 209 Unidad de intra predicción

110, 210 Unidad de inter predicción

111,211 Unidad de determinación de tipo de instantánea

112 Unidad de codificación de longitud variable

113, 213 Unidad de control de memoria de tramas

120 Señal de imagen de entrada

121, 125, 225 Datos de error de predicción

122, 124, 224 Coeficiente de frecuencia

123, 223 Valor cuantificado

126, 127, 128, 226, 227, 228 Datos de imagen descodificados

129, 130, 131,229, 230, 231 Datos de imagen de predicción

132, 132A, 132B, 132C, 132D, 132E, 132F, 132G, 232, 500 Flujo de bits codificado

133, 233 Información de control de memoria de tramas

200 Aparato de descodificación de imágenes

212 Unidad de descodificación de longitud variable

301, 301B, 301D, 501 SPS (conjunto de parámetros de secuencia)

302, 302B, 302C, 302E, 302F, 302G, 502 PPS (conjunto de parámetros de instantánea)

303, 503 Datos de instantánea

311 Identificador de SPS 311

312, 512 Información de definición de descripción de memoria intermedia

313 Información de definición de descripción de lista de referencia

314 Descripción de memoria intermedia

315, 515 Descripción de memoria intermedia

316 Descripción de lista de referencia

321 Información de selección de SPS

322, 522 Identificador de PPS

323, 323F, 323G, 523 Información de actualización de descripción de memoria intermedia

, 324F, 324G Información de actualización de descripción de lista de referencia Información de número de actualizaciones

Información de actualización

Información de selección de descripción de memoria intermedia Información de modificación de descripción de memoria intermedia Información de definición de lista de referencia

, 331A Encabezamiento de instantánea

Parte de datos de instantánea

, 533 Información de selección de PPS

Información de selección de descripción de memoria intermedia

, 535 Datos de segmento

, 341A, 341B, 341D, 341G, 541 Encabezamiento de segmento

, 542 Parte de datos de segmento

, 543 Datos de CU

Información de selección de descripción de memoria intermedia

Bandera de modificación de descripción de memoria intermedia

A Elemento de memoria intermedia

Claims

REIVINDICACIONES

1. Un procedimiento de codificación de imágenes para generar un flujo de bits codificado mediante la codificación de una imagen, el procedimiento de codificación de imágenes caracterizado por comprender:

escribir (S101) descripciones de memorias intermedias (BD0 - BDn) en un conjunto de parámetros de secuencia incluido en el flujo de bits codificado, cada una de las descripciones de memoria intermedia (BD0 - BDn) incluye elementos de memoria intermedia (BEO - BE2), en el que cada uno de los elementos de memoria intermedia (BEO - BE2) (i) está asociado con un índice de elemento de memoria intermedia y (ii) especifica una instantánea de referencia que se va a contener en una memoria intermedia para codificar instantáneas;

construir (S102) una lista de instantáneas de referencia por defecto que incluye todas las instantáneas de referencia que se indican en las descripciones de memoria intermedia (BDO - BDn) de acuerdo con un esquema de construcción predeterminado; seleccionar una de las descripciones de memoria intermedia (BDO - BDn); escribir, en un encabezamiento de segmento de un segmento actual incluido en el flujo de bits codificado, información de selección de descripción de memoria intermedia para especificar la descripción de memoria intermedia seleccionada;

modificar al menos uno de los elementos de memoria intermedia (BEO - BE2) incluidos en la descripción de memoria intermedia seleccionada (BDO - BDn) especificando una instantánea de referencia que se va a asociar con el elemento de memoria intermedia;

escribir información de actualización de descripción de memoria intermedia en el encabezamiento de segmento, en el que la información de actualización de descripción de memoria intermedia incluye un índice de elemento de memoria intermedia del elemento de memoria intermedia que se va a modificar y una diferencia de POC entre la instantánea de referencia que se va a asociar con el elemento de memoria intermedia y el segmento actual; reordenar (S103) instantáneas de referencia incluidas en la lista de instantáneas de referencia por defecto que corresponde a la descripción de memoria intermedia seleccionada y modificada para definir una primera lista de instantáneas de referencia (l0);

reordenar (S103) instantáneas de referencia incluidas en la lista de instantáneas de referencia por defecto que corresponde a la descripción de memoria intermedia seleccionada y modificada para definir una segunda lista de instantáneas de referencia (l1);

escribir (S104) información de reordenación de lista de referencia en el encabezamiento de segmento, en el que, en la información de reordenación, se especifica una instantánea de referencia objetivo que se va a reordenar mediante un índice de elemento de memoria intermedia en la descripción de memoria intermedia seleccionada y modificada; y

codificar (S105) el segmento actual usando la descripción de memoria intermedia seleccionada y modificada (BD0 - BDn), la primera lista de instantáneas de referencia (l0) y la segunda lista de instantáneas de referencia (l1).

2. Un aparato de codificación de imágenes para generar un flujo de bits codificado codificando una imagen, el aparato de codificación de imágenes caracterizado por comprender

una unidad de control de memoria de tramas (113) configurada para realizar el procedimiento de codificación de imágenes de acuerdo con la reivindicación 1.