ES2714756T3

ES2714756T3 - Señalización de imágenes de referencia

Info

Publication number: ES2714756T3
Application number: ES17173414T
Authority: ES
Inventors: Jonathan Samuelsson; Rickard Sjöberg
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2011-06-30
Filing date: 2012-04-26
Publication date: 2019-05-29
Anticipated expiration: 2032-04-26
Also published as: BR112013033191A2; DK3091744T3; WO2013002700A1; EP3410725B1; US20180338157A1; TR201901275T4; AP2014007381A0; CN103797797B; RU2765751C2; AU2012276348C1; US20170041633A1; US10708618B2; JP2015222971A; CN103797797A; MY166340A; US20130215975A1; AU2012276348A1; MX2013014857A; DK2727342T3; ZA201309396B

Abstract

Método de descodificación de una representación codificada (60) de una imagen (10) de un flujo continuo (1) de vídeo de múltiples imágenes (10, 40, 42, 50), comprendiendo dicho método: recuperar (S30) información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos incluida en dicha representación codificada (60) de dicha imagen (10); determinar (S31), sobre la base de dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificación para dicha imagen (10); actualizar (S32) una memoria intermedia (530, 650) de imágenes descodificadas basándose en dicho por lo menos un identificador de imagen marcando (S70) como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530, 650) de imágenes descodificadas y que no están asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia; descodificar (S33) dicha imagen (10) basándose en dicha representación codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530, 650) de imágenes descodificadas, en donde la descodificación de dicha imagen (10) se realiza después de actualizar dicha memoria intermedia (530, 650) de imágenes descodificadas, caracterizado por que dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referencia de una manera absoluta y explícita por medio de dicha representación codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre qué imagen de referencia utilizar para referencia durante la descodificación, independientemente de la representación codificada de imágenes previas en el flujo continuo de vídeo.

Description

DESCRIPCION

Senalizacion de imageries de referenda

CAMPO TECNICO

Las realizaciones se refieren, en general, a la gestion de imágenes de referencia en relacion con la codificacion y la descodificacion de video, y, en particular, a la senalizacion de imágenes de referencia y a la gestion de memorias intermedias de dichas imágenes de referencia.

ANTECEDENTES

La H.264, a la que tambien se hace referencia como Codificacion de Video Avanzada (AVC) del Grupo de Expertos en Imagenes en Movimiento 4 (MPEG-4), es la norma de codificacion de video del estado de la tecnica. Consiste en un esquema de codificacion hlbrida de video, basada en bloques, que se aprovecha de la prediccion temporal y espacial.

La Codificacion de Video de Alta Eficiencia (HEVC) es una nueva norma de codificacion de video que se esta desarrollando actualmente en la Codificacion de Video - Grupo Cooperativo Mixto (JCT-VC). El JCT-VC es un proyecto de colaboracion entre el MPEG y el sector de normalizacion de Telecomunicacion de la Union Internacional de Telecomunicaciones (ITU-T). En la actualidad, hay definido un Borrador de Trabajo (WD) que incluye macrobloques grandes (abreviados como LCUs, por Unidades de Codificacion Mas Grandes) y una serie de otras herramientas nuevas, y el mismo es considerablemente mas eficiente que la H.264/AVC.

En un receptor, un descodificador recibe un flujo continuo de bits que representa imágenes, es decir, paquetes de datos de video de datos comprimidos. Los datos comprimidos comprenden carga util e information de control. La information de control comprende, por ejemplo, información sobre que imágenes de referencia se deben almacenar en una memoria intermedia de imágenes de referencia, a la que se conoce tambien como memoria intermedia de imágenes descodificadas (DPB). Esta información es una referencia relativa a imágenes recibidas anteriores. Ademas, el descodificador descodifica el flujo continuo de bits recibido y visualiza la imagen descodificada. Adicionalmente, las imágenes descodificadas se almacenan en la memoria intermedia de imágenes descodificadas de acuerdo con la información de control. Estas imágenes de referencia almacenadas son utilizadas por el descodificador cuando se descodifican imágenes subsiguientes.

Una suposicion de trabajo para los procesos de las operaciones de la memoria intermedia de imágenes descodificadas en el borrador de trabajo de la HEVC es que los mismos se heredaran en gran medida de la H.264/AVC. En la Figura 1 se muestra un diagrama de flujo simplificado del esquema e ssetgaún disenado en la H.264/AVC.

Antes de la descodificacion real de una imagen, el frame_num en el encabezamiento de franja (slice) se analiza sintacticamente para detectar un posible vaclo en frame_num si el elemento de sintaxis del Conjunto de Parametros de Secuencia (SPS) gaps_in_frame_num_value_allowed_flag es 1. El frame_num indica el orden de descodificacion. Si se detecta un vaclo en frame_num, se crean cuadros “no existentes” y los mismos se introducen en la memoria intermedia de imágenes descodificadas (DPB).

Independientemente de si habla o no un vaclo en frame_num, la siguiente etapa es la descodificacion real de la imagen actual. Si los encabezamientos de franja de la imagen contienen ordenes de Operaciones de Control de Gestion de Memoria (MMCO), se aplica un proceso de control de memoria adaptativo despues de la descodificacion de la imagen para obtener una referencia relativa a las imágenes que se van a almacenar en la memoria intermedia de imágenes descodificadas; en caso contrario, se aplica un proceso de ventana deslizante para obtener una referencia relativa a las imágenes a almacenar en la memoria intermedia de imágenes descodificadas. Como etapa final, se aplica el proceso de “lanzamiento” (“bumping”) para entregar las imágenes en el orden correcto.

Un problema de la H.264/AVC es su vulnerabilidad a las perdidas de imágenes que contienen MMCO de tipo 2, 3, 4, 5 se og 6ún se describe en la siguiente Tabla 1.

Tabla 1 - Valores de operaciones de control de gestion de memoria para H.264/AVC

Evidentemente, la perdida de una imagen que no contiene MMCO, o una imagen que contiene MMCO de tipo 0 o 1, es seria para el proceso de descodificacion. Los valores de pixeles de la imagen perdida no estaran disponibles y pueden afectar a imágenes futuras durante un periodo de tiempo prolongado debido a una prediccion inter incorrecta. Tambien existe un riesgo de que las listas de imágenes de referencia para unas cuantas imágenes despues de la imagen perdida sean erroneas, por ejemplo si la imagen perdida contenia MMCO que marcaban una imagen de referencia de corto plazo como “no utilizada para referencia” que, de otro modo, se habria incluido en la lista de imágenes de referencia de la siguiente imagen. Sin embargo, el proceso de descodificacion en general puede recuperar dicha perdida mediante el uso de franjas intra o bloques intra restringidos o por otros medios. No obstante, si se pierde una imagen que contiene MMCO de tipo 2, 3, 4, 5 o 6, existe un riesgo de que el numero de imágenes de largo plazo en la DPB sea diferente de lo que habria sido si la imagen se hubiera recibido, lo que da como resultado un proceso de ventana deslizante “incorrecto” para todas las imágenes sucesivas. Es decir, el codificador y el descodificador contendran un numero diferente de imágenes de corto plazo lo cual da como resultado un comportamiento del proceso de ventana deslizante fuera de sincronizacion. Esta perdida no se puede recuperar por el uso de franjas intra, bloques intra restringidos, o tecnicas similares (ni siquiera una imagen Intra del Grupo De Imagenes (GOP) abierto). La unica manera de garantizar la recuperació dne dicha perdida es a traves de una imagen por Regeneracion Instantanea del Descodificador (IDR) o a traves de una MMCO que anule el efecto de la MMCO perdida. Lo que empeora todavia mas la situacion es que un descodificador no tendra conocimiento necesariamente de que el proceso de ventana deslizante esta fuera de sincronizacion y, por lo tanto, no puede informar del problema al codificador o solicitar una imagen de IDR ni siquiera en aplicaciones en las que haya disponible un canal de retroalimentacion.

Una forma de reducir el riesgo de perder información importante de MMCO es utilizar mensajes de Informacion de Mejora Suplementaria (SEI) dec_ref_pic_marking_repetition. Sin embargo, el codificador no sabra si el descodificador tiene la capacidad de hacer uso de mensajes de SEI dec_ref_pic_marking_repetition. Ademas, existe un riesgo de que tambien se pierda el mensaje de SEI dec_ref_pic_marking_repetition.

Borgwardt, Multi-Picture Buffer Semantics for Interlaced Coding, Equipo Mixto de Video (JVT) de ISO/IEC MPEG & ITU-T VEVG (ISO/IEC JTC1/SC29/wG11 e ITU-T SG166 Q.6), 3a Reunion: Fairfax, Virginia, Estados Unidos, del 6 al 10 de mayo de 2002, JVT-C049, da a conocer la revision de la Memoria Intermedia de Multiples Imagenes en el JVT de manera que pueda almacenar tanto cuadros como campos y tratar con referencias de ambos.

Buffer requirement analysis and reference picture marking for temporal scalable video coding, de Shen et al., Packet Video 2007, IEEE, 1 de noviembre de 2007, paginas 91 a 97, analiza el requisito de memoria intermedia minimo para una codificacion escalable temporal usando una estructura denominada de codificacion jerarquica de imágenes B.

Por lo tanto, existe la necesidad de una senalizacion eficiente de imágenes de referencia y de una gestion eficiente de memorias intermedias de imágenes de referencia, que no padezcan los inconvenientes y limitaciones de soluciones de la tecnica anterior.

COMPENDIO

Uno de los objetivos generales es proporcionar una senalizacion eficiente de imágenes de referencia y una gestion eficiente de memorias intermedias de imágenes de referencia en relacion con la codificacion y descodificacion de video.

Este y otros objetivos se logran con realizaciones dadas a conocer en este documento.

Un aspecto de las realizaciones se refiere a un metodo de descodificacion de acuerdo con las reivindicaciones independientes.

Otro aspecto de las realizaciones define un descodificador de acuerdo con las reivindicaciones independientes.

Todavla un aspecto adicional se refiere a un receptor de acuerdo con las reivindicaciones independientes.

En clara contraposicion a las soluciones de la tecnica anterior en las cuales la gestion correcta de las imágenes de

referencia depende de que las imágenes previamente codificadas se hayan recibido y descodificado correctamente,

las realizaciones proporcionan information de descripción de memoria intermedia que se utiliza para imágenes de

referencia de una manera absoluta y expllcita en lugar de una manera relativa o impllcita. Por lo tanto, la

representation codificada de una imagen contiene la información sobre que imágenes de referencia utilizar como

referencia durante la descodificacion con independencia de las representaciones codificadas de imágenes previas

en el flujo continuo de video.

Las realizaciones consiguen, de esta manera, que la gestion y la serialization de imágenes de referencia sean

menos vulnerables a errores puesto que el descodificador solamente tendra que basarse en información contenida

en la imagen actual para la gestion de imágenes de referencia de la imagen actual, en lugar de basarse en

operaciones de memoria intermedia entregadas e interpretadas correctamente en imágenes previas.

BREVE DESCRIPCION DE LOS DIBUJOS

La invention, junto con otros objetos y ventajas de la misma, puede entenderse mejor haciendo referencia a la

siguiente descripción considerada conjuntamente con los dibujos adjuntos, en los cuales:

La Figura 1 es un diagrama de flujo simplificado del esquema de memoria intermedia de referencias

H.264/AVC;

la Figura 2 es un ejemplo de una estructura de codification con dos capas temporales;

la Figura 3 es un diagrama de flujo de un metodo de codificacion de una imagen de acuerdo con una

realizacion;

la Figura 4 es un flujo continuo de video de multiples imágenes de acuerdo con una realization;

la Figura 5 es una representacion codificada de una imagen de acuerdo con una realizacion;

la Figura 6 es un diagrama de flujo de una etapa adicional, opcional, del metodo de la Figura 3;

la Figura 7 es un diagrama de flujo de etapas opcionales adicionales del metodo de la Figura 3 y una

realización de generation de información de descripción de memoria intermedia de la Figura 3;

la Figura 8 es un ejemplo de una estructura de codificacion con tamano de (sub)GOP 8;

la Figura 9 es un diagrama de flujo de un metodo de descodificacion de una representacion codificada de una

imagen de acuerdo con una realizacion;

la Figura 10 es un diagrama de flujo de una realización de determination de un identificador de imagen de la

Figura 9;

la Figura 11 es un diagrama de flujo de una realización de recuperation de información de descripción de

memoria intermedia de la Figura 9;

la Figura 12 es un diagrama de flujo de otra realización de la determinacion de un identificador de imagen de

la Figura 9;

la Figura 13 es un diagrama de flujo de etapas opcionales adicionales del metodo de la Figura 9;

la Figura 14 es un diagrama de flujo de una etapa adicional, opcional, del metodo de la Figura 9;

la Figura 15 es un ejemplo de una estructura de codificacion;

la Figura 16 es un diagrama de flujo simplificado de un esquema de memoria intermedia de referencias de

acuerdo con una realizacion;

la Figura 17 es un diagrama de bloques esquematico de un transmisor de acuerdo con una realizacion;

la Figura 18 es un diagrama de bloques esquematico de un codificador de acuerdo con una realizacion; la Figura 19 es un diagrama de bloques esquematico de un codificador de acuerdo con otra realizacion; la Figura 20 es un diagrama de bloques esquematico de un receptor de acuerdo con una realizacion;

la Figura 21 es un diagrama de bloques esquematico de un descodificador de acuerdo con una realiza la Figura 22 es un diagrama de bloques esquematico de un descodificador de acuerdo con otra realiza

DESCRIPCION DETALLADA

En la totalidad de los dibujos, se utilizan los mismos numeros de referencia para elementos similares o

correspondientes.

Las presentes realizaciones se refieren, en general, a la codificacion y descodificacion de imágenes, a las que se

hace referencia tambien en la tecnica como cuadros, de un flujo continuo de video. En particular, las realizaciones

se refieren a la gestion de imágenes de referencia en relation con la codificacion y descodificacion de video, y a la

senalizacion de dichas imágenes de referencia desde el codificador al descodificador.

La codificacion de video, tal como la representada por la H.264/MPEG-4 AVC y HEVC, utiliza imágenes de

referencia como predicciones o referencias para la codificacion y descodificacion de datos de pixeles de una imagen

actual. A esto se le hace referencia, generalmente, como codificacion inter en la tecnica, en donde una imagen se

codifica y se descodifica en relacion con dichas imágenes de referencia. Por lo tanto, con el fin de poder descodificar

una imagen codificada, el descodificador tiene que conocer que imágenes de referencia utilizar para la imagen

codificada actual y tiene que tener acceso a estas imágenes de referencia. Generalmente, el descodificador utiliza

una memoria intermedia de imágenes descodificadas (DPB), tambien denominada, en la presente, memoria intermedia de imágenes de referencia, para almacenar las imágenes de referenda. Es entonces importante que las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas sean realmente las imágenes de referencia correctas cuando se descodifica una imagen codificada, si no el descodificador utilizara imágenes de referencia erroneas durante el proceso de descodificacion provocando un deterioro de la calidad del video presentado.

Los planteamientos de la tecnica anterior pueden padecer problemas en relacion con el uso de imágenes de referencia incorrectas cuando una imagen portadora de información MMCO se pierde de manera no intencionada, lo cual se describio en la seccion de antecedentes. Este problema de la tecnica anterior se puede ilustrar con el siguiente ejemplo implementado en H.264. Supongase que la memoria intermedia de imágenes descodificadas almacena tres imágenes de corto plazo con identificadores de imagen 300, 302 y 303 y dos imágenes de largo plazo con identificadores de imagen 0 y 3. El codificador podrla, entonces, generar una nueva imagen codificada con una orden MMCO de tipo 2 estableciendo que la imagen de largo plazo 0 debe ser: no utilizada para referencia. Si esta imagen codificada se hubiese recibido correctamente en el descodificador, la imagen de largo plazo 0 se habrla marcado como no utilizada para referencia, y la lista de imágenes de referencia habrla sido {300, 302, 303, 3}. Sin embargo, si se pierde la imagen codificada con la orden MMCO de tipo 2, al descodificador no se le informa de que la imagen de largo plazo 0 se debe marcar como no utilizada para referencia, y, por lo tanto, la lista de imágenes de referencia es en cambio {300, 302, 303, 0, 3}. Si una imagen codificada sucesiva recibida en el descodificador comprende información de que la imagen de referencia en la posicion 3 de la lista de imágenes de referencia se va a usar como prediccion para un macrobloque en la imagen, se producira un problema si se pierde la orden MMCO de tipo 2. Si la orden MMCO de tipo 2 se hubiese recibido correctamente en el descodificador, la imagen de referencia en la posicion 3 en la lista de imágenes de referencia se corresponded con la imagen de largo plazo 3 ya que esta imagen de referencia ocupa la posicion 3 (si se comienza con 0) en la lista de imágenes de referencia. Sin embargo, con una orden MMCO de tipo 2 perdida, la posicion 3 en la lista de imágenes de referencia es ocupada en cambio por la imagen de largo plazo 0. Esto significa que como base de la prediccion se usaran datos de plxeles de la imagen de largo plazo 0, en lugar de los datos de plxeles correctos del identificador de imagen de largo plazo 3.

Por lo tanto, la solucion de la tecnica anterior tiene el problema de que la gestion correcta de las imágenes de referencia depende de que las imágenes previamente descodificadas se hayan recibido y descodificado correctamente.

Las presentes realizaciones no adolecen de estos problemas de los planteamientos de la tecnica anterior al usar un enfoque fundamentalmente diferente para la senalizacion de imágenes de referencia en comparacion con la tecnica anterior. Por el contrario, las presentes realizaciones especifican que imágenes descodificadas se usaran para imágenes de referencia de una manera absoluta o expllcita en lugar de una manera relativa o impllcita. Otra forma de plantearlo es que la representacion codificada, es decir, el flujo continuo de bits, para una imagen actual contiene la información sobre que imágenes usar como referencia, es decir, imágenes de referencia, independientemente de las representaciones codificadas de imágenes anteriores. Por lo tanto, se puede decir que la responsabilidad logica para mantener correcta la memoria intermedia de imágenes descodificadas pasa del descodificador al flujo continuo de bits. Una forma de considerarlo es decir que la información sobre que imágenes de referencia utilizar para la prediccion inter y la prediccion con vectores de movimiento para una imagen se incluye en la información de control de la imagen. Por lo tanto, el estado de la memoria intermedia de imágenes descodificadas se senaliza para cada imagen que se codifica y descodifica en relacion con otras imágenes.

De acuerdo con un aspecto de las realizaciones, se proporciona un metodo que crea información de descripción de memoria intermedia, por ejemplo, una estructura de datos, tal como una tabla general con información absoluta sobre que imágenes se usaran para imágenes de referencia, es decir, almacenada en una memoria intermedia de imágenes descodificadas (a la que se conoce tambien como memoria intermedia de imágenes de referencia) que se utilizara para la posterior codification. Al menos una parte de la información de descripción de memoria intermedia se introduce en el flujo continuo de bits codificada por un codificador.

La Figura 3 es un diagrama de flujo de un metodo de codificacion de una imagen de acuerdo con una realization. El metodo generalmente comienza en la etapa S1 en la que al menos una imagen de referencia de un flujo continuo de video de multiples imágenes se determina como referencia de codificacion. En una realizacion, la etapa S1 determina una o mas imágenes de referencia que se utilizan como referencia de codificacion para una imagen actual a codificar. Por lo tanto, los datos de plxeles de la imagen actual se codifican, entonces, en referencia a la imagen o imágenes de referencia. Alternativamente, o de forma adicional, al menos una imagen de referencia determinada en la etapa S1 podrla utilizarse como referencia de codificacion para una imagen subsiguiente del flujo continuo de video, es decir, una imagen que se codificara y descodificara despues de la imagen actual. Esta imagen subsiguiente se encuentra, por lo tanto, despues de la imagen actual de acuerdo con un orden de descodificacion (y orden de codificacion). En una realización particular, S1 determina, para la imagen actual, cualquier imagen de referencia del flujo continuo de video como referencia de codificacion para la imagen actual y cualquier imagen de referencia del flujo continuo de video como referencia de codificacion para la imagen subsiguiente. Por lo tanto, en una realización particular, la etapa S1 determina todas las imágenes de referencia que son anteriores a la imagen actual en el orden de descodificacion y que se pueden usar para la prediccion inter para la imagen actual o cualquier imagen despues de la imagen actual de acuerdo con el orden de descodificacion.

La Figura 4 ilustra esquematicamente este concepto mostrando un flujo continuo 1 de video de multiples imageries 10, 40, 42, 50. Una imagen actual 10 puede comprender una o mas franjas 20, 22 que comprenden bloques 30 de plxeles, tales como macrobloques, a los que se hace referencia tambien como bloques de arbol, o unidades de codificacion, a descodificar. Las flechas debajo de las imágenes 10, 40, 42, 50 indican la relacion de descodificacion. La imagen actual 10 se descodifica en relacion con una imagen 40 de referencia, anterior, y una imagen 42 de referencia, subsiguiente. La imagen 40 de referencia, anterior, es precedente y la imagen 42 de referencia, subsiguiente, es sucesiva con respecto a la imagen actual 10 de acuerdo con el orden de salida, pero las dos preceden a la imagen actual 10 de acuerdo con el orden de descodificacion. Esta imagen 42 de referencia, subsiguiente, se utiliza, ademas, como imagen de referencia para una imagen subsiguiente 50 en el flujo continuo 1 de video. Por lo tanto, en una realización particular, la etapa S1 podria determinar imágenes de referencia como las imágenes 40, 42 de la Figura 4.

Una etapa sucesiva S2 de la Figura 3 proporciona un identificador de imagen respectivo para cada imagen de referencia de la por lo menos una imagen de referencia determinada en la etapa S1. El identificador de imagen se utiliza, posiblemente junto con otros datos, para identificar de forma inequivoca una imagen de referencia. Por lo tanto, el identificador de imagen se puede considerar como una referencia absoluta a imágenes que se utilizaran como imágenes de referencia. Esto significa que es posible identificar correctamente la imagen de referencia pertinente dado su identificador de imagen y, opcionalmente, los otros datos.

Hay disponibles varias alternativas que podrian utilizarse como identificador de imagen de acuerdo con las realizaciones. Por ejemplo, el identificador de imagen podria ser el numero de orden de descodificacion, el numero de orden de visualizacion, el numero de orden de salida o una combinacion de numero de orden de visualizacion y un identificador adicional o, de hecho, cualquier otra information que se pueda utilizar para identificar de forma inequivoca la imagen.

Ejemplos de dichos identificadores de imagen incluyen el Contador de Orden de las Imagenes (POC), el numero de cuadro (frame_num) o el POC y un identificador adicional (additional_picture_id).

En una realización particular, el valor real del identificador de imagen se usa junto con información adicional u otros datos, tales como la position del identificador de imagen en información de descripción de memoria intermedia que se genera en la etapa S3 para identificar de forma inequivoca la imagen de referencia pertinente. Por lo tanto, la descripción de memoria intermedia identificada u obtenida con la información de descripción de memoria intermedia permite una identification inequivoca de la(s) imagen(es) de referencia pertinente(s). En una realizacion, el propio identificador de imagen, tal como el POC o el POC mas un identificador adicional, se puede utilizar para identificar de forma inequivoca la imagen de referencia.

La expresion identificar inequivocamente una imagen de referencia se utiliza, en la presente, para indicar que el propio identificador de imagen o el identificador de imagen junto con otra información incluida en la información de descripción de memoria intermedia, tal como el orden en el que la información de descripción de memoria intermedia define los identificadores de imagen, se utiliza para identificar de forma explicita una imagen de referencia. Por lo tanto, dado el identificador de imagen o el identificador de imagen y la otra información se habilita la identificacion de la imagen de referencia pertinente entre las imágenes del flujo continuo de video.

En una realización particular de la etapa S1, el numero total de imágenes de referencia determinadas para la imagen actual puede estar limitado por un parametro que se puede senalizar desde el codificador al descodificador, tal como un parametro indicado como max_num_ref_frames.

La etapa S2 se realiza preferiblemente para cada imagen de referencia determinada en la etapa S1, lo cual se ilustra esquematicamente con la linea L1.

El(los) identificador(es) de imagen proporcionado(s) en la etapa S2 se podria(n) leer desde partes de encabezamiento de la(s) imagen(es) de referencia determinada(s) en la etapa S1 o, alternativamente, se recupera a partir de los datos que representan la(s) imagen(es) de referencia de la etapa S1.

La siguiente etapa S3 genera información de una descripción de memoria intermedia, a la que se conoce tambien como Conjunto de Imagenes de Referencia (RPS). Esta información se indica como información de descripción de memoria intermedia en la presente. La información de descripción de memoria intermedia se genera basandose en el(los) identificador(es) de imagen proporcionado(s) en la etapa S2. Esta información de descripción de memoria intermedia define, preferentemente define de forma inequivoca, la por lo menos una imagen de referencia determinada en la etapa S1. Por lo tanto, es posible obtener el identificador de imagen respectivo de la por lo menos una imagen de referencia a partir de la información de descripción de memoria intermedia.

La información de descripción de memoria intermedia generada se introduce en la etapa S4 en una representation codificada de la imagen actual. Por lo tanto, la imagen codificada es, asi, portadora de la información de descripción de memoria intermedia que se puede utilizar en el descodificador para definir e identificar las imágenes de referenda que se necesitan para descodificar la imagen actual y/o cualquier imagen subsiguiente del flujo continuo de video.

Por consiguiente, la información de descripción de memoria intermedia se proporciona en información de control de la imagen codificada proporcionada desde el codificador a un descodificador. Como mlnimo, la información de descripción de memoria intermedia contiene información que necesita el descodificador para identificar las imágenes de referencia que se utilizaran en la memoria intermedia de imágenes descodificadas.

Por lo tanto, la información de descripción de memoria intermedia se puede considerar como información que identifica una descripción de memoria intermedia que es un conjunto de imágenes de referencia asociadas a una imagen actual. Esta compuesta por todas las imágenes de referencia que son anteriores a la imagen actual en el orden de descodificacion y que pueden ser utilizadas para la prediccion inter de la imagen actual o cualquier imagen que suceda a la imagen actual en el orden de descodificacion.

En una realization, la información de descripción de memoria intermedia contiene o define información sobre cada imagen que es utilizada por el descodificador en el proceso de descodificacion, incluso si la imagen no se utiliza para la prediccion inter o la prediccion con vectores de movimiento o cualquier otra prediccion. Esta información podrla incluir, aunque sin caracter limitativo, el orden de descodificacion, el orden de visualization, información de capas temporales e información de visionado.

Tal como se ha mencionado anteriormente, el numero de imágenes de referencia que puede ser senalizado por la información de descripción de memoria intermedia podrla estar limitado por el parametro max_num_ref_frames. Sin embargo, la información de descripción de memoria intermedia puede definir un numero menor que este numero maximo de imágenes, en cuyo caso las restantes se interpretan como “vaclas”.

El metodo de la Figura 3 con las etapas S1 a S4 se realiza preferentemente para cada imagen del flujo continuo de video, excepto cualquier imagen de Regeneration Instantanea del Descodificador (IDR) que provoca la regeneration de la memoria intermedia de imágenes descodificadas y, por lo tanto, no requiere ninguna información de descripción de memoria intermedia, lo cual se ilustra esquematicamente con la llnea L2. Por lo tanto, cada representation codificada generada por el codificador es portadora preferentemente de información de descripción de memoria intermedia que define las imágenes de referencia utilizadas para la codification y descodificacion de la imagen actual y/o cualquier imagen subsiguiente en el flujo continuo de video.

Este planteamiento de las realizaciones proporciona una ventaja significativa sobre la serialization de imágenes de referencia relativas de la tecnica anterior que hace uso de la orden MMCO. La senalizacion expllcita de imágenes de referencia a traves de la información de descripción de memoria intermedia en cada representacion codificada de las imágenes del flujo continuo de video consigue que la gestion de imágenes de referencia sea menos vulnerable a errores y aumenta el nivel de robustez ante errores del descodificador. De esta manera, en lugar de basarse en operaciones de memoria intermedia entregadas e interpretadas correctamente en imágenes anteriores, el descodificador solamente tendra que basarse en información contenida en la representacion codificada de la imagen actual.

En una realización particular, la información de descripción de memoria intermedia introducida en la representacion codificada de la imagen en la etapa S4 es, de hecho, la propia descripción de memoria intermedia. Por lo tanto, la información de descripción de memoria intermedia comprende en este caso un listado del(de los) identificador(es) de imagen proporcionado(s) en la etapa S2 o datos que permiten calcular el(los) identificador(es) de imagen proporcionado(s) en la etapa S2. Este ultimo caso se describira de forma adicional mas adelante en relation con la Figura 6.

Por ejemplo, la descripción de memoria intermedia podrla definir una lista con identificadores de imagen 3, 5 y 6, como imágenes de referencia para una imagen actual. La información de descripción de memoria intermedia introducida en la representacion codificada en la etapa S4 incluirla entonces estos identificadores de imagen 3, 5 y 6.

Un planteamiento alternativo que es en general mas eficiente en cuanto a los bits, es decir, en general requiere un menor numero de bits o slmbolos para la definition de los identificadores de imagen, es senalizar las propiedades de imágenes de referencia, es decir, identificadores de imagen, en relacion con el valor de estas propiedades se según haya senalizado para la imagen actual. Por ejemplo, si la imagen actual tiene un identificador de imagen 7, la lista de imágenes de referencia con identificadores 3, 5 y 6 se podrla definir como -1, -2 y -4, lo cual tlpicamente se puede representar con menos bits en comparacion con 3, 5 y 6, en particular si se utiliza la codificacion de longitud variable para los identificadores de imagen.

La Figura 6 ilustra esquematicamente este planteamiento. El metodo continua desde la etapa S2 de la Figura 3. En una etapa sucesiva S10 se calcula una diferencia para cada identificador de imagen proporcionado en la etapa S2, entre el identificador de imagen y un identificador de imagen que identifica la imagen actual. Como resultado de este calculo se obtiene una diferencia o un identificador o valor delta. El metodo continua entonces hacia la etapa S3 de la Figura 3, en donde se genera la información de descripción de memoria intermedia sobre la base de la(s) diferencia(s) o identificador(es) delta calculado(s).

Por lo tanto, la información de descripción de memoria intermedia podrla incluir en este caso los identificadores delta -1, -2 y -4 en lugar de 3, 5 y 6.

En una realizacion, se incluye información de orden de visualization delta o deltaPOC en la descripción de memoria intermedia codificada con un código de longitud variable (VLC). En una realización particular deltaPOC se codifica con VLC para absolute_delta_POC_minus_one, y una bandera, es decir, un unico bit, para deltaPOC_sign se senaliza solamente si number_of_reorder_frames > 0, de lo contrario se deduce que el signo es negativo.

En las realizaciones anteriores que proporcionan una serialization expllcita de los identificadores de imagen, ya sean los propios identificadores de imagen o los identificadores delta, la información de descripción de memoria intermedia constituira, de hecho, la descripción de memoria intermedia de la imagen actual. Esta información de descripción de memoria intermedia se introduce entonces en la representation codificada de la imagen.

La información de descripción de memoria intermedia podrla incluirse como información de control en una position adecuada en la representacion codificada. La Figura 5 ilustra esquematicamente un ejemplo de una representacion codificada 60 de una imagen. La representacion codificada 60 comprende datos 66 de carga util de video que representan los datos de plxeles codificados de los bloques de plxeles en una franja. La representacion codificada 60 tambien comprende un encabezamiento 65 de franja que es portador de información de control. El encabezamiento 65 de franja forma junto con la carga util de video y un encabezamiento 64 de Capa de Abstraction de Red (NAL) una unidad de NAL que es la entidad a la que se da salida desde un codificador. A esta unidad de NAL se le pueden anadir encabezamientos adicionales, tales como un encabezamiento 63 de Protocolo de Transporte en Tiempo Real (RTP), un encabezamiento 62 de Protocolo de Datagrama de Usuario (UDP) y un encabezamiento 61 de Protocolo de Internet (IP), para formar un paquete de datos que se puede transmitir desde el codificador al descodificador. Esta forma de empaquetamiento de unidades de NAL constituye meramente un ejemplo en relation con el transporte de video. Son posibles otros planteamientos de gestion de unidades de NAL, tales como el formato de archivo, flujos continuos de transporte MPEG-2, flujos continuos de programa MPEG-2, etcetera.

La información de descripción de memoria intermedia podrla incluirse entonces en el encabezamiento 65 de franja, otro encabezamiento de imagen u otra estructura de datos especificada por la norma con la que concuerdan el codificador y el descodificador.

En otra realizacion, la información de descripción de memoria intermedia introducida en la representacion codificada 60 de la imagen no tiene que ser necesariamente la misma que la descripción de memoria intermedia de la imagen actual, sino que, mas bien, permite la identification y la recuperation de la descripción de memoria intermedia. Por lo tanto, en esta realizacion, la información de descripción de memoria intermedia introducida en la representacion codificada 60 de la imagen define indirectamente la por lo menos una imagen de referencia determinada en la etapa S1 apuntando a la descripción de memoria intermedia que es portadora de los identificadores de imagen o los datos, tales como identificadores delta, que permiten el calculo de los identificadores de imagen.

En tal caso, la descripción de memoria intermedia podrla ser portada por una estructura de datos asociada a la representacion codificada 60 de la imagen. Ejemplos de dichas estructuras de datos incluyen un Conjunto de Parametros de Imagen (PPS) 67 y un Conjunto de Parametros de Secuencia (SPS) 68. El PPS 67 y/o el ^sP^s68 se podrla incluir directamente en la representacion codificada 60, pero, tipicamente, se asocia a la misma a traves de la inclusion de un identificador de PPS y/o identificador de SPS en la representacion codificada 60. Por ejemplo, cada encabezamiento 65 de franja podria incluir un identificador de PPS que notifica que PPS 67 aplicar para la imagen actual. El PPS pertinente 67, a su vez, puede incluir un identificador de SPS que notifica que SPS 68 aplicar para el PPS 67 y, por lo tanto, para la imagen actual.

La descripción de memoria intermedia podria introducirse entonces en el PPS 67 o el SPS 68 asignado a la imagen actual. En tal caso, el identificador de PPS o identificador de SPS que se introduce en la representacion codificada 60 constituye la información de descripción de memoria intermedia que se introduce en la representacion codificada 60. Este identificador de PPS o identificador de SPS permite la recuperación de la descripción de memoria intermedia que define los identificadores de imagen de las imágenes de referencia, y por lo tanto el identificador de PPS o identificador de SPS define indirectamente los identificadores de imagen.

El PPS 67 y el SPS 68 constituyen simplemente ejemplos de estructuras de datos asociadas a representaciones codificadas 60 de imágenes y que se pueden usar como portadoras de información de descripción de memoria intermedia de acuerdo con las realizaciones.

La Figura 7 ilustra una realización alternativa en donde una o mas descripciónes de memoria intermedia se senalizan en una estructura de datos de manera que la misma descripción de memoria intermedia puede usarse para multiples imágenes.

El metodo comienza en la etapa S20, en donde se genera una estructura de datos, tal como una tabla. La estructura de datos comprende multiples descripciónes de memoria intermedia predefinidas que definen, cada una de ellas, al menos una imagen de referencia.

Cada descripción de memoria intermedia de la estructura de datos generada podrla definir los identificadores de imagen directamente, es decir, incluir una lista de identificadores de imagen. Sin embargo, un planteamiento de este tipo requiere en general mucha descripción de memoria intermedia predefinida en la estructura de datos. Un planteamiento mas eficiente es combinar el uso de multiples descripciónes de memoria intermedia predefinidas con senalizacion de identificadores delta según se ha descrito anteriormente. En tal caso, cada descripción de memoria intermedia predefinida comprende al menos un identificador delta respectivo, que se utiliza en el descodificador junto con el identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de una descripción de memoria intermedia predefinida.

La Tabla 1 a continuacion ilustra un ejemplo de una estructura de datos del tipo mencionado con identificadores delta que se pueden utilizar para un flujo continuo de video seg seún ilustra en la Figura 8. El flujo continuo de video de la Figura 8 comienza con una imagen de IDR, la cual es un cuadro Intra (I) que elimina todas las dependencias con respecto a datos transmitidos antes de la imagen de IDR, es decir, marca todas las imágenes de referencia como “no utilizada para referencia”. La imagen de IDR no necesita una descripción de memoria intermedia ya que vacia la memoria intermedia de imágenes descodificadas. El flujo continuo de video de la Figura 8 esta en forma de video por capas que proporciona imágenes en diferentes capas temporales, identificadas por identificadores temporales (temporal_id) n, n+1 y n+2 en la Figura 8.

Tabla 1 - estructura de datos con descripciónes de memoria intermedia predefinidas

La Tabla 1 muestra un ejemplo de una tabla de descripción de memoria intermedia en donde se indican deltaPOC (dP) y temporal_id (tId). La tabla se construye utilizando el esquema en el que se incluyen las dos imágenes de referencia mas cercanas (POC(actual)-1 y POC(actual)-2) y las dos de la capa temporal mas baja en el intervalo de POC(actual)-3 a POC (actual)-10.

Un ejemplo de uso de esta tabla por parte del codificador es, para una imagen con POC=n, senalizar la entrada de la tabla (n%4), es decir, n modulo 4, al descodificador. En este ejemplo, la memoria intermedia de imágenes descodificadas esta compuesta por cuatro imágenes (memoria intermedia de imagen 1 a memoria intermedia de imagen 4). Las imágenes dependen del POC de la imagen actual y de que entrada se use. Por ejemplo, si la imagen con POC=7 utiliza la entrada 3, las imágenes de referencia en la memoria intermedia de imágenes descodificadas se compondran de imágenes con POC {6, 5, 4, 0}.

La estructura de datos generada en la etapa S20 se senaliza desde el codificador al descodificador. Esta senalizacion se puede realizar de acuerdo con diversas realizaciones. La estructura de datos podria transportarse en el PPS, el SPS, un conjunto de parametros nuevo o en otra estructura de datos especificada por la norma a la que se ajusta el codificador y el descodificador. Esto se ilustra esquematicamente por medio de la etapa S21 en donde la estructura de datos se introduce en un PPS o un SPS asociado a una representacion codificada del flujo continuo de video. En tal caso, la etapa S22 introduce preferentemente un identificador de PPS o identificador de SPS en la representacion codificada de la imagen, por ejemplo en un encabezamiento de franja. Este identificador de PPS o identificador de SPS permite entonces la identificacion de la estructura de datos que esta disponible cuando se descodifica la imagen actual.

El metodo continua hacia las etapas S1 y S2 de la Figura 7, en donde se determinan imágenes de referencia y se proporcionan identificadores de imagen para la imagen actual. Una etapa sucesiva S23 selecciona, basandose en el por lo menos un identificador de imagen proporcionado en la etapa S2, una descripción de memoria intermedia a partir de la estructura de datos generada en la etapa S20.

Una vez que se ha seleccionado dicha descripción de memoria intermedia, tal como una entrada en la Tabla 1, la etapa S24 genera information de descripción de memoria intermedia que comprende un identificador, tal como un numero de entrada, de la descripción de memoria intermedia seleccionada. El metodo continua hacia la etapa S4 donde se introduce la información de descripción de memoria intermedia en la representacion codificada de la imagen.

Por lo tanto, con el fin de especificar que descripción de memoria intermedia usar para la imagen actual, se puede senalizar un identificador para la imagen actual. Un ejemplo de dicho identificador es un entero no negativo senalizado en el(los) encabezamiento(s) de franja de la imagen actual que representa el numero de la descripción de memoria intermedia en el orden en que se senalizan las descripciónes de memoria intermedia.

En una implementacion tlpica, la etapa S20 se realiza una vez para el flujo continuo de video o una vez para un conjunto de multiples imágenes del flujo continuo de video. Esto significa que se genera, entonces, una sola de estas estructuras de datos para el flujo continuo de video o para el conjunto de multiples imágenes. Las siguientes etapas S21 a S24 de la Figura 7 se realizan preferentemente para cada imagen del flujo continuo de video o del conjunto de multiples imágenes.

Por lo tanto, la estructura de datos, tal como la tabla, se puede crear en el codificador y se puede transmitir al descodificador. En la información de control del flujo continuo de bits codificado se proporciona el numero de entrada que se utilizara. Mediante el uso de una tabla del tipo mencionado, el descodificador puede obtener informacion absoluta sobre que imágenes se utilizaran como imágenes de referencia detectando el numero de entrada en el flujo continuo de bits descodificado y usando ese numero de entrada para buscar la entrada en la tabla. La entrada se utiliza, entonces, para determinar que imágenes se almacenaran en la memoria intermedia de imágenes descodificadas.

La introduccion de entradas de la descripción de memoria intermedia en, por ejemplo, el SPS reduce la tara de bits de senalizacion de las descripciónes de memoria intermedia de forma explicita en el encabezamiento de franja. Estas descripciónes de memoria intermedia se pueden utilizar para multiples franjas/imágenes en la misma secuencia, es decir, flujo continuo de video, y, de esta manera, reducir el numero de bits requeridos por imagen. En una realizacion, para cada entrada de la descripción de memoria intermedia en el PPS podrian estar presentes el delta_POC y la temporal_id de todas las imágenes de referencia. La additional_picture_id opcional se deduce preferentemente de manera que sea 0 para imágenes descritas por una entrada en el PPS.

De acuerdo con una realización adicional, la senalizacion explicita de la descripción de memoria intermedia y la senalizacion de referencia a una entrada en una estructura de datos general con multiples descripciónes de memoria intermedia predefinidas, tales como una entrada en la tabla anterior, se pueden combinar. En tal caso, las mismas se pueden combinar por medio del descodificador para formar una descripción de memoria intermedia final para la imagen actual. Una forma de combinar la senalizacion explicita y la senalizacion de referencia es unir el conjunto de imágenes de referencia descrito por senalizacion explicita con el conjunto de imágenes de referencia descrito por la senalizacion de referencia para formar un conjunto combinado de imágenes de referencia.

En tal caso, la etapa S3 de la Figura 3 comprende, preferentemente, la generacion de la información de descripción de memoria intermedia de manera que comprenda el identificador de la descripción de memoria intermedia seleccionada en la etapa S23 y de manera que comprenda información que define por lo menos una imagen de referencia. Esta información que define al menos una imagen de referencia podria ser el identificador de imagen de la propia imagen de referencia o un identificador delta a partir del cual se puede calcular el identificador de imagen. Una imagen que se utiliza como referencia durante un periodo de tiempo prolongado (imagen de referencia de largo plazo) viene indicada preferentemente por descripción explicita en los encabezamientos de franja de las imágenes para las que esta disponible como referencia. La razon es que resultaria inadecuado incluir todas las distancias de los numeros de POC en las descripciónes de memoria intermedia predefinidas senalizadas en el PPS o SPS.

En una realización particular, la representacion codificada de la imagen comprende, preferentemente, una bandera para indicar si la senalizacion explicita de la información de descripción de memoria intermedia y/o la senalizacion implicita de la información de descripción de memoria intermedia ha sido seleccionada para la imagen actual. Esta bandera podria, por ejemplo, incluirse en el encabezamiento de franja de la representacion codificada de la imagen o en algun otro campo de información de control.

En una realización particular, una imagen 10 puede estar compuesta por una o multiples franjas 20, 22 como se muestra en la Figura 4. En tal caso, una franja 20, 22 es una parte de la imagen 10 descodificable independientemente. En otras palabras, una franja codificada se puede descodificar incluso si se pierden los datos de otra franja codificada de la misma imagen 10.

En un planteamiento de este tipo, la etapa S1 de la Figura 3 determina preferentemente al menos una imagen de referencia del flujo continuo de video para cada franja en la imagen. A continuation, podria ser posible que una primera franja usase un primer conjunto de una o mas imágenes de referencia y una segunda franja usase un segundo conjunto de una o mas imágenes de referencia. El segundo conjunto podria ser igual al primer conjunto o ser diferente del primer conjunto. Tambien es posible que al menos una de las imágenes de referencia sea comun para el primer conjunto y el segundo conjunto.

La etapa S2 determina, preferentemente, los identificadores de imagen para todas las imageries de referenda determinadas en la etapa S1 para al menos una franja, preferentemente para todas las franjas, de la imagen. La information de descripción de memoria intermedia se genera, a continuation, en la etapa S3 sobre la base de estos identificadores de imagen y, por lo tanto, define las imágenes de referencia. En una realization, la descripción de memoria intermedia generada en la etapa S3 se introduce en un encabezamiento de franja respectivo de la representation codificada de la imagen para cada franja. Por lo tanto, cada encabezamiento de franja de la representation codificada de la imagen es portador preferentemente de una instancia respectiva de la informacion de descripción de memoria intermedia. Mas preferentemente, la información de descripción de memoria intermedia transportada en el encabezamiento de franja de una primera franja de la imagen es igual a la información de descripción de memoria intermedia transportada en el encabezamiento de franja de una segunda franja de la imagen.

La codification y descodificacion de video tambien se pueden aplicar al video denominado escalable o por capas. Por ejemplo, la escalabilidad temporal es soportada en la H.264/MPEG-4 AVC y la Codificacion de Video Escalable (SVC) a traves de la definition de subsecuencias y el uso de temporal_id en la SVC y la introduction de cuadros “no existentes”. Sin embargo, con el fin de soportar la escalabilidad temporal, las imágenes en las capas temporales mas altas presentan restricciones cuando se trata de usar las MMCO. El codificador es responsable de garantizar que las MMCOs en una capa temporal no afectan a imágenes de capas temporales mas bajas de manera diferente con respecto al caso en el que se pierde la capa temporal y se introducen imágenes “no existentes” y se aplica el proceso de ventana deslizante.

Esto impone restricciones sobre el codificador en la selection de la estructura de codificacion y el uso de imágenes de referencia. Por ejemplo, considerese el ejemplo de la Figura 2. Supongase que el numero maximo de cuadros de referencia en la memoria intermedia de imágenes descodificadas (max_num_ref_frames) es tres aun cuando cada imagen solamente utiliza dos imágenes de referencia para la prediction inter. La razon es que cada imagen debe tener una imagen adicional de la otra capa temporal que sera usada para la prediccion inter por la siguiente imagen.

Con el fin de poder disponer de la imagen POC=0 y la imagen POC=2 cuando se descodifica la imagen POC=4, la imagen POC=3 debe tener una orden de marcacion de imagen de referencia explicita (MMCO) que marque la imagen 1 como no disponible.

Sin embargo, si se elimina la capa temporal 1 (por ejemplo, por parte de un nodo de red) se produciran vacios en frame_num para todas las imágenes de numeration impar. Se crearan imágenes “no existentes” para estas imágenes y se aplicara un proceso de ventana deslizante. Eso dara como resultado que la imagen “no existente” POC=3 marque la imagen POC=0 como no disponible. Por lo tanto, no estara disponible para la prediccion cuando se descodifique la imagen POC=4. Dado que el codificador no puede hacer que el proceso de descodificacion sea el mismo para los dos casos; cuando todas las imágenes se descodifican y cuando se descodifica solamente la capa mas baja; el ejemplo de estructura de codificacion de la Figura 2 no se puede utilizar para la escalabilidad temporal segun la tecnica anterior.

Por lo tanto, hay soluciones de la tecnica anterior que tienen problemas con la escalabilidad temporal para ciertas estructuras de codificacion ya que la información sobre las imágenes de referencia para la imagen actual se ve afectada por la elimination de una imagen previa del flujo continuo de bits en la medida en que la información de imagen de referencia se senaliza de una manera relativa. Al usar las realizaciones, la escalabilidad temporal no se vera limitada como anteriormente, ya que la imagen de referencia para la imagen actual no se ve afectada por la eliminacion de imágenes anteriores del flujo continuo de bits puesto que se senaliza de un modo absoluto.

En el caso de un flujo continuo de video escalable con las imágenes agrupadas en multiples capas, la etapa S2 de la Figura 3 comprende, preferentemente, proporcionar un identificador de imagen e información de capa temporal que identifica una capa de las multiples capas a las que pertenece la imagen de referencia. La información de descripción de memoria intermedia se genera a continuacion en la etapa S3 basandose en el por lo menos un identificador de imagen y la información de capa temporal. Esto significa que la información de descripción de memoria intermedia define, de este modo, el por lo menos un identificador de imagen y la información de capa temporal.

Por ejemplo, se incluye información de capa temporal, tal como temporal_id, para cada imagen en la descripción de memoria intermedia senalizada usando ceil(log2(max_temporal_layers_minus1)) bits para la serialization de temporal_id. La escalabilidad temporal es simplemente un ejemplo de video multi-capa en el cual pueden aplicarse las realizaciones. Otros tipos incluyen video multi-capa en el que cada imagen tiene un identificador de imagen y un identificador de vista. Otros ejemplos de escalabilidad incluyen escalabilidad espacial, escalabilidad de la relation senal/ruido (SNR), escalabilidad de la profundidad de bits y escalabilidad del formato de croma.

Las realizaciones implican que la conmutacion temporal en sentido descendente es siempre posible. Cada capa temporal junto con las capas inferiores constituira una sub-secuencia. Estas sub-secuencias no necesitan senalizacion explicita.

En general, el codificador es libre de seleccionar que imágenes incluir en la descripción de memoria intermedia y puede basar su seleccion en cualquier aspecto, tal como las imágenes mas cercanas en el orden de visualizacion. Tlpicamente, un codificador selecciona la descripción de memoria intermedia para intentar lograr la maxima compresion, mientras se cumple un conjunto de restricciones colaterales. Un ejemplo de una restriccion de este tipo es un numero maximo de imágenes de referencia debido al tamano de la memoria. Otro ejemplo es que el flujo continuo de video sea descodificable tambien cuando ciertas imágenes codificadas en el flujo continuo de bits se eliminen del flujo continuo de bits antes de la descodificacion. Un ejemplo adicional es que como imágenes de referencia solamente se pueden seleccionar imágenes que estan disponibles para referencia en la memoria intermedia de imágenes descodificadas.

Por lo tanto, en una realization la etapa S1 de la Figura 3 comprende determinar la por lo menos una imagen de referencia para la imagen actual mediante la maximization de la eficiencia de compresion de la representation codificada de la imagen, mientras se cumple por lo menos una restriccion colateral. La por lo menos una restriccion colateral se selecciona preferentemente, en este caso, de entre un numero maximo predefinido de imágenes de referencia y tambien se genera una representacion codificada descodificable del flujo continuo de video cuando, de la representacion codificada del flujo continuo de video, se elimina por lo menos una representacion codificada de una imagen.

De acuerdo con otro aspecto de las realizaciones, se proporciona un metodo en el que se recibe un video o flujo continuo de datos codificado, se detecta information de descripción de memoria intermedia en el flujo continuo de video codificado y se determina, sobre la base de la información de descripción de memoria intermedia, una referencia absoluta a imágenes que se usaran como imágenes de referencia para la descodificacion de una imagen actual o como imágenes de referencia para una descodificacion futura. Las imágenes que se utilizaran como imágenes de referencia se almacenan en una memoria intermedia de imágenes descodificadas.

La Figura 9 es un diagrama de flujo de un metodo para descodificar una representacion codificada de una imagen de acuerdo con una realizacion. El metodo comienza en la etapa S30, donde a partir de la representacion codificada de la imagen se recupera información de descripción de memoria intermedia que define al menos una imagen de referencia. La información de descripción de memoria intermedia se utiliza en la etapa S31 para determinar al menos un identificador de imagen que, preferentemente de forma inequivoca, identifica una imagen de referencia respectiva como referencia de descodificacion para la imagen. El por lo menos un identificador de imagen de referencia determinado en la etapa S31 se utiliza en la etapa S32 para actualizar una memoria intermedia de imágenes descodificadas.

Una vez que la memoria intermedia de imágenes descodificadas se ha actualizado para comprender las imágenes de referencia correctas necesarias para la descodificacion de la imagen, el metodo tipicamente continua hacia la etapa S33 donde la imagen se descodifica sobre la base de la representacion codificada de la imagen y por lo menos una de las imágenes de referencia comprendida, presente o almacenada en la memoria intermedia de imágenes descodificadas e identificada sobre la base de la información de descripción de memoria intermedia.

En una realización preferida, la etapa de descodificacion S33 se realiza despues de la actualization de la memoria intermedia de imágenes descodificadas según se indica en la Figura 9.

La actualizacion de la memoria intermedia de imágenes descodificadas en la etapa S32 implica, preferentemente, que la imagen de referencia identificada por el identificador de imagen determinado se marca como “utilizada para referencia” o se marca como “utilizada para prediction” con el fin de indicar que esta imagen de referencia se usara como referencia o prediccion de descodificacion para la imagen actual y/o cualquier imagen subsiguiente. En una realización particular, se podrian marcar imágenes de referencia como utilizadas para referencia de corto plazo o como utilizadas para referencia de largo plazo.

En una realización particular, la etapa S30 recupera la información de descripción de memoria intermedia que define multiples imágenes de referencia a partir de la representacion codificada de la imagen. En dicha realizacion, la etapa S31 podria determinar, sobre la base de la información de descripción de memoria intermedia, i) al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificacion para la imagen y ii) al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificacion para una imagen subsiguiente, de acuerdo con un orden de descodificacion, del flujo continuo de video. En realizaciones alternativas, la información de descripción de memoria intermedia identifica uno o mas identificadores de imagen de imagen(es) de referencia respectiva(s) como referencia de descodificacion para la imagen actual y/o uno o mas identificadores de imagen de imagen(es) de referencia respectiva(s) como referencia de descodificacion para una imagen subsiguiente, de acuerdo con el orden de descodificacion, del flujo continuo de video.

La etapa S32 actualiza, preferentemente, la memoria intermedia de imágenes descodificadas de manera que comprenda la imagen de referencia respectiva identificada por el por lo menos un identificador de imagen determinado en la etapa S31.

Tal como se ha descrito previamente en el presente documento, la information de descripción de memoria intermedia se puede proporcionar en un encabezamiento de franja u otro campo de información de control de la representation codificada de la imagen. En tal caso, la etapa S30 de la Figura 9 comprende recuperar la informacion de descripción de memoria intermedia a partir de un encabezamiento de franja de la representacion codificada de la imagen. Una imagen multi-franja generalmente comprende multiples encabezamientos de franja. En tal caso, cada encabezamiento de franja comprende, preferentemente, la misma información de descripción de memoria intermedia. Entonces, en la etapa S30 es suficiente con recuperar la información de descripción de memoria intermedia del primer encabezamiento de franja de la imagen ya que cualquiera de los encabezamientos de franja restantes de la imagen incluira la misma información de descripción de memoria intermedia. La información de descripción de memoria intermedia en los otros encabezamientos de franja se puede utilizar, entonces, como caracterlstica de reparation de errores si se pierde la primera franja.

La información de descripción de memoria intermedia podrla incluir expllcitamente el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. En tal caso, la etapa S30 simplemente recupera el por lo menos un identificador de imagen a partir de la información de descripción de memoria intermedia.

En una realization alternativa, la información de descripción de memoria intermedia comprende valores delta o identificadores delta. La Figura 10 es un diagrama de flujo que ilustra una realización de la etapa S31 en la Figura 9 para dicho caso. El metodo continua, entonces, desde la etapa S30 de la Figura 9. Una etapa sucesiva S40 recupera un identificador delta respectivo sobre la base de la información de descripción de memoria intermedia. El(los) identificador(es) delta se usa(n) en la etapa S41 junto con un identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. El metodo continua, entonces, hacia la etapa S32 de la Figura 10.

Por lo tanto, en esta realizacion, el descodificador utiliza información disponible para la imagen actual para la construction de la descripción de memoria intermedia final para la imagen actual a partir de la información de descripción de memoria intermedia senalizada. Dicha información incluye, aunque sin caracter limitativo, el POC actual (POC(act)), que, junto con un deltaPOC senalizado, se puede utilizar para calcular el POC de la imagen de referencia (POc(ref)) como POC(ref)=POC(act) deltaPOC.

Otra realización se refiere al uso de multiples descripciónes de memoria intermedia predefinidas. La Figura 11 ilustra esquematicamente un planteamiento de este tipo. En una primera etapa S50, se recupera una estructura de datos que comprende multiples descripciónes de memoria intermedia predefinidas. En una realización preferida, la estructura de datos se recupera sobre la base de información transportada en la representacion codificada de la imagen. Por ejemplo, la estructura de datos se puede senalizar desde el lado del codificador hacia el lado del descodificador como parte de PPS o del SPS de la representacion codificada de la imagen. En tal caso, la estructura de datos se recupera a partir del PPS o del SPS en la etapa S50 sobre la base de un identificador de PPS o identificador de ^sP^susado como parte de la información de descripción de memoria intermedia en la representacion codificada de la imagen, tal como en el encabezamiento de franja. Alternativamente, un identificador de PPS se recupera a partir del encabezamiento de franja y el PPS, a su vez, comprende un identificador de SPS que se puede utilizar si la estructura de datos se senaliza como parte del SPS.

Una etapa sucesiva S51 recupera un identificador de una descripción de memoria intermedia como parte de la información de descripción de memoria intermedia a partir de la representacion codificada de la imagen, por ejemplo, a partir del encabezamiento de franja. Este identificador se utiliza con el fin de identificar que descripción de memoria intermedia predefinida de la estructura de datos recuperada en la etapa S50 se va a utilizar para la imagen actual en la etapa S52. El metodo continua, entonces, hacia la etapa S31 de la Figura 1, donde se determinan identificadores de imagen a partir de la descripción de memoria intermedia predefinida identificada.

Haciendo uso de las realizaciones, es posible aplicar el esquema de memoria intermedia optimo para cualquier estructura de codification con muy poca tara. Lo que se necesita en el encabezamiento de franja es simplemente una referencia a la descripción de memoria intermedia correcta en el PPS o similar. Observese que la descripción de memoria intermedia tambien se puede poner en un encabezamiento de imagen o similar, o un conjunto de parametros compartido entre todas las franjas de una imagen. La propiedad importante es que la descripción de memoria intermedia que se va a usar para descodificar una imagen especlfica se envla con la imagen y no con la imagen previa en el orden de descodificacion como en la tecnica anterior. Ademas, la información de descripción de memoria intermedia se utiliza para senalizar todas las imágenes de referencia en la memoria intermedia de imágenes descodificadas que se deben mantener para descodificar cada imagen respectiva en el flujo continuo de video, en lugar de senalizar información delta que puede provocar desajustes de largo plazo entre el lado del codificador y el lado de descodificacion cuando se pierde de manera no intencionada un solo paquete de datos.

Tal como se ha dado a conocer anteriormente en el presente documento, se pueden combinar la serialization expllcita de la descripción de memoria intermedia en la representacion codificada de una imagen y la senalizacion de referencia a la descripción de memoria intermedia predefinida en una estructura de datos. Una forma de combinar la senalizacion expllcita y la senalizacion de referencia es unir el conjunto de imágenes de referencia descrito por senalizacion expllcita con el conjunto de imágenes de referencia descrito por la senalizacion de referenda para formar un conjunto combinado de imágenes de referenda. Entonces, una o mas imágenes de referenda incluidas en el conjunto de imágenes de referencia descritas por la senalizacion de referencia, pero no incluidas en la senalizacion expllcita, posiblemente se eliminan del conjunto combinado de imágenes de referencia con el fin de tener una descripción de memoria intermedia final con no mas de un numero maximo (max_num_ref_frames) de imágenes de referencia. Preferentemente las imágenes se eliminan en el orden en que se enumeran en la descripción de memoria intermedia general, es decir, la descripción de memoria intermedia predefinida, empezando con el ultimo hacia delante.

La Figura 12 es un diagrama de flujo que ilustra un planteamiento de este tipo. El metodo continua desde las etapas S30 en la Figura 9 y la etapa S52 en la Figura S31. Por lo tanto, en esta realizacion, la información de descripción de memoria intermedia comprende tanto el identificador de la descripción de memoria intermedia recuperado en la etapa S51 de la Figura 11 como información que define por lo menos una imagen de referencia recuperada en la etapa S30 de la Figura 9. Esta información recuperada en la etapa S30 puede ser el(los) identificador(es) de imagen real(es) o el(los) identificador(es) delta mencionado(s) anteriormente.

Una etapa sucesiva S60 determina un primer conjunto de al menos un identificador de imagen que identifica una imagen de referencia respectiva a partir de la descripción de memoria intermedia predefinida identificada en la etapa S52 de la Figura 11. Correspondientemente, un segundo conjunto de por lo menos un identificador de imagen que identifica una imagen de referencia respectiva se determina en la etapa S61 a partir de la información recuperada en la etapa S30 de la Figura 9. Las etapas S60 y S61 se podrlan llevar a cabo secuencialmente en cualquier orden o al menos parcialmente en paralelo.

La siguiente etapa S62 forma un conjunto combinado de identificadores de imagen basandose en el primer conjunto determinado en la etapa S60 y el segundo conjunto determinado en la etapa S61.

Una etapa sucesiva opcional, aunque preferida, S63 compara el numero total de identificadores de imagen (IDS) del conjunto combinado con un numero maximo de imágenes de referencia (MAX), es decir, el parametro max_num_ref_frames tlpicamente senalizado en el SPS. Si el numero total de identificadores de imagen en el conjunto combinado supera el numero máximo de imágenes de referencia que se pueden almacenar en la memoria intermedia de imágenes descodificadas, el metodo continua hacia la etapa S64. Esta etapa S64 elimina uno o mas identificadores de imagen incluidos en el primer conjunto, pero no en el segundo conjunto, hasta que el numero total de identificadores de imagen en el conjunto combinado ya no supera el numero maximo de imágenes de referencia. Asl, el conjunto combinado se actualiza por lo tanto eliminando identificadores de imagen determinados en la etapa S60. Los identificadores de imagen se eliminan, preferentemente, en el orden en el que se enumeran en la descripción de memoria intermedia predefinida identificada en la etapa S52 de la Figura 11 comenzando desde el ultimo identificador de imagen y siguiendo hacia delante.

En una realización particular, la representacion codificada de la imagen comprende preferentemente una bandera para indicar si, para la imagen actual, se ha seleccionado senalizacion expllcita de la información de descripción de memoria intermedia y/o senalizacion impllcita de la información de descripción de memoria intermedia. En tal caso, el descodificador recupera la bandera a partir de la representacion codificada de la imagen, por ejemplo, a partir del encabezamiento de franja o de algun otro campo de información de control, con el fin de determinar que tipo de senalizacion de la información de descripción de memoria intermedia se ha utilizado para la imagen actual.

La Figura 13 es un diagrama de flujo que ilustra etapas adicionales del metodo de la Figura 9, por el cual la memoria intermedia de imágenes descodificadas actualizada en la etapa S32 se utiliza con fines de descodificacion.

Una vez que la memoria intermedia de imágenes descodificadas se ha actualizado en la etapa S32, puede haber imágenes disponibles en la memoria intermedia de imágenes descodificadas, pero las mismas no estan incluidas en la descripción de memoria intermedia. Por lo tanto, en una realizacion, las imágenes que estan disponibles en la memoria intermedia de imágenes descodificadas pero no incluidas en la descripción de memoria intermedia se eliminan, por parte del descodificador, de la memoria intermedia de imágenes descodificadas o se marcan como “no utilizada para referencia” o “no utilizada para prediccion”. Por lo tanto, en esta realizacion, la eliminacion de imágenes de referencia de la memoria intermedia de imágenes descodificadas o la marcacion de imágenes como “no utilizada para referencia” se lleva a cabo por el descodificador antes del proceso de descodificacion de imágenes correspondiente a la imagen que contiene la descripción de memoria intermedia.

La etapa S70 ilustra este procedimiento mediante la eliminacion, de la memoria intermedia de imágenes descodificadas, de cualquier imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas y que no este asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia. En una realización alternativa de esta etapa S70, la(s) imagen(es) de referencia no se elimina(n) necesariamente de la memoria intermedia de imágenes descodificadas. Esta realización de la etapa S70 marca como no utilizada para referencia o no utilizada para prediccion cualquier imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas y que no este asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia. Esto significa que la imagen de referencia marcada no se utilizara como base de prediccion para la imagen actual o para cualquier imagen subsiguiente en el flujo continuo de video. El descodificador, por lo tanto, puede dar salida a la imagen de referencia marcada si existe una necesidad de obtener una posicion disponible en la memoria intermedia de imágenes descodificadas. En una realization particular, una imagen marcada como no utilizada para referencia no se puede incluir en la descripción de memoria intermedia y volverse a marcar como utilizada para referencia.

En una realización particular, cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas y asociada a cualquiera de los identificadores de imagen determinados sobre la base de la information de descripción de memoria intermedia se marca, preferentemente, en la etapa S70 como utilizada para referencia. En una realizacion, una imagen de referencia se podrla marcar o bien como utilizada para referencia de corto plazo o bien como utilizada para referencia de largo plazo. La selection entre estas dos alternativas particulares se realiza, preferentemente, sobre la base de la información de descripción de memoria intermedia.

La etapa S71 ilustra una realización opcional adicional. Esta realización da salida a cero o mas de las imágenes que se han marcado como no utilizada para referencia por parte del descodificador de acuerdo con la descripción de memoria intermedia para su visualization por el descodificador. Uno de estos procesos de ejemplo para la salida es el proceso de lanzamiento de la H.264/MPEG-4 AVC. Salida se refiere, en la presente, a dar salida para la visualizacion. Que imágenes utilizar como imágenes de referencia y a cuales dar salida, es decir visualizar, son procesos independientes en la H.264 y HEVC. Esto significa que a una imagen se le puede dar salida antes de que se elimine como imagen de referencia, es decir, se marque como no utilizada para referencia, o se puede eliminar como cuadro de referencia marcandola como no utilizada para referencia antes de que se le de salida.

Durante el proceso de descodificacion, puede ocurrir que la descripción de memoria intermedia contenga información sobre imágenes (a las que se hace referencia tambien como cuadros) que no estan disponibles y, por lo tanto, no se pueden utilizar para imágenes de referencia. En una realizacion, el descodificador genera una serie de imágenes “no existentes” si la descripción de memoria intermedia contiene información sobre imágenes que no estan disponibles en la memoria intermedia de imágenes descodificadas. A cada una de estas imágenes se le puede asignar valores a variables que contienen información que es utilizada por el descodificador en el proceso de descodificacion, incluso si la imagen no se utiliza para prediction inter o prediction con vectores de movimiento. Dicha información podrla incluir, aunque sin caracter limitativo, numero de orden de descodificacion, numero de orden de visualizacion, información de capas temporales, información de vista, es decir, parametros tales como frame_num, POC, temporal_id y view_id.

En una realizacion, la generation de imágenes no existentes se lleva a cabo por parte del descodificador antes del proceso de descodificacion de imágenes correspondiente a la imagen que contiene la información de descripción de memoria intermedia.

Las etapas S72 y S73 ilustran una realización de este tipo. La etapa S72 compara el por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia con identificadores de imagen asociados a imágenes de referencia ya almacenadas en la memoria intermedia de imágenes descodificadas. Si un identificador de imagen determinado no se encuentra entre los identificadores de imagen de las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas, se determina que la imagen asociada al identificador de imagen determinado falta o que no existe. En una realizacion, opcionalmente se genera una imagen no existente en la etapa S73 y la misma se almacena en la memoria intermedia de imágenes descodificadas. A esta imagen no existente se le asignan, entonces, todos los parametros, tales como identificador de imagen, obtenidos a partir de la información de descripción de memoria intermedia con respecto a esta imagen particular. El metodo continua, entonces, hacia la etapa S33 de la Figura 9 en donde se puede iniciar el proceso de descodificacion.

Las imágenes que se senalizan en la descripción de memoria intermedia pero no existen en la memoria intermedia de imágenes descodificadas se marcan preferentemente como “no existentes”. Sin embargo, puesto que el POC y la temporal_id de dichas imágenes se incluyen en la descripción de memoria intermedia, no se requiere ninguna serialization expllcita de modification de la lista de imágenes de referencia. Si la imagen “no existente” no se utiliza como referencia, el proceso de descodificacion proseguira correctamente sin senalizacion adicional (y sin la tara incorporada con la senalizacion expllcita de modificaciones de la lista de imágenes de referencia).

En una realizacion, la marcacion de cero o mas imágenes en la etapa S70 se lleva a cabo por parte del descodificador en una primera etapa. En una segunda etapa, el descodificador da salida a cero o mas imágenes en la etapa S71. En una tercera etapa el descodificador genera cero o mas imágenes “no existentes” en la etapa S73.

En una realización alternativa, la marcacion de cero o mas imágenes se realiza por parte del descodificador en una primera etapa en la etapa S70. A continuation, el descodificador realiza un proceso iterativo en el que se da salida a imágenes (S71) y se generan imágenes no existentes (S73) para cada imagen descrita en la descripción de memoria intermedia que no esta disponible en la memoria intermedia de imágenes descodificadas.

Las realizaciones se refuerzan adicionalmente mediante la aplicacion de operaciones de memoria intermedia, por ejemplo, el proceso de marcacion de imágenes, antes de la descodificacion de imágenes correspondiente a la imagen actual, con lo cual se consigue que la descripción de memoria intermedia expllcita se aplique a la imagen actual. Esto consigue que la gestion de imágenes de referencia sea todavla menos vulnerable a errores, mejora las posibilidades de escalabilidad temporal y reduce la tara introducida por la senalizacion de modificaciones de la lista de imágenes de referencia.

En una realizacion, la descripción de memoria intermedia puede contener information que es utilizada por el descodificador en la initialization de listas de imágenes de referencia o la modification de listas de imágenes de referencia o la combination de listas de imágenes de referencia. Un ejemplo es que el orden en el que las imágenes se enumeran en una descripción de memoria intermedia se puede utilizar como orden inicial para una de las listas de imágenes de referencia en la inicializacion de las listas de imágenes de referencia. Por lo tanto, la información de descripción de memoria intermedia puede utilizarse cuando se crea la lista de imágenes de referencia.

La Figura 14 es un diagrama de flujo que ilustra un planteamiento de este tipo. El metodo continua desde la etapa S32 de la Figura 9. Una etapa sucesiva S80 lleva a cabo la inicializacion de la lista de imágenes de referencia basandose en la información de descripción de memoria intermedia. En una realización particular de la etapa S80, la inicializacion de la lista de imágenes de referencia se realiza sobre la base de la información de descripción de memoria intermedia al ordenar imágenes de referencia en una lista de imágenes de referencia de acuerdo con un orden en el que la información de descripción de memoria intermedia define el por lo menos un identificador de imagen determinado en la etapa S31 de la Figura 9.

En una realizacion, se especifican restricciones para las imágenes incluidas en la descripción de memoria intermedia. Un ejemplo de restriction es que una imagen A con temporal_id tId(A) descrita en la descripción de memoria intermedia en relation con una imagen B con temporal_id tId(B) puede que no sea una imagen no existente si tId(A) < tId(B).

En una realizacion, tambien es posible senalizar cambios en las propiedades de imágenes en la memoria intermedia de imágenes descodificadas a traves de descripciónes de memoria intermedia. Un ejemplo es cambiar la capa temporal y/o el orden de visualization de imágenes a traves de la senalizacion del nuevo valor para la capa temporal y/o el orden de visualizacion en la descripción de memoria intermedia.

La Figura 16 es un diagrama de flujo simplificado de un esquema de memoria intermedia de referencias de acuerdo con una realizacion. En este esquema, todas las operaciones de memoria intermedia de imágenes descodificadas se aplican despues del analisis sintactico del primer encabezamiento de franja de una imagen, pero antes de la descodificacion de imágenes, utilizando una descripción de la memoria intermedia de imágenes descodificadas segun se ilustra en la Figura 16. La descripción de memoria intermedia se senaliza, por ejemplo, en el encabezamiento de franja o bien expllcitamente o bien por referencia a una estructura predefinida senalizada en un PPS.

Asl, las realizaciones proporcionan grandes cambios conceptuales en el proceso de descodificacion. En la H.264/MPEG-4 AVC tradicional y el diseno actual de HEVC, las operaciones relativas se proporcionan al descodificador o bien de forma impllcita, es decir, por ventana deslizante, o bien expllcitamente, MMCO, y el descodificador es responsable de la aplicacion de estas operaciones relativas y de realizar el seguimiento de las imágenes de referencia, es decir, que imágenes se pueden usar para referencia. En el esquema propuesto las imágenes de referencia, es decir, que imágenes se pueden utilizar como referencia, se senalizan dentro de la imagen actual, por ejemplo en el encabezamiento de franja, eliminando asl la necesidad de operaciones relativas senalizadas impllcita y expllcitamente.

Esto significa que cada imagen tendra una descripción absoluta de las imágenes de referencia en lugar de una descripción relativa como en la H.264/MEPG-4 AVC donde se recupera información delta a partir de MMCO o por el uso del proceso de ventana deslizante.

De acuerdo con una realización particular, la descripción de memoria intermedia contiene el delta_POC, la temporal_id y la additional_picture_id de todas las imágenes de referencia en la memoria intermedia de imágenes descodificadas con el fin de proporcionar una referencia absoluta a las imágenes que se utilizaran como imágenes de referencia. El delta_POC se utiliza para calcular el POC de una imagen de referencia como POC(ref) = POC(actual) delta_POC. Las imágenes, en una realizacion, se identificaran por el par POC y additional_picture_id. La temporal_id esta incluida en la descripción de memoria intermedia para permitir la modificacion correcta de listas de imágenes de referencia en el caso de imágenes perdidas o eliminadas, por ejemplo, escalabilidad temporal. Sin embargo, el esquema no se limita a las palabras de código delta_POC, temporal_id y additional_picture_id. Cualquier palabra de código que este asociada a una imagen y se utilice en la gestion de imágenes de referencia se puede usar como identificador de imagen y se puede incluir en la descripción de memoria intermedia, o bien en relacion con el valor de la imagen actual, por ejemplo POC y delta_POC, o bien de manera absoluta, por ejemplo temporal_id.

Todas las imageries en la memoria intermedia de imágenes descodificadas que no forman parte de la descripción de memoria intermedia se marcan, preferentemente, como no utilizada para referencia.

En la H.264/MPEG-4 AVC, el proceso que entrega imágenes para su salida (al que se hace referencia como proceso de “lanzamiento” en la Figura 1) se realiza en ocasiones antes de la descodificacion, es decir, si habla un vaclo en frame_num. El proceso de “lanzamiento” tambien se lleva a cabo despues de la descodificacion y la marcacion de imágenes.

En el esquema propuesto de la Figura 16 el proceso de “lanzamiento” se aplica antes de la descodificacion. Se podrla argumentar que esto impone un retardo adicional en el proceso de descodificacion antes de la entrega de imágenes para su salida. Sin embargo, debe indicarse que la primera imagen a visualizar se define de forma unica ya despues de la etapa del proceso de descodificacion en cuanto el numero de imágenes no visualizadas, en la memoria intermedia de imágenes descodificadas, es superior o igual a num_reorder_frames. Por lo tanto, un descodificador puede entregar esa imagen para la visualizacion directamente despues de la etapa del proceso de descodificacion. Asl, el retardo del esquema propuesto es igual al retardo del esquema actual de HEVC.

En la H.264/MPEG-4 AVC se usa el elemento de sintaxis frame_num para identificar imágenes en la memoria intermedia de imágenes descodificadas y detectar vaclos en frame_num. Si gaps_in_frame_num_allowed es igual a 1, el descodificador introducira cuadros “no existentes” en la memoria intermedia de imágenes descodificadas para que el proceso de ventana deslizante funcione correctamente.

En el esquema propuesto ilustrado en la Figura 16, la combinacion de POC y additional_picture_id se puede utilizar para identificar imágenes en la memoria intermedia de imágenes descodificadas. El esquema propuesto no necesita contener un proceso de ventana deslizante. Por lo tanto, se propone eliminar los elementos de sintaxis frame_num y gaps_in_frame_num_allowed.

La Figura 15 es un ejemplo de una estructura de codificacion a la que se pueden aplicar las realizaciones. En el ejemplo de la Figura 15, la segunda imagen en el orden de descodificacion incluira POC 0 en su descripción de memoria intermedia mientras que la tercera imagen en el orden de descodificacion incluira POC 0 y POC 4 en su descripción de memoria intermedia. La cuarta imagen en el orden de descodificacion debe incluir no solamente POC 0 y pOc 2 en su descripción de memoria intermedia, sino tambien POC 4 puesto que esa imagen se utilizara para referencia en el futuro. La quinta imagen en el orden de descodificacion no necesita incluir POC 0 en su descripción de memoria intermedia a no ser que se vaya a utilizar como referencia en el futuro. Si POC 0 no esta incluido en la descripción de memoria intermedia, se transformara en no utilizada para referencia.

En el ejemplo de la Figura 15, additional_picture_id (o additional_id) es 0 para todas las imágenes. Se recomienda fijar additional_picture_id a 0 a no ser que haya dos imágenes diferentes disponibles para referencia con el mismo POC, debido a la reiniciacion clclica de POC. Si POC es el mismo para dos imágenes diferentes, la additional_picture_id es preferentemente diferente con el fin de no sustituir incondicionalmente la imagen mas antigua por la mas nueva. Additional_picture_id se puede utilizar con el fin de proporcionar todas las funcionalidades y posibilidades que aportan las imágenes de largo plazo en la H.264/MPEG-4 AVC. Por lo tanto, en una realizacion particular, la additional_picture_id que constituye una parte del identificador de imagen se podrla utilizar para senalizar si una imagen de referencia se va a usar para referencia de largo plazo o para referencia de corto plazo.

Considerese un ejemplo en el que un codificador desearla usar una imagen A con POC 14 y additional_picture_id fijada a 0, como “imagen de largo plazo”. El codificador debe asegurarse, entonces, de que la imagen A se incluye en la descripción de memoria intermedia en el encabezamiento de franja de todas las imágenes que suceden a A durante todo el tiempo que el codificador desee que la imagen A este disponible para referencia. Si el codificador desease codificar otra imagen con POC 14 (debido a la reiniciacion clclica de POC) mientras que A sigue estando disponible para referencia, el codificador deberla seleccionar otro valor de additional_picture_id, por ejemplo 1, para evitar que A se sustituya como imagen de referencia.

Para imágenes que se utilizaran como referencia durante un periodo de tiempo corto (imágenes de referencia de corto plazo), se recomienda fijar additional_picture_id a 0, con el fin de minimizar la tara de bits. Para imágenes que se utilizaran como referencia durante un periodo de tiempo largo (imágenes de largo plazo), se recomienda que el codificador se asegure de que no hay disponibles para la prediccion al mismo tiempo dos imágenes con el mismo POC y la misma additional_picture_id.

Un aspecto adicional de las realizaciones define un codificador configurado para crear information de descripción de memoria intermedia que define que imágenes se usaran como imágenes de referencia, es decir, se almacenaran en una memoria intermedia de imágenes descodificadas para ser utilizadas para la descodificacion posterior. Al menos parte de la información de descripción de memoria intermedia se introduce en el flujo continuo de bits codificado por el codificador.

La Figura 18 es un diagrama de bloques esquematico de una realización de un codificador 100. El codificador 100 esta configurado para codificar una imagen de un flujo continuo de video que comprende multiples imágenes. El codificador 100 comprende un determinador 110 de imageries de referenda configurado para determinar al menos una imagen de referencia para la imagen actual entre las multiples imágenes del flujo continuo de video. La por lo menos una imagen de referencia se utiliza como referencia de codificacion para la imagen actual. Un proveedor 120 de identificadores de imagen del codificador 100 esta configurado para proporcionar un identificador de imagen respectivo de cada imagen de referencia determinada por el determinador 110 de imágenes de referencia. Un identificador de imagen proporcionada por el proveedor 120 de identificadores de imagen identifica su imagen de referencia asociada. El(los) identificador(es) de imagen proporcionado(s) por el proveedor 120 de identificadores de imagen constituyen en conjunto una descripción de memoria intermedia para la imagen actual al enumerar identificador(es) de imagen de la(s) imagen(es) de referencia requerida(s) para la codificacion y descodificacion de la imagen actual y, opcionalmente, tambien, cualquier (cualesquiera) imagen(es) de referencia previa(s) del flujo continuo de video requerida(s) para la codificacion y descodificacion de una imagen subsiguiente del flujo continuo de video.

El codificador 100 tambien comprende un generador 130 de informaciones de descripción de memoria intermedia configurado para generar información de la descripción de memoria intermedia, es decir, la información de descripción de memoria intermedia, que define la por lo menos una imagen de referencia determinada por el determinador 110 de imágenes de referencia. El generador 130 de informaciones de descripción de memoria intermedia esta configurado para generar esta información de descripción de memoria intermedia basandose en el por lo menos un identificador de imagen del proveedor 120 de identificadores de imagen.

Un introductor 140 de datos esta implementado en el codificador 100 para introducir la información de descripción de memoria intermedia generada por el generador 130 de informaciones de descripción de memoria intermedia en una representacion codificada de la imagen actual. Por lo tanto, el flujo continuo de bits codificado del flujo continuo de video con respecto a la imagen actual es portador de la información de descripción de memoria intermedia. Esto significa que la representacion codificada de la imagen sera portadora de la información de descripción de memoria intermedia que define la información pertinente, es decir, identificadores de imagen, requerida por un descodificador con el fin de actualizar la memoria intermedia de imágenes descodificadas para la imagen actual, para permitir, de esta manera, la descodificacion de la representacion codificada de la imagen.

Tal como se ha descrito anteriormente en el presente documento, el determinador 110 de imágenes de referencia esta configurado preferentemente para determinar cualquier imagen de referencia del flujo continuo de video como referencia de codificacion no solamente para la imagen actual, sino para determinar tambien cualquier imagen de referencia, preferentemente presente en el flujo continuo de video antes de la imagen actual en el orden de descodificacion, como codificacion de referencia para una o mas imágenes posteriores de acuerdo con el orden de descodificacion.

En una realización particular, cada imagen puede estar compuesta por una o mas franjas. Cada una de dichas franjas puede entonces codificarse y descodificarse con independencia de otras franjas de la misma imagen. Por lo tanto, el determinador 110 de imágenes de referencia determina, preferentemente, para al menos una franja, preferentemente para cada franja de la imagen, por lo menos una imagen de referencia que se utilizara para la codificacion y la descodificacion de la franja particular. El proveedor 120 de identificadores de imagen proporciona, preferentemente, identificadores de imagen respectivos para todas las imágenes de referencia determinadas por el determinador 110 de imágenes de referencia para la imagen actual, es decir, para todas sus franjas. La informacion de descripción de memoria intermedia es generada, de esta manera, por el generador 130 de informaciones de descripción de memoria intermedia sobre la base de estos identificadores de imagen proporcionados. En una realización preferida, el introductor 140 de datos esta configurado para introducir la información de descripción de memoria intermedia en un encabezamiento de franja respectivo de la representacion codificada de la imagen. En tal caso, cada encabezamiento de franja de la imagen actual es portador, preferentemente, de la misma información de descripción de memoria intermedia. Esto permite la descodificacion de una franja dada aun cuando otra franja de la imagen se haya perdido de forma no intencionada.

Tambien son posibles otras posiciones entre la información de control en la representacion codificada de la imagen para que sean portadoras de la información de descripción de memoria intermedia se s heag dúenscrito previamente en la presente.

La descripción de memoria intermedia de las realizaciones podrla incluir el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. Alternativamente, la descripción de memoria intermedia comprende el(los) identificador(es) delta descrito(s) previamente que se puede(n) utilizar junto con el identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de la(s) imagen(es) de referencia.

En tal caso, el codificador 100 comprende, preferentemente, un modulo 150 de calculo de identificadores que esta configurado para calcular, para cada identificador de imagen proporcionado por el proveedor 120 de identificadores de imagen, una diferencia entre el identificador de imagen y el identificador de imagen de la imagen actual. Esta diferencia se corresponde con el identificador delta para la imagen de referencia. El generador 130 de informaciones de descripción de memoria intermedia se configura, entonces, para generar la información de descripción de memoria intermedia basandose en la por lo menos una diferencia/un identificador delta calculado por el modulo 150 de calculo de identificadores. La información de descripción de memoria intermedia define, de esta manera, el por lo menos un identificador de imagen de la(s) imagen(es) de referencia en relacion con el identificador de imagen de la imagen actual.

La representacion codificada de la imagen podrla ser portadora de los identificadores de imagen proporcionados por el proveedor 120 de identificadores de imagen o los identificadores delta calculados por el modulo 150 de calculo de identificadores como información de descripción de memoria intermedia, por ejemplo, en los encabezamientos de franja. Esto proporciona una serialization expllcita de la descripción de memoria intermedia en la representacion codificada de la imagen.

En una realization alternativa, el codificador 100 comprende un generador 160 de estructuras de datos configurado para generar una estructura de datos que comprende multiples descripciónes de memoria intermedia predefinidas. Cada una de dichas descripciónes de memoria intermedia predefinidas define, de esta manera, por lo menos una imagen de referencia. Asl, la estructura de datos se puede usar para multiples imágenes en el flujo continuo de video con el fin de proporcionar la descripción de memoria intermedia a usar durante la descodificacion correspondiente a las imágenes. El generador 130 de informaciones de descripción de memoria intermedia esta configurado, asl, para seleccionar una descripción de memoria intermedia de la estructura de datos basandose en el por lo menos un identificador de imagen proporcionado por el proveedor 120 de identificadores de imagen para la imagen actual. Se selecciona, asl, la descripción de memoria intermedia que se corresponde correctamente con el por lo menos un identificador de imagen de referencia, y la información de descripción de memoria intermedia generada por el generador 130 de informaciones de descripción de memoria intermedia comprende un identificador de la descripción de memoria intermedia seleccionada.

La estructura de datos generada por el generador 160 de estructuras de datos podrla, entonces, introducirse en un campo de información de control asociado a una representacion codificada del flujo continuo de video, tal como en un PPS o SPS. Un identificador de la información de control pertinente, es decir, un identificador de PPS o un identificador de SPS (podrla estar en forma de un identificador de PPS para un PPS que, a su vez, comprende un identificador de SPS para el SPS pertinente), se incluye preferentemente en información de control de la representacion codificada de la imagen actual, tal como en el encabezamiento de franja. En una realizacion, el encabezamiento de franja u otro campo de información de control es portador, asl, del identificador de informacion de control y del identificador de la descripción de memoria intermedia seleccionada, como información de descripción de memoria intermedia.

Las realizaciones de senalizacion expllcita de identificadores de imagen y de senalizacion de referencia de identificadores de imagen de la descripción anterior se pueden combinar. En tal caso, el generador 130 de informaciones de descripción de memoria intermedia esta configurado para generar la información de descripción de memoria intermedia que comprende el identificador de la descripción de memoria intermedia seleccionada, preferentemente tambien el identificador de información de control, y que comprende informacion, tal como identificador delta o identificador de imagen expllcito, que define un identificador de imagen de una imagen de referencia.

El codificador 100 podrla utilizar cualquiera de los ejemplos descritos anteriormente de identificadores de imagen, tales como el valor de POC que identifica de forma inequlvoca una imagen de referencia, o un valor de POC y un identificador adicional.

El flujo continuo de video podrla ser un flujo continuo de video escalable en donde las imágenes se agrupan en multiples capas. En tal caso, el proveedor 120 de identificadores de imágenesta configurado para proporcionar, para cada imagen de referencia, el identificador de imagen e información de capas temporales o un identificador que identifica una capa a la que pertenece la imagen de referencia. El generador 130 de informaciones de descripción de memoria intermedia genera, entonces, la información de descripción de memoria intermedia basandose en el por lo menos un identificador de imagen y sobre la base de la información de capas temporales. Por lo tanto, la información de descripción de memoria intermedia define, preferentemente, el por lo menos un identificador de imagen y la información de capas temporales.

El determinador 110 de imágenes de referencia esta configurado, preferentemente, para determinar la por lo menos una imagen de referencia como referencia de codification para la prediction inter y/o la prediction con vectores de movimiento para la imagen actual. Asl, la por lo menos una imagen de referencia puede determinarse maximizando la eficiencia de compresion o codificacion de la representacion codificada de la imagen, es decir, minimizando el numero de slmbolos, tales como bits, necesarios para representar la representacion codificada. Esta maximization de la compresion se realiza, preferentemente, al mismo tiempo que se cumple por lo menos una restriction colateral seleccionada de entre tener un numero maximo predefinido de imágenes de referencia y generar una representacion descodificable del flujo continuo de video tambien cuando se elimina de la representacion codificada del flujo continuo de video por lo menos una representacion codificada de una imagen. Otra restriccion colateral alternativa o adicional es que una imagen de referencia seleccionada deba estar disponible para referencia y prediccion en la memoria intermedia de imágenes descodificadas.

El codificador se podrla implementar, al menos parcialmente, en software. En una realización tal como se muestra en la Figura 19, el codificador 300 comprende una seccion 310 de entrada configurada para recibir multiples imágenes de un flujo continuo de video. El codificador 300 tambien comprende un procesador 330 configurado para procesar medios de código de un programa de ordenador almacenado en una memoria 340. Los medios de código, cuando se ejecutan en el procesador 330, provocan que el procesador 330 determine, para una imagen del flujo continuo de video, al menos una imagen de referencia del flujo continuo de video como referencia de codificacion para la imagen. Tambien se provoca que el procesador 330 proporcione, para cada imagen de referencia, un identificador de imagen que identifica la imagen de referencia y que genere, basandose en el por lo menos un identificador de imagen, información de descripción de memoria intermedia que define la por lo menos una imagen de referencia. Se provoca, ademas, que el procesador 330 introduzca la información de descripción de memoria intermedia en una representation codificada de la imagen. El codificador 300 tambien comprende una seccion 320 de salida configurada para dar salida a las representaciones codificadas de las imágenes.

El procesador 330 podria ser un ordenador de proposito general o adaptado especialmente, un procesador o un microprocesador, tal como una unidad de procesado central (CPU). El software incluye elementos de código de programa de ordenador o partes de código de software que materializan el funcionamiento de por lo menos el determinador 110 de imágenes de referencia, el proveedor 120 de identificadores de imágenes, el generador 130 de informaciones de descripción de memoria intermedia, y el introductor 140 de datos de la Figura 18.

El programa se puede almacenar en su totalidad o parcialmente, en o dentro de uno o mas soportes legibles por ordenador o medios de almacenamiento de datos, volatiles, adecuados, tales como una RAM, o uno o mas soportes legibles por ordenador o medios de almacenamiento de datos, no volatiles, tales como discos magneticos, CD-ROMs, discos DVD, discos duros, en memoria ROM o flash. Los medios de almacenamiento de datos pueden ser unos medios de almacenamiento de datos locales o se pueden proporcionar de forma remota, tal como en un servidor de datos. Asi, el software se puede cargar en la memoria de funcionamiento de un ordenador o sistema de procesado equivalente para su ejecucion por un procesador. El ordenador/procesador no tiene que estar dedicado a solamente ejecutar las funciones descritas anteriormente, sino que tambien puede ejecutar otras tareas de software. Un ejemplo no limitativo de código de programa utilizado para definir el codificador 300 incluye código de una instruction, multiples datos (SIMD).

Alternativamente, el codificador se puede implementar en hardware. Existen numerosas variantes de elementos de circuiteria que se pueden utilizar y combinar para lograr las funciones de las unidades 110 a 160 del codificador 100 de la Figura 18. Las realizaciones abarcan dichas variantes. Son ejemplos particulares de implementation en hardware del codificador 100 una implementacion en hardware de procesador de senal digital (DSP) y tecnologia de circuitos integrados, incluyendo tanto circuiteria electronica de proposito general como circuiteria de aplicacion especifica.

De acuerdo con un aspecto de las realizaciones, se proporciona un transmisor 200 s seeg múunestra en la Figura 17. El transmisor 200 comprende una seccion 210 de entrada configurada para recibir multiples imágenes 10 de un flujo continuo de video. Las imágenes 10 se reenvian a un codificador 100, tal como se ilustra en la Figura 18 o en la Figura 19, que esta configurado para codificar las multiples imágenes 10 con el fin de generar representaciones codificadas respectivas de las multiples imágenes. Una seccion 220 de salida del transmisor 200 esta configurada para dar salida a las representaciones codificadas respectivas de las multiples imágenes en forma de un flujo continuo de bits codificado que es portador de la información de descripción de memoria intermedia de las realizaciones.

Un aspecto de las realizaciones se refiere a un descodificador para detectar información de descripción de memoria intermedia y para la determination de una referencia absoluta a imágenes que se usaran como imágenes de referencia para la descodificacion basandose en la descripción de memoria intermedia detectada, y a una memoria intermedia para el almacenamiento de las imágenes que se utilizaran como imágenes de referencia.

La Figura 21 es un diagrama de bloques esquematico de un descodificador 400 de acuerdo con una realizacion. El descodificador 400 esta configurado para descodificar una representacion codificada de una imagen de un flujo continuo de video que comprende multiples imágenes. El descodificador 400 comprende un recuperador 410 de datos configurado para recuperar información de descripción de memoria intermedia que define al menos una imagen de referencia a partir de la representacion codificada de la imagen. La información de descripción de memoria intermedia es usada por un determinador 420 de identificadores de imagen que esta configurado para determinar al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificacion para la imagen. El descodificador 400 comprende, tambien, un gestor 430 de memoria intermedia configurado para actualizar una memoria intermedia de imágenes descodificadas del o asociada al descodificador 400 basandose en el por lo menos un identificador de imagen determinado por el determinador 420 de identificadores de imagen.

En una realización particular, el recuperador 410 de datos esta configurado para recuperar la información de descripción de memoria intermedia que define multiples identificadores de imagen a partir de la representacion codificada de la imagen. El determinador 420 de identificadores de imagen se configura, a continuation, para determinar, sobre la base de la información de descripción de memoria intermedia recuperada, al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificacion para la imagen y al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificacion para una imagen subsiguiente, de acuerdo con un orden de descodificacion, del flujo continuo de video.

El gestor 430 de memoria intermedia esta configurado, preferentemente, para actualizar la memoria intermedia de imágenes descodificadas de manera que comprenda la imagen de referencia respectiva identificada por el por lo menos un identificador de imagen.

Asl, la información de descripción de memoria intermedia de la cual es portadora la representacion codificada de la imagen se utiliza para identificar que imagen(es) de referencia es necesario almacenar en la memoria intermedia de imágenes descodificadas para la descodificacion de la imagen actual y para la descodificacion de una imagen subsiguiente del flujo continuo de video. Asi, la información de descripción de memoria intermedia proporciona la información al descodificador 400 requerido para actualizar la memoria intermedia de imágenes descodificadas con el fin de almacenar la(s) imagen(es) de referencia correcta(s).

Una vez que el gestor 430 de memoria intermedia ha actualizado la memoria intermedia de imágenes descodificadas, el descodificador 400 puede descodificar la imagen basandose en la representacion codificada de la imagen y por lo menos una imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas actualizada.

La información de descripción de memoria intermedia se proporciona, preferentemente, en información de control de la representacion codificada de la imagen. Por ejemplo, el recuperador 410 de datos se podria configurar para recuperar la información de descripción de memoria intermedia a partir de un encabezamiento de franja de la representacion codificada de la imagen. En tal caso, la información de descripción de memoria intermedia se recupera, preferentemente, a partir del primer encabezamiento de franja recibido para la imagen actual, ya que cualquiera de los encabezamientos de franja restantes de la imagen sera portador, preferentemente, de la misma información de descripción de memoria intermedia.

La información de descripción de memoria intermedia recuperada podria incluir identificadores de imagen explicitos de las imágenes de referencia a almacenar en la memoria intermedia de imágenes descodificadas. En una realización alternativa, la información de descripción de memoria intermedia define un identificador delta respectivo para las imágenes de referencia. El determinador 420 de identificadores de imágenes ta configurado, entonces, para recuperar el por lo menos un identificador delta a partir de la información de descripción de memoria intermedia y calcular el por lo menos un identificador de imagen sobre la base del identificador delta respectivo y el identificador de imagen de la imagen actual, preferentemente en forma de una suma del identificador delta y el identificador de imagen de la imagen actual.

En lugar de la senalizacion explicita de identificadores de imagen o identificadores delta en la representacion codificada de la imagen, se puede utilizar una senalizacion de referencia. El recuperador 410 de datos en esta realización esta configurado para recuperar un identificador de una descripción de memoria intermedia a partir de la representacion codificada de la imagen. El descodificador 400 comprende, preferentemente, un identificador 480 de descripción de memoria intermedia configurado para identificar una descripción de memoria intermedia a partir de una estructura de datos que comprende multiples descripciónes de memoria intermedia predefinidas utilizando el identificador recuperado de la descripción de memoria intermedia.

Preferentemente, el recuperador 410 de datos en esta realizacion, esta tambien configurado para recuperar la estructura de datos que define las multiples descripciónes de memoria intermedia predefinidas a partir de un campo de información de control de, o asociado a, una representacion codificada del flujo continuo de video, tal como a partir de un PPS o SPS.

En una realización particular, un campo de información de control de la representacion codificada de la imagen, tal como un encabezamiento de franja, comprende preferentemente un identificador del campo de información de control, tal como PPS o SPS, que es portador de la estructura de datos. El recuperador 410 de datos de este modo recupera este identificador y lo usa para identificar el campo de información de control pertinente con la estructura de datos.

En otra realizacion, la información de descripción de memoria intermedia comprende el identificador de la descripción de memoria intermedia e informacion, tal como un identificador de imagen o identificador delta, que identifica al menos un identificador de imagen. El determinador 420 de identificadores de imagen se configura, entonces, para determinar un primer conjunto de por lo menos un identificador de imagen a partir de la descripción de memoria intermedia identificada, preferentemente a partir de la estructura de datos. El determinador 420 de identificadores de imagen tambien determina un segundo conjunto de por lo menos un identificador de imagen a partir de la información que define por lo menos un identificador de imagen, en donde esta información se ha senalizado explicitamente en la representacion codificada de la imagen, tal como en forma de un identificador de imagen o un identificador delta. Entonces se forma un conjunto combinado de identificadores de imagen a partir del primer conjunto y el segundo conjunto por medio del determinador 420 de identificadores de imagen.

En una realización particular, el descodificador 400 comprende un comparador 440 de numeros configurado para comparar un numero total de identificadores de imagen en el conjunto combinado, con un numero maximo de imágenes de referencia que se pueden almacenar en la memoria intermedia de imágenes descodificadas. Si el numero total de identificadores de imagen en el conjunto combinado supera el numero maximo de imágenes de referencia, el determinador 420 de identificadores de imagen se configura para eliminar uno o mas identificadores de imagen incluidos en el primer conjunto pero no en el segundo conjunto, hasta que el numero total de identificadores de imagen en el conjunto combinado ya no supera el numero maximo de imágenes de referencia.

El gestor 430 de memoria intermedia del descodificador 400 esta configurado, en una realización particular, para eliminar cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas pero que no este asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la information de descripción de memoria intermedia. Por lo tanto, cualquier imagen de referencia que se almacena en la memoria intermedia de imágenes descodificadas pero no identificada a partir de la información de descripción de memoria intermedia, se elimina preferentemente de la memoria intermedia de imágenes descodificadas por parte del gestor 430 de memoria intermedia.

En un planteamiento alternativo y preferido, el gestor 430 de memoria intermedia esta configurado para marcar como no utilizada para referencia, lo que se conoce tambien como no utilizada para prediction, todas las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas pero que no estan asociadas a ninguno del por lo menos un identificador de imagen de la información de descripción de memoria intermedia.

En una realización particular, cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas y asociada a cualquiera de los identificadores de imagen determinados sobre la base de la información de descripción de memoria intermedia es marcada, preferentemente, por el gestor 430 de memoria intermedia como utilizada para referencia. En una realizacion, una imagen de referencia se podrla marcar o bien como utilizada para referencia de corto plazo o bien como utilizada para referencia de largo plazo. La selection entre estas dos alternativas particulares se realiza, preferentemente, sobre la base de la información de descripción de memoria intermedia.

El gestor 430 de memoria intermedia del descodificador 400 esta configurado, preferentemente, para marcar cualquier imagen de referencia antes de que el descodificador 400 descodifique la imagen actual.

En una realización particular, el descodificador 400 comprende una section 450 de salida configurada para dar salida a cero o mas imágenes de la memoria intermedia de imágenes descodificadas con vistas a su visualization antes de que el descodificador 400 descodifique la imagen actual. En una realización particular, la seccion 450 de salida da salida a cualquier imagen de referencia marcada como no utilizada para referencia por el gestor 430 de memoria intermedia.

Una realización opcional del descodificador 400 comprende un comparador 460 de identificadores configurado para comparar el por lo menos un identificador de imagen determinado por el determinador 420 de identificadores de imagen con el(los) identificador(es) de imagen correspondiente(s) a imagen(es) de referencia almacenada(s) en la memoria intermedia de imágenes descodificadas. Si ninguno del por lo menos un identificador de imagen definido por la información de descripción de memoria intermedia no tiene una imagen de referencia coincidente en la memoria intermedia de imágenes descodificadas, el determinador 420 de identificadores de imagen determina que la imagen asociada al identificador de imagen dado es no existente o que falta.

En una realización opcional, el determinador 420 de identificadores de imágenes ta configurado para generar cualquier imagen no existente y almacenar dicha imagen generada en la memoria intermedia de imágenes descodificadas. El identificador de imagen y cualquier otra información obtenible a partir de la información de descripción de memoria intermedia con respecto a la imagen no existente se asignan, preferentemente, a la imagen generada, por parte del determinador 420 de identificadores de imagen.

El descodificador 400 tambien puede comprender un administrador 470 de listas configurado para llevar a cabo una initialization de listas de imágenes de referencia basandose en la información de descripción de memoria intermedia. En una realización particular, el administrador 470 de listas esta configurado para llevar a cabo la inicializacion de listas de imágenes de referencia ordenando imágenes de referencia en una lista de imágenes de referencia de acuerdo con un orden en el que la información de descripción de memoria intermedia define el por lo menos un identificador de imagen. Por lo tanto, la información de descripción de memoria intermedia no solamente define los identificadores de imagen de las imágenes de referencia, sino que el orden en el cual se definen los mismos en la información de descripción de memoria intermedia tambien proporciona instrucciones para el administrador 470 de listas con respecto a la formation de la lista de imágenes de referencia.

El descodificador se podrla implementar, al menos parcialmente, en software. En una realización tal como se muestra en la Figura 22, el descodificador 600 comprende una seccion 610 de entrada configurada para recibir representaciones codificadas de multiples imágenes de un flujo continuo de video. El descodificador 600 tambien comprende un procesador 630 configurado para procesar medios de código de un programa de ordenador almacenado en una memoria 640. Los medios de código, cuando se ejecutan en el procesador 630, provocan que el procesador 630 recupere information de descripción de memoria intermedia que define al menos una imagen de referencia a partir de una representation codificada de una imagen. Los medios de código tambien provocan que el procesador 630 determine por lo menos un identificador de imagen que identifica una imagen de referencia respectiva a partir de la información de descripción de memoria intermedia. La imagen de referencia respectiva se usara como referencia de descodificacion para la imagen. Se provoca, ademas, que el procesador 630 actualice una memoria intermedia 650 de imágenes descodificadas basandose en el por lo menos un identificador de imagen. El descodificador 600 tambien comprende una seccion 620 de salida configurada para dar salida a las imágenes descodificadas del flujo continuo de video.

El procesador 630 podria ser un ordenador de proposito general o adaptado especialmente, un procesador o un microprocesador, tal como una unidad de procesado central (CPU). El software incluye elementos de código de programa de ordenador o partes de código de software que materializan el funcionamiento de por lo menos el recuperador 410 de datos, el determinador 420 de identificadores de imagen y el gestor 430 de memoria intermedia de la Figura 21.

El programa se puede almacenar en su totalidad o parcialmente, en o dentro de uno o mas soportes legibles por ordenador o medios de almacenamiento de datos, volatiles, adecuados, tales como una RAM, o uno o mas soportes legibles por ordenador o medios de almacenamiento de datos, no volatiles, tales como discos magneticos, CD-ROMs, discos DVD, discos duros, en memoria ROM o flash. Los medios de almacenamiento de datos pueden ser unos medios de almacenamiento de datos locales o se pueden proporcionar de forma remota, tal como en un servidor de datos. Asi, el software se puede cargar en la memoria de funcionamiento de un ordenador o sistema de procesado equivalente para su ejecucion por un procesador. El ordenador/procesador no tiene que estar dedicado a solamente ejecutar las funciones descritas anteriormente, sino que tambien puede ejecutar otras tareas de software. Un ejemplo no limitativo de código de programa utilizado para definir el descodificador 600 incluye código de una instruction, multiples datos (SIMD).

Alternativamente, el descodificador se puede implementar en hardware. Existen numerosas variantes de elementos de circuiteria que se pueden utilizar y combinar para lograr las funciones de las unidades 410 a 480 del descodificador 400 de la Figura 21. Las realizaciones abarcan dichas variantes. Son ejemplos particulares de implementation en hardware del descodificador 400 una implementation en hardware de procesador de senal digital (DSP) y tecnologia de circuitos integrados, incluyendo tanto circuiteria electronica de proposito general como circuiteria de aplicacion especifica.

De acuerdo con un aspecto de las realizaciones, se proporciona un receptor 500 se se mgúunestra en la Figura 20. El receptor 500 comprende una seccion 510 de entrada configurada para recibir representaciones codificadas de multiples imágenes de un flujo continuo de video. La representacion codificada es portadora de información de descripción de memoria intermedia de acuerdo con las realizaciones. Las representaciones codificadas se reenvian a un descodificador 400, tal como se ilustra en la Figura 21 o en la Figura 22, que esta configurado para descodificar las representaciones codificadas de las multiples imágenes. Una seccion 520 de salida del receptor 500 esta configurada para dar salida a imágenes descodificadas del flujo continuo de video. El receptor 500 tambien comprende una memoria intermedia 530 de imágenes descodificadas que almacena imágenes de referencia para su uso por el descodificador 400 cuando se descodifican las imágenes.

ANEXO

El presente anexo ofrece una sintaxis propuesta de una realizacion. En el anexo, los elementos de sintaxis anadidos con respecto a la propuesta de HEVC del estado de la tecnica se han marcado subrayandolos y los elementos de sintaxis retirados se han marcado tachandolos.

Encabezamiento de franja

Conjunto de parametros de imagen

Semantica propuesta

Proceso de descodificacion para la aplicacion de descripción de memoria intermedia

Este proceso se invoca en el comienzo del proceso de descodificacion para cada imagen I, P, o B, antes de la descodificacion de la primera Unidad de Codification en la primera franja de la imagen y antes del proceso de descodificacion para la construction de listas de imágenes de referencia.

El proceso puede dar como resultado la marcacion de una o mas imageries como “no utilizada para referenda”. El proceso puede dar como resultado la construccion de imágenes “no existentes” se d seesgcúrnibe en Creacion de imágenes no existentes.

Una imagen de referencia se identifica para su uso en el proceso de descodificacion mediante las variables POC y additional_picture_id.

Se dice que una imagen de referencia r en la memoria intermedia de imágenes descodificadas forma parte de una descripción de memoria intermedia si y solamente si POC(r) = POC(act) + delta_POC(i) y additional_picture_id(r) = additional_picture_id(i) para cualquier i en el intervalo de 0 a number_pictures_in_buffer_description.

Secuencia de funcionamiento para la aplicacion de descripción de memoria intermedia

La aplicacion de la descripción de memoria intermedia se desarrolla en las siguientes etapas ordenadas:

1. En funcion de si la imagen actual es una imagen de IDR, se aplica lo siguiente.

- Si la imagen actual es una imagen de IDR, todas las imágenes de referencia se marcan como no utilizada para referencia.

- Si no (la imagen actual no es una imagen de IDR), se aplican las siguientes etapas ordenadas:

I. La información de descripción de memoria intermedia en el encabezamiento de franja de la primera franja de la imagen actual se utiliza para crear una lista de imágenes de referencia, a la que se denomina descripción de memoria intermedia según se describe en Creacion de una descripción de memoria intermedia.

II. Todas las imágenes de referencia (en la memoria intermedia de imágenes descodificadas) que no forman parte de la descripción de memoria intermedia se marcan como “no utilizada para referencia”. III. Si una o mas imágenes que estan incluidas en la descripción de memoria intermedia no estan disponibles para la referencia (es decir, existentes en la memoria intermedia de referencias y marcadas como “utilizada para referencia”) se invoca el proceso descrito en Creacion de imágenes no existentes.

2. Se descodifican las franjas de la imagen actual.

Creacion de una descripción de memoria intermedia

Si buffer_description_reference_flag es 1, se crea una descripción de memoria intermedia fijando deltaPOC al deltaPOC de la entrada de la descripción de memoria intermedia del PPS identificada por buffer_description_id, fijando temporal_id al temporal_id de la entrada de la descripción de memoria intermedia del PPS identificada por buffer_description_id y fijando additional_picture_id a 0 para cada imagen i en el intervalo de 0 a number_of_pictures_in_buffer_description-1.

Si buffer_description_reference_flag es 0, se crea una descripción de memoria intermedia fijando deltaPOC al deltaPOC de la descripción de memoria intermedia senalizada expllcitamente, fijando temporal_id al temporal_id de la descripción de memoria intermedia senalizada expllcitamente y fijando additional_picture_id a la additional_picture_id de la descripción de memoria intermedia senalizada expllcitamente para cada imagen i en el intervalo de 0 a number_of_explicitly_signaled_pictures-1.

Creacion de imágenes no existentes

Este proceso se invoca, preferentemente, para cada imagen que esta incluida en la descripción de memoria intermedia de la imagen actual, pero no esta disponible en la memoria intermedia de imágenes descodificadas. Es decir, si la descripción de memoria intermedia de la imagen actual contiene una entrada i, con un POC(i) y additional_picture_id(i) tales que no hay ninguna imagen j en la memoria intermedia de imágenes descodificadas marcada como “utilizada para referencia” con POC(j) == POC(i) y additional_picture_id(j) == additional_picture_id(i). Para cada una de estas descripciónes se genera una imagen “no existente” con el POC fijado a POC(i), la additional_picture_id fijada a additional_picture_id(i), la temporal_id fijada a temporal_id(i) y marcada como “no existente” y “utilizada para referencia”. Los valores de muestra de los cuadros generados se pueden fijar a cualquier valor. A estos cuadros generados que estan marcados como “no existente” no se les hara referencia en el proceso de prediccion inter.

Las realizaciones descritas anteriormente deben interpretarse como algunos ejemplos ilustrativos de la presente invencion. Aquellos versados en la materia entenderan que, en las realizaciones, se pueden aplicar varias modificaciones, combinaciones y cambios.

En particular, diferentes soluciones parciales en las diferentes realizaciones se pueden combinar en otras configuraciones, cuando resulte tecnicamente posible. No obstante, el alcance de la presente invencion queda definido por las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Metodo de descodificacion de una representacion codificada (60) de una imagen (10) de un flujo continuo (1) de video de multiples imágenes (10, 40, 42, 50), comprendiendo dicho metodo:

recuperar (S30) información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos incluida en dicha representacion codificada (60) de dicha imagen (10);

determinar (S31), sobre la base de dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificacion para dicha imagen (10);

actualizar (S32) una memoria intermedia (530, 650) de imágenes descodificadas basandose en dicho por lo menos un identificador de imagen marcando (S70) como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530, 650) de imágenes descodificadas y que no estan asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia;

descodificar (S33) dicha imagen (10) basandose en dicha representacion codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530, 650) de imágenes descodificadas, en donde la descodificacion de dicha imagen (10) se realiza despues de actualizar dicha memoria intermedia (530, 650) de imágenes descodificadas,

caracterizado por que

dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referencia de una manera absoluta y expllcita por medio de dicha representacion codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre que imagen de referencia utilizar para referencia durante la descodificacion, independientemente de la representacion codificada de imágenes previas en el flujo continuo de video.

2. Meto sdeogún la reivindicació 1n, en el que la actualizacion (S32) de dicha memoria intermedia (530, 650) de imágenes descodificadas comprende actualizar (S32) dicha memoria intermedia (530, 650) de imágenes descodificadas de manera que comprenda dicha imagen (40, 42) de referencia identificada por dicho por lo menos un identificador de imagen.

3. Meto sdeogún la reivindicació 1n o 2, en el que

la recuperació (nS30) de dicha información de descripción de memoria intermedia comprende recuperar (S30) dicha información de descripción de memoria intermedia que define multiples imágenes (40, 42) de referencia a partir de dicha representacion codificada (60) de dicha imagen (10);

la determination (S31) de dicho por lo menos un identificador de imagen comprende determinar (S31), basandose en dicha información de descripción de memoria intermedia, i) por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dichas multiples imágenes (40, 42) de referencia como referencia de descodificacion para dicha imagen (10), y ii) por lo menos un identificador de imagen que identifica una imagen (42) de referencia entre dichas multiples imágenes (40, 42) de referencia como referencia de descodificacion para una imagen (50) subsiguiente, de acuerdo con un orden de descodificacion, de dicho flujo continuo (1) de video .

4. Descodificador (400) configurado para descodificar una representacion codificada (60) de una imagen (10) de un flujo continuo (1) de video de multiples imágenes (10, 40, 42, 50), dicho descodificador (400) comprende:

un recuperador (410) de datos configurado para recuperar información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos en dicha representacion codificada (60) de dicha imagen (10);

un determinador (420) de identificadores de imagen configurado para determinar, basandose en dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificacion para dicha imagen (10);

un gestor (430) de memoria intermedia configurado para actualizar una memoria intermedia (530) de imágenes descodificadas sobre la base de dicho por lo menos un identificador de imagen marcando como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530) de imágenes descodificadas y que no estan asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia; en donde

dicho descodificador (400) esta configurado para descodificar, despues de que dicho gestor (430) de memoria intermedia haya actualizado dicha memoria intermedia (530) de imágenes descodificadas, dicha imagen (10) basandose en dicha representacion codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530) de imágenes descodificadas,

caracterizado por que dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referenda de una manera absoluta y expilcita por medio de dicha representacion codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre que imagen de referencia utilizar para referencia durante la descodificacion, independientemente de la representacion codificada de imágenes previas en el flujo continuo de video.

5. Descodificado sergún la reivindicaci 4ó,n en el que dicho gestor (430) de memoria intermedia esta configurado para actualizar dicha memoria intermedia (530) de imágenes descodificadas de manera que comprenda dicha imagen (40, 42) de referencia identificada por dicho por lo menos un identificador de imagen.

6. Descodificado sregún la reivindicac 4ió on 5, en el que

dicho recuperador (410) de datos esta configurado para recuperar dicha información de descripción de memoria intermedia que define multiples imágenes (40, 42) de referencia a partir de dicha representacion codificada (60) de dicha imagen (10); y

dicho determinador (420) de identificadores de imagen esta configurado para determinar, sobre la base de dicha información de descripción de memoria intermedia, i) al menos un identificador de imagen que identifica una imagen (40, 42) de referencia, respectiva, entre dichas multiples imágenes (40, 42) de referencia como referencia de descodificacion para dicha imagen (10), y ii) por lo menos un identificador de imagen que identifica una imagen (42) de referencia, respectiva, entre dichas multiples imágenes (40, 42) de referencia como referencia de descodificacion para una imagen (50) subsiguiente, de acuerdo con un orden de descodificacion, de dicho flujo continuo (1) de video.

7. Receptor (500) que comprende:

una seccion (510) de entrada configurada para recibir representaciones codificadas (60) de multiples imágenes (10, 40, 42, 50) de un flujo continuo (1) de video;

un descodificador (400 s)egún cualquiera de las reivindicaciones 4 a 6, configurado para descodificar dichas representaciones codificadas (60) de dichas multiples imágenes (10, 40, 42, 50); y

una seccion (520) de salida configurada para dar salida a imágenes descodificadas de dicho flujo continuo (1) de video.