ES2590686T3 - Fusión de regiones de muestra - Google Patents

Fusión de regiones de muestra Download PDF

Info

Publication number
ES2590686T3
ES2590686T3 ES11714653.0T ES11714653T ES2590686T3 ES 2590686 T3 ES2590686 T3 ES 2590686T3 ES 11714653 T ES11714653 T ES 11714653T ES 2590686 T3 ES2590686 T3 ES 2590686T3
Authority
ES
Spain
Prior art keywords
predetermined
coding parameters
region
prediction
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11714653.0T
Other languages
English (en)
Inventor
Philipp Helle
Simon Oudin
Martin Winken
Detlev Marpe
Thomas Wiegand
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44072790&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2590686(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from PCT/EP2010/054833 external-priority patent/WO2011127963A1/en
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Application granted granted Critical
Publication of ES2590686T3 publication Critical patent/ES2590686T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mechanical Treatment Of Semiconductor (AREA)

Abstract

Descodificador que comprende: un extractor (600) configurado para extraer, para cada una de una pluralidad de regiones conectadas de manera simple en las que una serie de muestras de información que representan una señal de información espacialmente muestreada está subdividida, datos de cabida útil a partir de un flujo de datos (22); y un reconstructor (602) configurado para reconstruir la serie de muestras de información a partir de los datos de cabida útil para las regiones conectadas de manera simple de la serie de muestras de información, mediante el procesamiento, para cada región conectada de manera simple, de los datos de cabida útil para la región conectada de manera simple respectiva de una manera prescrita por unos parámetros de codificación asociados con la región conectada de manera simple respectiva, en el que el descodificador comprende además un subdivisor (104) configurado para subdividir espacialmente, usando una subdivisión multi-árbol, la serie de muestras de información en las regiones conectadas de manera simple mediante la múltiple división recursiva de tal modo que las regiones conectadas de manera simple tienen diferentes tamaños, en el que el extractor está configurado para procesar las regiones conectadas de manera simple en un orden de recorrido de primero en profundidad, y en el que los parámetros de codificación asociados con el número de regiones conectadas de manera simple se transmiten en el flujo de datos (22) en el orden de recorrido de primero en profundidad, caracterizado por que el extractor está configurado además para extraer un primer subconjunto de parámetros de codificación para una región conectada de manera simple predeterminada a partir del flujo de datos (22); calcular una distancia, de acuerdo con una medida de distancia predeterminada, entre el primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada y parámetros de codificación correspondientes de las regiones conectadas de manera simple que tienen la relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada; identificar (450), para la región conectada de manera simple predeterminada, unas regiones conectadas de manera simple en la pluralidad de regiones conectadas de manera simple que tienen una relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada y, de manera simultánea, tienen unos parámetros de codificación asociados con las mismas que satisfacen una relación predeterminada con respecto al primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada, satisfaciéndose la relación predeterminada meramente para aquellas regiones conectadas de manera simple cuyos parámetros de codificación correspondientes asociados tienen la distancia, de acuerdo con la medida de distancia predeterminada, desde el primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada que es menor que o igual a un umbral previamente definido, si el número de regiones conectadas de manera simple que tienen la relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada y, de manera simultánea, que tienen unos parámetros de codificación asociados con las mismas que satisfacen la relación predeterminada con respecto al primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada, es mayor que cero, extraer (454) un indicador de fusión para la región conectada de manera simple predeterminada a partir del flujo de datos (22), si el indicador de fusión sugiere un procesamiento fusionado del bloque predeterminado, si el número de regiones conectadas de manera simple que tienen la relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada y, de manera simultánea, que tienen unos parámetros de codificación asociados con las mismas que satisfacen la relación predeterminada con respecto al primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada, es uno, adoptar (462) un segundo subconjunto de los parámetros de codificación de la región conectada de manera simple que tiene la relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada y, de manera simultánea, que tiene unos parámetros de codificación asociados con las mismas que satisfacen la relación predeterminada con respecto al primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada como un segundo subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada, o predecir el segundo subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada a partir del segundo subconjunto de los parámetros de codificación de las regiones conectadas de manera simple que tienen la relación de posición relativa predeterminada con respecto a la región conectada de manera simple predeterminada y, de manera simultánea, que tienen unos parámetros de codificación asociados con las mismas que satisfacen la relación predeterminada con respecto al primer subconjunto de los parámetros de codificación para la región conectada de manera simple predeterminada con la extracción de un residuo de predicción para la región conectada de manera simple predeterminada a partir del flujo de datos (22).

Description

5
10
15
20
25
30
35
40
45
50
55
60
Fusion de regiones de muestra DESCRIPCION
La presente invencion se refiere a esquemas de codificacion para senales de informacion muestreadas de forma bidimensional, tales como v^deos o imagenes fijas.
En la codificacion de imagenes y video, las imagenes o conjuntos particulares de series de muestras se descomponen normalmente en bloques, que estan asociados con parametros de codificacion particulares. Las imagenes consisten normalmente en multiples series de muestras. Ademas, una imagen tambien puede estar asociada con series de muestras auxiliares adicionales que, por ejemplo, pueden especificar informacion de transparencia o mapas de profundidad. Las series de muestras de una imagen (incluyendo series de muestras auxiliares) pueden agruparse en uno o mas denominados grupos de planos, donde cada grupo de planos consiste en una o mas series de muestras. Los grupos de planos de una imagen se pueden codificar de manera independiente o, si la imagen esta asociada a mas de un grupo de planos, de manera predictiva con respecto a otros grupos de planos de la misma imagen. Cada grupo de planos se descompone normalmente en bloques. Los bloques (o los bloques correspondientes de las series de muestras) se predicen mediante prediccion inter-imagen o mediante prediccion intra-imagen. Los bloques pueden tener diferentes tamanos y pueden ser cuadraticos o rectangulares. La division de una imagen en bloques puede fijarse por la sintaxis o puede senalizarse (al menos parcialmente) dentro del flujo de bits. Con frecuencia se transmiten elementos sintacticos que senalizan la subdivision para bloques de tamanos previamente definidos. Tales elementos sintacticos pueden especificar si y como un bloque esta subdividido en bloques mas pequenos y parametros de codificacion asociados, por ejemplo con fines predictivos. La descodificacion de los parametros de codificacion asociados se especifica de manera determinada para todas las muestras de un bloque (o los bloques correspondientes de series de muestras). En el ejemplo, todas las muestras de un bloque se predicen usando el mismo conjunto de parametros de prediccion, tales como indices de referencia (que identifican una imagen de referencia en el conjunto de imagenes ya codificadas), parametros de movimiento (que especifican una medida para el movimiento de un bloque entre una imagen de referencia y la imagen actual), parametros para especificar el filtro de interpolacion, modos de intra-prediccion, etc. Los parametros de movimiento pueden representarse mediante vectores de desplazamiento con una componente horizontal y una componente vertical o mediante parametros de movimiento de orden superior, tales como parametros de movimiento afines que consisten en seis componentes. Tambien es posible que mas de un conjunto de parametros de prediccion particulares (tales como indices de referencia y parametros de movimiento) esten asociados con un unico bloque. En ese caso, para cada conjunto de estos parametros de prediccion particulares, se genera una unica senal de prediccion intermedia para el bloque (o los bloques correspondientes de series de muestras), y la senal de prediccion final se genera mediante una combinacion que incluye superponer las senales de prediccion intermedias. Los parametros de ponderacion correspondientes y tambien, posiblemente, un desfase constante (que se anade a la suma ponderada) pueden ser fijos para una imagen, una imagen de referencia o un conjunto de imagenes de referencia, o pueden incluirse en el conjunto de parametros de prediccion para el bloque correspondiente. Normalmente, la diferencia entre los bloques originales (o los bloques correspondientes de series de muestras) y sus senales de prediccion, tambien denominadas senales residuales, se transforma y se cuantifica. Con frecuencia se aplica una transformada bidimensional a la senal residual (o a las series de muestras correspondientes para el bloque residual). Para la codificacion de la transformada, los bloques (o los bloques correspondientes de series de muestras) para los que se ha usado un conjunto particular de parametros de prediccion, pueden dividirse adicionalmente antes de aplicar la transformada. Los bloques de transformada pueden ser iguales o mas pequenos que los bloques que se usan para la prediccion. Tambien es posible que un bloque de transformada incluya mas de uno de los bloques que se usan para la prediccion. Diferentes bloques de transformada pueden tener diferentes tamanos y los bloques de transformada pueden representar bloques cuadraticos o rectangulares. Despues de la transformada, los coeficientes de transformada resultantes se cuantifican, obteniendose los denominados niveles de coeficiente de transformada. Los niveles de coeficiente de transformada, asf como los parametros de prediccion y, si la hubiera, la informacion de subdivision, se codifican mediante entropfa.
En las normas de codificacion de imagen y video, las posibilidades de subdividir una imagen (o un grupo de planos) en bloques proporcionados por la sintaxis son muy limitadas. Normalmente, solo puede especificarse si (y posiblemente como) un bloque de un tamano previamente definido puede subdividirse en bloques mas pequenos. Como un ejemplo, el tamano de bloque mas grande en H.264 es de 16 x 16. Los bloques de 16 x 16 tambien se denominan macrobloques y cada imagen se divide en macrobloques en una primera etapa. Puede senalizarse si cada macrobloque de 16 x 16 se codifica como un bloque de 16 x 16, o como dos bloques de 16 x 8, o como dos bloques de 8 x 16, o como cuatro bloques de 8 x 8. Si un bloque de 16 x 16 se subdivide en cuatro bloques de 8 x 8, cada uno de estos bloques de 8 x 8 se puede codificar como un bloque de 8 x 8, o como dos bloques de 8 x 4, o como dos bloques de 4 x 8, o como cuatro bloques de 4 x 4. El pequeno conjunto de posibilidades para especificar la division en bloques en las normas de codificacion de imagenes y video de ultima generacion tiene la ventaja de que la tasa de informacion secundaria para senalizar la informacion de subdivision puede mantenerse baja, pero tiene la desventaja de que la velocidad binaria requerida para transmitir los parametros de prediccion para los
5
10
15
20
25
30
35
40
45
50
55
60
bloques puede ser considerable, tal como se explica a continuacion. La tasa de informacion secundaria para senalizar la informacion de prediccion representa normalmente una cantidad importante de la velocidad binaria global para un bloque. La eficacia de la codificacion puede aumentarse cuando se reduce esta informacion secundaria, lo cual podna conseguirse, por ejemplo, utilizando tamanos de bloque mas grandes. Las imagenes reales de una secuencia de video consisten en objetos conformados de manera arbitraria con propiedades espedficas. Como un ejemplo, tales objetos o partes de los objetos se caracterizan por una textura unica o un movimiento unico. Normalmente, el mismo conjunto de parametros de prediccion puede aplicarse para tal objeto o parte de un objeto. Sin embargo, los contornos de los objetos no coinciden normalmente con los posibles lfmites de bloque de los grandes bloques de prediccion (por ejemplo, macrobloques de 16 x 16 en H.264).
Un codificador normalmente determina la subdivision (entre el conjunto limitado de posibilidades) que da como resultado el mmimo de una medida particular del coste velocidad-distorsion. En objetos conformados de manera arbitraria, esto puede dar como resultado un gran numero de pequenos bloques. Puesto que cada uno de estos pequenos bloques esta asociado a un conjunto de parametros de prediccion, que necesitan ser transmitidos, la tasa de informacion secundaria puede llegar a ser una parte considerable de la velocidad binaria global. Sin embargo, puesto que varios de los pequenos bloques siguen representando areas del mismo objeto o parte de un objeto, los parametros de prediccion para una pluralidad de los bloques obtenidos son identicos o muy similares.
Es decir, la subdivision o particion de una imagen en partes, teselas o bloques mas pequenos influye sustancialmente en la eficacia de la codificacion y la complejidad de la codificacion. Tal como se ha senalado en lo que antecede, la subdivision de una imagen en un mayor numero de bloques mas pequenos permite un ajuste espacial mas preciso de los parametros de codificacion, permitiendo asf una mejor adaptabilidad de esos parametros de codificacion al material de imagenesMdeo. Por otro lado, ajustar los parametros de codificacion a una granularidad mas precisa impone una mayor carga en la cantidad de informacion secundaria necesaria para informar al descodificador sobre los ajustes necesarios. Ademas, debe observarse que cualquier libertad para que el codificador subdivida (adicionalmente) de manera espacial las imagenesMdeo en bloques aumenta drasticamente la cantidad de posibles ajustes de parametros de codificacion y, por lo tanto, hace que, generalmente, determinar el ajuste de parametros de codificacion que da lugar al mejor compromiso entre velocidad y distorsion sea incluso mas diffcil.
El documento WO 2008/127597 A2 describe una fusion dependiente del contexto para los modos de SALTO- DIRECTO para la codificacion y descodificacion de video. Este documento describe las ventajas que resultan del uso de un indicador de fusion con el fin de fusionar divisiones que resultan de una division, con estructura de arbol, de imagenes. El documento busca optimizar la combinacion de la tecnica de fusion con el uso de los modos de SALTO y DIRECTO, los cuales se consideran como que comportan una operacion de fusion implfcita. Para este fin, el documento D1 sugiere el siguiente procedimiento con el fin de codificar un cierto bloque. En primer lugar, se comprueba si algun bloque ya se ha fusionado con el bloque actual por medio del modo de SALTO/DIRECTO. De ser asf, se comprueba si hay algun bloque posible a fusionar con el bloque actual y, si este es el caso, se codifica un indicador de fusion/de no fusion. Si hay mas de un bloque posible, tambien se codifica una direccion de fusion. Mediante esta medida, los modos de SALTO/DIRECTO se usan conjuntamente, de forma eficiente, con indicadores de fusion.
El documento XP 10851189 describe la fusion de hojas en modelos de movimiento de arboles cuaternarios y sugiere permitir la fusion en bloques hoja con unas hojas colindantes inmediatas de mayor tamano o del mismo tamano pero con un padre diferente. En particular, se describe que, para un bloque hoja, se determina un conjunto de posibles objetivos de fusion. Si el mismo esta vado, entonces no se hace nada pero, de lo contrario, un indicador de fusion binario indica si se selecciona, o no, alguno de los objetivos de fusion. El indicador de fusion se codifica usando uno o dos contextos que son mantenidos por un codificador aritmetico binario adaptivo, en el que el contexto seleccionado dependfa de si alguno de los vecinos de la hoja ya se ha codificado como fusionado. Si se ha de fusionar la hoja, se envfan 0, 1 o 2 bits para identificar el objetivo de fusion espedfico de entre el conjunto de posibles objetivos de fusion. No se requiere bit alguno si hay solo un posible objetivo de fusion, mientras que se requieren 2 bits si el numero de posibles objetivos de fusion supera dos.
El documento WO 2008/156548 A1 describe una estructura de sintaxis de video de multiples pasadas para datos de fragmento. En la realizacion de las figuras 6 y 7 se usan tres pasadas. En la primera pasada, se transmiten los modos de codificacion de macrobloques y de sub-bloques para cada macrobloque. En la segunda pasada, la sintaxis de fusion de macrobloques y de sub-bloques se codifica de forma explfcita o implfcita basandose en la informacion de modos a partir de un vecindario relajado y o no relajado con respecto al macrobloque actual. En una tercera pasada, los datos de movimiento se codifican de forma explfcita o implfcita dependiendo de los modos de macrobloque y de sub-bloque y la sintaxis de fusion de macrobloques y de sub-bloques a partir del vecindario relajado y/o no relajado y codificacion residual.
El documento US20080310504 describe una tecnica para explorar coeficientes de bloques de video. En particular, las tecnicas de la presente divulgacion adaptan un orden de exploracion que se usa para explorar un bloque
5
10
15
20
25
30
35
40
45
50
55
60
bidimensional de coeficientes a un vector de coeficientes unidimensionales basandose en unas estad^sticas que estan asociadas con uno o mas bloques previamente codificados. Por ejemplo, las estad^sticas que indican la probabilidad de que un valor de coeficiente dado en cada posicion de un bloque bidimensional sea cero o distinto de cero se pueden recopilar para uno o mas bloques previamente codificados. En algun momento, se puede realizar un ajuste en el orden de exploracion con el fin de asegurar de mejor modo que los coeficientes distintos de cero se agrupen entre sf cerca de la parte frontal del vector de coeficientes unidimensionales, lo que puede mejorar la eficacia de la codificacion por entropfa. La recopilacion de estadfsticas y el ajuste del orden de exploracion se pueden realizar por separado para cada posible modo de prediccion.
Es un objeto proporcionar un esquema de codificacion para codificar una serie de muestras de informacion que representan una senal de informacion bidimensional espacialmente muestreada, tal como, pero sin limitarse a, imagenes de un video o imagenes fijas, que permita conseguir un mejor compromiso entre la complejidad de la codificacion y la relacion velocidad-distorsion que puede conseguirse, y/o conseguir una mejor relacion velocidad- distorsion.
Este objeto se consigue mediante un descodificador de acuerdo con la reivindicacion 1, un metodo de descodificacion de acuerdo con la reivindicacion 6 y un medio de almacenamiento digital legible por ordenador de acuerdo con la reivindicacion 7.
A continuacion se describen realizaciones preferidas de la presente invencion con respecto a las figuras siguientes, en las que:
La figura 1
muestra un diagrama de bloques de un codificador de acuerdo con una realizacion de la presente solicitud.
La figura 2
muestra un diagrama de bloques de un descodificador de acuerdo con una realizacion de la presente solicitud.
Las figuras 3a a 3c muestran esquematicamente un ejemplo ilustrativo de una subdivision en arboles cuaternarios, donde la figura 3a muestra un primer nivel jerarquico, la figura 3b muestra un segundo nivel jerarquico y la figura 3c muestra un tercer nivel jerarquico.
La figura 4 muestra esquematicamente una estructura de arbol para la subdivision ilustrativa en arboles
cuaternarios de las figuras 3a a 3c de acuerdo con una realizacion.
Las figuras 5a, b ilustran esquematicamente la subdivision en arboles cuaternarios de las figuras 3a a 3c y la estructura de arbol con indices que indexan los bloques hoja individuales.
Las figuras 6a, b muestran esquematicamente cadenas binarias o secuencias de indicadores que representan la estructura de arbol de la figura 4 y la subdivision en arboles cuaternarios de las figuras 3a a 3c, respectivamente, de acuerdo con diferentes realizaciones.
La figura 7
muestra un diagrama de flujo que muestra las etapas llevadas a cabo por un extractor de flujo de datos de acuerdo con una realizacion.
La figura 8
muestra un diagrama de flujo que ilustra la funcionalidad de un extractor de flujo de datos de acuerdo con una realizacion adicional.
Las figuras 9a, b muestran diagramas esquematicos de subdivisiones ilustrativas en arboles cuaternarios, donde se resaltan bloques candidatos vecinos para un bloque predeterminado, de acuerdo con una realizacion.
La figura 10 muestra un diagrama de flujo de una funcionalidad de un extractor de flujo de datos de
acuerdo con una realizacion adicional.
La figura 11 muestra esquematicamente una composicion de una imagen a partir de planos y grupos de
planos, e ilustra una codificacion que usa adaptacion/prediccion inter-plano de acuerdo con una realizacion.
Las figuras 12a y 12b ilustran esquematicamente una estructura de subarbol y la correspondiente subdivision con el fin de ilustrar el esquema de herencia de acuerdo con una realizacion.
Las figuras 12c y 12d ilustran esquematicamente una estructura de subarbol con el fin de ilustrar el esquema de herencia con adopcion y prediccion, respectivamente, de acuerdo con realizaciones.
5
10
15
20
25
30
35
40
45
50
55
60
La figura 13 muestra un diagrama de flujo que muestra las etapas llevadas a cabo por un codificador que
lleva a cabo un esquema de herencia de acuerdo con una realizacion.
14b muestran una subdivision primaria y una subdivision subordinada con el fin de ilustrar la posibilidad de implementar un esquema de herencia en relacion con la inter-prediccion, de acuerdo con una realizacion.
muestra un diagrama de bloques que ilustra un proceso de descodificacion en relacion con el esquema de herencia de acuerdo con una realizacion.
La figura 17 muestra un diagrama de bloques de un descodificador de acuerdo con una realizacion.
Las figuras 18a a c muestran unos diagramas esquematicos que ilustran diferentes posibilidades de subdivisiones de acuerdo con realizaciones adicionales.
La figura 19 muestra un diagrama de bloques de un codificador de acuerdo con una realizacion.
La figura 20 muestra un diagrama de bloques de un descodificador de acuerdo con una realizacion
adicional.
La figura 21 muestra un diagrama de bloques de un codificador de acuerdo con una realizacion adicional.
En la siguiente descripcion de las figuras, los elementos que aparecen en varias de estas figuras se indican mediante numeros de referencia comunes, omitiendose una explicacion repetida de estos elementos. En cambio, las explicaciones con respecto a un elemento presentado en una figura tambien se aplicaran a las otras figuras en las que aparece el elemento respectivo, mientras que la explicacion presentada con estas otras figuras indica desviaciones del mismo.
Ademas, la siguiente descripcion empieza con realizaciones de un codificador y un descodificador que se explican con respecto a las figuras 1 a 11. Las realizaciones descritas con respecto a estas figuras combinan muchos aspectos de la presente solicitud que, sin embargo, tambien senan ventajosos si se implementaran individualmente en un esquema de codificacion y, por consiguiente, con respecto a las figuras siguientes, se describen brevemente realizaciones que utilizan de manera individual los aspectos recien mencionados, donde cada una de estas realizaciones representan una abstraccion de las realizaciones descritas con respecto a las figuras 1 y 11 en un sentido diferente.
La figura 1 muestra un codificador de acuerdo con una realizacion de la presente invencion. El codificador 10 de la figura 1 comprende una unidad de prediccion 12, un precodificador residual 14, un reconstructor residual 16, una unidad de insercion de flujo de datos 18 y un divisor de bloques 20. El codificador 10 es para codificar una senal temporal de informacion espacialmente muestreada en un flujo de datos 22. La senal temporal de informacion espacialmente muestreada puede ser, por ejemplo, un video, es decir, una secuencia de imagenes. Cada imagen representa una serie de muestras de imagenes. Otros ejemplos de senales temporales de informacion espacialmente muestreada comprenden, por ejemplo, imagenes de profundidad capturadas mediante, por ejemplo, camaras time-of-light. Ademas, debe observarse que una senal de informacion espacialmente muestreada puede comprender mas de una serie por trama o indicacion de tiempo, tal como en el caso de un video a color que comprende, por ejemplo, una serie de muestras de luminancia junto con dos series de muestras de crominancia por trama. Tambien puede ser posible que la frecuencia de muestreo temporal para las diferentes componentes de la senal de informacion, es decir, la luminancia y la crominancia, pueda ser diferente. Lo mismo se aplica a la resolucion espacial. Un video tambien puede ir acompanado de informacion adicional espacialmente muestreada, tal como informacion de profundidad o transparencia. Sin embargo, la siguiente descripcion se centrara en primer lugar en el procesamiento de una de estas series para entender mejor los conceptos principales de la presente solicitud, haciendo referencia posteriormente al manejo de mas de un plano.
El codificador 10 de la figura 1 esta configurado para crear el flujo de datos 22 de tal modo que los elementos sintacticos del flujo de datos 22 describan las imagenes en una granularidad que esta entre imagenes completas y muestras de imagen individuales. Para ello, el divisor 20 esta configurado para subdividir cada imagen 24 en regiones conectadas de manera simple de diferentes tamanos 26. En lo sucesivo, estas regiones se denominaran simplemente bloques o subregiones 26.
Tal como se describira en lo sucesivo en mayor detalle, el divisor 20 usa una subdivision multi-arbol con el fin de subdividir la imagen 24 en bloques 26 de diferente tamano. Para ser aun mas precisos, las realizaciones espedficas descritas en lo sucesivo con respecto a las figuras 1 a 11 usan principalmente una subdivision en arboles cuaternarios. Como tambien se explicara en lo sucesivo en mayor detalle, el divisor 20 puede comprender, internamente, una concatenacion de un subdivisor 28 para subdividir las imagenes 24 en los bloques 26 recien
Las figuras 14a y La figura 15
5
10
15
20
25
30
35
40
45
50
55
60
mencionados, seguido de un fusionador 30 que permite combinar grupos de estos bloques 26 con el fin de obtener una subdivision eficaz o una granularidad que esta entre la no subdivision de las imagenes 24 y la subdivision definida por el subdivisor 28.
Tal como se ilustra mediante las lmeas discontinuas de la figura 1, la unidad de prediccion 12, el precodificador residual 14, el reconstructor residual 16 y la unidad de insercion de flujo de datos 18 estan implicados en las subdivisiones de imagen definidas por el divisor 20. Por ejemplo, tal como se describira en lo sucesivo en mayor detalle, la unidad de prediccion 12 usa una subdivision de prediccion definida por el divisor 20 con el fin de determinar para las subregiones individuales de la subdivision de prediccion si la subregion respectiva debe someterse a una prediccion intra-imagen o una prediccion inter-imagen fijando los parametros de prediccion correspondientes para la subregion respectiva de acuerdo con el modo de prediccion elegido.
A su vez, el precodificador residual 14 puede usar una subdivision residual de las imagenes 24 con el fin de codificar la parte residual de la prediccion de las imagenes 24 proporcionadas por la unidad de prediccion 12. Puesto que el reconstructor residual 16 reconstruye la parte residual a partir de los elementos sintacticos proporcionados por el precodificador residual 14, el reconstructor residual 16 tambien esta implicado en la subdivision residual recien mencionada. La unidad de insercion de flujo de datos 18 puede utilizar las divisiones recien mencionadas, es decir, las subdivisiones residuales y de prediccion, con el fin de determinar ordenes de insercion y relaciones de vecindad entre los elementos sintacticos para la insercion de los elementos sintacticos proporcionados por el precodificador residual 14 y la unidad de prediccion 12 en el flujo de datos 22 mediante, por ejemplo, codificacion por entropfa.
Tal como se muestra en la figura 1, el codificador 10 comprende una entrada 32 por la que la senal de informacion original entra en el codificador 10. Un restador 34, el precodificador residual 14 y la unidad de insercion de flujo de datos 18 estan conectados en serie en el orden mencionado entre la entrada 32 y la salida de la unidad de insercion de flujo de datos 18 en la que se proporciona el flujo de datos codificado 22. El restador 34 y el precodificador residual 14 son parte de un bucle de prediccion que se cierra por el constructor residual 16, un sumador 36 y la unidad de prediccion 12, que estan conectados en serie en el orden mencionado entre la salida del precodificador residual 14 y la entrada de inversion del restador 34. La salida de la unidad de prediccion 12 tambien esta conectada a una entrada adicional del sumador 36. Ademas, la unidad de prediccion 12 comprende una entrada conectada directamente a la entrada 32 y puede comprender una entrada adicional conectada asimismo a la salida del sumador 36 a traves de un filtro en bucle opcional 38. Ademas, la unidad de prediccion 12 genera informacion secundaria durante el funcionamiento y, por lo tanto, una salida de la unidad de prediccion 12 tambien esta acoplada a la unidad de insercion de flujo de datos 18. Asimismo, el divisor 20 comprende una salida que esta conectada a otra entrada de la unidad de insercion de flujo de datos 18.
Tras haberse descrito la estructura del codificador 10, a continuacion se describira en mayor detalle el modo de funcionamiento.
Tal y como se ha descrito en lo que antecede, el divisor 20 decide para imagen 24 como subdividir la misma en subregiones 26. De acuerdo con una subdivision de la imagen 24 que va a usarse para la prediccion, la unidad de prediccion 12 decide para cada subregion correspondiente a esta subdivision como predecir la subregion respectiva. La unidad de prediccion 12 proporciona la prediccion de la subregion a la entrada de inversion del restador 34 y a la entrada adicional del sumador 36, y proporciona a la unidad de insercion de flujo de datos 18 informacion de prediccion que refleja la manera en que la unidad de prediccion 12 obtuvo esta prediccion a partir de partes previamente codificadas del video.
En la salida del restador 34 se obtiene asf el residuo de prediccion, donde el precodificador residual 14 procesa este residuo de prediccion de acuerdo con una subdivision residual tambien especificada por el divisor 20. Tal y como se describira en lo sucesivo en mayor detalle con respecto a las figuras 3 a 10, la subdivision residual de la imagen 24 usada por el precodificador residual 14 puede referirse a la subdivision de prediccion usada por la unidad de prediccion 12 de tal modo que cada subregion de prediccion se adopte como una subregion residual o se subdivida adicionalmente en subregiones residuales mas pequenas. Sin embargo, tambien sena posible una prediccion totalmente independiente y subdivisiones residuales.
El precodificador residual 14 somete cada subregion residual a una transformacion desde el dominio espacial al dominio espectral mediante una transformada bidimensional seguida de, o que implica intrmsecamente, una cuantificacion de los coeficientes de transformada resultante de los bloques de transformada resultantes, por lo que la distorsion se debe al ruido de cuantificacion. La unidad de insercion de flujo de datos 18 puede, por ejemplo, codificar sin perdidas elementos sintacticos que describen los coeficientes de transformada antes mencionados en el flujo de datos 22 usando, por ejemplo, codificacion por entropfa.
A su vez, el reconstructor residual 16 reconvierte, usando una recuantificacion seguida de una retransformacion, los coeficientes de transformada en una senal residual, donde la senal residual se combina en el sumador 36 con la prediccion usa por el restador 34 para obtener el residuo de prediccion, obteniendo asf una porcion o subregion
5
10
15
20
25
30
35
40
45
50
55
60
reconstruida de una imagen actual en la salida del sumador 36. La unidad de prediccion 12 puede usar la subregion de imagen reconstruida para la intra-prediccion directamente, es decir, para predecir una determinada subregion de prediccion mediante una extrapolacion a partir de subregiones de prediccion reconstruidas previamente en zonas cercanas. Sin embargo, tambien sena teoricamente posible una intra-prediccion llevada a cabo en el dominio espectral prediciendo el espectro de la subregion actual directamente a partir del de una subregion vecina.
Para la inter-prediccion, la unidad de prediccion 12 puede usar imagenes codificadas y reconstruidas previamente en una version de acuerdo con la cual se han filtrado mediante un filtro en bucle opcional 38. El filtro en bucle 38 puede comprender, por ejemplo, un filtro de desbloqueo y/o un filtro adaptativo que tiene una funcion de transferencia adaptada para formar de manera ventajosa el ruido de cuantificacion mencionado en lo que antecede.
La unidad de prediccion 12 elige los parametros de prediccion que revelan la manera de predecir una determinada subregion de prediccion mediante el uso de una comparacion con las muestras originales de la imagen 24.
Como se indicara en lo sucesivo en mayor detalle, los parametros de prediccion pueden comprender para cada subregion de prediccion una indicacion del modo de prediccion, tal como una prediccion intra-imagen y una prediccion inter-imagen. En el caso de la prediccion intra-imagen, los parametros de prediccion tambien pueden comprender una indicacion de un angulo a lo largo del cual se extienden principalmente bordes de la subregion de prediccion que va a intra-predecirse, y en el caso de la prediccion inter-imagen, vectores de movimiento, indices de imagen en movimiento y, finalmente, parametros de transformacion de movimiento de orden superior y, en caso de prediccion intra-imagen y de prediccion inter-imagen, informacion de filtro opcional para filtrar las muestras de imagen reconstruidas en funcion de las cuales se predice la subregion de prediccion actual.
Tal como se describira en lo sucesivo en mayor detalle, las subdivisiones mencionadas en lo que antecede definidas por un divisor 20 influyen sustancialmente en la relacion velocidad/distorsion maxima que puede conseguirse mediante el precodificador residual 14, la unidad de prediccion 12 y la unidad de insercion de flujo de datos 18. En caso de una subdivision muy precisa, los parametros de prediccion 40 proporcionados por la unidad de prediccion 12 que van a insertarse en el flujo de datos 22 necesitan una velocidad de codificacion muy elevada, a pesar de que la prediccion obtenida por la unidad de prediccion 12 puede ser mejor y la senal residual que va a codificarse por el precodificador residual 14 podna ser menor de tal modo que la misma podna codificarse con menos bits. En caso de una subdivision demasiado tosca, se aplica lo contrario. Ademas, la idea que acaba de mencionarse tambien se aplica a la subdivision residual de manera similar: una transformacion de una imagen usando una granularidad mas precisa de los bloques de transformacion individuales da lugar a una menor complejidad para calcular las transformaciones y una mayor resolucion espacial de la transformacion resultante. Es decir, subregiones residuales mas pequenas permiten que la distribucion espectral del contenido dentro de subregiones residuales individuales sea mas coherente. Sin embargo, la resolucion espectral se reduce y la relacion entre coeficientes significativos e insignificantes, es decir, cuantificados a cero, empeora. Es decir, la granularidad de la transformada debena adaptarse localmente al contenido de imagen. Ademas, independientemente del efecto positivo de una granularidad mas precisa, una granularidad mas precisa aumenta generalmente la cantidad de informacion secundaria necesaria para indicar al descodificador la subdivision escogida. Tal como se describira en lo sucesivo en mayor detalle, las realizaciones descritas en lo sucesivo proporcionan al codificador 10 la capacidad de adaptar muy eficazmente las subdivisiones al contenido de la senal de informacion que va a codificarse y de senalizar las subdivisiones que van a usarse a la parte de descodificacion ordenando a la unidad de insercion de flujo de datos 18 que inserte la informacion de subdivision en el flujo de datos codificado 22. Los detalles se describen en lo sucesivo.
Sin embargo, antes de definir en mayor detalle la subdivision del divisor 20, un descodificador de acuerdo con una realizacion de la presente solicitud se describira en mayor detalle con respecto a la figura 2.
El descodificador de la figura 2 se indica mediante el signo de referencia 100 y comprende un extractor 102, un divisor 104, un reconstructor residual 106, un sumador 108, una unidad de prediccion 110, un filtro en bucle opcional 112 y un postfiltro opcional 114. El extractor 102 recibe el flujo de datos codificado en una entrada 116 del descodificador 100 y extrae del flujo de datos codificado informacion de subdivision 118, parametros de prediccion 120 y datos residuales 122 que el extractor 102 proporciona al divisor de imagenes 104, a la unidad de prediccion 110 y al reconstructor residual 106, respectivamente. El reconstructor residual 106 tiene una salida conectada a una primera entrada del sumador 108. La otra entrada del sumador 108 y la salida del mismo estan conectadas en un bucle de prediccion al que el filtro en bucle opcional 112 y la unidad de prediccion 110 estan conectados en serie en el orden mencionado con una trayectoria de desviacion que va desde la salida del sumador 108 hasta la unidad de prediccion 110 de manera muy similar a las conexiones mencionadas en lo que antecede entre el sumador 36 y la unidad de prediccion 12 de la figura 1, en concreto una para la prediccion intra-imagen y otra para la prediccion inter- imagen. La salida del sumador 108 o la salida del filtro en bucle 112 se puede conectar a una salida 124 del descodificador 100, donde la senal de informacion reconstruida se proporciona a un dispositivo de reproduccion, por ejemplo. Un postfiltro opcional 114 se puede conectar a la trayectoria que conduce hasta la salida 124 para mejorar la calidad visual de impresion visual de la senal reconstruida en la salida 124.
5
10
15
20
25
30
35
40
45
50
55
60
En terminos generales, el reconstructor residual 106, el sumador 108 y la unidad de prediccion 110 actuan como los elementos 16, 36 y 12 de la figura 1. Dicho de otro modo, emulan el funcionamiento de los elementos mencionados en lo que antecede en la figura 1. Para ello, el reconstructor residual 106 y la unidad de prediccion 110 se controlan mediante los parametros de prediccion 120 y la subdivision especificada por el divisor de imagenes 104 de acuerdo con una informacion de subdivision 118 del extractor 102, respectivamente, con el fin de predecir las subregiones de prediccion del mismo modo que la unidad de prediccion 12 hizo o decidio hacer, y volver a transformar los coeficientes de transformada recibidos con la misma granularidad que el precodificador residual 14. A su vez, el divisor de imagenes 104 reconstruye las subdivisiones elegidas por el divisor 20 de la figura 1 de manera sincronizada basandose en la informacion de subdivision 118. A su vez, el extractor puede usar la informacion de subdivision para controlar la extraccion de datos tal como en lo que respecta a la seleccion de contexto, la determinacion de la vecindad, la estimacion de probabilidad, el analisis de la sintaxis del flujo de datos, etc.
Pueden llevarse a cabo diversas variantes en las realizaciones anteriores. Algunas se mencionan en la siguiente descripcion detallada con respecto a la subdivision llevada a cabo por el subdivisor 28 y la fusion llevada a cabo por el fusionador 30, mientras que otras se describen con respecto a las figuras 12 a 16 subsiguientes. Cuando no hay ningun obstaculo, todas estas desviaciones pueden aplicarse de manera individual o en subconjuntos a la descripcion antes mencionada de la figura 1 y la figura 2, respectivamente. Por ejemplo, los divisores 20 y 104 pueden no determinar una subdivision de prediccion y una subdivision residual por imagen solamente. En cambio, tambien pueden determinar una subdivision de filtro para el filtro en bucle opcional 38 y 112, respectivamente, ya sea dependiendo o no de las otras subdivisiones para la prediccion o codificacion residual, respectivamente. Ademas, una determinacion de la subdivision o subdivisiones mediante estos elementos puede no llevarse a cabo en cada trama. En cambio, una subdivision o subdivisiones determinadas para una determinada trama pueden reutilizarse o adoptarse para un determinado numero de tramas siguientes transfiriendo simplemente una nueva subdivision.
Para proporcionar mas detalles relacionados con la division de las imagenes en subregiones, la siguiente descripcion se centra en primer lugar en la parte de subdivision de la que el subdivisor 28 y 104a son responsables. Despues se describe el proceso de fusion del que el fusionador 30 y el fusionador 104b son responsables. Por ultimo, se describe la adopcion/prediccion inter-plano.
La manera en que el subdivisor 28 y 104a dividen las imagenes es de tal modo que una imagen puede dividirse en una pluralidad de bloques de tamanos posiblemente diferentes con el fin de codificar de manera predictiva y residual los datos de imagen o de video. Tal como se ha mencionado en lo que antecede, una imagen 24 puede estar disponible como una o mas series de valores de muestras de imagen. En el caso del espacio de colores YUV/YCbCr, por ejemplo, la primera serie puede representar el canal de luminancia, mientras que otras dos series representan canales de crominancia. Estas series pueden tener diferentes dimensiones. Todas las series pueden agruparse en uno o mas grupos de planos, donde cada grupo de planos consiste en uno o mas planos consecutivos de tal modo que cada plano esta contenido en uno y solamente un grupo de planos. En cada grupo de planos se aplica lo siguiente. La primera serie de un grupo de planos particular puede denominarse como la serie primaria de este grupo de planos. Las posibles series siguientes son series subordinadas. La division en bloques de la serie primaria se puede realizar en funcion de un enfoque de arboles cuaternarios, que se describe del mejor modo en lo sucesivo. La division en bloques de las series subordinadas puede obtenerse en funcion de la division de la serie primaria.
De acuerdo con las realizaciones descritas en lo sucesivo, los subdivisores 28 y 104a estan configurados para dividir la serie primaria en una pluralidad de boques cuadrados de igual tamano, denominados en lo sucesivo bloques arbol. La longitud del borde de los bloques arbol es normalmente una potencia de dos tal como 16, 32 o 64 cuando se usan arboles cuaternarios. Sin embargo, en terminos generales, debe apreciarse que tambien es posible usar otros tipos de arboles, tales como arboles binarios o arboles con cualquier numero de hojas. Ademas, el numero de hijos del arbol puede variar en funcion del nivel del arbol y dependiendo de la senal que esta representando el arbol.
Ademas, tal como se ha mencionado en lo que antecede, la serie de muestras tambien puede representar informacion diferente a secuencias de video, tal como mapas de profundidad o campos de luz, respectivamente. Por simplicidad, la siguiente descripcion se centra en arboles cuaternarios como un ejemplo representativo de un multi- arbol.
Los arboles cuaternarios son arboles que tienen exactamente cuatro hijos en cada nodo interno. Cada uno de los bloques arbol constituye un arbol cuaternario primario junto con arboles cuaternarios subordinados en cada una de las hojas del arbol cuaternario primario. El arbol cuaternario primario determina la subdivision de un bloque arbol dado para la prediccion, mientras que un arbol cuaternario subordinado determina la subdivision de un bloque de prediccion dado con fines de codificacion residual.
El nodo rafz del arbol cuaternario primario corresponde al bloque arbol completo. Por ejemplo, la figura 3a muestra un bloque arbol 150. Debe recordarse que cada imagen esta dividida en una cuadncula regular de lmeas y columnas
5
10
15
20
25
30
35
40
45
50
55
60
de tales bloques arbol 150 de tal modo que los mismos, por ejemplo, cubren sin huecos la serie de muestras. Sin embargo, debe observarse que para todas las subdivisiones de bloque que se muestran en lo sucesivo, la subdivision homogenea sin solapamiento no es cntica. En cambio, bloques vecinos pueden solaparse entre s^ siempre que ningun bloque hoja sea una subparte apropiada de un bloque hoja vecino.
A lo largo de la estructura de arbol cuaternario para el bloque arbol 150, cada nodo puede dividirse ademas en cuatro nodos hijo, que en el caso del arbol cuaternario primario significa que cada bloque arbol 150 puede dividirse en cuatro sub-bloques con la mitad de anchura y la mitad de altura del bloque arbol 150. En la figura 3a, estos sub- bloques se indican con los signos de referencia 152a a 152d. De la misma manera, cada uno de estos sub-bloques puede dividirse ademas en cuatro sub-bloques mas pequenos con la mitad de anchura y la mitad de altura de los sub-bloques originales. En la figura 3d esto se muestra a modo de ejemplo para el sub-bloque 152c, que esta subdividido en cuatro pequenos sub-bloques 154a a 154d. Hasta ahora, las figuras 3a a 3c muestran a modo de ejemplo como un bloque arbol 150 se divide primero en sus cuatro sub-bloques 152a a 152d, despues el sub-bloque inferior izquierdo 152c se divide adicionalmente en cuatro pequenos sub-bloques 154a a 154d y, finalmente, tal como se muestra en la figura 3c, el bloque superior derecho 154b de estos sub-bloques mas pequenos se divide una vez mas en cuatro bloques con una octava parte de la anchura y la altura del bloque arbol original 150, donde estos bloques incluso mas pequenos se denotan como 156a a 156d.
La figura 4 muestra la estructura de arbol subyacente para la division a modo de ejemplo basada en arboles cuaternarios que se muestra en las figuras 3a a 3d. Los numeros junto a los nodos arbol son los valores de un denominado indicador de subdivision, que se explicara en mayor detalle cuando se describa la senalizacion de la estructura de un arbol cuaternario. El nodo rafz del arbol cuaternario se muestra en la parte superior de la figura (etiquetado como "nivel 0"). Las cuatro ramas del nivel 1 de este nodo rafz corresponden a los cuatro sub-bloques que se muestran en la figura 3a. Puesto que el tercero de estos sub-bloques se subdivide adicionalmente en sus cuatro sub-bloques de la figura 3b, el tercer nodo del nivel 1 en la figura 4 tambien tiene cuatro ramas. De nuevo, en correspondencia con la subdivision del segundo nodo hijo (situado en la parte superior derecha) en la figura 3c, hay cuatro subramas conectadas al segundo nodo en el nivel 2 de la jerarqrna de arbol cuaternario. Los nodos del nivel 3 no se subdividen adicionalmente.
Cada hoja del arbol cuaternario primario corresponde a un bloque de tamano variable para el que pueden especificarse parametros de prediccion individuales (es decir, modo de intra-prediccion o inter-prediccion, parametros de movimiento, etc.). En lo sucesivo, estos bloques se denominaran bloques de prediccion. En particular, estos bloques hoja son los bloques que se muestran en la figura 3c. Haciendo de nuevo referencia brevemente a la descripcion de las figuras 1 y 2, el divisor 20 o el subdivisor 28 determina la subdivision en arboles cuaternarios que acaba de explicarse. El subdivisor 152a a d decide cual de los bloques arbol 150, los sub-bloques 152a a d, los pequenos sub-bloques 154a a d, etc., subdividir o segmentar adicionalmente con el objetivo de encontrar un equilibrio optimo entre una subdivision de prediccion muy precisa y una subdivision de prediccion muy tosca, tal como se ha indicado en lo que antecede. A su vez, la unidad de prediccion 12 usa la subdivision de prediccion prescrita para determinar los parametros de prediccion mencionados en lo que antecede con una granularidad dependiendo de la subdivision de prediccion o para cada una de las subregiones de prediccion representadas por los bloques que se muestran en la figura 3c, por ejemplo.
Los bloques de prediccion que se muestran en la figura 3c pueden dividirse adicionalmente en bloques mas pequenos con fines de codificacion residual. En cada bloque de prediccion, es decir, en cada nodo hoja del arbol cuaternario primario, la subdivision correspondiente se determina mediante uno o mas arboles cuaternarios subordinados para la codificacion residual. Por ejemplo, cuando se permite un tamano de bloque residual maximo de 16 x 16, un bloque de prediccion dado de 32 x 32 puede dividirse en cuatro bloques de 16 x 16, cada uno de los cuales se determina mediante un arbol cuaternario subordinado para la codificacion residual. Cada bloque de 16 x 16 en este ejemplo corresponde al nodo rafz de un arbol cuaternario subordinado.
Tal y como acaba de describirse para el caso de la subdivision de un bloque arbol dado en bloques de prediccion, cada bloque de prediccion puede dividirse en una pluralidad de bloques residuales usando la(s) descomposicion(es) en arboles cuaternarios subordinados. Cada hoja de un arbol cuaternario subordinado corresponde a un bloque residual para el que pueden especificarse parametros de codificacion residual individuales (es decir, modo de transformada, coeficientes de transformada, etc.) mediante el precodificador residual 14, parametros de codificacion residual que a su vez controlan los reconstructores residuales 16 y 106, respectivamente.
Dicho de otro modo, el subdivisor 28 puede estar configurado para determinar para cada imagen o para cada grupo de imagenes una subdivision de prediccion y una subdivision residual subordinada dividiendo en primer lugar la imagen en una disposicion regular de bloques arbol 150, dividiendo de manera recursiva un subconjunto de estos bloques arbol mediante subdivision en arboles cuaternarios con el fin de obtener la subdivision de prediccion en bloques de prediccion, que pueden ser bloques arbol si no se produce ninguna division en el bloque arbol respectivo, o los bloques hoja de la subdivision en arboles cuaternarios, donde posteriormente se subdivide adicionalmente un subconjunto de estos bloques de prediccion de manera similar, si un bloque de prediccion es mayor que el tamano
5
10
15
20
25
30
35
40
45
50
55
60
maximo de la subdivision residual subordinada, dividiendo en primer lugar el bloque de prediccion respectivo en una disposicion regular de sub-bloques arbol, donde posteriormente su subdivide un subconjunto de estos sub-bloques arbol de acuerdo con el procedimiento de subdivision en arboles cuaternarios con el fin de obtener los bloques residuales, que pueden ser bloques de prediccion si no tuvo lugar ninguna division en sub-bloques arbol en el bloque de prediccion respectivo, sub-bloques arbol si no tuvo lugar ninguna division en regiones incluso mas pequenas en el sub-bloque arbol respectivo, o los bloques hoja de la subdivision residual en arboles cuaternarios.
Tal como se ha descrito antes brevemente, las subdivisiones escogidas para una serie primaria pueden correlacionarse con las series subordinadas. Esto es sencillo cuando se consideran series subordinadas de la misma dimension que la serie primaria. Sin embargo, tienen que tomarse medidas especiales cuando las dimensiones de las series subordinadas son diferentes de la dimension de la serie primaria. En terminos generales, la correlacion de la subdivision de la serie primaria con las series subordinadas en caso de dimensiones diferentes podna realizarse mediante una correlacion espacial, es decir, correlacionando espacialmente los elementos de los bloques de la subdivision de serie primaria con las series subordinadas. En particular, para cada serie subordinada puede haber un factor de escalamiento en la direccion horizontal y en la direccion vertical que determina la relacion de la dimension de la serie primaria con respecto a la serie subordinada. La division de la serie subordinada en sub- bloques para la prediccion y la codificacion residual puede determinarse mediante el arbol cuaternario primario y el/los arbol(es) cuaternario(s) subordinado(s) de cada uno de los bloques arbol coubicados de la serie primaria, respectivamente, donde los bloques arbol resultantes de la serie subordinada son escalados por el factor de escalamiento relativo. En caso de que los factores de escalamiento en la direccion horizontal y en la direccion vertical sean diferentes (por ejemplo, como en el submuestreo de crominancia 4:2:2), la prediccion resultante y los bloques residuales de la serie subordinada ya no seran cuadrados. En este caso, es posible predeterminar o seleccionar de manera adaptativa (ya sea para toda la secuencia, una imagen de la secuencia o para cada bloque residual o de prediccion individual) si el bloque residual no cuadratico debe dividirse en bloques cuadrados. En el primer caso, por ejemplo, el codificador y el descodificar pueden estar de acuerdo en la subdivision en bloques cuadrados cada vez que un bloque correlacionado no sea cuadrado. En el segundo caso, el subdivisor 28 podna senalizar la seleccion al subdivisor 104a a traves de la unidad de insercion de flujo de datos 18 y el flujo de datos 22. Por ejemplo, en caso del submuestreo de crominancia 4:2:2, donde las series subordinadas tienen la mitad de anchura pero la misma altura que la serie primaria, la altura de los bloques residuales sera el doble que la anchura. Dividiendo verticalmente este bloque se obtendran de nuevo dos bloques cuadrados.
Tal como se ha mencionado en lo que antecede, el subdivisor 28 o el divisor 20, respectivamente, senaliza al subdivisor 104a la division basada en arboles cuaternarios a traves del flujo de datos 22. Para ello, el subdivisor 28 informa a la unidad de insercion de flujo de datos 18 acerca de las subdivisiones elegidas para las imagenes 24. A su vez, la unidad de insercion de flujo de datos transmite a la parte de descodificacion la estructura del arbol cuaternario primario y secundario y, por lo tanto, la division de la serie de imagen en bloques de tamano variable para la prediccion o codificacion residual en el flujo de datos o flujo de bits 22, respectivamente.
Los tamanos de bloque mmimo y maximo permitidos se transmiten como informacion secundaria y pueden cambiar de imagen a imagen. Por otro lado, los tamanos de bloque mmimo y maximo permitidos pueden fijarse en el codificador y el descodificador. Estos tamanos de bloque mmimo y maximo pueden ser diferentes para los bloques residuales y de prediccion. Para la senalizacion de la estructura de arbol cuaternario es necesario recorrer el arbol cuaternario y para cada nodo tiene que especificarse si este nodo particular es un nodo hoja del arbol cuaternario (es decir, el bloque correspondiente no se subdivide mas) o si se ramifica en sus cuatro nodos hijo (es decir, el bloque correspondiente se divide en cuatro sub-bloques con la mitad de tamano).
La senalizacion de una imagen se realiza por cada bloque arbol en un orden de exploracion de trama tal como de izquierda a derecha y de arriba abajo, tal como se ilustra en la figura 5a en 140. Este orden de exploracion tambien puede ser diferente, tal como desde la parte inferior derecha hasta la parte superior izquierda o en el sentido de un tablero de ajedrez. En una realizacion preferida, cada bloque arbol y, por lo tanto, cada arbol cuadratico, se recorre en un orden de primero en profundidad para senalizar la informacion de subdivision.
En una realizacion preferida, no solo se transmite/procesa en el orden de primero en profundidad la informacion de subdivision, es decir, la estructura del arbol, sino tambien los datos de prediccion, etc., es decir, la cabida util asociada con los nodos hoja del arbol. Esto se realiza porque el recorrido de primero en profundidad tiene grandes ventajas en comparacion con el orden de primero en anchura. En la figura 5b se muestra una estructura de arbol cuaternario con los nodos hoja etiquetados como a, b, ... , j. La figura 5a muestra la division en bloques resultante. Si los bloques/nodos hoja se recorren en el orden de primero en anchura, se obtiene el siguiente orden: abjchidefg. Sin embargo, en el orden de primero en profundidad, el orden es abc ... ij. Como puede verse en la figura 5a, en el orden de primero en profundidad, el bloque vecino izquierdo y el bloque vecino superior siempre se transmiten/procesan antes del bloque actual. Por lo tanto, la prediccion del vector de movimiento y la modelizacion del contexto siempre pueden usar los parametros especificados para el bloque vecino izquierdo y superior con el fin de conseguir un rendimiento de codificacion mejorado. Esto no sena el caso en el orden de primero en anchura, ya que el bloque j se transmite antes de los bloques 'e', 'g' e 'i', por ejemplo.
5
10
15
20
25
30
35
40
45
50
55
60
Por consiguiente, la senalizacion para cada bloque arbol se realiza de manera recursiva a lo largo de la estructura de arbol cuaternario del arbol cuaternario primario de tal modo que para cada nodo se transmite un indicador que especifica si el bloque correspondiente esta dividido en cuatro sub-bloques. Si este indicador tiene el valor "1" ("verdadero"), entonces este proceso de senalizacion se repite de manera recursiva para los cuatro nodos hijo, es decir, sub-bloques en el orden de exploracion de trama (parte superior izquierda, parte superior derecha, parte inferior izquierda, parte inferior derecha) hasta que se llegue al nodo hoja del arbol cuaternario primario. Debe observarse que un nodo hoja esta caracterizado por tener un indicador de subdivision con un valor "0". Para el caso en que un nodo reside en el nivel jerarquico mas bajo del arbol cuaternario primario y, por lo tanto, corresponde al tamano de bloque de prediccion mas pequeno permitido, no se transmite ningun indicador de subdivision. En el ejemplo de la figura 3a a c, se transmitira primero un "1", tal como se muestra en 190 en la figura 6a, lo que especifica que el bloque arbol 150 esta dividido en sus cuatro sub-bloques 152a a d. Despues, se codificara recursivamente la informacion de subdivision de los cuatro sub-bloques 152a a d en el orden de exploracion de trama 200. Para los dos primeros sub-bloques 152a, b se transmitira un "0", lo que especifica que no estan subdivididos (vease 202 en la figura 6a). Para el tercer sub-bloque 152c (parte inferior izquierda), se transmitira un "1", lo que especifica que este bloque esta subdividido (vease 204 en la figura 6a). A continuacion, de acuerdo con el enfoque recursivo, se procesan los cuatro sub-bloques 154a a d de este bloque. En el presente caso se transmitira un "0" para el primer sub-bloque (206) y un "1" para el segundo sub-bloque (superior derecho) (208). A continuacion se procesan los cuatro bloques del tamano de bloque mas pequeno 156a a d en la figura 3c. En caso de que se haya alcanzado el tamano de bloque mas pequeno permitido en este ejemplo, no se transmitiran mas datos ya que no es posible una subdivision adicional. Otra opcion es transmitir "0000", tal como se indica en 210 en la figura 6a, lo que especifica que ninguno de estos bloques esta dividido adicionalmente. Despues, se transmitira "00" para los dos bloques inferiores de la figura 3b (vease 212 en la figura 6a) y, finalmente, "0" para el bloque inferior derecho de la figura 3a (vease 214). Por lo tanto, la cadena binaria completa que representa la estructura de arbol cuaternario sena la que se muestra en la figura 6a.
Los diferentes sombreados de fondo en esta representacion de cadena binaria de la figura 6a corresponde a diferentes niveles en la jerarqrna de la subdivision basada en arboles cuaternarios. El sombreado 216 representa el nivel 0 (correspondiente a un tamano de bloque igual al tamano de bloque arbol original), el sombreado 218 representa el nivel 1 (correspondiente a un tamano de bloque igual a la mitad del tamano de bloque arbol original), el sombreado 220 representa el nivel 2 (correspondiente a un tamano de bloque igual a un cuarto del tamano de bloque arbol original), y el sombreado 222 representa el nivel 3 (correspondiente a un tamano de bloque igual a un octavo del tamano de bloque arbol original). Todos los indicadores de subdivision del mismo nivel jerarquico (correspondiente al mismo tamano de bloque y al mismo color en la representacion de cadena binaria de ejemplo) se pueden codificar por entropfa usando uno y el mismo modelo de probabilidad mediante la unidad de insercion 18, por ejemplo.
Debe observarse que para el caso de un recorrido de primero en anchura, la informacion de subdivision se transmitira en un orden diferente, tal como se muestra en la figura 6b.
De manera similar a la subdivision de cada bloque arbol con fines de prediccion, la division de cada bloque de prediccion resultante en bloques residuales tiene que transmitirse en el flujo de bits. Ademas, puede haber un tamano de bloque maximo y mmimo para la codificacion residual que se transmite como informacion secundaria y que puede cambiar de imagen a imagen. Por otro lado, el tamano de bloque maximo y mmimo para la codificacion residual puede fijarse en el codificador y el descodificador. En cada nodo hoja del arbol cuaternario primario, como los que se muestran en la figura 3c, el bloque de prediccion correspondiente puede dividirse en bloques residuales del maximo tamano posible. Estos bloques son los nodos rafz constituyentes de la estructura de arbol cuaternario subordinado para la codificacion residual. Por ejemplo, si el tamano de bloque residual maximo para la imagen es de 64 x 64 y el bloque de prediccion tiene un tamano de 32 x 32, entonces todo el bloque de prediccion corresponded a un nodo rafz de arbol cuaternario subordinado (residual) de tamano 32 x 32. Por otro lado, si el tamano de bloque residual maximo para la imagen es de 16 x 16, entonces el bloque de prediccion de 32 x 32 consistira en cuatro nodos rafz de arbol cuaternario residual, cada uno con un tamano de 16 x 16. En cada bloque de prediccion, la senalizacion de la estructura de arbol cuaternario subordinado se realiza por cada nodo rafz en el orden de exploracion de trama (de izquierda a derecha, de arriba abajo). Como en el caso de la estructura de arbol cuaternario primario (prediccion), para cada nodo se codifica un indicador que especifica si este nodo particular esta dividido en sus cuatro nodos hijo. Despues, si este indicador tiene un valor "1", este procedimiento se repite de manera recursiva para los cuatro nodos hijo correspondientes y sus sub-bloques correspondientes en orden de exploracion de trama (parte superior izquierda, parte superior derecha, parte inferior izquierda, parte inferior derecha) hasta que se llegue a un nodo hoja del arbol cuaternario subordinado. Como en el caso del arbol cuaternario primario, no se requiere ninguna senalizacion para los nodos situados en el nivel jerarquico mas bajo del arbol cuaternario subordinado, ya que esos nodos corresponden a bloques del tamano de bloque residual mas pequeno posible, los cuales no pueden dividirse mas.
En la codificacion por entropfa, los indicadores de subdivision de bloque residual que pertenecen a bloques
5
10
15
20
25
30
35
40
45
50
55
60
residuales del mismo tamano de bloque se pueden codificar usando uno y el mismo modelo de probabilidad.
Por lo tanto, de acuerdo con el ejemplo presentado en lo que antecede con respecto a las figuras 3a a 6a, el subdivisor 28 definio una subdivision primaria para fines de prediccion y una subdivision subordinada de los bloques de diferente tamano de la subdivision primaria con fines de codificacion residual. La unidad de insercion de flujo de datos 18 codifico la subdivision primaria senalizando para cada bloque arbol en un orden de exploracion en zigzag una secuencia de bits generada de acuerdo con la figura 6a junto con la codificacion del tamano de bloque primario maximo y el nivel jerarquico maximo de la subdivision primaria. En cada bloque de prediccion definido de esta manera, parametros de prediccion asociados se han incluido en el flujo de datos. Ademas, una codificacion de informacion similar, es decir, tamano maximo, nivel jerarquico maximo y secuencia de bits de acuerdo con la figura 6a, tuvo lugar para cada bloque de prediccion cuyo tamano era igual o mas pequeno que el tamano maximo de la subdivision residual y de cada bloque rafz de arbol residual dentro del cual se han dividido previamente bloques de prediccion cuyo tamano supero el tamano maximo definido por los bloques residuales. En cada bloque residual definido de esta manera, los datos residuales se insertan en el flujo de datos.
El extractor 102 extrae las secuencias de bits respectivas del flujo de datos en la entrada 116 e informa al divisor 104 acerca de la informacion de subdivision asf obtenida. Ademas, la unidad de insercion de flujo de datos 18 y el extractor 102 pueden usar el orden antes mencionado en los bloques de prediccion y bloques residuales para transmitir elementos sintacticos adicionales, tales como datos residuales proporcionados por el precodificador residual 14 y parametros de prediccion proporcionados por la unidad de prediccion 12. Usar este orden es ventajoso ya que contextos adecuados para codificar los elementos sintacticos individuales para un bloque determinado pueden elegirse para aprovechar los elementos sintacticos ya codificados/descodificados de bloques vecinos. Ademas, de manera similar, el precodificador residual 14 y la unidad de prediccion 12, asf como el reconstructor residual 106 y el precodificador 110, pueden procesar los bloques residuales y de prediccion individuales en el orden indicado en lo que antecede.
La figura 7 muestra un diagrama de flujo de etapas que pueden llevarse a cabo mediante el extractor 102 para extraer la informacion de subdivision del flujo de datos 22 cuando esta codificada de la manera descrita en lo que antecede. En una primera etapa, el extractor 102 divide la imagen 24 en bloques rafz de arbol 150. Esta etapa se indica como la etapa 300 en la figura 7. La etapa 300 puede necesitar que el extractor 102 extraiga del flujo de datos 22 el tamano de bloque de prediccion maximo. Ademas, o como alternativa, la etapa 300 puede necesitar que el extractor 102 extraiga del flujo de datos 22 el nivel jerarquico maximo.
A continuacion, en una etapa 302, el extractor 102 descodifica un indicador o bit del flujo de datos. La primera vez que se lleva a cabo la etapa 302, el extractor 102 sabe que el indicador respectivo es el primer indicador de la secuencia de bits que pertenece al primer bloque rafz de arbol 150 en el orden de exploracion de bloques rafz de arbol 140. Puesto que este indicador es un indicador del nivel jerarquico 0, el extractor 102 puede usar una modelizacion de contexto asociada a ese nivel jerarquico 0 en la etapa 302 con el fin de determinar un contexto. Cada contexto puede tener una estimacion de probabilidad respectiva para descodificar por entropfa el indicador asociado con el mismo. La estimacion de probabilidad de los contextos puede adaptarse de manera individual por contexto a la estadfstica de sfmbolos de contexto respectiva. Por ejemplo, para determinar un contexto apropiado para descodificar el indicador del nivel jerarquico 0 en la etapa 302, el extractor 102 puede seleccionar un contexto de un conjunto de contextos asociado con ese nivel jerarquico 0 dependiendo del indicador de nivel jerarquico 0 de bloques arbol vecinos, o incluso ademas dependiendo de informacion contenida en las cadenas de bits que definen la subdivision en arboles cuaternarios de bloques arbol vecinos del bloque arbol actualmente procesado, tal como el bloque arbol vecino superior izquierdo.
En la siguiente etapa, en concreto la etapa 304, el extractor 102 comprueba si el indicador decodificado recientemente sugiere una division. Si este es el caso, el extractor 102 divide el bloque actual, en este caso un bloque arbol, o indica esta division al subdivisor 104a en la etapa 306 y comprueba, en la etapa 308, si el nivel jerarquico actual es igual al nivel jerarquico maximo menos uno. Por ejemplo, el extractor 102 tambien podna haber extrafdo del flujo de datos, en la etapa 300, el nivel jerarquico maximo. Si el nivel jerarquico actual no es igual al nivel jerarquico maximo menos uno, el extractor 102 incrementa en 1 el nivel jerarquico actual en la etapa 310 y vuelve a la etapa 302 para descodificar el siguiente indicador del flujo de datos. En este momento, los indicadores que van a descodificarse en la etapa 302 pertenecen a otro nivel jerarquico y, por lo tanto, de acuerdo con una realizacion, el extractor 102 puede seleccionar uno de un conjunto diferente de contextos, perteneciendo el conjunto al nivel jerarquico actual. La seleccion puede basarse tambien en secuencias de bits de subdivision de acuerdo con la figura 6a de bloques arbol vecinos que ya se han descodificado.
Si se ha descodificado un indicador y la comprobacion en la etapa 304 revela que este indicador no sugiere una division del bloque actual, el extractor 102 procede con la etapa 312 para comprobar si el nivel jerarquico actual es 0. Si este es el caso, el extractor 102 prosigue con el procesamiento con respecto al siguiente bloque rafz de arbol en el orden de exploracion 140 de la etapa 314 o interrumpe el procesamiento extrayendo la informacion de subdivision si no queda ningun bloque rafz de arbol que procesar.
5
10
15
20
25
30
35
40
45
50
55
60
Debe observarse que la descripcion de la figura 7 se centra en la descodificacion de los indicadores de subdivision de solamente la subdivision de prediccion, de tal modo que, de hecho, la etapa 314 puede implicar la descodificacion de elementos sintacticos o contenedores (bins) adicionales que pertenecen, por ejemplo, al bloque arbol actual. En cualquier caso, si hay un bloque rafz de arbol adicional o subsiguiente, el extractor 102 avanza desde la etapa 314 hasta la etapa 302 para descodificar el siguiente indicador de la informacion de subdivision, concretamente, el primer indicador de la secuencia de indicadores relacionada con el nuevo bloque rafz de arbol.
Si, en la etapa 312 resulta que el nivel jerarquico no es igual a 0, el funcionamiento prosigue con la etapa 316 comprobando si hay nodos hijo adicionales que pertenezcan al nodo actual. Es decir, cuando el extractor 102 lleva a cabo la comprobacion en la etapa 316 ya ha comprobado en la etapa 312 que el nivel jerarquico actual es un nivel jerarquico diferente al nivel jerarquico 0. A su vez, esto significa que hay un nodo padre que pertenece a un bloque rafz de arbol 150 o a uno de los bloques mas pequenos 152a a d, o incluso bloques mas pequenos 152a a d, y asf sucesivamente. El nodo de la estructura de arbol, al que pertenece el indicador descodificado recientemente, tiene un nodo padre, que es comun a tres nodos adicionales de la estructura de arbol actual. El orden de exploracion entre tales nodos hijo que tienen un nodo padre comun se ha ilustrado a modo de ejemplo en la figura 3a para el nivel jerarquico 0 con el signo de referencia 200. Por lo tanto, en la etapa 316, el extractor 102 comprueba si estos cuatro nodos hijo ya han sido visitados durante el proceso de la figura 7. Si este no es el caso, es decir, si hay mas nodos hijo con el nodo padre actual, el proceso de la figura 7 prosigue con la etapa 318, donde se visita el siguiente nodo hijo de acuerdo con un orden de exploracion en zigzag 200 en el nivel jerarquico actual, de tal modo que su sub-bloque correspondiente representa ahora el bloque actual del proceso 7 y, despues, un indicador se descodifica en la etapa 302 a partir del flujo de datos relacionado con el bloque actual o el nodo actual. Sin embargo, si no hay mas nodos hijo para el nodo padre actual en la etapa 316, el proceso de la figura 7 prosigue con la etapa 320, donde el nivel jerarquico actual se reduce en 1, tras lo cual el proceso prosigue con la etapa 312.
Llevando a cabo las etapas que se muestran en la figura 7, el extractor 102 y el subdivisor 104a actuan conjuntamente para recuperar la subdivision escogida en el lado del codificador a partir del flujo de datos. El proceso de la figura 7 se centra en el caso de la subdivision de prediccion descrito en lo que antecede. La figura 8 muestra, en combinacion con el diagrama de flujo de la figura 7, como el extractor 102 y el subdivisor 104a actuan conjuntamente para recuperar la subdivision residual a partir del flujo de datos.
En particular, la figura 8 muestra las etapas llevadas a cabo por el extractor 102 y el subdivisor 104a, respectivamente, para cada uno de los bloques de prediccion resultantes de la subdivision de prediccion. Estos bloques de prediccion se recorren, tal como se ha mencionado en lo que antecede, de acuerdo con un orden de exploracion en zigzag 140 entre los bloques arbol 150 de la subdivision de prediccion y usando un orden de recorrido de primero en profundidad en cada bloque arbol 150 actualmente visitado para recorrer los bloques hoja como se muestra, por ejemplo, en la figura 3c. De acuerdo con el orden de recorrido de primero en profundidad, los bloques hoja de bloques arbol primarios divididos se visitan en el orden de recorrido de primero en profundidad, donde los sub-bloques visitados de un determinado nivel jerarquico tienen un nodo actual comun en el orden de exploracion en zigzag 200 y donde se explora principalmente en primer lugar la subdivision de cada uno de estos sub-bloques antes de proseguir con el sub-bloque siguiente en este orden de exploracion en zigzag 200.
En el ejemplo de la figura 3c, el orden de exploracion resultante entre los nodos hoja del bloque arbol 150 se muestra con el signo de referencia 350.
En un bloque de prediccion actualmente visitado, el proceso de la figura 8 comienza en la etapa 400. En la etapa 400, un parametro interno que denota el tamano actual del bloque actual se fija igual al tamano del nivel jerarquico 0 de la subdivision residual, es decir, el tamano de bloque maximo de la subdivision residual. Debe recordarse que el tamano de bloque residual maximo puede ser inferior al tamano de bloque mas pequeno de la subdivision de prediccion o puede ser igual o superior a este ultimo. Dicho de otro modo, de acuerdo con una realizacion, el codificador puede elegir libremente cualquiera de las posibilidades que acaban de mencionarse.
En la siguiente etapa, en concreto la etapa 402, se comprueba si el tamano de bloque de prediccion del bloque actualmente visitado es mayor que el parametro interno que denota el tamano actual. Si este es el caso, el bloque de prediccion actualmente visitado, que puede ser un bloque hoja de la subdivision de prediccion o un bloque arbol de la subdivision de prediccion, que no tiene que dividirse mas, es mayor que el tamano de bloque residual maximo y, en este caso, el proceso de la figura 8 prosigue con la etapa 300 de la figura 7. Es decir, el bloque de prediccion actualmente visitado esta dividido en bloques rafz de arbol residuales y el primer indicador de la secuencia de indicadores del primer bloque arbol residual dentro de este bloque de prediccion actualmente visitado se descodifica en la etapa 302, y asf sucesivamente.
Sin embargo, si el bloque de prediccion actualmente visitado tiene un tamano igual o inferior al parametro interno que indica el tamano actual, el proceso de la figura 8 prosigue con la etapa 404, donde el tamano de bloque de prediccion se comprueba para determinar si es igual al parametro interno que indica el tamano actual. Si este es el
5
10
15
20
25
30
35
40
45
50
55
60
caso, la etapa de division 300 puede omitirse y el proceso prosigue directamente con la etapa 302 de la figura 7.
Sin embargo, si el tamano de bloque de prediccion del bloque de prediccion actualmente visitado es mas pequeno que el parametro interno que indica el tamano actual, el proceso de la figura 8 prosigue con la etapa 406, donde el nivel jerarquico se incrementa en 1 y el tamano actual se fija al tamano del nuevo nivel jerarquico dividido por 2 (en ambos sentidos del eje en caso de subdivision en arboles cuaternarios). Despues, la comprobacion de la etapa 404 se realiza de nuevo. El efecto del bucle formado por las etapas 404 y 406 es que el nivel jerarquico siempre corresponde al tamano de los bloques correspondientes que van a dividirse, independientemente de que el bloque de prediccion respectivo haya sido mas pequeno que o igual/mas grande que el tamano maximo de bloque residual. Por lo tanto, cuando se descodifican los indicadores en la etapa 302, la modelizacion de contexto llevada a cabo depende tanto del nivel jerarquico como del tamano del bloque al que se refiere el indicador. Usar diferentes contextos para los indicadores de diferentes niveles jerarquicos o tamanos de bloque, respectivamente, es ventajoso ya que la estimacion de probabilidad puede ser muy adecuada para la distribucion de probabilidad real entre las apariciones del valor de indicador que, por otro lado, tienen un numero relativamente moderado de contextos que gestionar, reduciendo asf la sobrecarga de gestion de contextos e incrementando la adaptacion de contextos a las estadfsticas de sfmbolo reales.
Tal como se ha mencionado en lo que antecede, puede haber mas de una serie de muestras y estas series de muestras pueden agruparse en uno o mas grupos de planos. La senal de entrada que va a codificarse, que entra a traves de la entrada 32, por ejemplo, puede ser una imagen de una secuencia de video o una imagen fija. Por lo tanto, la imagen puede estar en forma de una o mas series de muestras. En el contexto de la codificacion de una imagen de una secuencia de video o una imagen fija, las series de muestras pueden hacer referencia a los tres planos de color, tal como el rojo, el verde y el azul, o a planos de luminancia y crominancia, tal como en representaciones a color de YUV o YCbCr. Ademas, tambien puede haber series de muestras que representan informacion alfa, es decir, informacion de transparencia y/o de profundidad para material de video 3D. Varias de estas series de muestras pueden estar agrupadas entre sf formando un denominado grupo de planos. Por ejemplo, la luminancia (Y) puede ser un grupo de planos con solamente una serie de muestras, y la crominancia, tal como CbCr, puede ser otro grupo de planos con dos series de muestras o, en otro ejemplo, yUv puede ser un grupo de planos con tres matrices, y una informacion de profundidad para material de video 3d puede ser un grupo de planos diferente con solamente una serie de muestras. Para cada grupo de planos, una estructura de arbol cuaternario primario se puede codificar en el flujo de datos 22 para representar la division en bloques de prediccion y, para cada bloque de prediccion, una estructura de arbol cuaternario secundario que representa la division en bloques residuales. Por lo tanto, de acuerdo con un primer ejemplo que acaba de mencionarse en el que la componente de luminancia es un grupo de planos, mientras que la componente de crominancia forma el otro grupo de planos, habra una estructura de arbol cuaternario para los bloques de prediccion del plano de luminancia, una estructura de arbol cuaternario para los bloques residuales del plano de luminancia, una estructura de arbol cuaternario para el bloque de prediccion del plano de crominancia y una estructura de arbol cuaternario para los bloques residuales del plano de crominancia. Sin embargo, en el segundo ejemplo mencionado en lo que antecede habra una estructura de arbol cuaternario conjunta para los bloques de prediccion de luminancia y crominancia (YUV), una estructura de arbol cuaternario conjunta para los bloques residuales de luminancia y crominancia (YUV), una estructura de arbol cuaternario para los bloques de prediccion de la informacion de profundidad para material de video en 3D y una estructura de arbol cuaternario para los bloques residuales de la informacion de profundidad para el material de video 3D.
Ademas, en la descripcion anterior, la senal de entrada se dividio en bloques de prediccion usando una estructura de arbol cuaternario primario y se describio como estos bloques de prediccion se subdividieron adicionalmente en bloques residuales usando una estructura de arbol cuaternario subordinado. De acuerdo con una realizacion alternativa, la subdivision podna no terminar en la fase de arbol de cuadratura subordinado. Es decir, los bloques obtenidos a partir de una division usando la estructura de arbol cuaternario subordinado podnan subdividirse ademas usando una estructura terciaria de arbol cuaternario. A su vez, esta division podna usarse con el fin de usar herramientas de codificacion adicionales que faciliten la codificacion de la senal residual.
La anterior descripcion se ha centrado en la subdivision llevada a cabo por el subdivisor 28 y el subdivisor 104a, respectivamente. Tal como se ha mencionado en lo que antecede, la subdivision definida por el subdivisor 28 y 104a, respectivamente, puede controlar la granularidad de procesamiento de los modulos de codificador 10 y descodificador 100 mencionados en lo que antecede. Sin embargo, de acuerdo con las realizaciones descritas a continuacion, los subdivisores 228 y 104a, respectivamente, van seguidos de un fusionador 30 y un fusionador 104b, respectivamente. Sin embargo, debe observarse que los fusionadores 30 y 104b son opcionales y pueden omitirse.
Sin embargo, tal como se describira en lo sucesivo en mayor detalle, el fusionador brinda al codificador la oportunidad de combinar algunos de los bloques de prediccion o bloques residuales en grupos o agrupamientos, de tal modo que el otro o al menos algunos de los otros modulos pueden tratar estos grupos de bloques conjuntamente. Por ejemplo, la unidad de prediccion 12 puede sacrificar las pequenas desviaciones entre los parametros de prediccion de algunos bloques de prediccion como se ha descrito usando de manera optima la subdivision del
5
10
15
20
25
30
35
40
45
50
55
60
subdivisor 28 y usando parametros de prediccion comunes a todos estos bloques de prediccion en lugar de si la senalizacion de la agrupacion de los bloques de prediccion junto con una transmision de parametros comunes para todos los bloques que pertenecen a este grupo es mas prometedora en lo que respecta a la relacion velocidad/distorsion que senalizando individualmente los parametros de prediccion para todos estos bloques de prediccion. El procesamiento para recuperar la prediccion en las unidades de prediccion 12 y 110, en funcion de estos parametros de prediccion comunes, puede, sin embargo, seguir teniendo lugar en cada bloque de prediccion. Sin embargo, tambien es posible que las unidades de prediccion 12 y 110 lleven a cabo incluso el proceso de prediccion una vez para todo el grupo de bloques de prediccion.
Tal como se describira en lo sucesivo en mayor detalle, tambien es posible que la agrupacion de bloques de prediccion no sea solamente para usar parametros de prediccion identicos o comunes para un grupo de bloques de prediccion sino que, como alternativa o adicionalmente, permita al codificador 10 enviar un parametro de prediccion para este grupo junto con residuos de prediccion para bloques de prediccion que pertenecen a este grupo, de tal modo que la sobrecarga de senalizacion para senalizar los parametros de prediccion para este grupo pueda reducirse. En el segundo caso, el proceso de fusion puede influir simplemente en la unidad de insercion de flujo de datos 18 en lugar de en las decisiones tomadas por el precodificador residual 14 y la unidad de prediccion 12. Sin embargo, mas detalles se presentan en lo sucesivo. Sin embargo, en terminos generales, debe observarse que el aspecto que acaba de mencionarse tambien se aplica a las otras subdivisiones, tal como la subdivision residual o la subdivision de filtro mencionadas en lo que antecede.
En primer lugar, la fusion de conjuntos de muestras, tal como los bloques residuales y de prediccion antes mencionados se ve motivada en un sentido mas general, es decir, no esta limitada a la subdivision multi-arbol mencionada en lo que antecede. Sin embargo, la descripcion se centra a continuacion en la fusion de bloques resultantes de una subdivision multi-arbol con respecto a la cual se han descrito en lo que antecede las realizaciones.
En terminos generales, fusionar los elementos sintacticos asociados a conjuntos particulares de muestras con el fin de transmitir parametros de codificacion asociados permite reducir la tasa de informacion secundaria en aplicaciones de codificacion de imagen y video. Por ejemplo, las series de muestras de la senal que va a codificarse estan divididas normalmente en conjuntos particulares de muestras o conjuntos de muestras, que pueden representar bloques rectangulares o cuadrados, o cualquier otra coleccion de muestras, incluyendo regiones conformadas de manera arbitraria, triangulos u otras formas. En las realizaciones descritas en lo que antecede, las regiones conectadas de manera simple eran los bloques de prediccion y los bloques residuales resultantes de la subdivision multi-arbol. La subdivision de series de muestras puede fijarse por la sintaxis o, tal como se ha descrito en lo que antecede, la subdivision puede, al menos parcialmente, senalizarse en el flujo de bits. Para mantener baja la tasa de informacion secundaria para senalizar la informacion de subdivision, la sintaxis solo permite normalmente un numero limitado de opciones que den como resultado una division simple, tal como la subdivision de bloques en bloques mas pequenos. Los conjuntos de muestras estan asociados a parametros de codificacion particulares, que pueden especificar informacion de prediccion o modos de codificacion residual, etc. Detalles relacionados con esta cuestion se han descrito en lo que antecede. Para cada conjunto de muestras pueden transmitirse parametros de codificacion individuales, tal como para especificar la prediccion y/o la codificacion residual. Para conseguir una mayor eficacia de codificacion, el aspecto de fusion descrito en lo sucesivo, en concreto la fusion de dos o mas conjuntos de muestras en denominados grupos de conjuntos de muestras, tiene algunas ventajas, las cuales se describen en detalle en lo sucesivo. Por ejemplo, los conjuntos de muestras pueden fusionarse de tal modo que todos los conjuntos de muestras de tal grupo compartan los mismos parametros de codificacion, que pueden transmitirse junto con uno de los conjuntos de muestras del grupo. Al hacer esto, los parametros de codificacion no tienen que transmitirse para cada conjunto de muestras del grupo de conjuntos de muestras individualmente sino que, en cambio, los parametros de codificacion se transmiten solamente una vez para todo el grupo de conjuntos de muestras. Como resultado, la tasa de informacion secundaria para transmitir los parametros de codificacion puede reducirse y la eficacia de codificacion global puede aumentar. Como un enfoque alternativo, un refinamiento adicional para uno o mas de los parametros de codificacion puede transmitirse para uno o mas de los conjuntos de muestras de un grupo de conjuntos de muestras. El refinamiento puede aplicarse a todos los conjuntos de muestras de un grupo o solamente al conjunto de muestras para el que se transmite.
El aspecto de fusion descrito en lo sucesivo en detalle tambien proporciona al codificador una gran libertad a la hora de crear el flujo de bits 22, ya que el enfoque de fusion aumenta significativamente el numero de posibilidades para seleccionar una division para las series de muestras de una imagen. Puesto que el codificador puede elegir entre mas opciones, tal como para minimizar una medida de velocidad/distorsion particular, la eficacia de codificacion puede mejorarse. Hay varias posibilidades de hacer funcionar un codificador. En un enfoque simple, el codificador puede determinar en primer lugar la mejor subdivision de las series de muestras. Haciendo referencia brevemente a la figura 1, el subdivisor 28 podna determinar la subdivision optima en una primera fase. Despues, puede comprobarse, para cada conjunto de muestras, si una fusion con otro conjunto de muestras u otro grupo de conjuntos de muestras reduce una medida particular del coste de velocidad/distorsion. En el presente caso puede volver a estimarse los parametros de prediccion asociados a un grupo fusionado de conjuntos de muestras, por
5
10
15
20
25
30
35
40
45
50
55
60
ejemplo llevando a cabo una nueva busqueda de movimiento, o los parametros de prediccion que ya se han determinado para el conjunto de muestras comun y el conjunto de muestras candidatas o grupo de conjuntos de muestras para la fusion pueden evaluarse para el grupo considerado de conjuntos de muestras. En un enfoque mas extenso, una medida particular del coste de velocidad/distorsion puede evaluarse para grupos candidatos adicionales de conjuntos de muestras.
Debe observarse que el enfoque de fusion descrito en lo que antecede no cambia el orden de procesamiento de los conjuntos de muestras. Es decir, el concepto de fusion puede implementarse de tal manera que el retardo no aumente, es decir, cada conjunto de muestras sigue pudiendo descodificarse en el mismo instante de tiempo que sin usar el enfoque de fusion.
Si, por ejemplo, la velocidad binaria que se ahorra reduciendo el numero de parametros de prediccion codificados es mayor que la velocidad binaria que va a emplearse adicionalmente para codificar informacion de fusion para indicar la fusion a la parte de descodificacion, el enfoque de fusion, que va a describirse en lo sucesivo en mayor detalle, da como resultado un mayor eficacia de codificacion. Debe mencionarse ademas que la extension sintactica descrita para la fusion proporciona al codificador libertad adicional para seleccionar la division de una imagen o grupo de planos en bloques. Dicho de otro modo, el codificador no esta limitado a llevar a cabo primero la subdivision y despues a comprobar si algunos de los bloques resultantes tienen el mismo conjunto o un conjunto similar de parametros de prediccion. Como una alternativa simple, el codificador puede determinar primero la subdivision de acuerdo con una medida del coste de velocidad/distorsion y despues el codificador puede comprobar, para cada bloque, si una fusion con uno de sus bloques vecinos o el grupo de bloques asociado ya determinado reduce una medida del coste de velocidad/distorsion. En este punto puede volver a estimarse los parametros de prediccion asociados con el nuevo grupo de bloques, por ejemplo llevando a cabo una nueva busqueda de movimiento, o los parametros de prediccion que ya se han determinado para el bloque actual y el bloque o grupos de bloques vecinos pueden evaluarse para el nuevo grupo de bloques. La informacion de fusion puede senalizarse por cada bloque. Efectivamente, la fusion tambien puede interpretarse como la inferencia de los parametros de prediccion para un bloque actual, donde los parametros de prediccion inferidos se fijan igual a los parametros de prediccion de uno de los bloques vecinos. Como alternativa, las partes residuales pueden transmitirse para bloques de un grupo de bloques.
Por lo tanto, la idea basica subyacente al concepto de fusion descrito en lo sucesivo en detalle es reducir la velocidad binaria que se requiere para transmitir los parametros de prediccion u otros parametros de codificacion fusionando bloques vecinos en un grupo de bloques, donde cada grupo de bloques esta asociado a un unico conjunto de parametros de codificacion, tales como parametros de prediccion o parametros de codificacion residual. La informacion de fusion se senaliza en el flujo de bits ademas de la informacion de subdivision, si la hubiera. La ventaja del concepto de fusion es una mayor eficacia de codificacion resultante de una menor tasa de informacion secundaria para los parametros de codificacion. Debe observarse que los procesos de fusion descritos en el presente caso tambien pueden extenderse a otras dimensiones diferentes a las dimensiones espaciales. Por ejemplo, un grupo de conjuntos de muestras o bloques, respectivamente, que esta dispuesto en varias imagenes de video diferentes, puede fusionarse en un grupo de bloques. La fusion tambien podna aplicarse a la compresion 4D y la codificacion de campos de luz.
Por lo tanto, volviendo brevemente a la anterior descripcion de las figuras 1 a 8, debe observarse que el proceso de fusion posterior a la subdivision es ventajoso independientemente del modo espedfico en que los subdivisores 28 y 104a, respectivamente, subdividen las imagenes. Para ser mas precisos, estos ultimos tambien pueden subdividir las imagenes de manera similar a, por ejemplo, H.264, es decir, subdividiendo cada imagen en una disposicion regular de macrobloques rectangulares o cuadraticos de un tamano predeterminado, tal como muestras de luminancia de 16 x 16 o un tamano senalizado en el flujo de datos, donde cada macrobloque tiene determinados parametros de codificacion asociados con el mismo que comprenden, entre otros, parametros de division que definen, para cada macrobloque, una division en una subcuadncula regular de 1, 2, 4 o algun otro numero de particiones que sirven como una granularidad para la prediccion y los parametros de prediccion correspondientes del flujo de datos asf como para definir la division para las partes residuales y la granularidad de transformacion residual correspondiente.
En cualquier caso, la fusion proporciona las ventajas descritas antes brevemente, tal como reducir la tasa de informacion secundaria en aplicaciones de codificacion de imagenes y video. Conjuntos particulares de muestras, que pueden representar los bloques rectangulares o cuadraticos o regiones conformadas de manera arbitraria o cualquier otra coleccion de muestras, tal como cualquier region o muestras conectadas de manera simple, estan normalmente conectados con un conjunto particular de parametros de codificacion y para cada uno de los conjuntos de muestras, los parametros de codificacion estan incluidos en el flujo de bits, representando los parametros de codificacion, por ejemplo, parametros de codificacion que especifican la manera en que se predice el conjunto correspondiente de muestras usando muestras ya codificadas. La division de las series de muestras de una imagen en conjuntos de muestras puede fijarse mediante la sintaxis o puede senalizarse mediante la informacion de subdivision correspondiente en el flujo de bits. Los parametros de codificacion para el conjunto de muestras pueden
5
10
15
20
25
30
35
40
45
50
55
60
transmitirse en un orden previamente definido, especificado por la sintaxis. De acuerdo con la funcionalidad de fusion, el fusionador 30 puede llevar a cabo la senalizacion, para un conjunto comun de muestras o un bloque actual, tal como un bloque de prediccion o un bloque residual que esta fusionado con uno u otros mas conjuntos de muestras, en un grupo de conjuntos de muestras. Por lo tanto, los parametros de codificacion para un grupo de conjuntos de muestras necesitan ser transmitidos solamente una vez. En una realizacion particular, los parametros de codificacion de un conjunto de muestras actual no se transmiten si el conjunto de muestras actual se combina con un conjunto de muestras o un grupo ya existente de conjuntos de muestras para el que ya se han transmitido los parametros de codificacion. En cambio, los parametros de codificacion para el conjunto actual de muestras se fijan igual que los parametros de codificacion del conjunto de muestras o grupo de conjuntos de muestras con los que se ha fusionado el conjunto de muestras actual. Como un enfoque alternativo, un refinamiento adicional para uno o mas de los parametros de codificacion puede transmitirse para un conjunto de muestras actual. El refinamiento puede aplicarse a todos los conjuntos de muestras de un grupo o solamente al conjunto de muestras para el que se transmite.
De acuerdo con una realizacion, para cada conjunto de muestras tal como un bloque de prediccion como los mencionados en lo que antecede, un bloque residual como los mencionados en lo que antecede, o un bloque hoja de una subdivision multi-arbol como los mencionados en lo que antecede, el conjunto de todos los conjuntos de muestras codificadas/descodificadas previamente se denomina "conjunto de conjuntos de muestras causales". Vease, por ejemplo, la figura 3c. Todos los bloques que se muestran en esta figura son el resultado de una determinada subdivision, tal como una subdivision de prediccion o una subdivision residual o cualquier subdivision multi-arbol, o similar, y el orden de codificacion/descodificacion definido entre estos bloques esta definido por la flecha 350. Considerando un determinado bloque de entre estos bloques como el conjunto de muestras actual o la region conectada de manera simple actual, su conjunto de conjuntos de muestras causales esta formado por todos los bloques que preceden al bloque actual en el orden 350. Sin embargo, debe recordarse de nuevo que otra subdivision que no use una subdivision multi-arbol tambien sera posible en lo que respecta a la siguiente descripcion de los principios de fusion.
Los conjuntos de muestras que pueden usarse para la fusion con un conjunto actual de muestras se denominan en lo sucesivo "conjunto de conjuntos de muestras candidatas" y es siempre un subconjunto del "conjunto de conjuntos de muestras causales". El modo en que se forma el subconjunto puede ser conocido por el descodificador o puede especificarse en el flujo de datos o flujo de bits desde el codificador al descodificador. Si un conjunto actual particular de muestras se codifica/descodifica y su conjunto de conjuntos de muestras candidatas no esta vado, se senaliza en el flujo de datos en el codificador o se obtiene a partir del flujo de datos en el descodificador si el conjunto de muestras comun esta fusionado con un conjunto de muestras de este conjunto de conjuntos de muestras candidatas y, si es asf, con cual de los mismos. En caso contrario, la fusion no puede usarse para este bloque, ya que el conjunto de conjuntos de muestras candidatas esta vado en cualquier caso.
Hay diferentes maneras de determinar el subconjunto del conjunto de conjuntos de muestras causales que representara el conjunto de conjuntos de muestras candidatas. Por ejemplo, la determinacion de los conjuntos de muestras candidatas puede basarse en una muestra del conjunto actual de muestras, que esta definida geometricamente de manera umvoca, tal como la muestra de imagen superior izquierda de un bloque rectangular o cuadratico. Empezando a partir de esta muestra definida geometricamente de manera umvoca se determina un numero de muestras particular distinto de cero que representan vecinos espaciales directos de esta muestra definida geometricamente de manera umvoca. Por ejemplo, este numero de muestras particular distinto de cero comprende el vecino superior y el vecino izquierdo de la muestra definida geometricamente de manera umvoca del conjunto actual de muestras, de tal modo que el numero de muestras vecinas distinto de cero puede ser, como maximo, de dos, si uno de entre el vecino superior o el vecino izquierdo no esta disponible o esta fuera de la imagen, o cero en caso de que falten ambos vecinos.
El conjunto de conjuntos de muestras candidatas puede determinarse de tal modo que abarque los conjuntos de muestras que contengan al menos uno del numero distinto de cero de las muestras vecinas reden mencionadas. Vease, por ejemplo, la figura 9a. El conjunto de muestras actual que esta considerandose actualmente como objeto de fusion sera el bloque X, y su muestra definida geometricamente de manera umvoca sera, a modo de ejemplo, la muestra superior izquierda indicada en 400. La muestra vecina superior y la muestra vecina izquierda de la muestra 400 se indican en 402 y 404. El conjunto de conjuntos de muestras causales o el conjunto de bloques causales esta resaltado de manera sombreada. Entre estos bloques, los bloques A y B comprenden una de las muestras vecinas 402 y 404 y, por lo tanto, estos bloques forman el conjunto de bloques candidatos o el conjunto de conjuntos de muestras candidatas.
De acuerdo con otra realizacion, el conjunto de conjuntos de muestras candidatas determinado para la fusion puede incluir ademas, o exclusivamente, conjuntos de muestras que contienen un numero de muestras particular distinto de cero, que puede ser uno o dos, que tengan la misma ubicacion espacial pero contenidos en una imagen diferente, concretamente, por ejemplo, una imagen codificada/descodificada previamente. Por ejemplo, ademas de los bloques A y B de la figura 9a, puede usarse un bloque de una imagen codificada previamente que comprenda la
5
10
15
20
25
30
35
40
45
50
55
60
muestra en la misma posicion que la muestra 400. A modo de ejemplo, debe observarse que simplemente la muestra vecina superior 404 o simplemente la muestra vecina izquierda 402 puede usarse para definir el numero de muestras vecinas distinto de cero mencionado en lo que antecede. Generalmente, el conjunto de conjuntos de muestras candidatas puede obtenerse a partir de datos procesados previamente de la imagen actual o de otras imagenes. La obtencion puede incluir informacion direccional espacial, tal como coeficientes de transformada asociados a una direccion particular y gradientes de imagen de la imagen actual o puede incluir informacion direccional temporal, tal como representaciones de movimiento de vecinos. A partir de tales datos disponibles en el receptor/descodificador y otros datos e informacion secundaria del flujo de datos, si la hubiera, puede obtenerse el conjunto de conjuntos de muestras candidatas.
Debe observarse que la obtencion de los conjuntos de muestras candidatas se lleva a cabo en paralelo mediante el fusionador 30 en el lado del codificador y por el fusionador 104b en el lado del descodificador. Como acaba de mencionarse, ambos pueden determinar el conjunto de conjuntos de muestras candidatas de manera independiente entre de acuerdo con una manera previamente definida conocida por ambos, o el codificador puede senalizar indicaciones en el flujo de bits, que hacen que el fusionador 104b lleve a cabo la obtencion de estos conjuntos de muestras candidatas de igual manera al modo en que el fusionador 30 en lado del codificador determino el conjunto de conjuntos de muestras candidatas.
Tal como se describira en lo sucesivo en mayor detalle, el fusionador 30 y la unidad de insercion de flujo de datos 18 actuan conjuntamente para transmitir uno o mas elementos sintacticos para cada conjunto de muestras, que especifican si el conjunto de muestras esta fusionado con otro conjunto de muestras que, a su vez, puede ser parte de un grupo ya fusionado de conjuntos de muestras y cual del conjunto de conjuntos de muestras candidatas se utiliza para la fusion. A su vez, el extractor 102 extrae estos elementos sintacticos e informa al fusionador 104b consecuentemente. En particular, de acuerdo con la realizacion espedfica descrita en lo sucesivo, uno o dos elementos sintacticos se transmiten para especificar la informacion de fusion para un conjunto espedfico de muestras. El primer elemento sintactico especifica si el conjunto actual de muestras esta fusionado con otro conjunto de muestras. El segundo elemento sintactico, que solo se transmite si el primer elemento sintactico especifica que el conjunto de muestras actual esta fusionado con otro conjunto de muestras, especifica cual de los conjuntos de conjuntos de muestras candidatas se utiliza para la fusion. La transmision del primer elemento sintactico puede suprimirse si un conjunto obtenido de conjuntos de muestras candidatas esta vado. Dicho de otro modo, el primer elemento sintactico solo puede transmitirse si un conjunto obtenido de conjuntos de muestras candidatas no esta vado. El segundo elemento sintactico solo puede transmitirse si un conjunto obtenido de conjuntos de muestras candidatas contiene mas de un conjunto de muestras, ya que si solo hay un conjunto de muestras en el conjunto de conjuntos de muestras candidatas, no es posible otra seleccion. Ademas, la transmision del segundo elemento sintactico puede suprimirse si el conjunto de conjuntos de muestras candidatas comprende mas de un conjunto de muestras, pero solo si todos los conjuntos de muestras del conjunto de conjuntos de muestras candidatas estan asociados al mismo parametro de codificacion. Dicho de otro modo, el segundo elemento sintactico solo puede transmitirse si al menos dos conjuntos de muestras de un conjunto obtenido de conjuntos de muestras candidatos estan asociados a diferentes parametros de codificacion.
En el flujo de bits, la informacion de fusion para un conjunto de muestras se puede codificar antes que los parametros de prediccion u otros parametros de codificacion particulares que esten asociados con ese conjunto de muestras. Los parametros de prediccion o de codificacion solo pueden transmitirse si la informacion de fusion indica que el conjunto de muestras actual no esta fusionado con ningun otro conjunto de muestras.
La informacion de fusion para un determinado conjunto de muestras, es decir, un bloque, por ejemplo, se puede codificar despues de que se haya transmitido un subconjunto apropiado de los parametros de prediccion o, en un sentido mas general, de parametros de codificacion que estan asociados con el conjunto de muestras respectivo. El subconjunto de parametros de prediccion/codificacion puede consistir en uno o mas indices de imagen de referencia o en una o mas componentes de un vector de parametros de movimiento o un mdice de referencia y una o mas componentes de un vector de parametros de movimiento, etc. El subconjunto ya transmitido de parametros de prediccion o de codificacion puede usarse para obtener un conjunto de conjuntos de muestras candidatas a partir de un conjunto provisional mas grande de conjuntos de muestras candidatas, que pueden haberse obtenido de la manera que acaba de describirse. Como un ejemplo, puede calcularse una medida de diferencia o distancia de acuerdo con una medida de distancia predeterminada entre los parametros de prediccion y de codificacion ya codificados del conjunto de muestras actual y los parametros de prediccion o codificacion correspondientes del conjunto preliminar de conjuntos de muestras candidatas. Despues, solamente los conjuntos de muestras para los que la medida de diferencia, o distancia, calculada es inferior o igual a un umbral previamente definido u obtenido, se incluyen en el conjunto final, es decir, reducido, de conjuntos de muestras candidatas. Vease, por ejemplo, la figura 9a. El conjunto de muestras actual sera el bloque X. Un subconjunto de los parametros de codificacion que pertenece a este bloque ya se habra insertado en el flujo de datos 22. Supongase, por ejemplo, que el bloque X era un bloque de prediccion, en cuyo caso el subconjunto apropiado de los parametros de codificacion podna ser un subconjunto de los parametros de prediccion para este bloque X, tal como un subconjunto de un conjunto que comprende un mdice de referencia de imagen e informacion de correlacion de movimiento, tal como un vector de
5
10
15
20
25
30
35
40
45
50
55
60
movimiento. Si el bloque X era un bloque residual, el subconjunto de parametros de codificacion es un subconjunto de informacion residual, tal como coeficientes de transformada o un mapa que indica las posiciones de los coeficientes de transformada significativos del bloque X. En funcion de esta informacion, tanto la unidad de insercion de flujo de datos 18 como el extractor 102 pueden usar esta informacion con el fin de determinar un subconjunto de los bloques A y B, que forman, en esta realizacion espedfica, el conjunto preliminar de conjuntos de muestras candidatas mencionado en lo que antecede. En particular, puesto que los bloques A y B pertenecen al conjunto de conjuntos de muestras causales, sus parametros de codificacion estan disponibles tanto para el codificador como para el descodificador en el momento en que los parametros de codificacion del bloque X se codifican/descodifican actualmente. Por lo tanto, la comparacion antes mencionada que usa la medida de diferencia puede usarse para excluir cualquier numero de bloques del conjunto preliminar de conjuntos de muestras candidatas A y B. El conjunto reducido resultante de conjuntos de muestras candidatas puede usarse entonces de la manera descrita en lo que antecede, concretamente con el fin de determinar si un indicador de fusion que indica una fusion va a transmitirse en o va a extraerse del flujo de datos dependiendo del numero de conjuntos de muestras del conjunto reducido de conjuntos de muestras candidatas y si un segundo elemento sintactico tiene que transmitirse en o tiene que extraerse del flujo de datos, donde un segundo elemento sintactico indica cual de los conjuntos de muestras del conjunto reducido de conjuntos de muestras candidatas sera el bloque companero para la fusion. Es decir, la decision de fusion o la transmision de los respectivos elementos de sintaxis de fusion para una region conectada de manera simple predeterminada puede depender del numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada y que, de forma simultanea, tienen unos parametros de codificacion que estan asociados con la misma que cumplen la relacion predeterminada con el primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, y la adopcion o prediccion con la extraccion del residuo de prediccion se puede realizar sobre el segundo subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada. Es decir, meramente un subconjunto de los parametros de codificacion de la region o la region identificada del numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada y que, de forma simultanea, tienen unos parametros de codificacion que estan asociados con la misma que cumplen la relacion predeterminada con el primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, se puede adoptar de entre el segundo subconjunto de la region conectada de manera simple predeterminada, o se puede usar para predecir el segundo subconjunto de la region conectada de manera simple predeterminada, respectivamente.
El umbral mencionado en lo que antecede con el que se comparan las distancias mencionadas en lo que antecede puede fijarse y ser conocido por el codificador y el descodificador, o puede obtenerse en funcion de las distancias calculadas, tal como la mediana de los valores de diferencia, o alguna otra tendencia central o similar. En este caso, el conjunto reducido de conjuntos de muestras candidatas sena inevitablemente un subconjunto apropiado del conjunto preliminar de conjuntos de muestras candidatas. Como alternativa, solamente se seleccionan conjuntos de muestras del conjunto preliminar de conjuntos de muestras candidatas para los que se minimiza la distancia de acuerdo con la medida de distancia. Como alternativa, exactamente un conjunto de muestras se selecciona a partir del conjunto preliminar de conjuntos de muestras candidatos que usan la medida de distancia mencionada en lo que antecede. En el ultimo caso, la informacion de fusion solo necesitara especificar si el conjunto de muestras actual va a fusionarse o no con un unico conjunto candidato de muestras.
Por lo tanto, el conjunto de bloques candidatos puede formarse u obtenerse como se describe a continuacion con respecto a la figura 9a. Empezando por la posicion de muestra superior izquierda 400 del bloque actual X de la figura 9a, se obtiene la posicion de su muestra vecina izquierda 402 y la posicion de su muestra vecina superior 404, en su lado de codificador y en su lado de descodificador. Por lo tanto, el conjunto de bloques candidatos solo puede tener un maximo de dos elementos, concretamente los bloques del conjunto sombreado de bloques causales de la figura 9a que contienen una de las dos posiciones de muestras, que en el caso de la figura 9a son los bloques B y A. Por lo tanto, el conjunto de bloques candidatos solo puede tener los dos bloques directamente vecinos de la posicion de muestra superior izquierda del bloque actual como sus elementos. De acuerdo con otra realizacion, el conjunto de bloques candidatos puede venir dado por todos los bloques que se han codificado antes que el bloque actual y contener una o mas muestras que representan vecinos espaciales directos de cualquier muestra del bloque actual. La vecindad espacial directa puede estar limitada a vecinos izquierdos directos y/o a vecinos superiores directos y/o a vecinos derechos directos y/o a vecinos inferiores directos de cualquier muestra del bloque actual. Vease, por ejemplo, la figura 9a que muestra otra subdivision de bloque. En este caso, los bloques candidatos comprenden cuatro bloques, en concreto los bloques A, B, C y D.
Como alternativa, el conjunto de bloques candidatos, adicional o exclusivamente, puede incluir bloques que contienen una o mas muestras que estan ubicadas en la misma posicion que cualquiera de las muestras del bloque actual, pero estan contenidas en una imagen diferente, es decir, ya codificada/descodificada.
Incluso alternativamente, el conjunto candidato de bloques representa un subconjunto de los conjuntos de bloques antes descritos, que se determinaron por la vecindad en direccion espacial o temporal. El subconjunto de bloques
5
10
15
20
25
30
35
40
45
50
55
60
candidatos puede fijarse, senalizarse u obtenerse. La obtencion del subconjunto de bloques candidatos puede considerar decisiones hechas para otros bloques en la imagen o en otras imagenes. Como un ejemplo, bloques que estan asociados con los mismos parametros de codificacion o con parametros de codificacion muy similares que los de otros bloques candidatos podnan no incluirse en el conjunto de bloques candidato.
La siguiente descripcion de una realizacion se aplica para el caso en que solamente un maximo de dos bloques que contienen la muestra vecina izquierda y superior de la muestra superior izquierda del bloque actual se consideran posibles candidatos.
Si el conjunto de bloques candidatos no esta vado se senaliza un indicador denominado merge_flag, que especifica si el bloque actual esta fusionado con alguno de los bloques candidatos. Si merge_flag es igual a 0 ("falso"), este bloque no esta fusionado con uno de sus bloques candidatos y todos los parametros de codificacion se transmiten de la manera habitual. Si merge_flag es igual a 1 ("verdadero"), se aplica lo siguiente. Si el conjunto de bloques candidatos contiene uno y solo un bloque, este bloque candidato se usa para la fusion. En caso contrario, el conjunto de bloques candidatos contiene exactamente dos bloques. Si los parametros de prediccion de estos dos bloques son identicos, estos parametros de prediccion se usan para el bloque actual. En caso contrario (los dos bloques tienen diferentes parametros de prediccion), se senaliza un indicador denominado merge_left_flag. Si merge_left_flag es igual a 1 ("verdadero"), el bloque que contiene la posicion de muestra vecina izquierda de la posicion de muestra superior izquierda del bloque actual se selecciona de entre el conjunto de bloques candidatos. Si merge_left_flag es igual a 0 ("falso"), se selecciona el otro bloque (es decir, el vecino superior) del conjunto de bloques candidatos. Los parametros de prediccion del bloque seleccionado se usan para el bloque actual.
Para resumir algunas de las realizaciones descritas en lo que antecede con respecto a la fusion, se hace referencia a la figura 10, que muestra etapas llevadas a cabo por el extractor 102 para extraer la informacion de fusion del flujo de datos 22 que entra a traves de la entrada 116.
El proceso comienza en 450 con la identificacion de los bloques candidatos o conjuntos de muestras para un conjunto o bloque de muestras actual. Debe recordarse que los parametros de codificacion para los bloques se transmiten en el flujo de datos 22 en un determinado orden unidimensional y, por consiguiente, la figura 10 se refiere al proceso de recuperar la informacion de fusion para un conjunto o bloque de muestras actualmente visitado.
Tal como se ha mencionado en lo que antecede, la identificacion y la etapa 450 pueden comprender la identificacion entre bloques previamente descodificados, es decir, el conjunto causal de bloques, en funcion de aspectos de vecindad. Por ejemplo, esos bloques vecinos pueden nombrarse candidatos, los cuales incluyen determinadas muestras vecinas que estan cerca de una o mas muestras predeterminadas de manera geometrica del bloque actual X en el espacio o el tiempo. Ademas, la etapa de identificacion puede comprender dos fases, en concreto una primera fase que implica una identificacion como la que acaba de mencionarse, particularmente basada en la vecindad, dando lugar a un conjunto preliminar de bloques candidatos, y una segunda fase de acuerdo con la cual simplemente esos bloques se nombran candidatos, cuyos parametros de codificacion ya transmitidos satisfacen una determinada relacion con respecto a un subconjunto apropiado de los parametros de codificacion del bloque X actual, que ya se ha descodificado a partir del flujo de datos antes de la etapa 450.
Despues, el proceso avanza hasta la etapa 452, donde se determina si el numero de bloques candidatos es mayor que cero. Si este es el caso, un indicador merge_flag se extrae del flujo de datos en la etapa 454. La etapa de extraccion 454 puede implicar descodificacion por entropfa. El contexto para descodificar por entropfa el indicador merge_flag en la etapa 454 puede determinarse en funcion de los elementos sintacticos que pertenecen a, por ejemplo, el conjunto de bloques candidatos o el conjunto preliminar de bloques candidatos, donde la dependencia de los elementos sintacticos puede limitarse a la informacion de si los bloques que pertenecen al conjunto de interes han sido sometidos o no a la fusion. La estimacion de probabilidad del contexto seleccionado puede adaptarse.
Sin embargo, si se determina que el numero de bloques candidatos es cero, 452, el proceso de la figura 10 prosigue con la etapa 456, donde los parametros de codificacion del bloque actual se extraen del flujo de bits o, en caso de la alternativa de identificacion de dos fases antes mencionada, los parametros de codificacion restantes del mismo, tras lo cual el extractor 102 prosigue con el procesamiento del siguiente bloque en el orden de exploracion de bloques, tal como el orden 350 que se muestra en la figura 3c.
Volviendo a la etapa 454, el proceso prosigue, tras la extraccion realizada en la etapa 454, con la etapa 458 en la que se comprueba si el indicador merge_flag extrafdo sugiere la presencia o la ausencia de una fusion del bloque actual. Si no tiene lugar ninguna fusion, el proceso prosigue con la etapa 456 antes mencionada. En caso contrario, el proceso prosigue con la etapa 460, que incluye una comprobacion de si el numero de bloques candidatos es igual a uno. Si este es el caso, la transmision de una indicacion de un determinado bloque candidato de entre los bloques candidatos no es necesaria y, por lo tanto, el proceso de la figura 10 prosigue con la etapa 462 de acuerdo con la cual el companero de fusion del bloque actual se fija que sea solamente el bloque candidato, tras lo cual, en la etapa 464, los parametros de codificacion del bloque companero fusionado se usan para la adaptacion o la prediccion de
5
10
15
20
25
30
35
40
45
50
55
60
los parametros de codificacion o los parametros de codificacion restantes del bloque actual. En caso de adaptacion, los parametros de codificacion ausentes del bloque actual simplemente se copian desde el bloque companero de fusion. En el otro caso, concretamente el caso de prediccion, la etapa 464 puede implicar una extraccion adicional de datos residuales a partir del flujo de datos, donde los datos residuales pertenecen al residuo de prediccion de los parametros de codificacion ausentes del bloque actual, y una combinacion de estos datos residuales con la prediccion de estos parametros de codificacion ausentes obtenidos del bloque companero de fusion.
Sin embargo, si se determina que el numero de bloques candidatos es mayor que uno en la etapa 460, el proceso de la figura 10 avanza hasta la etapa 466, donde se comprueba si los parametros de codificacion o la parte de interes de los parametros de codificacion, en concreto la subparte de los mismos relacionada con la parte que no se ha transferido aun en el flujo de datos para el bloque actual, son identicos entre st Si este es el caso, estos parametros de codificacion comunes se fijan como referencia de fusion o los bloques candidatos se fijan como companeros de fusion en la etapa 468 y los parametros de codificacion de interes respectivos se usan para la adaptacion o prediccion en la etapa 464.
Debe observarse que el propio companero de fusion puede haber sido un bloque para el que se senalizo la fusion. En este caso, los parametros de codificacion adoptados u obtenidos de manera predictiva de ese companero de fusion se usan en la etapa 464.
Sin embargo, en caso contrario, es decir, en caso de que los parametros de codificacion no sean identicos, el proceso de la figura 10 avanza hasta la etapa 470, donde un elemento sintactico adicional se extrae del flujo de datos, en particular este indicador merge_left_flag. Puede usarse otro conjunto de contextos para descodificar por entropfa este indicador. El conjunto de contextos usado para descodificar por entropfa el indicador merge_left_flag tambien puede comprender simplemente un contexto. Despues de la etapa 470, el bloque candidato indicado por merge_left_flag se fija que sea el companero de fusion en la etapa 472 y se usa para la adaptacion o la prediccion en la etapa 464. Despues de la etapa 464, el extractor 102 prosigue manipulando el siguiente bloque en el orden de bloque.
Evidentemente, hay muchas alternativas. Por ejemplo, un elemento sintactico combinado puede transmitirse en el flujo de datos en lugar de los elementos sintacticos individuales merge_flag y merge_left_flag descritos en lo que antecede, donde los elementos sintacticos combinados senalizan el proceso de fusion. Ademas, el indicador merge_left_flag mencionado en lo que antecede puede transmitirse en el flujo de datos independientemente de si los dos bloques candidatos tienen los mismos parametros de prediccion o no, reduciendo asf la sobrecarga computacional para llevar a cabo el proceso de la figura 10.
Tal como se denoto con respecto a, por ejemplo, la figura 9b, mas de dos bloques pueden incluirse en el conjunto de bloques candidatos. Ademas, la informacion de fusion, es decir, la informacion que indica si un bloque esta fusionado y, si lo esta, con que bloque candidato va a fusionarse, puede senalizarse mediante uno o mas elementos sintacticos. Un elemento sintactico puede especificar si el bloque esta fusionado con alguno de los bloques candidatos, tal como el indicador merge_flag descrito en lo que antecede. El indicador solo puede transmitirse si el conjunto de bloques candidatos no esta vacfo. Un segundo elemento sintactico puede indicar cual de los bloques candidatos se utiliza para la fusion, tal como el indicador merge_left_flag mencionado en lo que antecede, pero, en general, indica una seleccion entre dos o mas de dos bloques candidatos. El segundo elemento sintactico puede transmitirse solamente si el primer elemento sintactico indica que el bloque actual va a fusionarse con uno de los bloques candidatos. Ademas, el segundo elemento sintactico solo puede transmitirse si el conjunto de bloques candidatos contiene mas de un bloque candidato y/o si alguno de los bloques candidatos tiene diferentes parametros de prediccion que otro cualquiera de los bloques candidatos. La sintaxis puede depender del numero de bloques candidatos ofrecidos y/o del modo en que diferentes parametros de prediccion estan asociados con los bloques candidatos.
La sintaxis para senalizar cual de los bloques de los bloques candidatos va a usarse puede fijarse simultaneamente y/o en paralelo en el lado del codificador y el lado del descodificador. Por ejemplo, si hay tres opciones para bloques candidatos identificados en la etapa 450, la sintaxis se elige de tal modo que solo estas tres opciones esten disponibles y se consideren para la codificacion por entropfa, por ejemplo, en la etapa 470. Dicho de otro modo, el elemento sintactico se elige de tal modo que su alfabeto de sfmbolos tenga simplemente tantos elementos como opciones de bloques candidatos. Las probabilidades para el resto de opciones pueden considerarse nulas y la codificacion/descodificacion por entropfa puede ajustarse simultaneamente en el codificador y el descodificador.
Ademas, como ya se ha indicado con respecto a la etapa 464, los parametros de prediccion que se infieren como consecuencia del proceso de fusion pueden representar el conjunto completo de parametros de prediccion que estan asociados con el bloque actual o pueden representar un subconjunto de estos parametros de prediccion, tales como los parametros de prediccion para una hipotesis de un bloque para el que se usa una prediccion de multiples hipotesis.
5
10
15
20
25
30
35
40
45
50
55
60
Tal como se ha observado en lo que antecede, los elementos sintacticos relacionados con la informacion de fusion se pueden codificar por entrc^a usando modelizacion de contexto. Los elementos sintacticos pueden consistir en los indicadores merge_flag y merge_left_flag descritos en lo que antecede (o elementos sintacticos similares). En un ejemplo concreto, uno de tres modelos de contexto o contextos puede usarse para codificar/descodificar el indicador merge_flag en la etapa 454, por ejemplo. El mdice de modelo de contexto usado merge_flag_ctx puede obtenerse de la siguiente manera: si el conjunto de bloques candidatos contiene dos elementos, el valor de merge_flag_ctx es igual a la suma de los valores de merge_flag de los dos bloques candidatos. Sin embargo, si el conjunto de bloques candidatos contiene un elemento, el valor de merge_flag_ctx puede ser igual a dos veces el valor de merge_flag de este un bloque candidato. Puesto que cada indicador merge_flag de los bloques candidatos vecinos puede ser uno o cero, hay tres contextos disponibles para merge_flag. El indicador merge_left_flag se puede codificar usando simplemente un unico modelo de probabilidad.
Sin embargo, de acuerdo con una realizacion alternativa, pueden usarse diferentes modelos de contexto. Por ejemplo, elementos sintacticos no binarios pueden correlacionarse con una secuencia de sfmbolos binarios, denominados contenedores (bins). Los modelos de contexto para algunos elementos sintacticos o contenedores de elementos sintacticos que definen la informacion de fusion pueden obtenerse en funcion de elementos sintacticos ya transmitidos de bloques vecinos o del numero de bloques candidatos u otras medidas, mientras que otros elementos sintacticos o contenedores de los elementos sintacticos se pueden codificar con un modelo de contexto fijo.
En relacion con la anterior descripcion de la fusion de bloques, debe observarse que el conjunto de bloques candidatos tambien puede obtenerse de la misma manera que para cualquiera de las realizaciones descritas en lo que antecede con el siguiente anadido: los bloques candidatos estan limitados a bloques que usan prediccion o inter-prediccion compensada por movimiento, respectivamente. Solamente esos bloques pueden ser elementos del conjunto de bloques candidatos. La senalizacion y la modelizacion de contextos de la informacion de fusion se pueden realizar como se ha descrito en lo que antecede.
Volviendo a la combinacion de las realizaciones de subdivision multi-arbol descritas en lo que antecede y al aspecto de fusion descrito ahora, si una imagen se divide en bloques cuadrados de tamano variable usando una estructura de subdivision basada en arboles cuaternarios, por ejemplo, los indicadores merge_flag y merge_left_flag, u otros elementos sintacticos que especifican la fusion, pueden entrelazarse con los parametros de prediccion que se transmiten para cada nodo hoja de la estructura de arbol cuaternario. Considerese de nuevo, por ejemplo, la figura 9a. La figura 9a muestra un ejemplo de una subdivision basada en arboles cuaternarios de una imagen en bloques de prediccion de tamano variable. Los dos bloques superiores de mayor tamano son los denominados bloques arbol, es decir, son bloques de prediccion del maximo tamano posible. Los otros bloques de esta figura se obtienen como una subdivision de su bloque arbol correspondiente. El bloque actual esta marcado con una "X". Todos los bloques sombreados se codifican/descodifican antes que el bloque actual, de tal modo que forman el conjunto de bloques causales. Tal como se ha explicado en la descripcion de la obtencion del conjunto de bloques candidatos para una de las realizaciones, solo los bloques que contienen las muestras vecinas directas (es decir, superior o izquierda) de la posicion de muestra superior izquierda del bloque actual pueden ser miembros del conjunto de bloques candidatos. Por lo tanto, el bloque actual puede fusionarse con el bloque "A" o el bloque "B". Si merge_flag es igual a 0 ("falso"), el bloque actual "X" no se fusiona con ninguno de los dos bloques. Si los bloques "A" y "B" tienen unos parametros de prediccion identicos, no es necesario realizar ninguna distincion ya que la fusion con cualquiera de los dos bloques dara lugar al mismo resultado. Por lo tanto, en este caso, el indicador merge_left_flag no se transmite. En caso contrario, si los bloques "A" y "B" tienen diferentes parametros de prediccion, merge_left_flag igual a 1 ("verdadero") fusionara los bloques "X" y "B", mientras que merge_left_flag igual a 0 ("falso") fusionara los bloques "X" y "A". En otra realizacion preferida, bloques vecinos adicionales (ya transmitidos) representan candidatos para la fusion.
En la figura 9b se muestra otro ejemplo. En el presente caso, el bloque actual "X" y el bloque vecino izquierdo "B" son bloques arbol, es decir, tienen el maximo tamano de bloque permitido. El tamano del bloque vecino superior "A" es un cuarto del tamano del bloque arbol. Los bloques que son elementos del conjunto de bloques causales estan sombreados. Debe observarse que de acuerdo con una de las realizaciones preferidas, el bloque actual "X" solo puede fusionarse con los dos bloques "A" o "B", no con alguno de los otros bloques vecinos superiores. En otra realizacion preferida, bloques vecinos adicionales (ya transmitidos) representan candidatos para la fusion.
Antes de proceder con la descripcion referente al aspecto de como manejar diferentes series de muestras de una imagen de acuerdo con realizaciones de la presente solicitud, debe observarse que la anterior descripcion relacionada con la subdivision multi-arbol y la senalizacion, por un lado, y el aspecto de fusion, por otro lado, hizo evidente que estos aspectos proporcionan ventajas que pueden utilizarse de manera independiente entre sn Es decir, como ya se ha explicado en lo que antecede, una combinacion de una subdivision multi-arbol con la fusion tiene ventajas espedficas, pero las ventajas tambien se obtienen de alternativas en las que, por ejemplo, la caractenstica de fusion se realiza con, sin embargo, la subdivision llevada a cabo por los subdivisores 30 y l04a no basada en una subdivision multi-arbol o en arboles cuaternarios, sino que corresponde a una subdivision en macrobloques con una division regular de estos macrobloques en particiones mas pequenas. A su vez, por otro lado,
5
10
15
20
25
30
35
40
45
50
55
60
la combinacion de la subdivision multi-arbol junto con la transmision de la indicacion de tamano maximo de bloque arbol en el flujo de bits y el uso de la subdivision multi-arbol junto con el uso del recorrido de primero en profundidad que transporta los parametros de codificacion correspondientes de los bloques es ventajoso independientemente de la caractenstica de fusion usada concurrentemente o no. Generalmente, las ventajas de la fusion pueden entenderse cuando se considera que, de manera intuitiva, la eficacia de la codificacion puede aumentar cuando la sintaxis de las codificaciones de series de muestras se extiende de tal manera que no solo permite subdividir un bloque, sino tambien fusionar dos o mas de los bloques que se obtienen tras la subdivision. Como resultado se obtiene un grupo de bloques que estan codificados con los mismos parametros de prediccion. Los parametros de prediccion para tal grupo de bloques solo tienen que codificarse una vez. Ademas, con respecto a la fusion de conjuntos de muestras, debe observarse de nuevo que los conjuntos considerados de muestras pueden ser bloques rectangulares o cuadraticos, en cuyo caso los conjuntos de muestras fusionados representan una coleccion de bloques rectangulares y/o cuadraticos. Sin embargo, como alternativa, los conjuntos de muestras considerados son regiones de imagenes conformadas de manera arbitraria y los conjuntos de muestras fusionados representan una coleccion de regiones de imagen conformadas de manera arbitraria.
La siguiente descripcion se centra en la manipulacion de diferentes series de muestras de una imagen en caso de que haya mas de una serie de muestras por imagen, y algunos aspectos descritos en la siguiente descripcion secundaria son ventajosos independientemente del tipo de subdivision usada, es decir, independientemente de que la subdivision este basada o no en una subdivision multi-arbol, e independientemente de que se use fusion o no. Antes de empezar a describir realizaciones espedficas relacionadas con la manipulacion de diferentes series de muestras de una imagen, el concepto principal de estas realizaciones se presenta por medio de una corta introduccion referente al campo de la manipulacion de diferentes series de muestras por imagen.
La siguiente discusion se centra en parametros de codificacion entre bloques de diferentes series de muestras de una imagen en una aplicacion de codificacion de imagenes o video y, en particular, en una manera de predecir de manera adaptativa parametros de codificacion entre diferentes series de muestras de una imagen en, por ejemplo, pero no exclusivamente, el codificador y el descodificador de las figuras 1 y 2, respectivamente, u otro entorno de codificacion de imagenes o video. Las series de muestras pueden, tal como se ha indicado en lo que antecede, representar series de muestras que estan relacionadas con diferentes componentes de color o series de muestras que asocian una imagen con informacion adicional tal como datos de transparencia o mapas de profundidad. Las series de muestras que estan relacionadas con componentes de color de una imagen tambien se denominan planos de color. La tecnica descrita a continuacion tambien se denomina adopcion/prediccion inter50 plano y puede usarse en codificadores y descodificadores de imagenes y video basados en bloques, por lo que el orden de procesamiento de los bloques de las series de muestras de una imagen puede ser arbitrario.
Los codificadores de imagenes y video se disenan normalmente para codificar imagenes a color (ya sean imagenes fijas o imagenes de una secuencia de video). Una imagen a color consiste en multiples planos de color, que representan series de muestras para diferentes componentes de color. A menudo, las imagenes a color se codifican como un conjunto de series de muestras que consisten en un plano de luminancia y dos planos de crominancia, donde estos ultimos especifican componentes de diferencia de color. En algunas areas de aplicacion tambien es comun que el conjunto de series de muestras codificadas consista en tres planos de color que representan series de muestras para los tres colores primarios (rojo, verde y azul). Ademas, para una representacion del color mejorada, una imagen a color puede consistir en mas de tres planos de color. Ademas, una imagen puede estar asociada con series de muestras auxiliares que especifican informacion adicional para la imagen. Por ejemplo, tales series de muestras auxiliares pueden ser series de muestras que especifican la transparencia (adecuada con fines de visualizacion espedficos) para las series de muestras de color asociadas o series de muestras que especifican un mapa de profundidad (adecuado para renderizar multiples vistas, por ejemplo para pantallas 3D).
En las normas convencionales de codificacion de imagenes y video (tal como H.264), los planos de color se codifican juntos normalmente, por lo que parametros de codificacion particulares tales como modos de prediccion de macrobloques y sub-macrobloques, indices de referencia y vectores de movimiento se usan para todas las componentes de color de un bloque. El plano de luminancia puede considerarse como el plano de color primario para el que los parametros de codificacion particulares se especifican en el flujo de bits, y los planos de crominancia pueden considerarse como planos secundarios para los que los parametros de codificacion correspondientes se infieren a partir del plano de luminancia primario. Cada bloque de luminancia esta asociado a dos bloques de crominancia que representan la misma area en una imagen. Dependiendo del formato de muestreo de crominancia usado, las series de muestras de crominancia pueden ser mas pequenas que la serie de muestras de luminancia para un bloque. Para cada macrobloque que consiste en una componente de luminancia y dos componentes de crominancia, se usa la misma division en bloques mas pequenos (si el macrobloque esta subdividido). Para cada bloque que consiste en un bloque de muestras de luminancia y dos bloques de muestras de crominancia (que puede ser el propio macrobloque o un sub-bloque del macrobloque), se utiliza el mismo conjunto de parametros de prediccion, tales como indices de referencia, parametros de movimiento y, algunas veces, modos de intra- prediccion. En perfiles espedficos de normas convencionales de codificacion de video (tales como los perfiles 4:4:4 en H.264), tambien es posible codificar de manera independiente los diferentes planos de color de una imagen. En
5
10
15
20
25
30
35
40
45
50
55
60
esa configuracion, la division de macrobloque, los modos de prediccion, los mdices de referencia y los parametros de movimiento pueden elegirse por separado para una componente de color de un macrobloque o sub-bloque. De acuerdo con las normas de codificacion convencionales, o bien todos los planos de color se codifican juntos usando el mismo conjunto de parametros de codificacion particulares (tal como informacion de subdivision y parametros de prediccion) o todos los planos de color se codifican de manera totalmente independiente entre su
Si los planos de color se codifican juntos, un conjunto de parametros de subdivision y prediccion debe usarse para todas las componentes de color de un bloque. Esto garantiza que la informacion secundaria se mantenga baja, pero puede dar como resultado una reduccion de la eficacia de codificacion en comparacion con una codificacion independiente, ya que el uso de diferentes descomposiciones de bloque y de parametros de prediccion para diferentes componentes de color puede dar como resultado un menor coste de velocidad-distorsion. Como un ejemplo, el uso de un vector de movimiento o una trama de referencia diferente para las componentes de crominancia puede reducir significativamente la energfa de la senal residual para las componentes de crominancia y aumentar su eficacia de codificacion global. Si los planos de color se codifican de manera independiente, los parametros de codificacion tales como la division en bloques, los indices de referencia y los parametros de movimiento pueden seleccionarse para cada componente de color por separado con el fin de optimizar la eficacia de codificacion para cada componente de color, pero no es posible utilizar la redundancia entre las componentes de color. Las multiples transmisiones de parametros de codificacion particulares da como resultado una mayor tasa de informacion secundaria (en comparacion con la codificacion combinada) y esta mayor tasa de informacion secundaria puede tener un efecto negativo en la eficacia de codificacion global. Ademas, el soporte de series de muestras auxiliares en las normas de codificacion de video de ultima generacion (tales como H.264) esta limitado al caso en que las series de muestras auxiliares se codifican usando su propio conjunto de parametros de codificacion.
Por lo tanto, en todas las realizaciones descritas hasta ahora, los planos de imagenes pueden manipularse de la manera descrita en lo que antecede, pero como tambien se ha senalado en lo que antecede, la eficacia de codificacion global para la codificacion de multiples series de muestras (que pueden estar relacionadas con diferentes planos de color y/o series de muestras auxiliares) puede aumentar cuando es posible decidir bloque a bloque, por ejemplo, si todas las series de muestras para un bloque se codifican con los mismos parametros de codificacion o si se usan diferentes parametros de codificacion. La idea basica de la siguiente prediccion inter-plano es permitir tal decision adaptativa bloque a bloque, por ejemplo. El codificador puede elegir, por ejemplo basandose en un criterio de velocidad-distorsion, si todas o algunas de las series de muestras de un bloque particular se codifican usando los mismos parametros de codificacion o si se usan diferentes parametros de codificacion para diferentes series de muestras. Esta seleccion tambien puede conseguirse senalizando para un bloque particular de una serie de muestras si se infieren parametros de codificacion espedficos a partir de un bloque coubicado ya codificado de una serie de muestras diferente. Tambien es posible disponer diferentes series de muestras para una imagen en grupos, denominados tambien grupos de series de muestras o grupos de planos. Cada grupo de planos puede contener una o mas series de muestras de una imagen. Por lo tanto, los bloques de las series de muestras de un grupo de planos comparten los mismos parametros de codificacion seleccionados tales como informacion de subdivision, modos de prediccion y modos de codificacion residual, mientras que otros parametros de codificacion tales como niveles de coeficientes de transformada se transmiten por separado para cada serie de muestras dentro del grupo de planos. Un grupo de planos se codifica como un grupo de planos primarios, es decir, ninguno de los parametros de codificacion se infiere o predice a partir de otros grupos de planos. Para cada bloque de un grupo de planos secundarios, puede elegirse de manera adaptativa si se transmite un nuevo conjunto de parametros de codificacion seleccionados o si los parametros de codificacion seleccionados se infieren o predicen a partir del grupo de planos primarios u otro grupo de planos secundarios. Las decisiones de si los parametros de codificacion seleccionados para un bloque particular se infieren o predicen se incluyen en el flujo de bits. La prediccion inter- plano permite una mayor libertad a la hora de seleccionar el equilibrio entre la tasa de informacion secundaria y la calidad de prediccion con respecto a la codificacion de imagenes de ultima generacion que consiste en multiples series de muestras. La ventaja es una mayor eficacia de codificacion con respecto a la codificacion convencional de imagenes que consiste en multiples series de muestras.
La adopcion/prediccion intra-plano puede extender un codificador de imagenes o video, tal como los de las realizaciones anteriores, de tal manera que pueda elegirse de manera adaptativa para un bloque de una serie de muestras de colores o una serie de muestras auxiliares o un conjunto de series de muestras de colores y/o series de muestras auxiliares si un conjunto seleccionado de parametros de codificacion se infiere o predice a partir de bloques coubicados ya codificados de otras series de muestras en la misma imagen o si el conjunto seleccionado de parametros de codificacion para el bloque se codifica de manera independiente sin hacer referencia a los bloques coubicados de otras series de muestras de la misma imagen. Las decisiones de si el conjunto seleccionado de parametros de codificacion se infiere o predice para un bloque de una serie de muestras o un bloque de multiples series de muestras pueden incluirse en el flujo de bits. Las diferentes series de muestras que estan asociadas a una imagen no necesitan tener el mismo tamano.
Tal como se ha descrito en lo que antecede, las series de muestras que estan asociadas a una imagen (las series de muestras pueden representar componentes de color y/o series de muestras auxiliares) pueden estar dispuestas
5
10
15
20
25
30
35
40
45
50
55
60
en dos o mas denominados grupos de pianos, donde cada grupo de pianos consiste en una o mas series de muestras. Las series de muestras que estan contenidas en un grupo de pianos particular no necesitan tener el mismo tamano. Debe observarse que esta disposicion dentro del grupo de pianos incluye el caso en que cada serie de muestras se codifica por separado.
Para ser mas precisos, de acuerdo con una realizacion, para cada bloque de un grupo de planos se elige de manera adaptativa si los parametros de codificacion que especifican como se predice un bloque se infieren o predicen a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen o si estos parametros de codificacion se codifican por separado para el bloque. Los parametros de codificacion que especifican como se predice un bloque incluyen uno o mas de los siguientes parametros de codificacion: modos de prediccion de bloque que especifican que prediccion se usa para el bloque (intra-prediccion, inter-prediccion usando un unico vector de movimiento y una imagen de referencia, inter-prediccion usando dos vectores de movimiento e imagenes de referencia, inter-prediccion usando un orden superior, es decir, un modelo de movimiento de no traslacion y una unica imagen de referencia, inter-prediccion usando multiples modelos de movimiento e imagenes de referencia), modos de intra-prediccion que especifican como se genera una senal de intra-prediccion, un identificador que especifica como se combinan muchas senales de prediccion para generar la senal de prediccion final para el bloque, indices de referencia que especifican que imagen(es) de referencia se utiliza(n) para la prediccion compensada por movimiento, parametros de movimiento (tales como vectores de desplazamiento o parametros de movimiento afines) que especifican como la(s) senal(es) de prediccion se genera(n) usando la(s) imagen(es) de referencia, un identificador que especifica como la(s) imagen(es) de referencia se filtra(n) para generar senales de prediccion compensadas por movimiento. Debe observarse que, en general, un bloque puede asociarse solamente con un subconjunto de los parametros de codificacion mencionados. Por ejemplo, si el modo de prediccion de bloque especifica que un bloque se intra-predice, los parametros de codificacion para un bloque pueden incluir ademas modos de intra-prediccion, pero parametros de codificacion tales como los indices de referencia y los parametros de movimiento que especifican como se genera una senal de inter-prediccion no se especifican, o si el modo de prediccion de bloques especifica inter-prediccion, los parametros de codificacion asociados pueden incluir ademas indices de referencia y parametros de movimiento, pero no se especifican modos de intra-prediccion.
Uno de los dos o mas grupos de planos se puede codificar o indicarse en el flujo de bits como el grupo de planos primarios. Para todos los bloques de este grupo de planos primarios, los parametros de codificacion que especifican como se genera la senal de prediccion se transmiten sin hacer referencia a otros grupos de planos de la misma imagen. Los grupos de planos restantes se codifican como grupos de planos secundarios. Para cada bloque de los grupos de planos secundarios se transmiten uno o mas elementos sintacticos que indican si los parametros de codificacion que especifican como se predice el bloque se infieren o predicen a partir de un bloque coubicado de otros grupos de planos o si un nuevo conjunto de estos parametros de codificacion se transmite para el bloque. Uno del uno o mas elementos sintacticos puede denominarse indicador de prediccion inter-plano o parametro de prediccion inter-plano. Si los elementos sintacticos indican que los parametros de codificacion correspondientes no se infieren o predicen, un nuevo conjunto de los parametros de codificacion correspondientes para el bloque se transmiten en el flujo de bits. Si los elementos sintacticos indican que los parametros de codificacion correspondientes se infieren o predicen, se determina el bloque coubicado en un denominado grupo de planos de referencia. La asignacion del grupo de planos de referencia para el bloque puede configurarse de muchas maneras. En una realizacion, un grupo de planos de referencia particular se asigna a cada grupo de planos secundarios; esta asignacion puede fijarse o puede senalizarse en estructuras sintacticas de alto nivel tales como conjuntos de parametros, cabecera de unidad de acceso, cabecera de imagen o cabecera de fragmento.
En una segunda realizacion, la asignacion del grupo de planos de referencia se codifica en el flujo de bits y se senaliza mediante el uno o mas elementos sintacticos que se codifican para un bloque con el fin de especificar si los parametros de codificacion seleccionados se infieren o predicen o se codifican por separado.
Con el fin de facilitar las posibilidades que acaban de mencionarse en relacion con la prediccion inter-plano y las siguientes realizaciones detalladas, se hace referencia a la figura 11, que muestra de manera ilustrativa una imagen 500 compuesta por tres series de muestras 502, 504 y 506. Para facilitar el entendimiento, en la figura 11 se muestran simplemente subpartes de las series de muestras 502 a 506. Las series de muestras se muestran como si estuvieran registradas espacialmente entre sf, de tal modo que las series de muestras 502 a 506 se solapan entre sf a lo largo de una direccion 508 y de tal modo que una proyeccion de las muestras de las series de muestras 502 a 506 a lo largo de la direccion 508 da como resultado que las muestras de todas estas series de muestras 502 a 506 esten situadas correctamente de manera espacial entre sr Dicho de otro modo, los planos 502 y 506 se han esparcido a lo largo de la direccion horizontal y la direccion vertical para adaptar su resolucion espacial entre sf y para registrarse entre sr
De acuerdo con una realizacion, todas las series de muestras de una imagen pertenecen a la misma parte de una escena espacial en la que la resolucion a lo largo de la direccion vertical y la direccion horizontal puede ser diferente entre las series de muestras individuales 502 a 506. Ademas, con fines ilustrativos, se considera que las series de muestras 502 y 504 pertenecen a un grupo de planos 510, mientras que se considera que la serie de muestras 506
5
10
15
20
25
30
35
40
45
50
55
60
pertenece a otro grupo de pianos 512. Ademas, la figura 11 ilustra el caso a modo de ejemplo en que la resolucion espacial a lo largo del eje horizontal de la serie de muestras 504 es dos veces la resolucion en la direccion horizontal de la serie de muestras 502.
Ademas, se considera que la serie de muestras 504 forma la serie primaria con respecto a la serie de muestras 502, que forma una serie subordinada con respecto a la serie primaria 504. Tal como se ha explicado en lo que antecede, en este caso la subdivision de la serie de muestras 504 en bloques decidida por el subdivisor 30 de la figura 1 se adopta por la serie subordinada 502 donde, de acuerdo con el ejemplo de la figura 11, debido a que la resolucion vertical de la serie de muestras 502 es la mitad de la resolucion en la direccion vertical de la serie primaria 504, cada bloque se ha dividido en dos bloques yuxtapuestos horizontales que, debido a la division son nuevamente bloques cuadraticos cuando se miden en unidades de las posiciones de muestras dentro de la serie de muestras 502.
Tal como se muestra a modo de ejemplo en la figura 11, la subdivision elegida para la serie de muestras 506 es diferente de la subdivision del otro grupo de planos 510. Tal como se ha descrito en lo que antecede, el subdivisor 30 puede seleccionar la subdivision de la serie de pfxeles 506 por separado o de manera independiente a la subdivision del grupo de planos 510. Evidentemente, la resolucion de la serie de muestras 506 tambien puede ser diferente de las resoluciones de los planos 502 y 504 del grupo de planos 510.
Ahora, cuando se codifican las series de muestras individuales 502 a 506, el codificador 10 puede empezar codificando la serie primaria 504 del grupo de planos 510 de la manera descrita en lo que antecede, por ejemplo. Los bloques que se muestran en la figura 11 pueden ser, por ejemplo, los bloques de prediccion mencionados en lo que antecede. Como alternativa, los bloques son bloques residuales u otros bloques que definen la granularidad para definir ciertos parametros de codificacion. La prediccion inter-plano no esta limitada a la subdivision multi-arbol o en arboles cuaternarios, a pesar de que esto se ilustra en la figura 11.
Despues de la transmision del elemento sintactico para la serie primaria 504, el codificador 10 puede decidir declarar la serie primaria 504 como el plano de referencia para el plano subordinado 502. El codificador 10 y el extractor 30, respectivamente, pueden senalizar esta decision a traves del flujo de bits 22, mientras que la asociacion puede resultar evidente a partir del hecho de que la serie de muestras 504 forma la serie primaria del grupo de planos 510, informacion que, a su vez, tambien puede ser parte del flujo de bits 22. En cualquier caso, para cada bloque de la serie de muestras 502, la unidad de insercion 18 o cualquier otro modulo del codificador 10 junto con la unidad de insercion 18 pueden decidir o bien suprimir una transferencia de los parametros de codificacion de este bloque en el flujo de bits y senalizar en cambio en el flujo de bits para ese bloque que los parametros de codificacion de un bloque coubicado de la serie primaria 504 se usaran en su lugar, o bien que los parametros de codificacion del bloque coubicado de la serie primaria 504 se usaran como una prediccion para los parametros de codificacion del bloque actual de la serie de muestras 502 simplemente transfiriendo los datos residuales del mismo para el bloque actual de la serie de muestras 502 en el flujo de bits. En caso de una decision negativa, los parametros de codificacion se transfieren en el flujo de datos de la manera habitual. La decision se senaliza en el flujo de datos 22 para cada bloque. En el lado del descodificador, el extractor 102 usa esta informacion de prediccion inter-plano para cada bloque con el fin de obtener en consecuencia los parametros de codificacion del bloque respectivo de la serie de muestras 502, en concreto infiriendo los parametros de codificacion del bloque coubicado de la serie primaria 504 o, como alternativa, extrayendo datos residuales para ese bloque a partir del flujo de datos y combinando estos datos residuales con una prediccion obtenida a partir de los parametros de codificacion del bloque coubicado de la serie primaria 504 si la informacion de adopcion/prediccion inter-plano sugiere adopcion/prediccion inter-plano, o extrayendo los parametros de codificacion del bloque actual de la serie de muestras 502 de la manera habitual independientemente de la serie primaria 504.
Como tambien se ha descrito en lo que antecede, los planos de referencia no estan limitados a residir en el mismo grupo de planos que el bloque para el que la prediccion inter-plano resulta actualmente interesante. Por lo tanto, tal como se ha descrito en lo que antecede, el grupo de planos 510 puede representar el grupo de planos primarios o el grupo de planos de referencia para el grupo de planos secundarios 512. En este caso, el flujo de bits puede contener un elemento sintactico que indica para cada bloque de la serie de muestras 506 si la adopcion/prediccion mencionada en lo que antecede de parametros de codificacion de macrobloques coubicados de cualquiera de los planos 502 y 504 del grupo de planos primarios o del grupo de planos de referencia 510 se llevara a cabo o no, donde en el segundo caso los parametros de codificacion del bloque actual de la serie de muestras 506 se transmiten de la manera habitual.
Debe observarse que los parametros de subdivision y/o de prediccion para los planos de un grupo de planos pueden ser los mimos, ya que solo se codifican una vez para un grupo de planos (todos los planos secundarios de un grupo de planos infieren la informacion de subdivision y/o los parametros de prediccion a partir del plano primario dentro del mismo grupo de planos), y la prediccion o inferencia adaptativa de la informacion de subdivision y/o los parametros de prediccion se realiza entre grupos de planos.
Debe observarse que el grupo de planos de referencia puede ser un grupo de planos primarios o un grupo de planos
5
10
15
20
25
30
35
40
45
50
55
60
secundarios.
La coubicacion entre bloques de diferentes pianos en un grupo de pianos puede entenderse facilmente ya que la subdivision de la serie de muestras primaria 504 se adopta espacialmente por la serie de muestras subordinada 502, excepto la subdivision que acaba de describirse de los bloques con el fin de hacer que los bloques hoja adoptados sean bloques cuadraticos. En caso de adopcion/prediccion inter-plano entre diferentes grupos de planos, la coubicacion puede definirse de tal manera que permita una mayor libertad entre las subdivisiones de estos grupos de planos. Dado el grupo de planos de referencia, se determina el bloque coubicado dentro del grupo de planos de referencia. La obtencion del bloque coubicado y del grupo de planos de referencia se puede realizar mediante un proceso similar al siguiente. Se selecciona una muestra particular 514 en el bloque actual 516 de una de las series de muestras 506 del grupo de planos secundarios 512. La muestra puede ser la muestra superior izquierda del bloque actual 516, tal como se muestra en la figura 11 con fines ilustrativos, o una muestra del bloque actual 516 cercana a la parte central del bloque actual 516 o cualquier otra muestra dentro del bloque actual que este definida geometricamente de manera umvoca. Se calcula la ubicacion de esta muestra seleccionada 515 dentro de una serie de muestras 502 y 504 del grupo de planos de referencia. Las posiciones de la muestra 514 dentro de las series de muestras 502 y 504 se indican en la figura 11 en 518 y 520, respectivamente. Cual de los planos 502 y 504 del grupo de planos de referencia 510 se usa realmente puede predeterminarse o puede senalizarse en el flujo de bits. Se determina la muestra de la serie de muestras correspondiente 502 o 504 del grupo de planos de referencia 510 que esta mas cerca de las posiciones 518 y 520, respectivamente, y el bloque que contiene esta muestra se elige como el bloque coubicado de la serie de muestras respectiva 502 y 504, respectivamente. En el caso de la figura 11, estos son los bloques 522 y 524, respectivamente. En lo sucesivo se describira un enfoque alternativo para determinar un bloque coubicado en otros planos.
En una realizacion, los parametros de codificacion que especifican la prediccion para el bloque actual 516 se infieren completamente usando los parametros de prediccion correspondientes del bloque coubicado 522/524 en un grupo de planos diferente 510 de la misma imagen 500, sin transmitir informacion secundaria adicional. La inferencia puede consistir simplemente en copiar los parametros de codificacion correspondientes o en una adaptacion de los parametros de codificacion teniendo en cuenta diferencias entre el grupo de planos actual 512 y el grupo de planos de referencia 510. Como un ejemplo, esta adaptacion puede consistir en anadir una correccion de parametros de movimiento (por ejemplo, una correccion de vector de desplazamiento) para tener en cuenta la diferencia de fase entre las series de muestras de luminancia y crominancia, o la adaptacion puede consistir en modificar la precision de los parametros de movimiento (por ejemplo, modificar la precision de los vectores de desplazamiento) para tener en cuenta la diferente resolucion de las series de muestras de luminancia y crominancia. En una realizacion adicional, uno o mas de los parametros de codificacion inferidos para especificar la generacion de senales de prediccion no se usan directamente para el bloque actual 516, sino que se usan como una prediccion para los parametros de codificacion correspondientes para el bloque actual 516 y un refinamiento de estos parametros de codificacion para el bloque actual 516 se transmite en el flujo de bits 22. Como un ejemplo, los parametros de movimiento inferidos no se usan directamente, sino que las diferencias de los parametros de movimiento (tales como una diferencia en los vectores de desplazamiento) que especifican la desviacion entre los parametros de movimiento que se usan para el bloque actual 516 y los parametros de movimiento inferidos se codifican en el flujo de bits; en el lado del descodificador, los parametros de movimiento reales usados se obtienen combinando los parametros de movimiento inferidos y las diferencias de parametros de movimiento transmitidas.
En otra realizacion, la subdivision de un bloque, tal como los bloques arbol de la subdivision de prediccion en bloques de prediccion mencionada en lo que antecede (es decir, bloques de muestras para los que se usa el mismo conjunto de parametros de prediccion) se infiere o predice de manera adaptativa a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen, es decir, la secuencia de bits de acuerdo con la figura 6a o 6b. En una realizacion, uno de los dos o mas grupos de planos se codifica como grupo de planos primarios. Para todos los bloques de este grupo de planos primarios, la informacion de subdivision se transmite sin hacer referencia a otros grupos de planos de la misma imagen. Los grupos de planos restantes se codifican como grupos de planos secundarios. Para bloques de los grupos de planos secundarios se transmiten uno o mas elementos sintacticos que indican si la informacion de subdivision se infiere o predice a partir de un bloque coubicado de otros grupos de planos o si la informacion de subdivision se transmite en el flujo de bits. Uno del uno o mas elementos sintacticos puede denominarse indicador de prediccion inter-plano o parametro de prediccion inter35 plano. Si los elementos sintacticos indican que la informacion de subdivision no se infiere o predice, la informacion de subdivision para el bloque se transmite en el flujo de bits sin hacer referencia a otros grupos de planos de la misma imagen. Si los elementos sintacticos indican que la informacion de subdivision se infiere o predice, se determina el bloque coubicado en un denominado grupo de planos de referencia. La asignacion del grupo de planos de referencia para el bloque puede configurarse de muchas maneras. En una realizacion, un grupo de planos de referencia particular se asigna a cada grupo de planos secundarios; esta asignacion puede fijarse o puede senalizarse en estructuras sintacticas de alto nivel tales como conjuntos de parametros, cabecera de unidad de acceso, cabecera de imagen o cabecera de fragmento. En una segunda realizacion, la asignacion del grupo de planos de referencia se codifica en el flujo de bits y se senaliza mediante el uno o mas elementos sintacticos que se codifican para un bloque con el fin de especificar si la informacion de subdivision se infiere o predice o se codifica
5
10
15
20
25
30
35
40
45
50
55
60
por separado. El grupo de pianos de referencia puede ser el grupo de pianos primarios u otro grupo de pianos secundarios. Dado el grupo de pianos de referencia, se determina el bloque coubicado dentro del grupo de pianos de referencia. El bloque coubicado es el bloque del grupo de pianos de referencia que corresponde a la misma area de imagen que el bloque actual, o el bloque que representa el bloque dentro del grupo de pianos de referencia que comparte la porcion mas grande del area de imagen con el bloque actual. El bloque coubicado puede dividirse en bloques de prediccion mas pequenos.
En una realizacion adicional, la informacion de subdivision para el bloque actual, tal como la informacion de subdivision basada en arboles cuaternarios de acuerdo con las figuras 6a o 6b, se infiere completamente usando la informacion de subdivision del bloque coubicado en un grupo de pianos diferente de la misma imagen, sin transmitir informacion secundaria adicional. Como un ejemplo particular, si el bloque coubicado esta dividido en dos o cuatro bloques de prediccion, el bloque actual tambien se divide en dos o cuatro sub-bloques con el fines de prediccion. Como otro ejemplo particular, si el bloque coubicado se divide en cuatro sub-bloques y uno de estos sub-bloques se divide adicionalmente en cuatro sub-bloques mas pequenos, el bloque actual tambien se divide en cuatro sub- bloques y uno de estos sub-bloques (el correspondiente al sub-bloque del bloque coubicado que esta dividido adicionalmente) tambien se divide en cuatro sub-bloques mas pequenos. En una realizacion preferida adicional, la informacion de subdivision inferida no se usa directamente para el bloque actual, sino que se usa como una prediccion para la informacion de subdivision real para el bloque actual, y la informacion de refinamiento correspondiente se transmite en el flujo de bits. Como un ejemplo, la informacion de subdivision que se infiere a partir del bloque coubicado puede refinarse adicionalmente. Para cada sub-bloque que corresponde a un sub-bloque del bloque coubicado que no esta dividido en bloques mas pequenos, un elemento sintactico se puede codificar en el flujo de bits, que especifica si el sub-bloque esta dividido adicionalmente en el grupo de pianos actual. La transmision de un elemento sintactico de este tipo puede depender del tamano del sub-bloque. Por otro lado, puede senalizarse en el flujo de bits que un sub-bloque que esta dividido adicionalmente en el grupo de pianos de referencia no esta dividido en bloques mas pequenos en el grupo de pianos actual.
En una realizacion adicional, tanto la subdivision de un bloque en bloques de prediccion como los parametros de codificacion que especifican como se predicen esos sub-bloques se infieren o predicen de manera adaptativa a partir de un bloque coubicado ya codificado de un grupo de pianos diferente para la misma imagen. En una realizacion preferida de la invencion, uno de los dos o mas grupos de pianos se codifica como un grupo de pianos primarios. Para todos los bloques de este grupo de pianos primarios, la informacion de subdivision y los parametros de prediccion se transmiten sin hacer referencia a otros grupos de pianos de la misma imagen. Los grupos de pianos restantes se codifican como grupos de pianos secundarios. Para bloques de los grupos de pianos secundarios se transmiten uno o mas elementos sintacticos que indican si la informacion de subdivision y los parametros de prediccion se infieren o predicen a partir de un bloque coubicado de otros grupos de pianos o si la informacion de subdivision y los parametros de prediccion se transmiten en el flujo de bits. Uno del uno o mas elementos sintacticos puede denominarse indicador de prediccion inter-piano o parametro de prediccion inter-piano. Si los elementos sintacticos indican que la informacion de subdivision y los parametros de prediccion no se infieren o predicen, la informacion de subdivision para el bloque y los parametros de prediccion para los sub-bloques resultantes se transmiten en el flujo de bits sin hacer referencia a otros grupos de pianos de la misma imagen. Si los elementos sintacticos indican que la informacion de subdivision y los parametros de prediccion para el sub-bloque se infieren o predicen, se determina el bloque coubicado en un denominado grupo de pianos de referencia. La asignacion del grupo de pianos de referencia para el bloque puede configurarse de muchas maneras. En una realizacion, un grupo de pianos de referencia particular se asigna a cada grupo de pianos secundarios; esta asignacion puede fijarse o puede senalizarse en estructuras sintacticas de alto nivel tales como conjuntos de parametros, cabecera de unidad de acceso, cabecera de imagen o cabecera de fragmento. En una segunda realizacion, la asignacion del grupo de pianos de referencia se codifica en el flujo de bits y se senaliza mediante el uno o mas elementos sintacticos que se codifican para un bloque con el fin de especificar si la informacion de subdivision y los parametros de prediccion se infieren o predicen o se codifican por separado. El grupo de pianos de referencia puede ser el grupo de pianos primarios u otro grupo de pianos secundarios. Dado el grupo de pianos de referencia, se determina el bloque coubicado dentro del grupo de pianos de referencia. El bloque coubicado puede ser el bloque del grupo de pianos de referencia que corresponde a la misma area de imagen que el bloque actual, o el bloque que representa el bloque dentro del grupo de pianos de referencia que comparte la porcion mas grande del area de imagen con el bloque actual. El bloque coubicado puede dividirse en bloques de prediccion mas pequenos. En una realizacion preferida, la informacion de subdivision para el bloque actual asf como los parametros de prediccion para los sub-bloques resultantes se infieren completamente usando la informacion de subdivision del bloque coubicado en un grupo de pianos diferente de la misma imagen y los parametros de prediccion de los sub-bloques correspondientes, sin transmitir informacion secundaria adicional. Como un ejemplo particular, si el bloque coubicado esta dividido en dos o cuatro bloques de prediccion, el bloque actual tambien se divide en dos o cuatro sub-bloques con fines de prediccion, y los parametros de prediccion para los sub-bloques del bloque actual se obtienen como se ha descrito en lo que antecede. Como otro ejemplo particular, si el bloque coubicado se divide en cuatro sub-bloques y uno de estos sub-bloques se divide adicionalmente en cuatro sub-bloques mas pequenos, el bloque actual tambien se divide en cuatro sub-bloques y uno de estos sub-bloques (el correspondiente al sub-bloque del bloque coubicado que esta dividido adicionalmente) tambien se divide en cuatro sub-bloques mas pequenos y los parametros de
5
10
15
20
25
30
35
40
45
50
55
60
prediccion para todos los sub-bloques no divididos adicionalmente se infieren de la manera descrita en lo que antecede. En una realizacion preferida adicional, la informacion de subdivision se infiere completamente en funcion de la informacion de subdivision del bloque coubicado en el grupo de planos de referencia, pero los parametros de prediccion inferidos para los sub-bloques solo se usan como prediccion para los parametros de prediccion reales de los sub-bloques. Las desviaciones entre los parametros de prediccion reales y los parametros de prediccion inferidos se codifican en el flujo de bits. En una realizacion adicional, la informacion de subdivision inferida se usa como una prediccion para la informacion de subdivision real para el bloque actual y la diferencia se transmite en el flujo de bits (como se ha descrito en lo que antecede), pero los parametros de prediccion se infieren completamente. En otra realizacion, tanto la informacion de subdivision inferida como los parametros de prediccion inferidos se usan como predicciones y las diferencias entre la informacion de subdivision real y los parametros de prediccion y sus valores inferidos se transmiten en el flujo de bits.
En otra realizacion, para un bloque de un grupo de planos se elige de manera adaptativa si los modos de codificacion residual (tal como el tipo de transformada) se infieren o predicen a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen o si los modos de codificacion residual se codifican por separado para el bloque. Esta realizacion es similar a la realizacion para la inferencia/prediccion adaptativa de los parametros de prediccion descrita en lo que antecede.
En otra realizacion, la subdivision de un bloque (por ejemplo, un bloque de prediccion) en bloques de transformada (es decir, bloques de muestras a los que se aplica una transformada bidimensional) se infiere o predice de manera adaptativa a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen. Esta realizacion es similar a la realizacion de la inferencia/prediccion adaptativa de la subdivision en bloques de prediccion descrita en lo que antecede.
En otra realizacion, la subdivision de un bloque en bloques de transformada y los modos de codificacion residual (por ejemplo, tipos de transformada) de los bloques de transformada resultantes se infieren o predicen de manera adaptativa a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen. Esta realizacion es similar a la realizacion de la inferencia/prediccion adaptativa de la subdivision en bloques de prediccion y los parametros de prediccion para los bloques de prediccion resultantes descrita en lo que antecede.
En otra realizacion, la subdivision de un bloque en bloques de prediccion, los parametros de prediccion asociados, la informacion de subdivision de los bloques de prediccion y los modos de codificacion residual para los bloques de transformada se infieren o predicen de manera adaptativa a partir de un bloque coubicado ya codificado de un grupo de planos diferente para la misma imagen. Esta realizacion representa una combinacion de las realizaciones descritas en lo que antecede. Tambien es posible que solamente algunos de los parametros de codificacion mencionados se infieran o predigan.
Por lo tanto, la adopcion/prediccion inter-plano puede aumentar la eficacia de codificacion descrita en lo que antecede. Sin embargo, la ganancia de eficacia de codificacion por medio de la adopcion/prediccion inter-plano tambien esta disponible en caso de usar subdivisiones de bloque diferentes a las subdivisiones multi-arbol e independientemente de que este implementandose o no la fusion de bloques.
Las realizaciones descritas en lo que antecede con respecto a la adaptacion/prediccion inter-plano pueden aplicarse a codificadores y descodificadores de imagenes y video que dividen los planos de color de una imagen y, si las hubiera, las series de muestras auxiliares asociadas con una imagen en bloques, y que asocian estos bloques con parametros de codificacion. Para cada bloque, un conjunto de parametros de codificacion puede incluirse en el flujo de bits. Por ejemplo, estos parametros de codificacion pueden ser parametros que describen como un bloque se predice o descodifica en el lado del descodificador. Como ejemplos particulares, los parametros de codificacion pueden representar modos de prediccion de macrobloques o bloques, informacion de subdivision, modos de intra- prediccion, indices de referencia usados para la prediccion compensada por movimiento, parametros de movimiento tales como vectores de desplazamiento, modos de codificacion residual, coeficientes de transformada, etc. Las diferentes series de muestras que estan asociadas a una imagen pueden tener tamanos diferentes.
A continuacion se describe un esquema para una senalizacion mejorada de parametros de codificacion con un esquema de division basado en arboles como, por ejemplo, los descritos en lo que antecede con respecto a las figuras 1 a 8. Al igual que los otros esquemas, en concreto la fusion y la adopcion/prediccion inter-plano, los efectos y ventajas de los esquemas de senalizacion mejorada, lo que en lo sucesivo se denominara herencia, se describen independientemente de las realizaciones anteriores, a pesar de que los esquemas descritos a continuacion pueden combinarse con cualquiera de las realizaciones anteriores, ya sea de manera individual o combinada.
Generalmente, el esquema de codificacion mejorada para codificar informacion secundaria con un esquema de division basado en arboles, denominado herencia, descrito a continuacion, permite las siguientes ventajas con respecto a los esquemas convencionales de tratamiento de parametros de codificacion.
5
10
15
20
25
30
35
40
45
50
55
60
En la codificacion convencional de imagenes y v^deo, las imagenes o conjuntos particulares de series de muestras para las imagenes se descomponen normalmente en bloques que estan asociados con parametros de codificacion particulares. Las imagenes consisten normalmente en multiples series de muestras. Ademas, una imagen tambien puede asociarse con series de muestras auxiliares adicionales que, por ejemplo, pueden especificar informacion de transparencia o mapas de profundidad. Las series de muestras de una imagen (incluyendo series de muestras auxiliares) pueden agruparse en uno o mas denominados grupos de planos, donde cada grupo de planos consiste en una o mas series de muestras. Los grupos de planos de una imagen se pueden codificar de manera independiente o, si la imagen esta asociada a mas de un grupo de planos, con prediccion de otros grupos de planos de la misma imagen. Cada grupo de planos esta normalmente dividido en bloques. Los bloques (o los bloques correspondientes de series de muestras) se predicen mediante prediccion inter-imagen o prediccion intra-imagen. Los bloques pueden tener diferentes tamanos y pueden ser cuadraticos o rectangulares. La division de una imagen en bloques puede estar fijada por la sintaxis o puede senalizarse (al menos en parte) en el flujo de bits. Con frecuencia se transmiten elementos sintacticos que senalizan la subdivision para bloques de tamanos previamente definidos. Tales elementos sintacticos pueden especificar si y como un bloque esta subdividido en bloques mas pequenos y parametros de codificacion asociados, por ejemplo con fines predictivos. La descodificacion de los parametros de codificacion asociados se especifica de cierta manera para todas las muestras de un bloque (o los bloques correspondientes de series de muestras). En el ejemplo, todas las muestras de un bloque se predicen usando el mismo conjunto de parametros de prediccion, tales como indices de referencia (que identifican una imagen de referencia en el conjunto de imagenes ya codificadas), parametros de movimiento (que especifican una medida para el movimiento de un bloque entre una imagen de referencia y la imagen actual), parametros para especificar el filtro de interpolacion, modos de intra-prediccion, etc. Los parametros de movimiento pueden representarse mediante vectores de desplazamiento con una componente horizontal y una componente vertical o mediante parametros de movimiento de orden superior, tales como parametros de movimiento afines que consisten en seis componentes. Tambien es posible que mas de un conjunto de parametros de prediccion particulares (tales como indices de referencia y parametros de movimiento) esten asociados con un unico bloque. En ese caso, para cada conjunto de estos parametros de prediccion particulares, se genera una unica senal de prediccion intermedia para el bloque (o los bloques correspondientes de series de muestras), y la senal de prediccion final se genera mediante una combinacion que incluye superponer las senales de prediccion intermedias. Los parametros de ponderacion correspondientes y tambien, posiblemente, un desfase constante (que se anade a la suma ponderada) pueden fijarse para una imagen, una imagen de referencia o un conjunto de imagenes de referencia, o pueden incluirse en el conjunto de parametros de prediccion para el bloque correspondiente. Normalmente, la diferencia entre los bloques originales (o los bloques correspondientes de series de muestras) y sus senales de prediccion, tambien denominadas como la senal residual, se transforma y se cuantifica. Con frecuencia se aplica una transformada bidimensional a la senal residual (o las series de muestras correspondientes para el bloque residual). Para la codificacion de la transformada, los bloques (o los bloques correspondientes de series de muestras) para los que se ha usado un conjunto particular de parametros de prediccion, pueden dividirse adicionalmente antes de aplicar la transformada. Los bloques de transformada pueden ser iguales o mas pequenos que los bloques que se usan para la prediccion. Tambien es posible que un bloque de transformada incluya mas de uno de los bloques que se usan para la prediccion. Diferentes bloques de transformada pueden tener diferentes tamanos y los bloques de transformada pueden representar bloques cuadraticos o rectangulares. Despues de la transformada, los coeficientes de transformada resultantes se cuantifican, obteniendose los denominados niveles de coeficiente de transformada. Los niveles de coeficiente de transformada, asf como los parametros de prediccion y, si la hubiera, la informacion de subdivision, se codifican mediante entropfa.
En algunas normas de codificacion de imagen y video, las posibilidades de subdividir una imagen (o un grupo de planos) en bloques proporcionados por la sintaxis son muy limitadas. Normalmente, solo puede especificarse si (y posiblemente como) un bloque de un tamano previamente definido puede subdividirse en bloques mas pequenos. Como un ejemplo, el tamano de bloque mas grande en H.264 es de 16 x 16. Los bloques de 16 x 16 tambien se denominan macrobloques y cada imagen se divide en macrobloques en una primera etapa. Puede senalizarse si cada macrobloque de 16 x 16 se codifica como un bloque de 16 x 16, o como dos bloques de 16 x 8, o como dos bloques de 8 x 16, o como cuatro bloques de 8 x 8. Si un bloque de 16 x 16 se subdivide en cuatro bloques de 8 x 8, cada uno de estos bloques de 8 x 8 se puede codificar como un bloque de 8 x 8, o como dos bloques de 8 x 4, o como dos bloques de 4 x 8, o como cuatro bloques de 4 x 4. El pequeno conjunto de posibilidades para especificar la division en bloques en las normas de codificacion de imagenes y video de ultima generacion tiene la ventaja de que la tasa de informacion secundaria para senalizar la informacion de subdivision puede mantenerse baja, pero tiene la desventaja de que la velocidad binaria requerida para transmitir los parametros de prediccion para los bloques puede ser considerable, tal como se explica a continuacion. La tasa de informacion secundaria para senalizar la informacion de prediccion representa normalmente una cantidad importante de la velocidad binaria global para un bloque. La eficacia de la codificacion puede aumentarse cuando se reduce esta informacion secundaria, lo cual podna conseguirse, por ejemplo, utilizando tamanos de bloque mas grandes. Las imagenes reales de una secuencia de video consisten en objetos conformados de manera arbitraria con propiedades espedficas. Como un ejemplo, tales objetos o partes de los objetos se caracterizan por una textura unica o un movimiento unico. Normalmente, el mismo conjunto de parametros de prediccion puede aplicarse para tal objeto o parte de un objeto. Sin embargo, los contornos de los objetos no coinciden normalmente con los posibles lfmites de
5
10
15
20
25
30
35
40
45
50
55
60
bloque de los grandes bloques de prediccion (por ejemplo, macrobloques de 16 x 16 en H.264). Un codificador normalmente determina la subdivision (entre el conjunto limitado de posibilidades) que da como resultado el mmimo de una medida particular del coste velocidad-distorsion. En objetos conformados de manera arbitraria, esto puede dar como resultado un gran numero de pequenos bloques. Puesto que cada uno de estos pequenos bloques esta asociado a un conjunto de parametros de prediccion, que necesitan ser transmitidos, la tasa de informacion secundaria puede llegar a ser una parte considerable de la velocidad binaria global. Sin embargo, puesto que varios de los pequenos bloques siguen representando areas del mismo objeto o parte de un objeto, los parametros de prediccion para una pluralidad de los bloques obtenidos son identicos o muy similares. De manera intuitiva, la eficacia de la codificacion puede aumentarse cuando la sintaxis se amplfa de tal manera que no solo permite subdividir un bloque, sino tambien compartir parametros de codificacion entre los bloques que se obtienen despues de una subdivision. En una subdivision basada en arboles, la comparticion de parametros de codificacion para un conjunto de bloques dado puede conseguirse asignando los parametros de codificacion o partes de los mismos a uno o mas nodos padre de la jerarqrna basada en arboles. Como resultado, los parametros compartidos o partes de los mismos pueden usarse con el fin de reducir la informacion secundaria que es necesaria para senalizar la eleccion real de parametros de codificacion para los bloques obtenidos despues de la subdivision. La reduccion puede conseguirse omitiendo la senalizacion de parametros para bloques subsiguientes o usando el/los parametro(s) compartido(s) para la prediccion y/o la modelizacion de contexto de los parametros para bloques subsiguientes.
La idea basica del esquema de herencia descrito a continuacion es reducir la velocidad binaria necesaria para transmitir los parametros de codificacion compartiendo informacion a lo largo de la jerarqrna de bloques basada en arboles. La informacion compartida se senaliza en el flujo de bits (ademas de la informacion de subdivision). La ventaja del esquema de herencia es una mayor eficacia de codificacion resultante de una menor tasa de informacion secundaria para los parametros de codificacion.
Con el fin de reducir la tasa de informacion secundaria, de acuerdo con las realizaciones descritas en lo sucesivo, los parametros de codificacion respectivos para conjuntos particulares de muestras, es decir, regiones conectadas de manera simple que pueden representar bloques rectangulares o cuadraticos o regiones conformadas de manera arbitraria o cualquier otra coleccion de muestras de una subdivision multi-arbol, se senalizan en el flujo de datos de manera eficaz. El esquema de herencia descrito a continuacion permite que los parametros de codificacion no tengan que incluirse en su totalidad explfcitamente en el flujo de bits para cada uno de estos conjuntos de muestras. Los parametros de codificacion pueden representar parametros de prediccion, que especifican como el conjunto correspondiente de muestras se predice usando muestras ya codificadas. Muchas posibilidades y ejemplos se han descrito en lo que antecede y tambien se aplican en el presente caso. Como tambien se ha indicado en lo que antecede, y como se describira en detalle a continuacion en lo que respecta al siguiente esquema de herencia, la division basada en arboles de las series de muestras de una imagen en conjuntos de muestras puede fijarse por la sintaxis o puede senalizarse mediante informacion de subdivision correspondiente en el flujo de bits. Los parametros de codificacion para los conjuntos de muestras pueden transmitirse, tal como se ha descrito en lo que antecede, en un orden previamente definido que viene dado por la sintaxis.
De acuerdo con el esquema de herencia, el descodificador o el extractor 102 del descodificador esta configurado para obtener de manera espedfica la informacion referente a los parametros de codificacion de la region individual conectada de manera simple o de conjuntos de muestras. En particular, los parametros de codificacion o partes de los mismos, tales como los parametros que se usan con fines predictivos, se comparten entre bloques a lo largo del esquema de division dado basado en arboles, donde el grupo de comparticion a lo largo de la estructura en arbol es determinado por el codificador o la unidad de insercion 18, respectivamente. En una realizacion particular, la comparticion de los parametros de codificacion para todos los nodos hijo de un nodo interno dado del arbol de division se indica usando un indicador de comparticion espedfico de valores binarios. Como un enfoque alternativo, los refinamientos de los parametros de codificacion pueden transmitirse para cada nodo de tal modo que los refinamientos acumulados de parametros a lo largo de la jerarqrna de bloques basada en arboles pueden aplicarse a todos los conjuntos de muestras del bloque en un nodo hoja dado. En otra realizacion, partes de los parametros de codificacion que se transmiten para nodos internos a lo largo de la jerarqrna de bloques basada en arboles pueden usarse para una codificacion y descodificacion mediante entropfa adaptable al contexto de los parametros de codificacion o partes de los mismos para el bloque en un nodo hoja dado.
Las figuras 12a y 12b ilustran la idea basica de herencia para el caso espedfico de usar una division basada en arboles cuaternarios. Sin embargo, tal como se ha indicado varias veces en lo que antecede, otros esquemas de subdivision multi-arbol tambien pueden usarse. La estructura de arbol se muestra en la figura 12a, mientras que la division espacial correspondiente a la estructura de arbol de la figura 12a se muestra en la figura 12b. La division que se muestra en el presente caso es similar a la que se muestra con respecto a las figuras 3a a 3c. En terminos generales, el esquema de herencia permitira asignar informacion secundaria a nodos en diferentes capas que no son hojas en la estructura de arbol. Dependiendo de la asignacion de informacion secundaria a nodos en las diferentes capas del arbol, tal como los nodos internos del arbol de la figura 12a o el nodo rafz del mismo, pueden obtenerse diferentes grados de comparticion de informacion secundaria en la jerarqrna de bloques en arbol que se muestra en la figura 12b. Por ejemplo, si se decide que todos los nodos hoja de la capa 4 que, en el caso de la figura
5
10
15
20
25
30
35
40
45
50
55
60
12a, tienen el mismo nodo padre, compartan practicamente la informacion secundaria, esto significa que los bloques mas pequenos de la figura 12b indicados con 156a a 156d compartiran esta informacion secundaria, no siendo ya necesario transmitir toda la informacion secundaria para todos estos pequenos bloques 156a a 156d, es decir, cuatro veces, a pesar de que esto se mantiene como una opcion para el codificador. Sin embargo, tambien sera posible decidir que toda una region del nivel jerarquico 1 (capa 2) de la figura 12a, en concreto el cuadrante situado en la esquina superior derecha del bloque arbol 150 que incluye los sub-bloques 154a, 154b y 154d, asf como los sub-bloques aun mas pequenos 156a a 156d que acaban de mencionarse, sirve como una region en la que se comparten los parametros de codificacion. Por lo tanto, el area de comparticion de informacion secundaria aumenta. El siguiente nivel de aumento sera la suma total de los sub-bloques de capa 1, en concreto los sub-bloques 152a, 152c y 152d, y los bloques mas pequenos antes mencionados. Dicho de otro modo, en este caso, todo el bloque arbol tendra asignada al mismo informacion secundaria, donde todos los sub-bloques de este bloque arbol 150 comparten la informacion secundaria.
En la siguiente descripcion de herencia se usa la siguiente notacion para describir las realizaciones:
a. Muestras reconstruidas del nodo hoja actual: r
b. Muestras reconstruidas de hojas vecinas: r'
c. Prediccion del nodo hoja actual: p
d. Residuo del nodo hoja actual: Re s
e. Residuo reconstruido del nodo hoja actual: Re c Re s
f. Escalamiento y transformada inversa: SIT
g. Indicador de comparticion: f
Como un primer ejemplo de herencia puede describirse la senalizacion de intra-prediccion en los nodos internos. Espedficamente, se describe como senalizar modos de intra-prediccion en nodos internos de una division de bloques basada en arboles con fines de prediccion. Recorriendo el arbol desde el nodo rafz hasta los nodos hoja, los nodos internos (incluyendo el nodo rafz) pueden transferir partes de informacion secundaria que se utilizara por sus nodos hijo correspondientes. De manera mas espedfica, un indicador de comparticion f se transmite para nodos internos con el siguiente significado
• Si f tiene un valor de 1 ("verdadero"), todos los nodos hijo del nodo interno dado comparten el mismo modo de intra-prediccion. Ademas de que el indicador de comparticion f tenga un valor de 1, el nodo interno tambien senaliza el parametro de modo de intra-prediccion que se usara para todos los nodos hijo. En consecuencia, todos los nodos hijo subsiguientes no portan ninguna informacion de modo de prediccion ni tampoco ningun indicador de comparticion. Para la reconstruccion de todos los nodos hoja relacionados, el descodificador aplica el modo de intra-prediccion desde el nodo interno correspondiente.
• Si f tiene un valor de 0 ("falso"), los nodos hijo del nodo interno correspondiente no comparten el mismo modo de intra-prediccion y cada nodo hijo que sea un nodo interno porta un indicador de comparticion diferente.
La figura 12c ilustra la senalizacion de intra-prediccion en nodos internos como se ha descrito en lo que antecede. El nodo interno de la capa 1 transfiere el indicador de comparticion y la informacion secundaria que viene dada por la informacion de modo de intra-prediccion y los nodos hijo no portan ninguna informacion secundaria.
Como un segundo ejemplo de herencia puede describirse el refinamiento de inter-prediccion. Espedficamente, se describe como senalizar informacion secundaria de modos de inter-prediccion en nodos internos de una division de bloques basada en arboles con el fin de refinar los parametros de movimiento, como los proporcionados, por ejemplo, por los vectores de movimiento. Recorriendo el arbol desde el nodo rafz hasta los nodos hoja, los nodos internos (incluido el nodo rafz) pueden transferir partes de informacion secundaria que se refinara por sus nodos hijo correspondientes. De manera mas espedfica, un indicador de comparticion f se transmite para nodos internos con el siguiente significado:
• Si f tiene un valor de 1 ("verdadero"), todos los nodos hijo del nodo interno dado comparten la misma referencia de vector de movimiento. Ademas de que el indicador de comparticion f tenga un valor de 1, el nodo interno tambien senaliza el vector de movimiento y el mdice de referencia. Por consiguiente, todos los nodos hijo subsiguientes no portan ningun indicador de comparticion adicional sino que pueden portar un refinamiento de esta referencia de vector de movimiento heredada. Para la reconstruccion de todos los nodos hoja relacionados, el descodificador anade el refinamiento de vector de movimiento del nodo hoja dado a la referencia de vector de movimiento heredada que pertenece a este nodo padre interno correspondiente que tiene un indicador de comparticion f con un valor de 1. Esto significa que el refinamiento de vector de movimiento en un nodo hoja dado es la diferencia entre el vector de movimiento real que va a aplicarse para la prediccion compensada por movimiento en este nodo hoja y la referencia de vector de movimiento de su nodo padre interno correspondiente.
• Si f tiene un valor de 0 ("falso"), los nodos hijo del nodo interno correspondiente no comparten necesariamente el mismo modo de inter-prediccion y no se lleva a cabo ningun refinamiento de los parametros de movimiento en los nodos hijo usando los parametros de movimiento del nodo interno correspondiente y cada nodo hijo que es
5
10
15
20
25
30
35
40
45
50
55
60
un nodo interno porta un indicador de comparticion distinto.
La figura 12d ilustra el refinamiento de parametros de movimiento descrito en lo que antecede. El nodo interno de la capa 1 transfiere el indicador de comparticion e informacion secundaria. Los nodos hijo que sean nodos hoja solo portan los refinamientos de parametros de movimiento y, por ejemplo, el nodo hijo interno de la capa 2 no porta ninguna informacion secundaria.
A continuacion se hace referencia a la figura 13. La figura 13 muestra un diagrama de flujo que ilustra el modo de funcionamiento de un descodificador, tal como el descodificador de la figura 2, a la hora de reconstruir una serie de muestras de informacion que representan una senal de informacion de ejemplo espacial, que esta subdividida en regiones hoja de diferentes tamanos mediante subdivision multi-arbol, a partir de un flujo de datos. Tal y como se ha descrito en lo que antecede, cada region hoja tiene asociado a la misma un nivel jerarquico de una secuencia de niveles jerarquicos de la subdivision multi-arbol. Por ejemplo, todos los bloques que se muestran en la figura 12b son regiones hoja. La region hoja 156c, por ejemplo, esta asociada con la capa jerarquica 4 (o nivel 3). Cada region hoja tiene, asociada a la misma, unos parametros de codificacion. Ejemplos de estos parametros de codificacion se han descrito en lo que antecede. Los parametros de codificacion estan representados, para cada region hoja, mediante un conjunto respectivo de elementos sintacticos. Cada elemento sintactico es uno de un tipo de elemento sintactico respectivo de un conjunto de tipos de elementos sintacticos. Tal tipo de elemento sintactico es, por ejemplo, un modo de prediccion, una componente de vector de movimiento, una indicacion de un modo de intra-prediccion o similar. De acuerdo con la figura 13, el descodificador lleva a cabo las siguientes etapas.
En la etapa 550 se extrae informacion de herencia del flujo de datos. En el caso de la figura 2, el extractor 102 se encarga de la etapa 550. La informacion de herencia indica si se usa herencia o no en la serie actual de muestras de informacion. La siguiente descripcion revelara que hay varias posibilidades para la informacion de herencia tal como, entre otras, el indicador de comparticion f y la senalizacion de una estructura multi-arbol dividida en una parte primaria y una parte secundaria.
La serie de muestras de informacion puede ser ya una subparte de una imagen, tal como un bloque arbol, en concreto en bloque arbol 150 de la figura 12b, por ejemplo. Por lo tanto, la informacion de herencia indica si se usa herencia o no para el bloque arbol espedfico 150. Tal informacion de herencia puede insertarse en el flujo de datos para todos los bloques arbol de la subdivision de prediccion, por ejemplo.
Ademas, si se determina que se usa la herencia, la informacion de herencia indica al menos una region de herencia de la serie de muestras de informacion, que esta compuesta por un conjunto de regiones hoja y corresponde a un nivel jerarquico de la secuencia de niveles jerarquicos de la subdivision multi-arbol, que es inferior a cada uno de los niveles jerarquicos con los que el conjunto de regiones hoja esta asociado. Dicho de otro modo, la informacion de herencia indica si va a usarse la herencia o no en la serie de muestras actual, tal como el bloque arbol 150. Si es asf, denota al menos una region o subregion de herencia de este bloque arbol 150, dentro del cual las regiones hoja comparten parametros de codificacion. Por lo tanto, la region de herencia puede no ser una region hoja. En el ejemplo de la figura 12b, esta region de herencia puede ser, por ejemplo, la region formada por los sub-bloques 156a a 156b. Como alternativa, la region de herencia puede ser mayor y puede abarcar ademas los sub-bloques 154a, b y c, e incluso como alternativa, la region de herencia puede ser el propio bloque arbol 150, donde todos los bloques hoja del mismo comparten los parametros de codificacion asociados con esa region de herencia.
Sin embargo, debe observarse que mas de una region de herencia puede definirse en una serie de muestras o bloque arbol 150, respectivamente. Considerese, por ejemplo, que el sub-bloque inferior izquierdo 152c tambien esta divido en bloques mas pequenos. En este caso, el sub-bloque 152c tambien podna formar una region de herencia.
En la etapa 552, la informacion de herencia se comprueba para determinar si va a usarse herencia o no. Si va a usarse herencia, el proceso de la figura 13 procede con la etapa 554, en la que un subconjunto de herencia que incluye al menos un elemento sintactico de un tipo de elemento sintactico predeterminado se extrae del flujo de datos por region de inter-herencia. En la siguiente etapa 556, este subconjunto de herencia se copia en, o se usa como una prediccion de un subconjunto de herencia correspondiente de elementos sintacticos dentro del conjunto de elementos sintacticos que representan los parametros de codificacion asociados con el conjunto de regiones hoja de las que la al menos una region de herencia respectiva esta compuesta. Dicho de otro modo, para cada region de herencia indicada en la informacion de herencia, el flujo de datos comprende un subconjunto de herencia de elementos sintacticos. Dicho de otro modo, la herencia pertenece a al menos un determinado tipo de elemento sintactico o categona de elemento sintactico que esta disponible para la herencia. Por ejemplo, el elemento sintactico de modo de prediccion, modo de inter-prediccion o modo de intra-prediccion puede estar sujeto a herencia. Por ejemplo, el subconjunto de herencia incluido en el flujo de datos para la region de herencia puede comprender un elemento sintactico de modo de inter-prediccion. El subconjunto de herencia tambien puede comprender elementos sintacticos adicionales cuyos tipos de elemento sintactico dependen del valor del tipo de elemento sintactico fijado mencionado en lo que antecede asociado con el esquema de herencia. Por ejemplo, en caso de que el modo de inter-prediccion sea una componente fija del subconjunto de herencia, los elementos
5
10
15
20
25
30
35
40
45
50
55
60
sintacticos que definen la compensacion de movimiento, tal como las componentes de vector de movimiento, pueden estar incluidos o no en el subconjunto de herencia mediante la sintaxis. Considerese, por ejemplo, que el cuadrante superior derecho del bloque arbol 150, en concreto el sub-bloque 152b, era la region de herencia; entonces, para esta region de herencia puede indicarse o bien solamente el modo de inter-prediccion o bien el modo de inter-prediccion junto con vectores de movimiento e indices de vectores de movimiento.
Todos los elementos sintacticos contenidos en el subconjunto de herencia se copian o usan como una prediccion de los parametros de codificacion correspondientes de los bloques hoja en esa region de herencia, es decir, los bloques hoja 154a, b, d y 156a a 156d. En caso de usar prediccion, las partes residuales se transmiten para los bloques hoja individuales.
Una posibilidad para transmitir la informacion de herencia para el bloque arbol 150 es la transmision mencionada en lo que antecede de un indicador de comparticion f. La extraccion de la informacion de herencia en la etapa 550 podna, en este caso, comprender lo siguiente. En particular, el descodificador podna estar configurado para extraer y comprobar, para regiones que no son hoja correspondientes a cualquiera de un conjunto de herencia de al menos un nivel jerarquico de la subdivision multi-arbol, usando un orden de nivel jerarquico desde un nivel jerarquico inferior a un nivel jerarquico superior, el indicador de comparticion f del flujo de datos para determinar si el indicador de herencia respectivo o indicador de comparticion indica herencia o no. Por ejemplo, el conjunto de herencia de niveles jerarquicos podna estar formado por las capas jerarquicas 1 a 3 de la figura 12a. Por lo tanto, cualquiera de los nodos de la estructura de subarbol que no sea un nodo hoja y que este en cualquiera de las capas 1 a 3 puede tener un indicador de comparticion asociado al mismo en el flujo de datos. El descodificador extrae estos indicadores de comparticion en el orden desde la capa 1 hasta la capa 3, tal como en un orden de recorrido de primero en profundidad o de primero en anchura. En cuanto uno de los indicadores de comparticion sea igual a 1, el descodificador sabe que los bloques hoja contenidos en una region de herencia correspondiente comparten el subconjunto de herencia extrafdo posteriormente en la etapa 554. Para los nodos hijo del nodo actual, ya no es necesaria una comprobacion de los indicadores de herencia. Dicho de otro modo, los indicadores de herencia para estos nodos hijo no se transmiten en el flujo de datos, ya que resulta evidente que el area de estos nodos ya pertenece a la region de herencia dentro de la cual se comparte el subconjunto de herencia de elementos sintacticos.
Los indicadores de comparticion f pueden entrelazarse con los bits mencionados en lo que antecede que senalizan la subdivision en arboles cuaternarios. Por ejemplo, una secuencia de bits de entrelazado que incluye indicadores de subdivision e indicadores de comparticion puede ser:
10001101(0000)000,
que es la misma informacion de subdivision que la ilustrada en la figura 6a con dos indicadores de comparticion intercalados, que estan resaltados mediante subrayado, con el fin de indicar que en la figura 3c todos los sub- bloques del cuadrante inferior izquierdo del bloque arbol 150 comparten parametros de codificacion.
Otro modo de definir la informacion de herencia que indica la region de herencia consiste en usar dos subdivisiones definidas de manera subordinada entre sf como se ha explicado en lo que antecede con respecto a la prediccion y la subdivision residual, respectivamente. En terminos generales, los bloque hoja de la subdivision primaria podnan formar la region de herencia que define las regiones dentro de las cuales se comparten los subconjuntos de herencia de elementos sintacticos, mientras que la subdivision subordinada define los bloques dentro de estas regiones de herencia para los que el subconjunto de herencia de elementos sintacticos se copian o usan como una prediccion.
Considerese, por ejemplo, el arbol residual como una extension del arbol de prediccion. Considerese, ademas, el caso en que los bloques de prediccion pueden dividirse adicionalmente en bloques mas pequenos con fines de codificacion residual. Para cada bloque de prediccion que corresponde a un nodo hoja del arbol cuaternario relacionado con la prediccion, la subdivision correspondiente para la codificacion residual se determina mediante uno o mas arboles cuaternarios subordinados.
En este caso, en lugar de usar cualquier senalizacion de prediccion en nodos internos, se considera que el arbol residual se interpreta de tal manera que tambien especifica un refinamiento del arbol de prediccion en el sentido de usar un modo de prediccion constante (senalizado mediante el nodo hoja correspondiente del arbol relacionado con la prediccion) pero con muestras de referencia refinadas. El siguiente ejemplo ilustra este caso.
Por ejemplo, las figuras 14a y 14b muestran una division en arboles cuaternarios para la intra-prediccion, donde las muestras de referencia vecinas estan resaltadas para un nodo hoja espedfico de la subdivision primaria, mientras que la figura 14b muestra la subdivision en arboles cuaternarios residuales para el mismo nodo hoja de prediccion con muestras de referencia refinadas. Todos los sub-bloques que se muestran en la figura 14b comparten los mismos parametros de inter-prediccion incluidos en el flujo de datos para el bloque hoja respectivo resaltado en la figura 14a. Por lo tanto, la figura 14a muestra un ejemplo para la division convencional en arboles cuaternarios para
5
10
15
20
25
30
35
40
45
50
55
60
la intra-prediccion, donde se muestran las muestras de referencia para un nodo hoja espedfico. Sin embargo, en esta realizacion preferida se calcula una senal de intra-prediccion diferente para cada nodo hoja del arbol residual usando muestras vecinas de nodos hoja ya reconstruidos del arbol residual, por ejemplo los indicados por las lmeas sombreadas de la figura 4(b). Despues, la senal reconstruida de un nodo hoja residual dado se obtiene de la manera habitual anadiendo la senal residual cuantificada a esta senal de prediccion. Esta senal reconstruida se usa entonces como una senal de referencia para el proceso de prediccion subsiguiente. Debe observarse que el orden de descodificacion para la prediccion es el mismo que el orden de descodificacion residual.
En el proceso de descodificacion, como el que se muestra en la figura 15, para cada nodo hoja residual, la senal de prediccion p se calcula de acuerdo con el modo de intra-prediccion real (como se indica mediante el nodo hoja de arbol cuaternario relacionado con la prediccion) usando las muestras de referencia r'.
Re c Re s = SIT (Re s)
Despues de proceso SIT, la senal reconstruida r se calcula y almacena para el siguiente proceso de calculo de prediccion:
r = Re c Re s + p
El orden de descodificacion para la prediccion es el mismo que el orden de descodificacion residual, que se ilustra en la figura 16.
Cada nodo hoja residual se descodifica como se describe en el parrafo anterior. La senal r reconstruida se almacena en una memoria intermedia, tal como se muestra en la figura l6. Las muestras de referencia r' se extraeran de esta memoria intermedia para el proceso de prediccion y descodificacion subsiguiente.
Despues de haber descrito realizaciones espedficas con respecto a las figuras 1 a 16 con diferentes subconjuntos combinados de los aspectos descritos en lo que antecede, se describen realizaciones adicionales de la presente solicitud que se centran en determinados aspectos ya descritos en lo que antecede, pero realizaciones que representan generalizaciones de algunas de las realizaciones descritas en lo que antecede.
En particular, las realizaciones que se han descrito en lo que antecede con respecto al marco de las figuras 1 y 2 principalmente combinaban muchos aspectos de la presente aplicacion, lo que tambien sena ventajoso cuando se empleara en otras aplicaciones u otros campos de codificacion. Tal como se ha mencionado con frecuencia durante el analisis anterior, la subdivision multi-arbol, por ejemplo, se puede usar sin fusion y/o sin adopcion/prediccion inter- plano y/o sin herencia. Por ejemplo, la transmision del maximo tamano de bloque, el uso del orden de recorrido de primero en profundidad, dependiendo la adaptacion al contexto del nivel de jerarqrna del respectivo indicador de subdivision y la transmision del maximo nivel de jerarqrna dentro del flujo de bits con el fin de ahorrar tasa de bits de informacion secundaria, la totalidad de estos aspectos son ventajosamente independientes entre sr Esto tambien es cierto cuando se considera el esquema de fusion. La fusion es ventajosamente independiente de la forma exacta en la que una imagen se subdivide en regiones conectadas de manera simple y es ventajosamente independiente de la existencia de mas de una serie de muestras o el uso de adopcion/prediccion inter-plano y/o herencia. Lo mismo es de aplicacion a las ventajas involucradas con la adopcion/prediccion inter-plano y la herencia.
Por consiguiente, las realizaciones que se esbozan en lo siguiente generalizan las realizaciones que se han mencionado en lo que antecede en lo que concierne a aspectos referentes a la fusion. Debido a que las siguientes realizaciones representan generalizaciones de las realizaciones que se han descrito en lo que antecede, muchos de los detalles que se han esbozado en lo que antecede se pueden considerar como combinables con las realizaciones que se describen en lo siguiente.
La figura 17 muestra un descodificador de acuerdo con una realizacion de la presente aplicacion. El descodificador de la figura 17 comprende un extractor 600 y un reconstructor 602. El extractor 600 esta configurado para extraer, para cada una de una pluralidad de regiones conectadas de manera simple en las que se subdivide una serie de muestras de informacion que representan una senal de informacion espacialmente muestreada, unos datos de cabida util a partir de un flujo de datos 604. Tal como se ha descrito en lo que antecede, las regiones conectadas de manera simple en las que se subdivide la serie de muestras de informacion pueden provenir de una subdivision multi-arbol y pueden ser de forma cuadratica o rectangular. Ademas, las realizaciones que se describen espedficamente para subdividir una serie de muestras son meramente unas realizaciones espedficas y se pueden usar asimismo otras subdivisiones. Algunas posibilidades se muestran en las figuras 18a a c. La figura 18a, por ejemplo, muestra la subdivision de una serie de muestras 606 en una disposicion bidimensional regular de bloques arbol no superpuestos 608 que hacen contacto a tope entre sf con algunos de los cuales subdividiendose de acuerdo con una estructura multi-arbol en sub-bloques 610 de diferentes tamanos. Tal como se ha mencionado en lo que antecede, a pesar de que en la figura 18a se ilustra una subdivision en arboles cuaternarios, tambien es posible una division de cada nodo padre en cualquier otro numero de nodos hijo. La figura 18b muestra una realizacion de acuerdo con la cual una serie de muestras 606 se subdivide en sub-bloques de diferentes tamanos mediante la
5
10
15
20
25
30
35
40
45
50
55
60
aplicacion de una subdivision multi-arbol directamente sobre la totalidad de la serie de pfxeles 606. Es decir, la totalidad de la serie de pfxeles 606 se trata como el bloque arbol. La figura 18c muestra otra realizacion. De acuerdo con esta realizacion, la serie de muestras esta estructurada en una disposicion bidimensional regular de macrobloques de formas cuadraticas o rectangulares que hacen contacto a tope entre sf y cada uno de estos macrobloques 612 esta asociado de forma individual con una informacion de division de acuerdo con la cual un macrobloque 612 se deja sin dividir o se divide en una disposicion bidimensional regular de bloques de un tamano que se indica mediante la informacion de division. Tal como puede verse, la totalidad de las subdivisiones de las figuras 13a a 13c conducen a una subdivision de la serie de muestras 606 en regiones conectadas de manera simple que son a modo de ejemplo, de acuerdo con las realizaciones de las figuras 18a a 18c, no superpuestas. No obstante, son posibles varias alternativas. Por ejemplo, los bloques se pueden solapar entre su La superposicion puede, no obstante, restringirse hasta tal punto que cada bloque tenga una porcion no solapada por ningun bloque colindante, o de tal modo que cada muestra de los bloques este solapada por, como maximo, un bloque de entre los bloques colindantes dispuesto en yuxtaposicion con respecto al bloque actual a lo largo de una direccion predeterminada. Esto ultimo quenia decir que los bloques vecinos a derecha y a izquierda se pueden solapar con el bloque actual con el fin de cubrir por completo el bloque actual pero que estos no pueden superponerse entre sf, y lo mismo es de aplicacion a los vecinos en una direccion en vertical y en diagonal.
Tal como se ha descrito en lo que antecede con respecto a las figuras 1 a 16, la serie de muestras de informacion no representan necesariamente una imagen de un video o una imagen fija. La serie de muestras 606 tambien podna representar un mapa de profundidad o un mapa de transparencia de alguna escena.
Los datos de cabida util que estan asociados con cada una de la pluralidad de regiones conectadas de manera simple pueden, tal como ya se ha analizado en lo que antecede, comprender datos residuales en un dominio espacial o en un dominio de transformada tal como coeficientes de transformada y un mapa de importancia que identifica las posiciones de coeficientes de transformada significativos dentro de un bloque de transformada que se corresponde con un bloque residual. Hablando en terminos generales, los datos de cabida util que son extrafdos por el extractor 600 para cada region conectada de manera simple a partir del flujo de datos 604 son unos datos que describen espacialmente su region conectada de manera simple asociada o bien en el dominio espacial o bien en un dominio espectral y o bien directamente o bien como un residuo para algun tipo de prediccion de la misma, por ejemplo.
El reconstructor 602 esta configurado para reconstruir la serie de muestras de informacion a partir de los datos de cabida util para las regiones conectadas de manera simple de la serie de muestras de informacion mediante el procesamiento, para cada region conectada de manera simple, de los datos de cabida util para las regiones conectadas de manera simple respectivas de una forma prescrita por unos parametros de codificacion que estan asociados con las regiones conectadas de manera simple respectivas. De forma similar al analisis anterior, los parametros de codificacion pueden ser parametros de prediccion y por consiguiente, las regiones conectadas de manera simple que se muestran en las figuras 18a a 18b se pueden corresponder con los bloques de prediccion que se han mencionado en lo que antecede, es decir, bloques en unidades de las cuales el flujo de datos 604 define detalles de prediccion para predecir las regiones conectadas de manera simple individuales. No obstante, los parametros de codificacion no se restringen a parametros de prediccion. Los parametros de codificacion podnan indicar una transformada que se usa para transformar los datos de cabida util o podnan definir un filtro para su uso en la reconstruccion de las regiones conectadas de manera simple individuales cuando se reconstruye la serie de muestras de informacion.
El extractor 600 esta configurado para identificar, para una region conectada de manera simple predeterminada, las regiones conectadas de manera simple dentro de la pluralidad de regiones conectadas de manera simple que tienen una relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada. Detalles en lo que respecta a esta etapa se han descrito en lo que antecede con respecto a la etapa 450. Es decir, ademas de la relacion de posicion relativa predeterminada, la identificacion puede depender de un subconjunto de los parametros de codificacion que estan asociados con la region conectada de manera simple predeterminada. Despues de la identificacion, el extractor 600 extrae un indicador de fusion para la region conectada de manera simple predeterminada a partir del flujo de datos 604. Si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada es mayor que cero. Esto se corresponde con la descripcion anterior de las etapas 452 y 454. Si el indicador de fusion sugiere como un procesamiento de fusion del bloque predeterminado, el extractor 600 esta configurado para comprobar si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada es uno, o si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada es mayor que uno siendo, no obstante, sus parametros de codificacion identicos entre su Si es de aplicacion una de ambas alternativas, el extractor adopta los parametros de codificacion o los usa para una prediccion de los parametros de codificacion de la region conectada de manera simple predeterminada o el subconjunto restante de la misma, exactamente tal como se ha descrito en lo que antecede con respecto a las etapas 458 a 468. Tal como se describio en lo que antecede con respecto a la figura 10, un indicador adicional
5
10
15
20
25
30
35
40
45
50
55
60
puede ser ex^do por el extractor 600 a partir del flujo de datos 604 en el caso de que las ultimas comprobaciones revelen que el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con la region conectada de manera simple predeterminada es mayor que uno y tengan unos parametros de codificacion diferentes entre sf.
Mediante el uso de las ultimas comprobaciones, la transmision de un indicador adicional que indica una o un subconjunto de las regiones conectadas de manera simple candidatas se puede suprimir, reduciendo de ese modo la tara de informacion secundaria.
La figura 19 muestra la estructura general de un codificador para generar un flujo de datos descodificable por el descodificador de la figura 17. El codificador de la figura 19 comprende un generador de datos 650 y una unidad de insercion 652. El generador de datos 650 esta configurado para codificar la serie de muestras de informacion en datos de cabida util para cada una de una pluralidad de regiones interconectadas en las que se subdivide la serie de muestras de informacion, junto con parametros de codificacion asociados, que estan asociados con las regiones conectadas de manera simple respectivas con el fin de indicar como se ha de reconstruir los datos de cabida util para la region conectada de manera simple respectiva. La unidad de insercion 652 realiza la identificacion y comprueba como lo hizo el extractor 600 del descodificador de la figura 12, pero realiza una insercion del indicador de fusion en lugar de su extraccion, y suprime una insercion de parametros de codificacion en el flujo de datos o sustituye una insercion de los parametros de codificacion en el flujo de datos en su totalidad mediante una insercion del respectivo residuo de prediccion en lugar de la adopcion/prediccion que se ha descrito en lo que antecede con respecto a la figura 12 y la figura 10, respectivamente.
Ademas, se debena hacer notar que la estructura del codificador de la figura 19 es bastante esquematica y, de hecho, la determinacion de los datos de cabida util, los parametros de codificacion y el indicador de fusion puede ser un proceso iterativo. Por ejemplo, si los parametros de codificacion de regiones conectadas de manera simple colindantes son similares, pero no identicos entre sf, un proceso iterativo puede determinar que renunciar a las pequenas diferencias entre estos parametros de codificacion puede preferirse frente a senalizar estas diferencias al descodificador cuando se considera que el indicador de fusion posibilita suprimir completamente los parametros de codificacion de una de las regiones conectadas de manera simple y sustituir el envfo de estos parametros de codificacion en su totalidad por el envfo de solo un residuo.
La figura 20 muestra una realizacion adicional para un descodificador. El descodificador de la figura 20 comprende un subdivisor 700, un fusionador 702 y un reconstructor 704. El subdivisor esta configurado para subdividir espacialmente, dependiendo de si el subconjunto de elementos de sintaxis contenidos en el flujo de datos, una serie de muestras que representan un muestreo espacial de la senal de informacion bidimensional en una pluralidad de regiones conectadas de manera simple no superpuestas de diferentes tamanos mediante una multidivision recursiva. Por lo tanto, la multidivision se puede corresponder con las realizaciones que se han esbozado en lo que antecede con respecto a las figuras 1 a 16 o la figura 18a, respectivamente, o a la figura 18b. El elemento de sintaxis contenido en el flujo de datos para indicar la subdivision, se puede definir tal como se ha indicado en lo que antecede con respecto a las figuras 6a y 6b o de una forma alternativa.
El fusionador 702 esta configurado para combinar, dependiendo de un segundo subconjunto de elementos de sintaxis en el flujo de datos, que es disjunto con respecto al primer subconjunto, unas regiones conectadas de manera simple espacialmente colindantes de la pluralidad de regiones conectadas de manera simple para obtener una subdivision intermedia de la serie de muestras en conjuntos disjuntos de regiones conectadas de manera simple, la union de las cuales tiene la pluralidad de regiones conectadas de manera simple. Dicho de otra forma, el fusionador 702 combina las regiones conectadas de manera simple y las asigna de una forma unica a unos grupos de fusion de regiones conectadas de manera simple. El segundo subconjunto de elementos de sintaxis que se acaban de mencionar, que indica la informacion de fusion se puede definir de la forma que se ha presentado en lo que antecede con respecto a la figura 19 y la figura 10, respectivamente, o de alguna otra forma. La capacidad, no obstante, de que el codificador indique una subdivision mediante el uso de un subconjunto disjunto con respecto al subconjunto mediante el cual se indica la fusion, aumenta la libertad del codificador para adaptar la subdivision de la serie de muestras al contenido real de la serie de muestras de tal modo que se puede aumentar la eficiencia de la codificacion. El reconstructor 704 esta configurado para reconstruir la serie de muestras a partir del flujo de datos usando la subdivision intermedia. Tal como se ha indicado en lo que antecede, el reconstructor puede aprovechar la subdivision intermedia mediante la adopcion/prediccion de parametros de codificacion de companeros de fusion para una region conectada de manera simple actual. Como alternativa, el reconstructor 704 puede incluso aplicar una transformacion o un proceso de prediccion a la region combinada del grupo fusionado de regiones conectadas de manera simple.
La figura 21 muestra un posible codificador para generar un flujo de datos descodificable por el descodificador de la figura 15. El codificador comprende una fase de subdivision/fusion 750 y un generador de flujo de datos 752. La fase de subdivision/fusion esta configurada para determinar una subdivision intermedia de una serie de muestras de informacion que representan un muestreo espacial de una senal de informacion bidimensional y dos conjuntos
5
10
15
20
25
30
35
40
45
50
55
60
disjuntos de regiones conectadas de manera simple, la union de las cuales es la pluralidad de regiones conectadas de manera simple, con la definicion de esta subdivision intermedia por medio de un primer subconjunto de elementos de sintaxis de acuerdo con los cuales la serie de muestras de informacion se subdivide en una pluralidad de regiones conectadas de manera simple no superpuestas de diferentes tamanos mediante una multidivision recursiva, y un segundo subconjunto de elementos de sintaxis que es disjunto con respecto al primer subconjunto de acuerdo con lo cual, unas regiones conectadas de manera simple espacialmente colindantes de la pluralidad de regiones conectadas de manera simple se combinan para obtener la subdivision intermedia. El generador de flujo de datos 752 usa la subdivision intermedia con el fin de codificar la serie de muestras de informacion en el flujo de datos. La fase de subdivision/fusion 750 inserta tambien el primer y el segundo subconjuntos en el flujo de datos.
Una vez mas, al igual que en el caso de la figura 14, el proceso de determinacion del primer y el segundo subconjuntos y los elementos de sintaxis que son generados por el generador de flujo de datos 752 puede ser un proceso que opera de forma iterativa. Por ejemplo, la fase de subdivision/fusion 750 puede determinar de forma preliminar una subdivision optima en la que, despues de que el generador de flujo de datos 752 haya determinado un conjunto optimo correspondiente de elementos de sintaxis para codificar la serie de muestras usando la subdivision de muestra con la fase de subdivision/fusionador, ajustando entonces el elemento de sintaxis que describe la fusion de tal modo que se reduce la tara de informacion secundaria. No obstante, el proceso de codificacion no puede detenerse aqrn. En su lugar, la fase de subdivision/fusion 750 junto con el generador de flujo de datos 752 pueden cooperar para intentar desviarse con respecto a los ajustes optimos de la subdivision y los elementos de sintaxis predeterminados por el generador de flujo de datos 752 con el fin de determinar si se logra una mejor tasa/relacion de distorsion al aprovechar las propiedades positivas de la fusion.
Tal como se ha descrito antes, las realizaciones que se describen con respecto a las figuras 17 a 21 representan generalizaciones de las realizaciones que se han descrito antes con respecto a las figuras 1 a 16 y por consiguiente, es posible asociar, de forma unica, elementos de las figuras 1 a 16 con los elementos que se muestran en las figuras 17 a 21. Por ejemplo, el extractor 102 junto con el subdivisor 104a y el fusionador 104b asume la responsabilidad de las tareas que van a ser realizadas por el extractor 600 de la figura 17. El subdivisor es responsable de la subdivision y la gestion de las relaciones en el vecindario entre las regiones conectadas de manera simple individuales. El fusionador 104b, a su vez, gestiona la fusion de regiones conectadas de manera simple en un grupo y ubica los parametros de codificacion correctos que se van a copiar o que se van a usar como una prediccion para las regiones conectadas de manera simple actuales en el caso de que un evento de fusion se indique mediante una informacion de fusion actualmente descodificada. El extractor 102 asume la responsabilidad de la extraccion de datos real a partir del flujo de datos usando el contexto correcto en el caso de usar descodificacion por entropfa para la extraccion de datos. Los elementos restantes de la figura 2 son un ejemplo para el reconstructor 602. Por supuesto, el reconstructor 602 se puede materializar de forma diferente a como se muestra en la figura 2. Por ejemplo, el reconstructor 602 no puede usar una prediccion compensada por movimiento y/o intra-prediccion. En su lugar, tambien poddn ser de aplicacion otras posibilidades.
Ademas, tal como se ha mencionado en lo que antecede, las regiones conectadas de manera simple que se mencionan en conexion con la descripcion de la figura 17, se corresponden, tal como ya se ha indicado en lo que antecede, o bien con los bloques de prediccion que se han mencionado en lo que antecede o bien con cualquiera de las otras subdivisiones que se han mencionado en lo que antecede, como la subdivision residual o la subdivision de filtro.
Cuando se compara el codificador de la figura 19 con el ejemplo de la figura 1, el generador de datos 650 abarcad todos los elementos ademas de la unidad de insercion de flujo de datos 18 mientras que este ultimo se corresponded con la unidad de insercion 652 de la figura 19. Una vez mas, el generador de datos 650 podd usar un enfoque de codificacion diferente del enfoque de codificacion hforido que se muestra en la figura 1.
Cuando se compara el descodificador de la figura 20 con el ejemplo que se muestra en la figura 2, los subdivisores 104a y el fusionador 104b se correspondedn con el subdivisor 100 y el fusionador 102 de la figura 20, respectivamente, mientras que los elementos 106 y 114 se correspondenan con el reconstructor 704. El extractor 102 participad, por lo general, en la funcionalidad de la totalidad de los elementos que se muestran en la figura 20.
En lo que respecta al codificador de la figura 21, la fase de subdivision/fusion 750 se corresponded con el subdivisor 28 y el fusionador 30, mientras que el generador de flujo de datos 752 abarcad la totalidad de los otros elementos que se muestran en la figura 10. A pesar de que algunos aspectos se han descrito en el contexto de un aparato, resulta evidente que estos aspectos tambien representan una descripcion del metodo correspondiente, donde un bloque o dispositivo corresponde a una etapa del metodo o a una caractedtica de una etapa del metodo. De manera analoga, aspectos descritos en el contexto de una etapa del metodo tambien representan una descripcion de un bloque, elemento o caractedtica correspondiente de un aparato correspondiente. Algunas o todas las etapas del metodo pueden ejecutarse mediante (o usando) un aparato de soporte ffsico, como por ejemplo un microprocesador, un ordenador programable o un circuito electronico. En algunas realizaciones, alguna o mas de las etapas del metodo mas importantes pueden ejecutarse por un aparato de este tipo.
5
10
15
20
25
30
35
40
45
50
55
Las senales codificadas/comprimidas inventivas pueden almacenarse en un medio de almacenamiento digital o pueden transmitirse en un medio de transmision tal como un medio de transmision inalambrico o un medio de transmision cableado, tal como Internet.
Dependiendo de determinados requisitos de implementacion, las realizaciones de la invencion pueden implementarse en soporte ffsico o en soporte logico. La implementacion puede llevarse a cabo usando un medio de almacenamiento digital, por ejemplo un disco flexible, un DVD, un Blu-Ray, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, que tenga senales de control electronicamente legibles almacenadas en el mismo, que actuan conjuntamente (o pueden actuar conjuntamente), con un sistema informatico programable de tal modo que se lleve a cabo el metodo respectivo. Por lo tanto, el medio de almacenamiento digital puede ser lefdo por un ordenador.
Algunas realizaciones de acuerdo con la invencion comprenden un portador de datos que tiene senales de control legibles electronicamente que pueden actuar conjuntamente con un sistema informatico programable de tal modo que se lleve a cabo uno de los metodos descritos en el presente documento.
Generalmente, las realizaciones de la presente invencion pueden implementarse como un producto de programa informatico con un codigo de programa, pudiendo hacerse funcionar el codigo de programa para llevar a cabo uno de los metodos cuando el producto de programa informatico se ejecuta en un ordenador. El codigo de programa puede almacenarse, por ejemplo, en un portador legible por maquina.
Otras realizaciones comprenden el programa informatico para llevar a cabo uno de los metodos descritos en el presente documento, almacenado en un portador legible por maquina.
Dicho de otro modo, una realizacion del metodo inventivo es, por lo tanto, un programa informatico que tiene un codigo de programa para llevar a cabo uno de los metodos descritos en el presente documento, cuando el programa informatico se ejecuta en un ordenador.
Una realizacion adicional de los metodos inventivos es, por lo tanto, un portador de datos (o un medio de almacenamiento digital, o un medio legible por ordenador) que comprende, grabado en el mismo, el programa informatico para llevar a cabo uno de los metodos descritos en el presente documento.
Una realizacion adicional del metodo inventivo es, por lo tanto, un flujo de datos o una secuencia de senales que representan el programa informatico para llevar a cabo uno de los metodos descritos en el presente documento. El flujo de datos o la secuencia de senales pueden estar configurados, por ejemplo, para transferirse a traves de una conexion de comunicaciones de datos, por ejemplo a traves de Internet.
Una realizacion adicional comprende un medio de procesamiento, por ejemplo un ordenador o un dispositivo de logica programable, configurado o adaptado para llevar a cabo uno de los metodos descritos en el presente documento.
Una realizacion adicional comprende un ordenador que tiene instalado en el mismo el programa informatico para llevar a cabo uno de los metodos descritos en el presente documento.
En algunas realizaciones, un dispositivo de logica programable (por ejemplo, una serie de puertas de campo programable) puede usarse para llevar a cabo algunas o todas las funcionalidades de los procedimientos descritos en el presente documento. En algunas realizaciones, una serie de puertas de campo programable puede actuar conjuntamente con un microprocesador para llevar a cabo uno de los metodos descritos en el presente documento. Generalmente, los procedimientos se llevan a cabo preferiblemente mediante cualquier aparato de soporte ffsico.
Las realizaciones descritas en lo que antecede ilustran simplemente los principios de la presente invencion. Debe observarse que modificaciones y variaciones de las disposiciones y detalles descritos en el presente documento resultaran evidentes a otros expertos en la tecnica. Por lo tanto, la invencion solo esta limitada por el alcance de las reivindicaciones de patente subsiguientes y no por los detalles espedficos presentados en el presente documento a modo de descripcion y explicacion de las realizaciones.

Claims (7)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    REIVINDICACIONES
    1. Descodificador que comprende:
    un extractor (600) configurado para extraer, para cada una de una pluralidad de regiones conectadas de manera simple en las que una serie de muestras de informacion que representan una senal de informacion espacialmente muestreada esta subdividida, datos de cabida util a partir de un flujo de datos (22); y un reconstructor (602) configurado para reconstruir la serie de muestras de informacion a partir de los datos de cabida util para las regiones conectadas de manera simple de la serie de muestras de informacion, mediante el procesamiento, para cada region conectada de manera simple, de los datos de cabida util para la region conectada de manera simple respectiva de una manera prescrita por unos parametros de codificacion asociados con la region conectada de manera simple respectiva,
    en el que el descodificador comprende ademas un subdivisor (104) configurado para subdividir espacialmente, usando una subdivision multi-arbol, la serie de muestras de informacion en las regiones conectadas de manera simple mediante la multiple division recursiva de tal modo que las regiones conectadas de manera simple tienen diferentes tamanos, en el que el extractor esta configurado para procesar las regiones conectadas de manera simple en un orden de recorrido de primero en profundidad, y
    en el que los parametros de codificacion asociados con el numero de regiones conectadas de manera simple se transmiten en el flujo de datos (22) en el orden de recorrido de primero en profundidad, caracterizado por que el extractor esta configurado ademas para
    extraer un primer subconjunto de parametros de codificacion para una region conectada de manera simple predeterminada a partir del flujo de datos (22);
    calcular una distancia, de acuerdo con una medida de distancia predeterminada, entre el primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada y parametros de codificacion correspondientes de las regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada; identificar (450), para la region conectada de manera simple predeterminada, unas regiones conectadas de manera simple en la pluralidad de regiones conectadas de manera simple que tienen una relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, tienen unos parametros de codificacion asociados con las mismas que satisfacen una relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, satisfaciendose la relacion predeterminada meramente para aquellas regiones conectadas de manera simple cuyos parametros de codificacion correspondientes asociados tienen la distancia, de acuerdo con la medida de distancia predeterminada, desde el primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada que es menor que o igual a un umbral previamente definido,
    si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, es mayor que cero, extraer (454) un indicador de fusion para la region conectada de manera simple predeterminada a partir del flujo de datos (22), si el indicador de fusion sugiere un procesamiento fusionado del bloque predeterminado,
    si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, es uno, adoptar (462) un segundo subconjunto de los parametros de codificacion de la region conectada de manera simple que tiene la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tiene unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada como un segundo subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, o predecir el segundo subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada a partir del segundo subconjunto de los parametros de codificacion de las regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada con la extraccion de un residuo de prediccion para la region conectada de manera simple predeterminada a partir del flujo de datos (22).
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
  2. 2. Descodificador de acuerdo con la reivindicacion 1,
    en el que el extractor (600) esta configurado adicionalmente para, si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada es mayor que 1, comprobar (466) si los parametros de codificacion asociados con las regiones conectadas de manera simple son identicos entre sf y, si es asf, adoptar los parametros de codificacion de las regiones conectadas de manera simple como los parametros de codificacion para la region conectada de manera simple predeterminada o predecir los parametros de codificacion para la region conectada de manera simple predeterminada a partir de los parametros de codificacion del numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada, con la extraccion del residuo de prediccion a partir del flujo de datos (22).
  3. 3. Descodificador de acuerdo con cualquiera de las reivindicaciones 1 a 2, en el que el subdivisor (104) esta configurado para dividir espacialmente la serie de muestras de informacion en regiones rafz de arbol de un tamano de region maximo y subdividir, de acuerdo con una informacion de subdivision multi-arbol, por lo menos un subconjunto de las regiones rafz de arbol en regiones conectadas de manera simple mas pequenas de diferentes tamanos mediante la multiple division recursiva del subconjunto de regiones rafz de arbol, las regiones rafz de arbol no divididas de acuerdo con la informacion de subdivision multi-arbol, y las regiones conectadas de manera simple mas pequenas que forman la pluralidad de regiones conectadas de manera simple.
  4. 4. Descodificador de acuerdo con cualquiera de las reivindicaciones 1 a 3, en el que el extractor (600) esta configurado para, en la identificacion de las regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada, identificar aquellas regiones conectadas de manera simple dentro de las cuales, si hay alguna, se encuentran muestras de informacion adyacentes a una muestra de informacion en un lfmite de la region conectada de manera simple predeterminada.
  5. 5. Descodificador de acuerdo con cualquiera de las reivindicaciones 1 a 4, en el que el extractor (600) esta configurado para extraer, si los parametros de codificacion asociados con el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada son diferentes entre sf, un identificador de vecino de referencia a partir del flujo de datos (22), identificando un subconjunto apropiado del numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y adoptando los parametros de codificacion de este subconjunto apropiado como los parametros de codificacion para la region conectada de manera simple predeterminada o prediciendo los parametros de codificacion de la region conectada de manera simple predeterminada a partir del subconjunto apropiado, con la extraccion de un residuo de prediccion a partir del flujo de datos (22).
  6. 6. Metodo de descodificacion que comprende:
    extraer, para cada una de una pluralidad de regiones conectadas de manera simple en las que una serie de muestras de informacion que representan una senal de informacion espacialmente muestreada esta subdividida, datos de cabida util a partir de un flujo de datos (22); y
    reconstruir la serie de muestras de informacion a partir de los datos de cabida util para las regiones conectadas de manera simple de la serie de muestras de informacion, mediante el procesamiento, para cada region conectada de manera simple, de los datos de cabida util para la region conectada de manera simple respectiva de una manera prescrita por unos parametros de codificacion asociados con la region conectada de manera simple respectiva,
    comprendiendo el metodo ademas subdividir espacialmente, usando una subdivision multi-arbol, la serie de muestras de informacion en las regiones conectadas de manera simple mediante la multiple division recursiva de tal modo que las regiones conectadas de manera simple tienen diferentes tamanos, en el que la extraccion se realiza de tal modo que las regiones conectadas de manera simple se procesan en un orden de recorrido de primero en profundidad,
    en el que los parametros de codificacion asociados con el numero de regiones conectadas de manera simple se transmiten en el flujo de datos (22) en el orden de recorrido de primero en profundidad,
    caracterizado por que la extraccion comprende extraer un primer subconjunto de parametros de codificacion
    para una region conectada de manera simple predeterminada a partir del flujo de datos (22);
    calcular una distancia, de acuerdo con una medida de distancia predeterminada, entre el primer subconjunto de
    los parametros de codificacion para la region conectada de manera simple predeterminada y parametros de
    codificacion correspondientes de las regiones conectadas de manera simple que tienen la relacion de posicion
    relativa predeterminada con respecto a la region conectada de manera simple predeterminada;
    identificar, para una region conectada de manera simple predeterminada, unas regiones conectadas de manera
    simple en la pluralidad de regiones conectadas de manera simple que tienen una relacion de posicion relativa
    predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea,
    5
    10
    15
    20
    25
    30
    35
    tienen unos parametros de codificacion asociados con las mismas que satisfacen una relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, satisfaciendose la relacion predeterminada meramente para aquellas regiones conectadas de manera simple cuyos parametros de codificacion correspondientes asociados tienen la distancia, de acuerdo con la medida de distancia predeterminada, desde el primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada que es menor que o igual a un umbral previamente definido,
    si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, es mayor que cero, extraer un indicador de fusion para la region conectada de manera simple predeterminada a partir del flujo de datos (22), si el indicador de fusion sugiere un procesamiento fusionado del bloque predeterminado,
    si el numero de regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, es uno, adoptar un segundo subconjunto de los parametros de codificacion de la region conectada de manera simple y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada como el segundo subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada, o predecir el segundo subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada a partir del segundo subconjunto de los parametros de codificacion de las regiones conectadas de manera simple que tienen la relacion de posicion relativa predeterminada con respecto a la region conectada de manera simple predeterminada y, de manera simultanea, que tienen unos parametros de codificacion asociados con las mismas que satisfacen la relacion predeterminada con respecto al primer subconjunto de los parametros de codificacion para la region conectada de manera simple predeterminada con la extraccion de un residuo de prediccion para la region conectada de manera simple predeterminada a partir del flujo de datos (22).
  7. 7. Medio de almacenamiento digital legible por ordenador que tiene almacenado en el mismo un programa informatico que tiene un codigo de programa para llevar a cabo, cuando se ejecuta en un ordenador, un metodo de acuerdo con la reivindicacion 6.
ES11714653.0T 2010-04-13 2011-04-13 Fusión de regiones de muestra Active ES2590686T3 (es)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP10159799 2010-04-13
WOPCT/EP2010/054833 2010-04-13
PCT/EP2010/054833 WO2011127963A1 (en) 2010-04-13 2010-04-13 Sample region merging
EP10159799 2010-04-13
PCT/EP2011/055795 WO2011128366A1 (en) 2010-04-13 2011-04-13 Sample region merging

Publications (1)

Publication Number Publication Date
ES2590686T3 true ES2590686T3 (es) 2016-11-23

Family

ID=44072790

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11714653.0T Active ES2590686T3 (es) 2010-04-13 2011-04-13 Fusión de regiones de muestra

Country Status (13)

Country Link
US (14) US10621614B2 (es)
EP (5) EP3490257B1 (es)
JP (9) JP5718453B2 (es)
KR (13) KR102480988B1 (es)
CN (12) CN106162172B (es)
BR (4) BR112012026393B1 (es)
DK (1) DK2559246T3 (es)
ES (1) ES2590686T3 (es)
HU (1) HUE030688T2 (es)
PL (2) PL2559246T3 (es)
PT (1) PT2559246T (es)
TW (13) TW202349955A (es)
WO (1) WO2011128366A1 (es)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RS63059B1 (sr) 2010-04-13 2022-04-29 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
KR102595454B1 (ko) 2010-04-13 2023-10-27 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
CN106162172B (zh) 2010-04-13 2020-06-02 Ge视频压缩有限责任公司 解码器及方法、编码器及方法、产生和解码数据流方法
CN106454373B (zh) 2010-04-13 2019-10-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器及编码方法
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791242B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
EP2924995B1 (en) 2010-07-09 2018-09-12 Samsung Electronics Co., Ltd Method for decoding video by using block merging
CN106937122B (zh) * 2010-10-28 2020-03-27 韩国电子通信研究院 视频解码方法
EP2719176B1 (en) * 2011-06-13 2021-07-07 Dolby Laboratories Licensing Corporation Visual display resolution prediction based on fused regions
KR101589388B1 (ko) * 2011-06-20 2016-01-27 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN102291583A (zh) * 2011-09-29 2011-12-21 中航华东光电有限公司 一种图像编码装置及其图像编码方法
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
EP2597872A3 (en) * 2011-11-23 2013-12-25 Humax Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
EP2629156B1 (en) * 2012-01-27 2024-04-17 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103389879B (zh) * 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
GB2505408A (en) * 2012-08-24 2014-03-05 British Broadcasting Corp Video Encoding and Decoding with Chrominance Sub-sampling
US9332266B2 (en) * 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
TW201419863A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419865A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419862A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
JPWO2014163200A1 (ja) * 2013-04-05 2017-02-16 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US20150063455A1 (en) * 2013-09-02 2015-03-05 Humax Holdings Co., Ltd. Methods and apparatuses for predicting depth quadtree in three-dimensional video
US20150089374A1 (en) * 2013-09-20 2015-03-26 Cyan Inc. Network visualization system and method
US10075266B2 (en) * 2013-10-09 2018-09-11 Qualcomm Incorporated Data transmission scheme with unequal code block sizes
US20150103883A1 (en) * 2013-10-11 2015-04-16 Mediatek Inc. Method and apparatus for fast intra prediction
KR102207000B1 (ko) 2013-10-18 2021-01-25 지이 비디오 컴프레션, 엘엘씨 다-성분 화상 또는 비디오 코딩 개념
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
CA2946779C (en) * 2014-05-05 2019-10-01 Mediatek Singapore Pte. Ltd. Method and apparatus for determining residue transform tree representation
CN104539966B (zh) * 2014-09-30 2017-12-22 华为技术有限公司 图像预测方法及相关装置
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
KR20180059443A (ko) * 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
CN105357530B (zh) * 2015-10-16 2018-06-19 广州市百果园网络科技有限公司 一种预测编码的方法及装置
US10972731B2 (en) * 2015-11-10 2021-04-06 Interdigital Madison Patent Holdings, Sas Systems and methods for coding in super-block based video coding framework
US10306258B2 (en) * 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
JP6784767B2 (ja) * 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 効率的削減または効率的ランダムアクセスを可能にする画像/ビデオデータストリームについての概念
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10110914B1 (en) * 2016-09-15 2018-10-23 Google Llc Locally adaptive warped motion compensation in video coding
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
EP3358754A1 (en) * 2017-02-02 2018-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
US10430104B2 (en) 2017-05-08 2019-10-01 International Business Machines Corporation Distributing data by successive spatial partitionings
KR20200044967A (ko) * 2017-09-18 2020-04-29 인텔렉추얼디스커버리 주식회사 블록 분할에 따른 병합 후보 리스트를 사용하는 비디오 코딩 방법 및 장치
IL268122B2 (en) 2018-01-12 2024-02-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Method and device for transmitting information
JP7285789B2 (ja) * 2018-01-19 2023-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
KR102306884B1 (ko) * 2018-03-29 2021-09-30 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
EP4351146A3 (en) * 2018-04-13 2024-06-12 LG Electronics Inc. Method and apparatus for inter prediction in video processing system
US11128871B2 (en) * 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US10593097B2 (en) 2018-05-08 2020-03-17 Qualcomm Technologies, Inc. Distributed graphics processing
EP3811611A4 (en) * 2018-06-22 2022-06-15 OP Solutions, LLC BLOCK LEVEL GEOMETRIC PARTITIONING
CN109035267B (zh) * 2018-06-22 2021-07-27 华东师范大学 一种基于深度学习的图像目标抠取方法
JP7322020B2 (ja) * 2018-06-27 2023-08-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
EP3588800A1 (en) 2018-06-29 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
JP2020065143A (ja) * 2018-10-16 2020-04-23 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、及び表示装置
EP4307678A3 (en) * 2018-11-06 2024-05-22 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
WO2020190084A1 (ko) * 2019-03-21 2020-09-24 에스케이텔레콤 주식회사 서브블록 단위 복원 방법 및 영상 복호화 장치
CN113924774A (zh) * 2019-05-10 2022-01-11 北京达佳互联信息技术有限公司 用于利用三角形预测进行视频编解码的方法和装置
CN110533454B (zh) * 2019-07-24 2023-07-07 创新先进技术有限公司 一种识别业务对象群体的方法及***
CN114788274A (zh) * 2019-10-10 2022-07-22 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置
WO2021136821A1 (en) * 2019-12-30 2021-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of color components in pictures
WO2021222040A1 (en) * 2020-04-27 2021-11-04 Bytedance Inc. Virtual boundaries in video coding
KR20230033954A (ko) 2021-09-02 2023-03-09 심준원 감염병 유행시 전자출입명부기록용 nfc태그를 사용한 전자출입명부카드와 전자출입명부카드 리더기

Family Cites Families (267)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US5784631A (en) 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6408097B1 (en) 1993-08-30 2002-06-18 Sony Corporation Picture coding apparatus and method thereof
US5446806A (en) 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
CA2145363C (en) 1994-03-24 1999-07-13 Anthony Mark Jones Ram interface
DE69527525T2 (de) 1995-08-21 2003-04-03 Alcatel Sa Verfahren zur Schachtelung von Datenrahmen, Übertragungsfehlerkorrekturanordnung und Modulator damit
WO1997012328A1 (en) 1995-09-25 1997-04-03 Adobe Systems Incorporated Optimum access to electronic documents
WO1997015146A1 (en) * 1995-10-18 1997-04-24 Philips Electronics N.V. Method of encoding video images
JP2000511366A (ja) 1995-10-25 2000-08-29 サーノフ コーポレイション 4分割ツリーベースの可変ブロックサイズ動き推定装置および方法
TW346571B (en) 1996-02-06 1998-12-01 Matsushita Electric Ind Co Ltd Data reception apparatus, data transmission apparatus, information processing system, data reception method
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
DE19615493A1 (de) * 1996-04-19 1997-10-23 Philips Patentverwaltung Verfahren zur Bildsegmentierung
CN100539695C (zh) 1996-05-28 2009-09-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6269192B1 (en) 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
CN1882093B (zh) 1998-03-10 2011-01-12 索尼公司 利用编码历史信息的编码转换***
US6067574A (en) 1998-05-18 2000-05-23 Lucent Technologies Inc High speed routing using compressed tree process
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
JP2000350207A (ja) 1999-06-08 2000-12-15 Matsushita Electric Ind Co Ltd 低解像度ビデオ復号化のための一般化直交変換方法および装置
FI116992B (fi) 1999-07-05 2006-04-28 Nokia Corp Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi
KR20020064888A (ko) 1999-10-22 2002-08-10 액티브스카이 인코포레이티드 객체 지향형 비디오 시스템
JP3957937B2 (ja) 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
EP2038608A2 (en) 1999-12-22 2009-03-25 Honeywell International Inc. Method and apparatus for limiting attitude drift during turns
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
WO2001054418A1 (en) 2000-01-21 2001-07-26 Nokia Corporation A motion estimation method and a system for a video coder
US6502920B1 (en) 2000-02-04 2003-01-07 Lexmark International, Inc Ink jet print head having offset nozzle arrays
US6910001B2 (en) 2000-03-22 2005-06-21 Schlumberger Technology Corp. Distributed multiresolution geometry modeling system and method
US6785423B1 (en) 2000-05-26 2004-08-31 Eastman Kodak Company Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions
WO2001097527A1 (en) 2000-06-14 2001-12-20 Koninklijke Philips Electronics N.V. Color video encoding and decoding method
JP2004505520A (ja) 2000-07-25 2004-02-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウェーブレット分解を用いたビデオ符号化方法
AUPR063400A0 (en) 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
WO2003026315A1 (en) 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
EP1442600B1 (en) 2001-10-16 2010-04-28 Koninklijke Philips Electronics N.V. Video coding method and corresponding transmittable video signal
EP1445957A4 (en) 2001-11-16 2009-05-06 Ntt Docomo Inc IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER AND IMAGE DECODER, PROGRAM, COMPUTER DATA SIGNAL, AND IMAGE TRANSMISSION SYSTEM
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
EP1324615A1 (en) * 2001-12-28 2003-07-02 Deutsche Thomson-Brandt Gmbh Transcoding MPEG bitstreams for adding sub-picture content
KR20030065606A (ko) 2002-01-30 2003-08-09 양송철 개인 자동독립코드를 이용한 멀티트리구조의 보너스 적립순환 시스템과 그 방법
CN101132528B (zh) 2002-04-12 2011-08-03 三菱电机株式会社 元数据再生、分发、检索装置、元数据再生成条件设定装置
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7433526B2 (en) * 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
US20040234143A1 (en) 2002-07-02 2004-11-25 Makoto Hagai Image encoding method and picture decoding method
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6975773B1 (en) 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
US7266247B2 (en) 2002-09-30 2007-09-04 Samsung Electronics Co., Ltd. Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
JP3950777B2 (ja) 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2004135252A (ja) 2002-10-09 2004-04-30 Sony Corp 符号化処理方法、符号化装置及び復号化装置
US7254533B1 (en) 2002-10-17 2007-08-07 Dilithium Networks Pty Ltd. Method and apparatus for a thin CELP voice codec
EP1431919B1 (en) * 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
WO2004080084A1 (en) 2003-03-03 2004-09-16 Agency For Science, Technology And Research Fast mode decision algorithm for intra prediction for advanced video coding
US7366352B2 (en) * 2003-03-20 2008-04-29 International Business Machines Corporation Method and apparatus for performing fast closest match in pattern recognition
US7643558B2 (en) * 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
GB2454195A (en) * 2007-10-30 2009-05-06 Sony Corp Address generation polynomial and permutation matrix for DVB-T2 16k OFDM sub-carrier mode interleaver
ATE336763T1 (de) 2003-03-28 2006-09-15 Digital Accelerator Corp Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
JP4815107B2 (ja) 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置
US7010044B2 (en) 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
FR2858741A1 (fr) 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN1322472C (zh) 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
JP4677901B2 (ja) 2003-10-29 2011-04-27 日本電気株式会社 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
DE602004017689D1 (de) 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
US7418455B2 (en) 2003-11-26 2008-08-26 International Business Machines Corporation System and method for indexing weighted-sequences in large databases
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050206741A1 (en) 2004-03-19 2005-09-22 Raber Gregory W Law enforcement vehicle surveillance system
CN1691087B (zh) 2004-04-26 2011-07-06 图形安全***公司 用于解码数字编码图像的***和方法
EP1968063B1 (en) 2004-04-28 2010-06-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
CN1281065C (zh) 2004-05-20 2006-10-18 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法
WO2005117449A1 (en) 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data
US20060002474A1 (en) 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
CN1809161B (zh) * 2004-06-27 2010-11-17 苹果公司 对编码视频数据选择编码类型和预测模式
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN1268136C (zh) 2004-07-02 2006-08-02 上海广电(集团)有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN101124589A (zh) 2004-08-09 2008-02-13 图形安全***公司 通过使用多级图像编码和解码来认证对象的***和方法
CN1589022A (zh) 2004-08-26 2005-03-02 中芯联合(北京)微电子有限公司 多模式运动估计中由朝向树决定的宏块分割模式选择方法
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
CN101416149A (zh) 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN1780278A (zh) 2004-11-19 2006-05-31 松下电器产业株式会社 子载波通信***中自适应调制与编码方法和设备
US20060120454A1 (en) 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
KR100703734B1 (ko) 2004-12-03 2007-04-05 삼성전자주식회사 Dct 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US20080267291A1 (en) 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
JP4504230B2 (ja) * 2005-03-02 2010-07-14 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
TWI259727B (en) * 2005-03-09 2006-08-01 Sunplus Technology Co Ltd Method for rapidly determining macroblock mode
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1711018A1 (en) 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
US20060233262A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Signaling of bit stream ordering in scalable video coding
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2008544766A (ja) 2005-05-12 2008-12-11 ブラッコ イメージング エス.ピー.エー. デジタル画像のピクセルまたはボクセルをコーディングするための方法、およびデジタル画像を処理するための方法
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
WO2007000657A1 (en) 2005-06-29 2007-01-04 Nokia Corporation Method and apparatus for update step in video coding using motion compensated temporal filtering
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4444180B2 (ja) 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
EP1915871B1 (en) 2005-07-21 2017-07-05 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR101037855B1 (ko) 2005-07-22 2011-05-31 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
WO2007036759A1 (en) 2005-09-29 2007-04-05 Telecom Italia S.P.A. Method for scalable video coding
EP1949702A2 (en) 2005-10-12 2008-07-30 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
JP2007135252A (ja) 2005-11-08 2007-05-31 Hitachi Ltd 電力変換装置
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
CN101129063B (zh) 2005-11-18 2010-05-19 索尼株式会社 编码设备和方法、解码设备和方法以及传输***
KR100717055B1 (ko) * 2005-11-18 2007-05-10 삼성전자주식회사 Cabac 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
WO2007077116A1 (en) 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
KR20070074451A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법
EP1972153A4 (en) 2006-01-09 2015-03-11 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US7929608B2 (en) 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US8234537B2 (en) 2006-03-31 2012-07-31 Intel Corporation Layered decoder and method for performing layered decoding
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
CN101047733B (zh) 2006-06-16 2010-09-29 华为技术有限公司 短信处理方法以及装置
WO2008016605A2 (en) * 2006-08-02 2008-02-07 Thomson Licensing Adaptive geometric partitioning for video decoding
US20080086545A1 (en) 2006-08-16 2008-04-10 Motorola, Inc. Network configuration using configuration parameter inheritance
DE602007014060D1 (de) * 2006-08-25 2011-06-01 Thomson Licensing Verfahren und vorrichtung für partitionierung mit reduzierter auflösung
TWI364990B (en) 2006-09-07 2012-05-21 Lg Electronics Inc Method and apparatus for decoding/encoding of a video signal
CN100471275C (zh) 2006-09-08 2009-03-18 清华大学 用于h.264/avc编码器的运动估计方法
CN100486336C (zh) * 2006-09-21 2009-05-06 上海大学 基于h.264压缩域运动对象实时分割方法
US7965896B2 (en) 2006-10-12 2011-06-21 Kabushiki Kaisha Toshiba Method and apparatus for encoding image
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US20080095238A1 (en) 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
US7775002B2 (en) * 2006-11-10 2010-08-17 John Puchniak Portable hurricane and security window barrier
CN101395921B (zh) 2006-11-17 2012-08-22 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
JP4999864B2 (ja) * 2006-12-28 2012-08-15 日本電信電話株式会社 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体
EP2106666B1 (en) * 2007-01-08 2019-06-12 Nokia Technologies Oy Improved inter-layer prediction for extended spatial scalability in video coding
CN101222641B (zh) 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
CN101578877B (zh) 2007-01-11 2016-05-04 汤姆森许可贸易公司 对mpeg-4avc高层编码中cavlc4:4:4帧内、高4:4:4帧内和高4:4:4预测简档使用针对coded_block_flag语法元素和coded_block_pattern语法元素的语法的方法和装置
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
CN101018333A (zh) 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
JP2010135863A (ja) * 2007-03-28 2010-06-17 Toshiba Corp 画像符号化方法及び装置
CN101682769B (zh) * 2007-04-12 2016-11-09 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
US20100202512A1 (en) 2007-04-16 2010-08-12 Hae-Chul Choi Color video scalability encoding and decoding method and device thereof
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20090165041A1 (en) * 2007-12-21 2009-06-25 Penberthy John S System and Method for Providing Interactive Content with Video Content
CN100515087C (zh) 2007-05-30 2009-07-15 威盛电子股份有限公司 决定二相邻的宏区块是否位于相同条带区域的方法和装置
KR100906243B1 (ko) 2007-06-04 2009-07-07 전자부품연구원 Rgb 색 공간 신호의 영상 부호화 방법
CN100496129C (zh) 2007-06-05 2009-06-03 南京大学 基于h.264多路视频转码复用的方法
CN101321283B (zh) 2007-06-10 2010-04-07 华为技术有限公司 兼容不同大小块变换的编解码方法及编解码器
EP2160900A1 (en) * 2007-06-12 2010-03-10 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
JP2008311781A (ja) 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
CN101325714B (zh) 2007-06-13 2010-10-27 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
JP4551948B2 (ja) 2007-06-13 2010-09-29 シャープ株式会社 線状光源装置、面発光装置、面状光源装置、および、液晶表示装置
KR101518999B1 (ko) 2007-06-14 2015-05-12 톰슨 라이센싱 코딩된 비트스트림의 수정
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
US8085852B2 (en) 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US7991237B2 (en) 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制***及方法
US8458612B2 (en) * 2007-07-29 2013-06-04 Hewlett-Packard Development Company, L.P. Application management framework for web applications
TWI338869B (en) 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
CN101119493B (zh) 2007-08-30 2010-12-01 威盛电子股份有限公司 区块式数字编码图像的译码方法及装置
KR20090030681A (ko) 2007-09-20 2009-03-25 삼성전자주식회사 영상처리장치, 디스플레이장치, 디스플레이 시스템 및 그제어방법
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
WO2009041843A1 (en) 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
KR101403343B1 (ko) 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
WO2009051668A2 (en) 2007-10-12 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
US20100208827A1 (en) 2007-10-16 2010-08-19 Thomson Licensing Methods and apparatus for video encoding and decoding geometerically partitioned super macroblocks
US7777654B2 (en) * 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
CN101415149B (zh) 2007-10-19 2010-12-08 华为技术有限公司 一种bc业务改进的方法和设备
CN101676744B (zh) 2007-10-31 2012-07-11 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8531610B2 (en) 2007-12-28 2013-09-10 Entropic Communications, Inc. Arrangement and approach for image data processing
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
KR20100105877A (ko) 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
US8155184B2 (en) 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8311353B2 (en) 2008-01-21 2012-11-13 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
WO2009092455A2 (en) 2008-01-21 2009-07-30 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US20110100428A1 (en) 2008-05-13 2011-05-05 Sumitomo Electric Industries, Ltd. Photoelectric conversion unit
US20100220469A1 (en) 2008-05-23 2010-09-02 Altair Engineering, Inc. D-shaped cross section l.e.d. based light
TWI373959B (en) 2008-06-09 2012-10-01 Kun Shan University Of Technology Wavelet codec with a function of adjustable image quality
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
EP2161936A1 (en) 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8750379B2 (en) 2008-09-11 2014-06-10 General Instrument Corporation Method and apparatus for complexity-scalable motion estimation
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US7837355B2 (en) 2008-09-30 2010-11-23 Disney Enterprises, Inc. Kinetic flame device
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN101404774B (zh) 2008-11-13 2010-06-23 四川虹微技术有限公司 运动搜索中宏块划分模式的选择方法
JP5394212B2 (ja) 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
CN101493890B (zh) * 2009-02-26 2011-05-11 上海交通大学 基于特征的动态视觉注意区域提取方法
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
US8810562B2 (en) 2009-05-19 2014-08-19 Advanced Micro Devices, Inc. Hierarchical lossless compression
US8306355B2 (en) 2009-07-13 2012-11-06 Sharp Laboratories Of America, Inc. Methods and systems for reducing compression artifacts
EP2457196A4 (en) * 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US9264716B2 (en) 2009-10-01 2016-02-16 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using split layer
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
JP5475409B2 (ja) 2009-11-20 2014-04-16 三菱電機株式会社 動画像符号化装置および動画像符号化方法
KR101365329B1 (ko) 2009-11-23 2014-03-14 제너럴 인스트루먼트 코포레이션 비디오 시퀀스로의 추가 채널로서의 깊이 코딩
US20110170608A1 (en) 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
US8315310B2 (en) 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
KR20110135471A (ko) 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
WO2011096770A2 (ko) 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20110249743A1 (en) 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
KR102595454B1 (ko) 2010-04-13 2023-10-27 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
CN106162172B (zh) 2010-04-13 2020-06-02 Ge视频压缩有限责任公司 解码器及方法、编码器及方法、产生和解码数据流方法
CN106028045B (zh) 2010-04-13 2019-06-25 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及其解码器
CN105872563B (zh) 2010-04-13 2019-06-14 Ge视频压缩有限责任公司 用于解码、生成、存储数据流以及传输视频的方法
CN106454373B (zh) 2010-04-13 2019-10-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器及编码方法
RS63059B1 (sr) 2010-04-13 2022-04-29 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
EP3703373B1 (en) 2010-10-08 2024-04-17 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
ES2891598T3 (es) 2010-11-04 2022-01-28 Ge Video Compression Llc Codificación de instantánea que soporta unión de bloques y modo de salto
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
WO2012160797A1 (en) 2011-05-20 2012-11-29 Panasonic Corporation Methods and apparatuses for encoding and decoding video using inter-color-plane prediction
CN107517384B (zh) 2011-06-16 2020-06-30 Ge视频压缩有限责任公司 解码器、编码器、解码方法、编码方法以及存储介质
CN104662908B (zh) 2012-09-24 2018-03-30 高通股份有限公司 深度图译码
KR102245088B1 (ko) 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
US9264728B2 (en) 2014-01-10 2016-02-16 Sony Corporation Intra-plane and inter-plane predictive method for Bayer image coding
WO2016013279A1 (ja) 2014-07-22 2016-01-28 オートリブ ディベロップメント エービー サイドエアバッグ装置
CN107409214B (zh) 2015-01-21 2021-02-02 三星电子株式会社 用于对层间视频进行解码的方法和设备以及用于对层间视频进行编码的方法和设备
CN106325631B (zh) * 2015-07-10 2023-03-07 宸鸿科技(厦门)有限公司 一种具有压力侦测的触控显示模组及其驱动方法
EP3563571A4 (en) 2016-12-30 2020-02-12 Telefonaktiebolaget LM Ericsson (publ) DECODED IMAGE BUFFER MEMORY MANAGEMENT FOR PROCESSING PREDICTION OF CROSS IMAGE DATA
CN117915081A (zh) 2019-01-02 2024-04-19 北京字节跳动网络技术有限公司 视频处理的方法
WO2020216177A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
WO2021037277A1 (en) 2019-09-01 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Rules for video coding using geometric partitioning mode
CN115606184A (zh) 2020-04-01 2023-01-13 抖音视界有限公司(Cn) 对量化参数增量的信令通知的控制
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams

Also Published As

Publication number Publication date
KR102030951B1 (ko) 2019-10-10
US20200019986A1 (en) 2020-01-16
KR101549644B1 (ko) 2015-09-03
CN106210736A (zh) 2016-12-07
KR20150022020A (ko) 2015-03-03
CN106162169A (zh) 2016-11-23
CN106303536B (zh) 2021-01-08
TW202114425A (zh) 2021-04-01
CN106303522A (zh) 2017-01-04
KR102669292B1 (ko) 2024-05-28
US20190087857A1 (en) 2019-03-21
US20180218397A1 (en) 2018-08-02
KR20190115119A (ko) 2019-10-10
DK2559246T3 (en) 2016-09-19
TW201204047A (en) 2012-01-16
JP2021101548A (ja) 2021-07-08
US20230099885A1 (en) 2023-03-30
JP2020092449A (ja) 2020-06-11
KR102360146B1 (ko) 2022-02-08
TW202224433A (zh) 2022-06-16
US10460344B2 (en) 2019-10-29
BR122020007916B1 (pt) 2022-08-23
TW201828701A (zh) 2018-08-01
CN106303523B (zh) 2020-09-11
KR102337744B1 (ko) 2021-12-09
JP2016158259A (ja) 2016-09-01
WO2011128366A1 (en) 2011-10-20
JP2014195261A (ja) 2014-10-09
CN102939754A (zh) 2013-02-20
TW201828703A (zh) 2018-08-01
JP2019083583A (ja) 2019-05-30
JP6845282B2 (ja) 2021-03-17
EP2559246A1 (en) 2013-02-20
KR20200098721A (ko) 2020-08-20
EP3089450A1 (en) 2016-11-02
KR20180108896A (ko) 2018-10-04
US20230098693A1 (en) 2023-03-30
US20210304248A1 (en) 2021-09-30
BR112012026393A2 (pt) 2020-04-14
BR122020007918B1 (pt) 2022-11-29
TW202349955A (zh) 2023-12-16
KR20130020890A (ko) 2013-03-04
CN106162189A (zh) 2016-11-23
US10748183B2 (en) 2020-08-18
KR102145722B1 (ko) 2020-08-20
KR102166519B1 (ko) 2020-10-16
TW202025758A (zh) 2020-07-01
KR20170078881A (ko) 2017-07-07
CN106303522B9 (zh) 2020-01-31
CN106162170B (zh) 2019-07-02
KR20200119353A (ko) 2020-10-19
KR102480988B1 (ko) 2022-12-26
CN106303522B (zh) 2019-08-16
EP3490257B1 (en) 2024-01-10
CN106162189B (zh) 2020-03-24
CN106162171B (zh) 2020-09-11
TW202402058A (zh) 2024-01-01
PT2559246T (pt) 2016-09-14
US11900415B2 (en) 2024-02-13
US11983737B2 (en) 2024-05-14
US20200320570A1 (en) 2020-10-08
TWI718940B (zh) 2021-02-11
US20200372537A1 (en) 2020-11-26
KR20220020425A (ko) 2022-02-18
KR20230003428A (ko) 2023-01-05
US20130039423A1 (en) 2013-02-14
CN106162169B (zh) 2020-02-28
CN106101700B (zh) 2019-08-13
JP6778496B2 (ja) 2020-11-04
TWI605706B (zh) 2017-11-11
CN106303523A (zh) 2017-01-04
EP3089450B1 (en) 2022-08-31
EP2559246B1 (en) 2016-06-08
KR101903919B1 (ko) 2018-10-02
KR20200019794A (ko) 2020-02-24
KR102360005B1 (ko) 2022-02-08
US10672028B2 (en) 2020-06-02
US20200074503A1 (en) 2020-03-05
EP4057628A1 (en) 2022-09-14
KR20180105277A (ko) 2018-09-27
TW201828702A (zh) 2018-08-01
CN106162173A (zh) 2016-11-23
HUE030688T2 (en) 2017-05-29
CN106303536A (zh) 2017-01-04
TWI675587B (zh) 2019-10-21
TW201517598A (zh) 2015-05-01
BR122020007920B1 (pt) 2022-08-23
US20200065855A1 (en) 2020-02-27
TW202139705A (zh) 2021-10-16
CN106162173B (zh) 2020-02-28
CN106101700A (zh) 2016-11-09
US20190164188A1 (en) 2019-05-30
CN106210736B (zh) 2020-06-16
PL3089450T3 (pl) 2023-01-09
TWI678916B (zh) 2019-12-01
TWI815295B (zh) 2023-09-11
PL2559246T3 (pl) 2017-02-28
JP5718453B2 (ja) 2015-05-13
US11037194B2 (en) 2021-06-15
TW202031043A (zh) 2020-08-16
JP6909818B2 (ja) 2021-07-28
CN106162171A (zh) 2016-11-23
US10621614B2 (en) 2020-04-14
CN102939754B (zh) 2016-09-07
US10803485B2 (en) 2020-10-13
US11734714B2 (en) 2023-08-22
KR20200119355A (ko) 2020-10-19
EP3703369A1 (en) 2020-09-02
JP2022188123A (ja) 2022-12-20
EP3490257A1 (en) 2019-05-29
TWI713356B (zh) 2020-12-11
US10248966B2 (en) 2019-04-02
JP5911028B2 (ja) 2016-04-27
TWI675586B (zh) 2019-10-21
TWI730420B (zh) 2021-06-11
US20200410532A1 (en) 2020-12-31
TW202029762A (zh) 2020-08-01
CN106162170A (zh) 2016-11-23
TWI756010B (zh) 2022-02-21
CN106162172A (zh) 2016-11-23
JP2019198081A (ja) 2019-11-14
US20190197579A1 (en) 2019-06-27
KR102166520B1 (ko) 2020-10-16
BR112012026393B1 (pt) 2022-08-23
TWI757963B (zh) 2022-03-11
US11087355B2 (en) 2021-08-10
JP2013524709A (ja) 2013-06-17
KR20140074402A (ko) 2014-06-17
US10803483B2 (en) 2020-10-13
US10719850B2 (en) 2020-07-21
TWI466548B (zh) 2014-12-21
KR101754507B1 (ko) 2017-07-06
US11810019B2 (en) 2023-11-07
CN106162172B (zh) 2020-06-02
KR101626688B1 (ko) 2016-06-01
JP2023126788A (ja) 2023-09-12

Similar Documents

Publication Publication Date Title
ES2590686T3 (es) Fusión de regiones de muestra
ES2752227T3 (es) Codificación de vídeo que usa subdivisiones multi-árbol de imágenes
ES2553245T3 (es) Herencia en subdivisión de árbol múltiple de matriz de muestras
ES2746182T3 (es) Predicción entre planos
BR122020007663B1 (pt) Codificação de uma amostragem espacial de um sinal de informação bidimensional usando subdivisão