ES2944949T3 - Método y aparato de codificación de imágenes - Google Patents

Método y aparato de codificación de imágenes Download PDF

Info

Publication number
ES2944949T3
ES2944949T3 ES17204482T ES17204482T ES2944949T3 ES 2944949 T3 ES2944949 T3 ES 2944949T3 ES 17204482 T ES17204482 T ES 17204482T ES 17204482 T ES17204482 T ES 17204482T ES 2944949 T3 ES2944949 T3 ES 2944949T3
Authority
ES
Spain
Prior art keywords
motion vector
component
decoding
data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17204482T
Other languages
English (en)
Inventor
Hisao Sasai
Takahiro Nishi
Youji Shibahara
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Application granted granted Critical
Publication of ES2944949T3 publication Critical patent/ES2944949T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Un método de codificación de imágenes incluye (S801) codificar una diferencia de vector de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho, donde la codificación (S801) incluye: codificar una primera parte que es parte de un primer componente que es uno de una componente horizontal y una componente vertical de la diferencia del vector de movimiento; codificar una segunda parte que es parte de un segundo componente que es diferente del primer componente y es el otro del componente horizontal y el componente vertical; codificar una tercera parte que forma parte del primer componente y es diferente de la primera parte; codificar una cuarta parte que forma parte del segundo componente y es diferente de la segunda parte; y generar una cadena de código que incluye la primera parte, la segunda parte, la tercera parte, (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método y aparato de codificación de imágenes
La presente invención se refiere a un método de codificación de imágenes para codificar una imagen usando un vector de movimiento y a un aparato correspondiente.
Los ejemplos de técnicas referentes a un método de codificación de imágenes para codificar imágenes usando vectores de movimiento incluyen las técnicas descritas en los documentos no de patente (NPL) 1 a 6.
[Bibliografía no de patentes]
[NPL 1] Recomendación de la ITU-T H.264 “Advanced video coding for generic audiovisual services”, marzo de 2010.
[NPL 2] JCT-VC “WD3: Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603, marzo de 2011.
[NPL 3] MOON Y H ETAL, “A hybrid motion-vector coding scheme based on an estimation of the locality for motionvector difference”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, USA, (20060601), vol. 16, n.° 6, doi: 10.1109/TCSVT.2006.876361, ISSN 1051-8215, páginas 781-785.
[NPL 4] MARPE D ET AL, “Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, (20030701), vol. 13, n.° 7, doi: 10.1109/TCSVT.2003.815173, ISSN 1051-8215, páginas 620-636, XP011099255.
[NPL 5] JVT, “Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 ISO/lEC 14496-10 AVC)”, 7. JVT MEETING; 64. MPEG MEETING; 07-03-2003 - 14-03-2003; PATTAYA, TH (JOINT VIDEO TEAM OF ISO/lEC JTC1/SC29/WG11 AND ITU-T SG.16), (20030314), n.° JVT-G050r1, ISSN 0000-0427, XP030005712.
[NPL 6] TEXAS INSTRUMENTS, “Parallel CABAC”, ITU-T SG16 MEETING; 22-4-2008 - 2-5-2008; GINEBRA, (20080411), n.° T05-SG16-C-0334, ISSN 0000-0052, XP030003826.
La codificación ineficiente de una imagen provoca un retardo en el procesamiento y también afecta a la decodificación de la imagen.
A la vista de esto, un objetivo de la presente invención es proporcionar un método de codificación de imágenes para codificar de manera eficiente información que constituye una imagen.
Esto se logra mediante las características de las reivindicaciones independientes. La invención se define en las reivindicaciones adjuntas. Una divulgación que permite la reproducción de la invención tal como se define en las reivindicaciones se encuentra en la modificación de la realización 1 en combinación con la realización 2, así como la realización 3 cuando comprende las características de la modificación de la realización 1 en combinación con la realización 2. Las realizaciones restantes deben entenderse como ejemplos ilustrativos que no describen partes de la presente invención tal como se define en las reivindicaciones.
Estos aspectos generales y específicos pueden implementarse usando un aparato, un sistema, un circuito integrado, un programa informático o un medio de grabación legible por ordenador no transitorio tal como un CD-ROM, o cualquier combinación de aparatos, sistemas, circuitos integrados, programas informáticos o medios de grabación. La información que constituye una imagen se codifica de manera eficiente según la presente invención.
[Figura 1] La figura 1 es un diagrama de bloques que muestra un ejemplo de una configuración de un método de decodificación de diferencia de vectores de movimiento convencional.
[Figura 2] La figura 2 es un diagrama de flujo que muestra un flujo de funcionamiento del método de decodificación de diferencia de vectores de movimiento convencional.
[Figura 3] La figura 3 es un diagrama de flujo que muestra un procesamiento de decodificación aritmética binaria adaptativa de contexto del método de decodificación aritmética convencional.
[Figura 4] La figura 4 es un diagrama de flujo que muestra un procesamiento de decodificación aritmética de derivación del método de decodificación aritmética convencional.
[Figura 5] La figura 5 es un diagrama de flujo que muestra un procesamiento de normalización del método de decodificación aritmética convencional.
[Figura 6] La figura 6 es un diagrama esquemático que muestra ejemplos de cadenas binarias de diferencias de vectores de movimiento.
[Figura 7] La figura 7 es un diagrama de bloques que muestra una configuración funcional de un aparato de decodificación según la realización 1.
[Figura 8] La figura 8 es un diagrama de flujo que muestra una operación de procesamiento del aparato de decodificación según la realización 1.
[Figura 9] La figura 9 es un diagrama para describir ejemplos del procesamiento ejecutado en la realización 1. [Figura 10] La figura 10 es un diagrama de bloques que muestra un ejemplo de una configuración de un dispositivo de decodificación de imágenes según la realización 1.
[Figura 11A] La figura 11A es una tabla que muestra ejemplos de cadenas de código binario según una modificación de la realización 1.
[Figura 11B] La figura 11B es un diagrama de flujo que muestra una operación de procesamiento de un aparato de decodificación según la modificación de la realización 1.
[Figura 12] La figura 12 es un diagrama de flujo que muestra una operación de procesamiento de un aparato de codificación según la realización 2.
[Figura 13] La figura 13 es una tabla de sintaxis que muestra un ejemplo de una estructura de datos.
[Figura 14] La figura 14 es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de codificación de imágenes según la realización 2.
[Figura 15A] La figura 15A es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de codificación de imágenes según la realización 3.
[Figura 15B] La figura 15B es un diagrama de flujo que muestra una operación de procesamiento del aparato de codificación de imágenes según la realización 3.
[Figura 16A] La figura 16A es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de decodificación de imágenes según la realización 3.
[Figura 16B] La figura 16B es un diagrama de flujo que muestra una operación de procesamiento del aparato de decodificación de imágenes según la realización 3.
[Figura 17] La figura 17 es una tabla de sintaxis que muestra un ejemplo de una estructura de datos de una cadena de código correspondiente a una diferencia de vectores de movimiento.
[Figura 18] La figura 18 muestra una configuración global de un sistema para proporcionar contenido para la implementación de servicios de distribución de contenido.
[Figura 19] La figura 19 muestra una configuración global de un sistema de radiodifusión digital.
[Figura 20] La figura 20 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión.
[Figura 21] La figura 21 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información de y en un medio de grabación que es un disco óptico.
[Figura 22] La figura 22 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.
[Figura 23A] La figura 23A muestra un ejemplo de un teléfono celular.
[Figura 23B] La figura 23B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.
[Figura 24] La figura 24 ilustra una estructura de datos multiplexados.
[Figura 25] La figura 25 muestra esquemáticamente cómo se multiplexa cada flujo para dar datos multiplexados. [Figura 26] La figura 26 muestra en más detalle cómo se almacena un flujo de vídeo en un flujo de paquetes de PES.
[Figura 27] La figura 27 muestra una estructura de paquetes de TS y paquetes de origen en los datos multiplexados.
[Figura 28] La figura 28 muestra una estructura de datos de un PMT.
[Figura 29] La figura 29 muestra una estructura interna de información de datos multiplexados.
[Figura 30] La figura 30 muestra una estructura interna de información de atributos de flujo.
[Figura 31] La figura 31 muestra etapas para identificar datos de vídeo.
[Figura 32] La figura 32 muestra un ejemplo de una configuración de un circuito integrado para implementar el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento según cada una de las realizaciones.
[Figura 33] La figura 33 muestra una configuración para conmutar entre frecuencias de accionamiento.
[Figura 34] La figura 34 muestra etapas para identificar datos de vídeo y conmutar entre frecuencias de accionamiento.
[Figura 35] La figura 35 muestra un ejemplo de una tabla de consulta en la que normas de datos de vídeo están asociadas con frecuencias de accionamiento.
[Figura 36A] La figura 36A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales.
[Figura 36B] La figura 36B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señales.
(Conocimiento subyacente que constituye la base de la presente invención)
El número de aplicaciones, por ejemplo, para servicios de tipo de vídeo bajo demanda que incluyen videoconferencia a través de Internet, radiodifusión de vídeo digital y transmisión de contenido de vídeo en tiempo real está creciendo continuamente, y estas aplicaciones dependen de la transmisión de información de vídeo. Cuando se transmiten o se graban datos de vídeo, se transmite una cantidad considerable de datos a través de un canal de transmisión convencional que tiene un ancho de banda limitado, o se almacena en un medio de almacenamiento convencional que tiene una capacidad de datos limitada. Es necesario comprimir o reducir la cantidad de datos digitales con el fin de transmitir información de vídeo a través de un canal de transmisión convencional y almacenar información de vídeo en un medio de almacenamiento convencional.
A la vista de esto, se ha desarrollado una pluralidad de normas de codificación de vídeo para comprimir datos de vídeo. Los ejemplos de tales normas de codificación de vídeo incluyen la norma de ITU-T representada por H.26x, y la norma ISO/IEC representada por MPEG-x. La norma de codificación de vídeo más reciente y más avanzada en la actualidad es la norma representada por H.264/MPEG-4 AVC (véase el documento no de patente (NPL) 1).
Un enfoque de codificación que constituye la base de la mayoría de estas normas se basa en la codificación por predicción, que incluye las etapas principales mostradas por (a) a (d) a continuación. Etapa (a): dividir tramas de vídeo en bloques de píxeles, para realizar la compresión de datos en cada trama de vídeo a nivel de bloque. Etapa (b): identificar redundancia temporal y espacial prediciendo bloques individuales a partir de datos de vídeo anteriormente codificados. Etapa (c): eliminar la redundancia identificada restando datos predichos a partir de los datos de vídeo. Etapa (d): comprimir los datos restantes (bloque residual) realizando transformada de Fourier, cuantificación y codificación por entropía.
En la etapa (a) anterior, los modos de predicción usados para predecir macrobloques son diferentes para normas de codificación de vídeo actuales. La mayoría de las normas de codificación de vídeo usan detección de movimiento y compensación de movimiento, con el fin de predecir datos de vídeo a partir de una trama anteriormente codificada y decodificada (predicción inter-tramas). Alternativamente, pueden extrapolarse datos de bloque a partir de un bloque adyacente en la misma trama (predicción intra-tramas).
Por ejemplo, cuando una imagen objetivo de codificación tiene que codificarse usando predicción inter-tramas, un aparato de codificación de imágenes usa, como imagen de referencia, una imagen codificada que aparece antes o después de la imagen objetivo de codificación en el orden de visualización. Después, el aparato de codificación de imágenes realiza detección de movimiento en la imagen objetivo de codificación con respecto a la imagen de referencia, derivando de ese modo un vector de movimiento de cada bloque. El aparato de codificación de imágenes realiza compensación de movimiento usando los vectores de movimiento derivados de esta manera, para generar datos de imagen predichos. Después, el aparato de codificación de imágenes codifica una diferencia entre los datos de imagen predichos generados y datos de imagen de la imagen objetivo de codificación, reduciendo de ese modo la redundancia en la dirección del tiempo.
Además, se considera usar un modo de designación de vector de movimiento predicho cuando se codifica un vector de movimiento de un bloque objetivo de codificación en una imagen B o una imagen P (NPL 2). Un aparato de codificación de imágenes que usa el modo de designación de vector de movimiento predicho genera una pluralidad de candidatos para un vector de movimiento predicho, basándose en bloques para los que se ha realizado codificación y que son adyacentes a un bloque objetivo de codificación. Entonces, el aparato de codificación de imágenes selecciona un vector de movimiento predicho de entre la pluralidad de candidatos generados.
El aparato de codificación de imágenes codifica un vector de movimiento del bloque objetivo de codificación usando el vector de movimiento predicho seleccionado. Específicamente, se realiza codificación de longitud variable en una diferencia de vectores de movimiento entre el vector de movimiento del bloque objetivo de codificación y el vector de movimiento predicho seleccionado.
Además, el aparato de codificación de imágenes añade un índice (también denominado índice de vector de movimiento predicho) del vector de movimiento predicho seleccionado a un flujo de bits codificado. Por consiguiente, en el momento de la decodificación, el aparato de decodificación de imágenes puede seleccionar un vector de movimiento predicho que es el mismo que el vector de movimiento predicho seleccionado cuando se realiza la codificación.
Además, se facilita una descripción más específica de un método para realizar decodificación de longitud variable en una diferencia de vectores de movimiento usando las figuras 1 y 2. La figura 1 es un diagrama de bloques que muestra un ejemplo de una configuración de un método convencional para realizar decodificación de longitud variable en una diferencia de vectores de movimiento. La figura 2 es un diagrama de flujo que muestra un ejemplo del flujo de funcionamiento del método convencional para realizar decodificación de longitud variable en una diferencia de vectores de movimiento.
Los valores de diferencia de vectores de movimiento se binarizan y constituyen cadenas binarias. Las cadenas binarias pueden separarse, cada una, para dar un indicador (flag) que indica un signo (más o menos), una porción de prefijo correspondiente a una porción del valor absoluto de una diferencia de vectores de movimiento menor que o igual a un valor de umbral (threshold, TH) y una porción de sufijo correspondiente a una porción del mismo mayor que el valor de TH (véase la figura 6).
El signo es o -. Por ejemplo, si el signo es , el indicador que indica el signo es 0. Si el signo es -, el indicador que indica el signo es 1. Además, el valor de TH es 8, por ejemplo. En este caso, una porción de prefijo corresponde a una porción que constituye ocho o menos en una cadena binarizada del valor absoluto de una diferencia de vectores de movimiento. Una porción de sufijo corresponde a una porción que constituye nueve o más en una cadena binarizada del valor absoluto de una diferencia de vectores de movimiento.
Los métodos de codificación y decodificación aritméticas son diferentes para el indicador que indica un signo, la porción de prefijo y la porción de sufijo. A continuación se describirán los métodos de codificación y decodificación aritméticas.
Una unidad de decodificación de longitud variable de diferencia de vectores de movimiento A00 obtiene un flujo de bits (bit stream, BS) que incluye información de diferencia de vectores de movimiento e introduce el flujo de bits BS obtenido en una unidad de control de reconstrucción de diferencia de vectores de movimiento A01 y una unidad de determinación de diferencia de vectores de movimiento 0 A02. Debe observarse que, en este caso, la unidad de control de reconstrucción de diferencia de vectores de movimiento A01 toma una componente X (componente horizontal) y una componente Y (componente vertical) de la información de diferencia de vectores de movimiento obtenida en el orden indicado y gestiona si una componente de la información de diferencia de vectores de movimiento en la que está realizándose el procesamiento de decodificación es una componente X o una componente Y.
La unidad de determinación de diferencia de vectores de movimiento 0 A02 decodifica, a partir del flujo de bits obtenido, un indicador que indica si la componente X de la diferencia de vectores de movimiento es 0 (etapa SB00). Si la componente X de la diferencia de vectores de movimiento no es 0 (NO en la etapa SB01), una unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento A03 decodifica la porción de prefijo de la componente X de la diferencia de vectores de movimiento (etapa SB02). A continuación, si la componente X de la diferencia de vectores de movimiento incluye la porción de sufijo (SÍ en la etapa SB03), una unidad de decodificación de porción de sufijo de diferencia de vectores de movimiento A04 decodifica la porción de sufijo de la componente X de la diferencia de vectores de movimiento (SB04). Si la componente X no incluye la porción de sufijo (NO en SB03), se omite el procesamiento de decodificación de sufijo. A continuación, una unidad de decodificación de signo de diferencia de vectores de movimiento A05 decodifica el signo de la componente X de la diferencia de vectores de movimiento y una unidad de reconstrucción de diferencia de vectores de movimiento A06 reconstruye y establece la componente X de la diferencia de vectores de movimiento (SB05).
Por otro lado, si la componente X de la diferencia de vectores de movimiento es 0 (SÍ en la etapa SB01), la unidad de reconstrucción de diferencia de vectores de movimiento A06 establece la componente X de la diferencia de vectores de movimiento a 0 (etapa SB06). En este caso, la unidad de control de reconstrucción de diferencia de vectores de movimiento A01 conmuta un conmutador A07 a un lado que indica una componente X (un terminal en un lado superior en la figura 1) y emite la componente X de la diferencia de vectores de movimiento.
A continuación, se decodifica una componente Y de la diferencia de vectores de movimiento como en el caso de la componente X. Debe observarse que, en el siguiente procedimiento del funcionamiento, la etapa SB07 corresponde a la etapa SB00, la etapa SB08 corresponde a la etapa SB01, la etapa SB09 corresponde a la etapa SB02, la etapa SB10 corresponde a la etapa SB03, la etapa SB11 corresponde a la etapa SB04, la etapa SB12 corresponde a la etapa SB05 y la etapa SBl3 corresponde a la etapa SB06. Por consiguiente, el funcionamiento en estas etapas es el mismo excepto porque las componentes son diferentes, y por tanto se omite una descripción detallada.
Al final de todas las etapas, se reconstruyen la componente X y la componente Y de la diferencia de vectores de movimiento.
A continuación se presenta una descripción de codificación de longitud variable en una diferencia entre datos de imagen predichos y datos de imagen de una imagen objetivo de codificación y una diferencia de vectores de movimiento entre un vector de movimiento predicho y un vector de movimiento, y similares. En H.264, uno de los métodos de codificación de longitud variable es la codificación aritmética binaria adaptativa de contexto (Context Adaptive Binary Arithmetic Coding, CABAC). A continuación se presenta una descripción de esta CABAC usando las figuras 3, 4 y 5.
La figura 3 muestra el flujo de procesamiento de decodificación aritmética binaria adaptativa de contexto convencional anteriormente mencionado. Debe observarse que este dibujo se extrae del documento NPL 1 y es tal como se describe en el documento NPL 1, a menos que se proporcione particularmente una descripción.
En el procesamiento de decodificación aritmética, en primer lugar, se introduce un contexto (ctxIdx) determinado basándose en un tipo de señal.
A continuación, se calcula un valor qCodIRangeIdx derivado a partir de un parámetro codIRange que indica el estado en un aparato de decodificación aritmética en este punto de tiempo y se obtiene un valor pStateIdx que es un valor de estado correspondiente a ctxIdx. Usando los dos valores, se obtiene codIRangeLPS consultando una tabla (rangeTableLPS). Debe observarse que este codIRangeLPS indica un valor correspondiente al primer parámetro codIRange que indica el estado en el aparato de decodificación aritmética cuando se ha producido LPS (que indica un símbolo 0 o 1 cuya probabilidad de aparición es inferior).
Además, un valor obtenido reduciendo el codIRange actual mediante el codIRangeLPS anterior se pone en codIRange (etapa SC01). A continuación, se compara el codIRange calculado con un segundo parámetro codIOffset que indica el estado en el aparato de decodificación aritmética (etapa SC02).
Si codIOffset es igual al, o mayor que el, segundo parámetro (SÍ en SC02), se determina que se ha producido el símbolo de LPS. Entonces, binVal, que es un valor de salida decodificado, se establece a un valor diferente de valMPS (un valor específico (0 o 1) de MPS que indica un símbolo 0 o 1 cuya probabilidad de aparición es la más alta), siendo el valor diferente 0 en el caso de valMPS = 1 y 1 en el caso de valMPS = 0. Además, el segundo parámetro codIOffset que indica el estado en el aparato de decodificación aritmética se establece a un valor obtenido como resultado de la reducción mediante codIRange. Dado que se ha producido LPS, el primer parámetro codIRange que indica el estado en el aparato de decodificación aritmética se establece al valor de codIRangeLPS calculado en la etapa SC01 (etapa SC03).
Debe observarse que, en este caso, si el valor de pStateIdx anterior, que es un valor de estado correspondiente a ctxIdx, es 0 (SÍ en la etapa SC05), se indica el caso en el que la probabilidad de LPS supera la probabilidad de MPS. Por tanto, se conmuta valMPS (a 0 en el caso de valMPS = 1 y a 1 en el caso de valMPS = 0) (etapa SC06). Por otro lado, si el valor de pStateIdx no es 0 (NO en la etapa SC05), se actualiza el valor de pStateIdx basándose en una tabla de transición transIdxLPS usada cuando se produce LPS (etapa SC07).
Si codIOffset es menor (NO en SC02), se determina que se ha producido el símbolo de MPS. Entonces, binVal, que es un valor de salida decodificado, se establece a valMPS y se actualiza el valor de pStateIdx basándose en una tabla de transición transIdxMPS usada cuando se produce MPS (etapa SC04).
Por último, se realiza un procesamiento de normalización (RenormD) (etapa SC08) y termina la decodificación aritmética.
Tal como se describió anteriormente, en el procesamiento de decodificación aritmética binaria adaptativa de contexto, se mantiene una pluralidad de probabilidades de aparición de símbolo, que son las probabilidades de aparición de símbolos binarios, en asociación con índices de contexto, y se conmutan según condiciones (haciendo referencia a un valor de un bloque adyacente, por ejemplo). Por tanto, es necesario mantener el orden de procesamiento.
La figura 4 muestra el flujo del procesamiento de decodificación aritmética convencional anterior para procesamiento de derivación. Debe observarse que este dibujo se extrae del documento NPL 1 y es tal como se describe en el documento NPL 1, a menos que se proporcione particularmente una descripción.
En primer lugar, el segundo parámetro codIOffset que indica el estado en el dispositivo de decodificación aritmética en este punto de tiempo se desplaza a la izquierda (duplica) y se lee un bit a partir de un flujo de bits. Si el bit leído indica 1, se añade 1 al segundo parámetro codIOffset duplicado, mientras que si el valor indica 0, el segundo parámetro codIOffset se establece al valor tal cual (que se ha duplicado) (SD01).
A continuación, si codlOffset es mayor que el, o igual al, primer parámetro codIRange que indica el estado en el dispositivo de decodificación aritmética (SÍ en SD02), binVal, que es un valor de salida decodificado, se establece a “1”. Entonces, codIOffset se establece a un valor obtenido como resultado de reducir mediante codIRange (etapa SD03). Por otro lado, si codIOffset es menor que el primer parámetro codIRange que indica el estado en el dispositivo de decodificación aritmética (NO en SD02), binVal, que es un valor de salida decodificado, se establece a “0” (etapa SD04).
La figura 5 es un diagrama de flujo para describir en detalle el procesamiento de normalización (RenormD) mostrado por la etapa SC08 en la figura 3. Este dibujo se extrae del documento NPL 1 y es tal como se describe en el documento NPL 1, a menos que se proporcione particularmente una descripción.
Si el primer parámetro codIRange que indica el estado en el aparato de decodificación aritmética pasa a ser menor de 0x100 (en hexadecimal: 256 (en decimal)) como resultado del procesamiento de decodificación aritmética (SÍ en la etapa SE01), codIRange se desplaza a la izquierda (duplica) y el segundo parámetro codIOffset, que indica el estado en el dispositivo de decodificación aritmética, se desplaza a la izquierda (duplica). Entones, se lee un bit a partir del flujo de bits. Si el bit leído indica 1, se añade 1 al segundo parámetro codIOffset duplicado, mientras que si el valor indica 0, el segundo parámetro codIOffset se establece al valor tal cual (que se ha duplicado) (SE02).
En el punto de tiempo en el que codIRange se ha vuelto finalmente 256 o mayor (NO en la etapa SE01) termina este procesamiento.
La decodificación aritmética se realiza con una diferencia de vectores de movimiento realizando el procesamiento anterior mostrado en las figuras 3, 4 y 5.
Sin embargo, convencionalmente cuando se realiza codificación aritmética con una diferencia de vectores de movimiento entre un vector de movimiento predicho y un vector de movimiento, una componente X y una componente Y de la diferencia de vectores de movimiento se codifican en orden. Específicamente, una componente X de la diferencia de vectores de movimiento y una componente Y de la diferencia de vectores de movimiento se almacenan por separado en un flujo codificado. Por tanto, la codificación aritmética binaria adaptativa de contexto y la codificación de derivación se ejecutan de manera alternante en cada una de una componente X y una componente Y en el momento de la codificación, y la decodificación aritmética binaria adaptativa de contexto y la decodificación de derivación se ejecutan de manera alternante en cada una de una componente X y una componente Y en el momento de la decodificación, dando como resultado un problema de que no se permite suficiente procesamiento paralelo lo cual es una ventaja de la codificación y decodificación de derivación.
A la vista de esto, un método de codificación de imágenes según un aspecto de la presente invención es un método de codificación de imágenes para codificar una imagen usando un vector de movimiento, incluyendo el método codificar una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho que es un valor predicho del vector de movimiento, en el que la codificación incluye: codificar una primera porción que es una parte de una primera componente que es una de una componente horizontal y una componente vertical de la diferencia de vectores de movimiento; codificar una segunda porción que es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical; codificar una tercera porción que es una parte de la primera componente y es diferente de la primera porción; codificar una cuarta porción que es una parte de la segunda componente y es diferente de la segunda porción; y generar una cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en un orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento se combinan en la cadena de código. Por ejemplo, si una porción para la que debe usarse decodificación de derivación y que se incluye en la componente horizontal y una porción para la que debe usarse decodificación de derivación y que se incluye en la componente vertical se combinan en una cadena de código, puede aumentarse el grado de paralelismo del procesamiento de decodificación. Dicho de otro modo, la diferencia de vectores de movimiento se codifica de manera eficiente combinando una parte de la componente horizontal y una parte de la componente vertical.
Por ejemplo, la codificación de la diferencia de vectores de movimiento puede incluir: codificar la tercera porción que incluye un signo más o menos de la primera componente, y codificar la cuarta porción que incluye un signo más o menos de la segunda componente; y generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, el signo de la componente horizontal y el signo de la componente vertical se combinan en la cadena de código. Normalmente, se usa decodificación de derivación para decodificar los signos. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la codificación de la diferencia de vectores de movimiento puede incluir: codificar la primera porción que incluye un indicador que indica si la primera componente es 0 y codificar la segunda porción que incluye un indicador que indica si la segunda componente es 0; y generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, el indicador que indica si la componente horizontal es 0 y el indicador que indica si la componente vertical es 0 se combinan en la cadena de código. Normalmente, se usa decodificación aritmética binaria adaptativa de contexto para decodificar los indicadores. Una pluralidad de porciones diferentes para las que debe usarse decodificación de derivación se combinan en la cadena de código combinando los indicadores en la cadena de código. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la codificación de diferencia de vectores de movimiento puede incluir: codificar la tercera porción que incluye una diferencia entre un valor de umbral y un valor absoluto de la primera componente cuando el valor absoluto de la primera componente es mayor que el valor de umbral; codificar la cuarta porción que incluye una diferencia entre el valor de umbral y un valor absoluto de la segunda componente cuando el valor absoluto de la segunda componente es mayor que el valor de umbral; y generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, la diferencia entre el valor de umbral y el valor absoluto de la componente horizontal y la diferencia entre el valor de umbral y el valor absoluto de la componente vertical se combinan en la cadena de código. Normalmente, se usa decodificación de derivación para decodificar estas diferencias. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la codificación de la diferencia de vectores de movimiento puede incluir: codificar la primera porción y la segunda porción realizando codificación aritmética binaria adaptativa de contexto que es codificación aritmética en la que se usa una probabilidad variable actualizada basándose en datos codificados; y generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, una pluralidad de porciones para las que debe usarse decodificación aritmética binaria adaptativa de contexto se combinan en la cadena de código. En este caso, una pluralidad de porciones diferentes para las que debe usarse decodificación de derivación se combinan en la cadena de código. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la codificación de la diferencia de vectores de movimiento puede incluir: codificar la tercera porción y la cuarta porción realizando codificación de derivación que es codificación aritmética en la que se usa una probabilidad fija predeterminada; y generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, una pluralidad de porciones para las que debe usarse decodificación de derivación se combinan en la cadena de código. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación. Además, por ejemplo, en la codificación de la diferencia de vectores de movimiento, la tercera porción y la cuarta porción pueden codificarse en paralelo.
Por consiguiente, una parte de la componente horizontal y una parte de la componente vertical se codifican en paralelo. Por tanto, la diferencia de vectores de movimiento se codifica de manera eficiente.
Además, por ejemplo, la codificación de la diferencia de vectores de movimiento puede incluir: conmutar el procesamiento de codificación a un primer procesamiento de codificación según una primera norma o a un segundo procesamiento de codificación según una segunda norma, y generar un flujo de bits que incluye información de identificación que indica la primera norma o la segunda norma a la que se adapta uno correspondiente del primer procesamiento de codificación y el segundo procesamiento de codificación al que se ha conmutado el procesamiento de codificación; y generar, cuando el procesamiento de codificación se conmuta al primer procesamiento de codificación, la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción, y generar el flujo de bits que incluye la cadena de código y la información de identificación que indica la primera norma.
Por consiguiente, a un aparato que debe realizar decodificación se le notifica si una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento se combinan en la cadena de código. Por tanto, el procesamiento de decodificación puede conmutarse de manera apropiada.
Además, un método de decodificación de imágenes según un aspecto de la presente invención puede ser un método de decodificación de imágenes para decodificar una imagen usando un vector de movimiento, incluyendo el método decodificar una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho que es un valor predicho del vector de movimiento, en el que la decodificación puede incluir: obtener una cadena de código que incluye (i) una primera porción que es una parte de una primera componente que es una de una componente horizontal y una componente vertical de la diferencia de vectores de movimiento, (ii) una segunda porción que es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical, (iii) una tercera porción que es una parte de la primera componente y es diferente de la primera porción, y (iv) una cuarta porción que es una parte de la segunda componente y es diferente de la segunda porción, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Por consiguiente, se obtiene la cadena de código en la que se combinan una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento. Por ejemplo, si una porción para la que debe usarse decodificación de derivación y que se incluye en la componente horizontal y una porción para la que debe usarse decodificación de derivación y que se incluye en la componente vertical se combinan en la cadena de código, puede aumentarse el grado de paralelismo del procesamiento de decodificación. Dicho de otro modo, la diferencia de vectores de movimiento se decodifica de manera eficiente usando la cadena de código en la que se combinan una parte de la componente horizontal y una parte de la componente vertical.
Por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener la cadena de código que incluye (i) la primera porción, (ii) la segunda porción, (iii) la tercera porción que incluye un signo más o menos de la primera componente, y (iv) la cuarta porción que incluye un signo más o menos de la segunda componente, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código. Por consiguiente, se obtiene la cadena de código en la que se combinan el signo de la componente horizontal y el signo de la componente vertical. Normalmente, se usa decodificación de derivación para decodificar los signos. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener la cadena de código que incluye (i) la primera porción que incluye un indicador que indica si la primera componente es 0, (ii) la segunda porción que incluye un indicador que indica si la segunda componente es 0, (iii) la tercera porción, y (iv) la cuarta porción, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Por consiguiente, se obtiene la cadena de código en la que se combinan el indicador que indica si la componente horizontal es 0 y el indicador que indica si la componente vertical es 0. Normalmente, se usa decodificación aritmética binaria adaptativa de contexto para decodificar estos indicadores. Una pluralidad de porciones diferentes para las que debe usarse decodificación de derivación se combinan en la cadena de código combinando estos indicadores en la cadena de código. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener la cadena de código que incluye (i) la primera porción, (ii) la segunda porción, y (iii) la tercera porción que incluye una diferencia entre el valor de umbral y un valor absoluto de la primera componente cuando el valor absoluto de la primera componente es mayor que el valor de umbral, y (iv) la cuarta porción que incluye una diferencia entre el valor de umbral y un valor absoluto de la segunda componente cuando el valor absoluto de la segunda componente es mayor que el valor de umbral, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Por consiguiente, se obtiene la cadena de código en la que se combinan la diferencia entre el valor de umbral y el valor absoluto de la componente horizontal y la diferencia entre el valor de umbral y el valor absoluto de la componente vertical. Normalmente, se usa decodificación de derivación para decodificar estas diferencias. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener la cadena de código que incluye (i) la primera porción que va a decodificarse realizando decodificación aritmética binaria adaptativa de contexto que es decodificación aritmética en la que se usa una probabilidad variable actualizada basándose en datos decodificados, (ii) la segunda porción que va a decodificarse realizando la decodificación aritmética binaria adaptativa de contexto, (iii) la tercera porción, y (iv) la cuarta porción, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código realizando la decodificación aritmética binaria adaptativa de contexto, decodificar la segunda porción incluida en la cadena de código realizando la decodificación aritmética binaria adaptativa de contexto, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Por consiguiente, se obtiene la cadena de código en la que se combinan una pluralidad de porciones para las que debe usarse decodificación aritmética binaria adaptativa de contexto. En este caso, una pluralidad de porciones diferentes para las que debe usarse decodificación de derivación se combinan en la cadena de código. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener la cadena de código que incluye (i) la primera porción, (ii) la segunda porción, (iii) la tercera porción que va a decodificarse realizando decodificación de derivación que es decodificación aritmética en la que se usa una probabilidad fija predeterminada, y (iv) la cuarta porción que va a decodificarse realizando decodificación de derivación, en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código realizando la decodificación de derivación y decodificar la cuarta porción incluida en la cadena de código realizando la decodificación de derivación.
Por consiguiente, se obtiene la cadena de código en la que se combinan una pluralidad de porciones para las que debe usarse decodificación de derivación. Por tanto, puede aumentarse el grado de paralelismo del procesamiento de decodificación.
Además, por ejemplo, en la decodificación de la diferencia de vectores de movimiento, la tercera porción y la cuarta porción pueden decodificarse en paralelo.
Por consiguiente, una parte de la componente horizontal y una parte de la componente vertical se decodifican en paralelo. Por tanto, la diferencia de vectores de movimiento se decodifica de manera eficiente.
Además, por ejemplo, la decodificación de la diferencia de vectores de movimiento puede incluir: obtener un flujo de bits que incluye información de identificación que indica una primera norma o una segunda norma y, basándose en la información de identificación, conmutar el procesamiento de decodificación a un primer procesamiento de decodificación según la primera norma o a un segundo procesamiento de decodificación según la segunda norma; y cuando el procesamiento de decodificación se conmuta al primer procesamiento de decodificación, obtener la cadena de código a partir del flujo de bits, decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Por consiguiente, el procesamiento de decodificación se conmuta de manera apropiada según si una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento se combinan en la cadena de código.
Además, estas realizaciones generales y específicas pueden implementarse usando un aparato, un sistema, un circuito integrado, un programa informático o un medio de grabación legible por ordenador no transitorio tal como un CD-ROM, o cualquier combinación de aparatos, sistemas, circuitos integrados, programas informáticos o medios de grabación.
A continuación se presenta una descripción detallada de un método de codificación de imágenes y un método de decodificación de imágenes según un aspecto de la presente invención usando dibujos. Cada una de las realizaciones descritas a continuación muestra un ejemplo específico de la presente invención. Los valores numéricos, formas, materiales, elementos constituyentes, la disposición y conexión de los elementos constituyentes, etapas, el orden de procesamiento de las etapas y similares mostrados en las siguientes realizaciones son simples ejemplos y no se pretende que limiten la presente invención. Por tanto, entre los elementos constituyentes en las siguientes realizaciones, los elementos constituyentes no mencionados en ninguna de las reivindicaciones independientes que definen el concepto más amplio se describen como elementos constituyentes arbitrarios.
[Realización 1]
La figura 7 es un diagrama de bloques que muestra la configuración funcional de una unidad de decodificación de diferencia de vectores de movimiento 100 según la realización 1.
La unidad de decodificación de diferencia de vectores de movimiento 100 según la presente realización incluye una unidad de decodificación de porción de prefijo 110, una unidad de decodificación de porción de sufijo 120, una unidad de control de reconstrucción de diferencia de vectores de movimiento 101 y una unidad de reconstrucción de diferencia de vectores de movimiento 106. Entre estas, la unidad de decodificación de porción de prefijo 110 está constituida por una unidad de determinación de diferencia de vectores de movimiento 0 102 y una unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento 103. Además, la unidad de decodificación de porción de sufijo 120 está constituida por una unidad de decodificación de porción de sufijo de diferencia de vectores de movimiento 104 y una unidad de decodificación de signo de diferencia de vectores de movimiento 105. La unidad de decodificación de diferencia de vectores de movimiento 100 reconstruye, a partir de un flujo de bits BS, información sobre una componente X MVDX y una componente Y MVDY de una diferencia de vectores de movimiento.
La operación de la unidad de decodificación de diferencia de vectores de movimiento 100 en la presente realización se describe en detalle en la figura 8. La figura 8 es un diagrama de flujo que muestra un ejemplo de un flujo de operación de la unidad de decodificación de diferencia de vectores de movimiento 100 de la presente realización. En primer lugar, la unidad de determinación de diferencia de vectores de movimiento 0102 decodifica, a partir de un flujo de bits obtenido, un indicador que indica si una componente X de una diferencia de vectores de movimiento es 0 (S200). En este caso, si la componente X de la diferencia de vectores de movimiento no es 0 (NO en S201), la unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento 103 decodifica una porción de prefijo de la componente X de la diferencia de vectores de movimiento (S202). Por otro lado, si la componente X de la diferencia de vectores de movimiento es 0 (SÍ en S201), la componente X de la diferencia de vectores de movimiento se establece a 0 (S203).
A continuación, volviendo al procesamiento a partir del bucle, la unidad de determinación de diferencia de vectores de movimiento 0 102 decodifica un indicador que indica si la componente Y de la diferencia de vectores de movimiento es 0 (S204). Si la componente Y de la diferencia de vectores de movimiento no es 0 en este caso (NO en S205), la unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento 103 decodifica una porción de prefijo de la componente Y de la diferencia de vectores de movimiento (S206). Por otro lado, si la componente Y de la diferencia de vectores de movimiento es 0 (SÍ en S205), la componente Y de la diferencia de vectores de movimiento se establece a 0 (S207). Debe observarse que el procesamiento hasta esta etapa es el funcionamiento realizado por la unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento 103 (S280).
A continuación, si se determina, basándose en información decodificada sobre la componente X de la diferencia de vectores de movimiento, que la componente X no es 0 (NO en S208) e incluye una porción de sufijo (SÍ en S209), la unidad de decodificación de porción de sufijo de diferencia de vectores de movimiento 104 decodifica, a partir del flujo de bits, la porción de sufijo de la componente X de la diferencia de vectores de movimiento (S210). Por otro lado, si no se incluye la porción de sufijo (NO en S209), se omite el procesamiento de decodificación en la porción de sufijo. Debe observarse que, en este caso, con respecto a si se incluye una porción de sufijo, la porción de prefijo y la porción de sufijo están separadas por una cadena de código binario tal como se muestra en la figura 6, por ejemplo, y, por tanto, se determina que se incluye una porción de sufijo si todos los dígitos en una porción de prefijo son 1.
A continuación, la unidad de decodificación de signo de diferencia de vectores de movimiento 105 decodifica, a partir del flujo de bits, el signo de la diferencia de vectores de movimiento, y la unidad de reconstrucción de diferencia de vectores de movimiento 106 reconstruye la componente X de la diferencia de vectores de movimiento (S211). Por otro lado, si la componente X es 0 (SÍ en S208), la componente X de la diferencia de vectores de movimiento ya se ha reconstruido satisfactoriamente, y, por tanto, se omite el procesamiento de decodificación en la porción de sufijo de la componente X.
A continuación, si se determina, basándose en información decodificada sobre la componente Y de la diferencia de vectores de movimiento, que la componente Y no es 0 (NO en S212) e incluye una porción de sufijo (SÍ en S213), la unidad de decodificación de porción de sufijo de diferencia de vectores de movimiento 104 decodifica, a partir del flujo de bits, la porción de sufijo de la componente Y de la diferencia de vectores de movimiento (S214). Debe observarse que, si no se incluye la porción de sufijo (NO en S213), se omite el procesamiento de decodificación en la porción de sufijo. En este caso, si se incluye una porción de sufijo puede determinarse de la misma manera que en el caso de la componente X. A continuación, la unidad de decodificación de signo de diferencia de vectores de movimiento 105 decodifica, a partir del flujo de bits, el signo de la componente Y de la diferencia de vectores de movimiento, y la unidad de reconstrucción de diferencia de vectores de movimiento 106 reconstruye la componente Y de la diferencia de vectores de movimiento (S215). Por otro lado, si la componente Y es 0 (SÍ en S212), la componente Y de la diferencia de vectores de movimiento ya se ha reconstruido satisfactoriamente y, por tanto, se omite el procesamiento de decodificación en la porción de sufijo de la componente Y.
Debe observarse que, para la porción de prefijo, la información de una diferencia de vectores de movimiento tiene una alta tendencia (tiende a haber muchos vectores de cero) y, por tanto, la eficiencia de codificación aumenta realizando codificación aritmética binaria adaptativa de contexto descrita anteriormente. Por consiguiente, se ejecuta procesamiento de decodificación aritmética binaria adaptativa de contexto (figura 3) en el momento de la decodificación.
Por otro lado, la porción de sufijo corresponde a bits inferiores de una gran diferencia de vectores de movimiento. Por tanto, el intervalo de valores posibles es grande (por ejemplo, de 9 a 1024) y las frecuencias a las que se produce el mismo símbolo de cadena de código binario tienden a ser bajas. Por consiguiente, la cantidad de procesamiento se reduce realizando codificación de derivación, suponiendo que la probabilidad de aparición de símbolo es del 50 %. Específicamente se ejecuta decodificación de derivación (figura 4) cuando se decodifica una porción de sufijo. Debe observarse que, si se incluye el signo de una diferencia de vectores de movimiento, también se realiza codificación de derivación en el signo y, por tanto, se ejecuta decodificación de derivación.
En este caso, un ejemplo de operación de procesamiento de decodificación mostrada en la figura 8 se describe usando la figura 9.
La figura 9 es un dibujo para describir ejemplos de etapas de procesamiento ejecutadas en la realización 1. En la figura 9, (a) muestra un ejemplo en el caso en el que el procesamiento ejecutado en la realización 1 se realiza en paralelo con un procedimiento. El procesamiento se realiza en el orden de decodificar una porción de prefijo de una componente X de una diferencia de vectores de movimiento (MVDX_PREFIX), decodificar una porción de prefijo de una componente Y de la misma (MVDY_PREFIX), decodificar una porción de sufijo de la componente X (MVDX_SUFFIX), decodificar el signo de la componente X (MVDX_SIGN), decodificar la porción de sufijo de la componente Y (Mv DY_SUFFIX) y decodificar el signo de la componente Y (Mv DY_SIGN).
Sin embargo, se requiere procesamiento de alta velocidad debido a un aumento en la resolución de imágenes usada y una expansión de la comunicación en tiempo real a alta velocidad, y, por tanto, se implementa procesamiento paralelizado. Sin embargo, dado que se realiza procesamiento de codificación aritmética binaria adaptativa de contexto en una porción de prefijo, es necesario realizar sucesivamente procesamiento de lectura y actualización de la probabilidad de aparición de símbolo. Por tanto, no puede paralelizarse el procesamiento en una porción de prefijo. Sin embargo, la porción de procesamiento de derivación puede paralelizarse por cada bit, tal como se muestra en (b) en la figura 9.
En cambio, (c) y (d) en la figura 9 son ejemplos de paralelización de procesamiento ejecutado en la configuración convencional. En la figura 9, (c) corresponde a (a) en la figura 9, y (d) en la figura 9 corresponde a (b) en la figura 9. De manera similar, el procesamiento se realiza de manera sucesiva en una porción de prefijo, en concreto, una porción de procesamiento de decodificación aritmética binaria adaptativa de contexto, y el procesamiento en una porción de sufijo, en concreto, porción de procesamiento de derivación, puede paralelizarse. Sin embargo, dado que una componente X y una componente Y están dispuestas de manera alternante, las porciones en las que puede realizarse procesamiento en paralelo no están dispuestas de manera consecutiva. Por tanto, no puede lograrse un aumento suficiente en la velocidad ((d) en la figura 9). Además, con frecuencia se conmuta el procesamiento entre decodificación aritmética binaria adaptativa de contexto y decodificación de derivación, lo cual da como resultado una gran carga y un retardo considerable en el procesamiento.
Debe observarse que la unidad de decodificación aritmética 100 según la realización 1 se incluye en el aparato de decodificación de imágenes que decodifica datos de imagen codificados en los que se ha realizado codificación por compresión. La figura 10 es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de decodificación de imágenes 400 según la realización 1.
El aparato de decodificación de imágenes 400 decodifica datos de imagen codificados en los que se ha realizado codificación por compresión. Por ejemplo, se introducen datos de imagen codificados, bloque por bloque, en el aparato de decodificación de imágenes 400 como señales que van a decodificarse. El aparato de decodificación de imágenes 400 reconstruye datos de imagen realizando decodificación de longitud variable, cuantificación inversa y transformada inversa en las señales objetivo de decodificación de entrada.
Tal como se muestra en la figura 10, el aparato de decodificación de imágenes 400 incluye una unidad de decodificación por entropía 410, una unidad de cuantificación inversa y transformada inversa 420, un sumador 425, un filtro de desbloqueo 430, una memoria 440, una unidad de intra-predicción 450, una unidad de compensación del movimiento 460 y un conmutador de cambio intra/inter 470.
La unidad de decodificación por entropía 410 realiza decodificación de longitud variable en una señal de entrada (flujo de entrada), para reconstruir un coeficiente de cuantificación. Debe observarse que, en este caso, una señal de entrada (flujo de entrada) es una señal que va a decodificarse y corresponde a datos de imagen codificados para cada bloque. Además, la unidad de decodificación por entropía 410 obtiene datos de movimiento a partir de la señal de entrada y emite los datos de movimiento obtenidos a la unidad de compensación de movimiento 460.
La unidad de cuantificación inversa y transformada inversa 420 realiza la cuantificación inversa con el coeficiente de cuantificación reconstruido por la unidad de decodificación por entropía 410 para reconstruir un coeficiente de transformada. Después, la unidad de cuantificación inversa y transformada inversa 420 realiza la transformada inversa con el coeficiente de transformada reconstruido, para reconstruir un error de predicción.
El sumador 425 suma el error de predicción reconstruido a una señal predicha, para generar una imagen decodificada.
El filtro de desbloqueo 430 realiza el procesamiento de filtro de desbloqueo en la imagen decodificada generada. La imagen decodificada en la que se ha realizado el procesamiento de filtro de desbloqueo se emite como señal decodificada.
La memoria 440 es una memoria para almacenar imágenes de referencia usadas para compensación de movimiento. Específicamente, la memoria 440 almacena imágenes decodificadas en las que se ha realizado el procesamiento de filtro de desbloqueo.
La unidad de intra-predicción 450 realiza la intra-predicción, para generar una señal predicha (señal de intrapredicción). Específicamente, la unidad de intra-predicción 450 realiza la intra-predicción haciendo referencia a una imagen alrededor de un bloque que va a decodificarse (señal de entrada) en la imagen decodificada generada por el sumador 425, para generar una señal de intra-predicción.
La unidad de compensación del movimiento 460 realiza compensación del movimiento, basándose en datos de movimiento emitidos a partir de la unidad de codificación por entropía 410, para generar una señal predicha (señal de inter-predicción).
El conmutador de cambio intra/inter 470 selecciona una cualquiera de la señal de intra-predicción y la señal de inter­ predicción y emite la señal seleccionada al sumador 425 como señal predicha.
Usando la configuración anterior, el aparato de decodificación de imágenes 400 según la realización 1 decodifica datos de imagen codificados en los que se ha realizado codificación por compresión.
Debe observarse que, en el aparato de decodificación de imágenes 400, la unidad de decodificación por entropía 410 incluye la unidad de decodificación de diferencia de vectores de movimiento 100 según la realización 1.
Tal como se describió anteriormente, el aparato de decodificación de imágenes y el método de decodificación de imágenes según la realización 1 permiten una decodificación de diferencia de vectores de movimiento de alta velocidad.
Específicamente, tal como se describe en la realización 1, se integran una componente X y una componente Y de un valor de diferencia de vectores de movimiento, y se separa un valor de diferencia de vectores de movimiento en una porción en la que debe realizarse decodificación aritmética binaria adaptativa de contexto y una porción en la que debe realizarse procesamiento de derivación. Por consiguiente, es posible expandir una porción en la que puede realizarse un funcionamiento paralelo. Por tanto, puede realizarse un procesamiento paralelo o, dicho de otro modo, decodificación de alta velocidad.
Debe observarse que, aunque anteriormente se describió el procesamiento de decodificación en un procesamiento de decodificación de porción de sufijo y de signo, que se realizan por separado en una componente X y una componente Y, el concepto inventivo no se limita a esto. Por ejemplo, después del procesamiento de decodificación de porción de sufijo en una componente X, puede realizarse el procesamiento de decodificación de porción de sufijo en una componente Y, procesamiento de decodificación de signo en una componente X y después procesamiento de decodificación de signo en una componente Y. Incluso con esta configuración, las porciones en las que se realiza procesamiento de derivación están en sucesión y, por tanto, puede esperarse obtener efectos ventajosos. Además, con respecto a una porción de prefijo, puede decodificarse en sucesión información que indica si una componente X es 0 e información que indica si una componente Y es 0. Se aplican las mismas restricciones en una porción en la que se realiza procesamiento de decodificación aritmética de contexto (el procesamiento necesita realizarse de manera sucesiva) en cada caso.
Debe observarse que una cadena binaria mostrada en la figura 6 y la longitud de una porción en la que se realiza decodificación aritmética binaria adaptativa de contexto son ejemplos y no se necesita que sean necesariamente iguales que en la descripción anterior. Por ejemplo, puede realizarse decodificación suponiendo que una diferencia de vectores de movimiento cuyo valor absoluto es 0, 1 o 2 es una porción de prefijo, mientras que una diferencia de vectores de movimiento cuyo valor absoluto es mayor de o igual a 3 es una porción de sufijo (evidentemente, se supone que el aparato de codificación que genera este flujo de bits también ha realizado el mismo procesamiento). Determinando una cadena binaria de esta manera, puede aumentarse el grado de paralelismo y puede realizarse el procesamiento de decodificación a una velocidad todavía superior.
Modificación de la realización 1
Debe observarse que, en la realización 1, se separa una diferencia de vectores de movimiento en una porción de prefijo correspondiente a una porción en la que se realiza procesamiento de decodificación aritmética binaria adaptativa de contexto y una porción de sufijo correspondiente a una porción en la que se realiza procesamiento de decodificación de derivación, independientemente de una componente X y una componente Y. Esto logra un procesamiento de alta velocidad. Al tiempo que se logra este punto, es posible considerar una modificación tal como se describirá a continuación.
La modificación de la realización 1 se describe ahora en detalle usando las figuras 11A y 11B. La figura 11A es una tabla de correspondencia de indicador que muestra si las componentes X y las componentes Y de diferencias de vectores de movimiento son 0 en la modificación de la realización 1. La figura 11B es un diagrama de flujo que muestra un ejemplo del flujo de procesamiento en la modificación de la realización 1.
La realización 1 describe diferentes indicadores que indican si una componente X de una diferencia de vectores de movimiento es 0 y si una componente Y de una diferencia de vectores de movimiento es 0. Sin embargo, una componente X y una componente Y de una diferencia de vectores de movimiento se combinan para realizar decodificación en la realización 1, y por tanto puede mejorarse adicionalmente la eficiencia de codificación combinando los indicadores.
Por ejemplo, tal como se muestra en la figura 11A, se asignan códigos (MVDXY_EXIST) a combinaciones que muestran si una componente X es 0 (MVDX_EXIST) y si una componente Y es 0 (MVDY_EXIST).
Se asigna “0” si tanto una componente X como una componente Y son 0, se asigna “111 ” si ni una componente X ni una componente Y son 0, se asigna “110” si una componente X es 0 mientras que una componente Y no es 0 y se asigna “10” si una componente Y es 0 mientras que una componente X no es 0.
Tal como se describió anteriormente, se considera designar, usando un índice, un método de realizar derivación a partir de vectores contiguos, como método de derivar una diferencia de vectores de movimiento. Por consiguiente, una probabilidad de que una componente de una diferencia de vectores de movimiento sea “0” es aún mayor que en la codificación de imágenes convencional. Si tanto una componente X como una componente Y son “0”, una señal de cadena binaria puede expresarse usando 1 bit en la presente modificación, aunque convencionalmente son necesarios 2 bits. El flujo de procesamiento realizado por la unidad de decodificación de diferencia de vectores de movimiento 100 en la presente modificación es tal como se muestra en la figura 11B.
En la etapa S501, se obtiene una cadena de código que indica si una componente X y una componente Y de una diferencia de vectores de movimiento son 0 (S501). En este caso, por ejemplo, se aplica la tabla de correspondencia en la figura 11A a un resultado que muestra si una componente X y una componente Y son 0. Debe observarse que la figura 11B es la misma que la figura 8, excepto porque las etapas S200 y S204 en la figura 8 se sustituyen por la etapa S501, y, por tanto, se omite una descripción de las siguientes etapas.
Debe observarse que la tabla de correspondencia mostrada en la figura 11A es un ejemplo. En el caso de este ejemplo, se determinan cadenas binarias, suponiendo que una posibilidad de que una componente X de una diferencia de vectores de movimiento sea 0 es baja ya que generalmente muchas imágenes se mueven horizontalmente. Por ejemplo, una unidad de codificación de diferencia de vectores de movimiento puede conmutar tales tablas de correspondencia de una a otra según la frecuencia de aparición de código, y puede grabar un índice que indica qué tabla de correspondencia se usa para codificar en un flujo de bits. Después de eso, la unidad de decodificación de diferencia de vectores de movimiento 100 puede obtener la tabla de correspondencia en la figura 11A decodificando el índice.
Esta modificación permite mejorar la eficiencia de codificación al tiempo que se logra un procesamiento de alta velocidad.
[Realización 2]
Ahora se describe el resumen de un método de codificación aritmética en la presente realización. El método de codificación aritmética en la presente realización tiene una característica de dividir una diferencia de vectores de movimiento en una porción de prefijo correspondiente a una porción en la que se realiza codificación aritmética binaria adaptativa de contexto y una porción de sufijo correspondiente a una porción en la que se realiza codificación de procesamiento de derivación, en vez de dividir una diferencia de vectores de movimiento en una componente X y una componente Y. Esto logra la paralelización del procesamiento y la codificación de alta velocidad.
Lo anterior es una descripción del resumen del método de codificación aritmética en la presente realización. Puede usarse el mismo método que el método de codificación aritmética convencional, a menos que se describa de manera particular.
A continuación se presenta una descripción del flujo de procesamiento realizado por la unidad de codificación de diferencia de vectores de movimiento que lleva a cabo el método de codificación de diferencia de vectores de movimiento en la presente realización.
La figura 12 es un diagrama de flujo que muestra el flujo de procesamiento realizado por una unidad de codificación de diferencia de vectores de movimiento según la realización 2.
En primer lugar, la unidad de codificación de diferencia de vectores de movimiento obtiene información sobre una componente X y una componente Y de una diferencia de vectores de movimiento que va a codificarse, y determina si la componente X de la diferencia de vectores de movimiento es 0 (S601). Si la componente X de la diferencia de vectores de movimiento no es 0 (NO en S601), se realiza el procesamiento de codificación en una porción de prefijo de la componente X de la diferencia de vectores de movimiento (S602). Debe observarse que, en el procesamiento de codificación en la porción de prefijo en este caso, una cadena binaria mostrada en la figura 6 se codifica usando el método de codificación aritmética binaria adaptativa de contexto descrito a continuación. La codificación aritmética binaria adaptativa de contexto forma un par con el método de decodificación aritmética en la figura 3 y es una clase de codificación aritmética en la que se conmutan contextos de uno a otro basándose en condiciones, se obtiene la probabilidad de aparición de símbolo y se actualiza el valor de probabilidad del mismo usando el símbolo codificado (véase el documento NPL 1). Debe observarse que, a continuación, se aplica el método de codificación aritmética binaria adaptativa de contexto para codificar una porción de prefijo, si no se menciona claramente.
A continuación, si la componente X de la diferencia de vectores de movimiento es 0 (SÍ en S601), se codifica un indicador que indica que la componente X de la diferencia de vectores de movimiento es 0 (S603). A continuación, se determina si la componente Y de la diferencia de vectores de movimiento es 0 (S604). Si la componente Y de la diferencia de vectores de movimiento no es 0 (NO en S604), se realiza el procesamiento de codificación en la porción de prefijo de la componente Y de la diferencia de vectores de movimiento (de la misma manera que para la componente X, S605). Por otro lado, si la componente Y de la diferencia de vectores de movimiento es 0, se codifica un indicador que indica que la componente Y de la diferencia de vectores de movimiento es 0 (S606).
A continuación, se determina si la componente X de la diferencia de vectores de movimiento es mayor que o igual a un valor de TH o, dicho de otro modo, se incluye un sufijo (S607). Por ejemplo, si se usa la tabla de cadenas binarias en la figura 6, se realiza la determinación suponiendo que TH = 9. Debe observarse que, en la presente realización, puede determinarse un límite entre una porción de prefijo (codificación aritmética binaria adaptativa de contexto) y una porción de sufijo (codificación de procesamiento de derivación), independientemente de esta tabla de cadenas binarias.
Si la componente X incluye una porción de sufijo en este caso (SÍ en S607), se codifica la porción de sufijo de la componente X de la diferencia de vectores de movimiento (S608). Debe observarse que se realiza procesamiento de derivación de codificación aritmética para codificar una porción de sufijo. Específicamente, es un método usado para reducir el cálculo fijando la probabilidad al 50 % y forma un par con el método de decodificación de derivación mostrado en la figura 4 (véase el documento NPL 1). A continuación, se usa codificación de derivación para codificar una porción de sufijo, si no se menciona claramente. A continuación, se codifica el signo de la componente X de la diferencia de vectores de movimiento. Debe observarse que también se realiza codificación de derivación con respecto a este procesamiento (S610). Debe observarse que también se codifica el signo de la componente X en el caso en el que no se incluye una porción de sufijo (NO en S607) y la componente X no es 0 (NO en S609). Después de terminar el procesamiento de codificación de sufijo en la componente X (S610 y SÍ en S609), se realiza el procesamiento de codificación de sufijo en la componente Y.
A continuación, se determina si la componente Y de la diferencia de vectores de movimiento es mayor que el, o igual al, valor de TH o, dicho de otro modo, se incluye un sufijo (S611). Dado que se determina de la misma manera que para la componente X, se omite una descripción detallada.
Si la componente Y incluye una porción de sufijo en este caso (SÍ en S611), se codifica la porción de sufijo de la componente Y de la diferencia de vectores de movimiento (S612). Debe observarse que se realiza procesamiento de derivación de codificación aritmética para codificar una porción de sufijo. A continuación, se codifica el signo de la componente Y de la diferencia de vectores de movimiento. Debe observarse que también se realiza codificación de derivación con respecto a este procesamiento (S614). Debe observarse que también se codifica el signo de la componente Y si no se incluye la porción de sufijo (NO en S611) y la componente Y no es 0 (NO en S613). Esto completa el procesamiento de codificación de sufijo en la componente Y y termina el procesamiento de codificación en la componente X y la componente Y de la diferencia de vectores de movimiento.
Debe observarse que, incluso usando el método para codificar una diferencia de vectores de movimiento, puede paralelizarse el procesamiento como en (b) en la figura 9 descrita en la realización 1 y, por tanto, puede obtenerse un aparato de codificación de alta velocidad. Debe observarse que, como método de codificación para la modificación de la realización 1, se realizan en primer lugar S601 y S604 en el flujo de procesamiento en la figura 12. Después, en vez de S603 y S606, se codifica una cadena binaria que indica si cada una de una componente X y una componente Y en una combinación es 0, basándose en la tabla de correspondencia de la figura 11A. Debe observarse que en este caso también se realiza la codificación de prefijo, concretamente el método de codificación aritmética binaria adaptativa de contexto, para la codificación. Esto logra un aparato de codificación de alta velocidad al tiempo que se mejora la eficiencia de codificación.
Debe observarse que la figura 13 es un diagrama esquemático para describir la sintaxis que muestra un ejemplo de una estructura de datos de esta configuración. Debe observarse que esta tabla de sintaxis se cita a partir del documento NPL 2 y es un ejemplo de una estructura de datos en la que las porciones designadas mediante 701, 702 y 703 se generan usando el método para codificar (decodificar) una diferencia de vectores de movimiento en la realización 2 (y la realización 1).
Tal como se muestra mediante 701 a 703, se representa mvd_I?, que indica una diferencia de vectores de movimiento, como parámetro que indica tanto una componente x como una componente y. Debe observarse que “?” en mvd_I? corresponde a un índice de referencia, y es específicamente c, 0 o 1 (véase el documento NPL 2 para detalles).
Una diferencia de vectores de movimiento se representa convencionalmente como mvd_I? [x0] [y0] [0] y mvd_I? [x0] [y0] [1]. En este caso, el último elemento [0] indica una componente X y el último elemento [1] indica una componente Y. Una componente X y una componente Y de una diferencia de vectores de movimiento según la realización 2 (y la realización 1) se combinan y se describen en un flujo. Por consiguiente, una diferencia de vectores de movimiento según la realización 2 (y la realización 1) se indica como mvd_I? [x0] [y0].
Puede lograrse una codificación de alta velocidad y decodificación de alta velocidad generando datos que tienen una estructura de este tipo.
Debe observarse que la unidad de codificación de diferencia de vectores de movimiento según la realización 2 está incluida en el aparato de codificación de imágenes que realiza codificación por compresión con datos de imagen. La figura 14 es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de codificación de imágenes 200 según la realización 2.
El aparato de codificación de imágenes 200 realiza codificación por compresión con datos de imagen. Por ejemplo, se introducen datos de imagen en el aparato de codificación de imágenes 200 como señal de entrada para cada bloque. El aparato de codificación de imágenes 200 realiza la transformada, cuantificación y codificación de longitud variable en la señal de entrada que se ha introducido, para generar una señal codificada.
Tal como se muestra en la figura 14, el aparato de codificación de imágenes 200 incluye un restador 205 y una unidad de transformada y cuantificación 210, una unidad de codificación por entropía 220, una unidad de cuantificación inversa y transformada inversa 230, un sumador 235, un filtro de desbloqueo 240, una memoria 250, una unidad de intra-predicción 260, una unidad de detección de movimiento 270, una unidad de compensación de movimiento 280 y un conmutador de cambio intra/inter 290.
El restador 205 calcula una diferencia entre una señal de entrada y una señal predicha o, dicho de otro modo, un error de predicción.
La unidad de transformada y cuantificación 210 transforma un error de predicción en un dominio espacial para generar un coeficiente de transformada en un dominio de frecuencia. Por ejemplo, la unidad de transformada y cuantificación 210 realiza transformada de coseno discreta (Discrete Cosine Transform, DCT) con el error de predicción, para generar un coeficiente de transformada. Además, la unidad de transformada y cuantificación 210 cuantifica el coeficiente de transformada para generar un coeficiente de cuantificación.
La unidad de codificación por entropía 220 realiza codificación de longitud variable con el coeficiente de cuantificación para generar una señal codificada. Además, la unidad de codificación por entropía 220 codifica datos de movimiento (por ejemplo, vector de movimiento) detectados por la unidad de detección de movimiento 270 y emite los datos incluidos en la señal codificada.
La unidad de cuantificación inversa y transformada inversa 230 realiza la cuantificación inversa con el coeficiente de cuantificación para reconstruir un coeficiente de transformada. Además, la unidad de cuantificación inversa y transformada inversa 230 realiza la transformada inversa con el coeficiente de transformada reconstruido para reconstruir el error de predicción. Debe observarse que el error de predicción reconstruido tiene pérdida de información debido a la cuantificación y, por tanto, no coincide con el error de predicción generado por el restador 205. Específicamente, el error de predicción reconstruido incluye un error de cuantificación.
El sumador 235 suma el error de predicción reconstruido a la señal predicha para generar una imagen decodificada local.
El filtro de desbloqueo 240 realiza el procesamiento de filtro de desbloqueo con la imagen decodificada local generada.
La memoria 250 es una memoria para almacenar imágenes de referencia usadas para compensación de movimiento. Específicamente, la memoria 250 almacena la imagen localmente decodificada en la que se ha realizado procesamiento de filtro de desbloqueo.
La unidad de intra-predicción 260 realiza intra-predicción para generar una señal predicha (señal de intrapredicción). Específicamente, la unidad de intra-predicción 260 realiza intra-predicción haciendo referencia a una imagen alrededor de un bloque objetivo de codificación (señal de entrada) en la imagen localmente decodificada generada por el sumador 235 para generar una señal de intra-predicción.
La unidad de detección de movimiento 270 detecta datos de movimiento (por ejemplo, vector de movimiento) entre una señal de entrada y una imagen de referencia almacenada en la memoria 250.
La unidad de compensación de movimiento 280 realiza compensación de movimiento, basándose en los datos de movimiento detectados, para generar una señal predicha (señal de intra-predicción).
El conmutador de cambio intra/inter 290 selecciona una cualquiera de una señal de intra-predicción y una señal de inter-predicción y emite la señal seleccionada como señal predicha al restador 205 y al sumador 235.
Usando la configuración anterior, el aparato de codificación de imágenes 200 según la realización 2 realiza codificación por compresión con datos de imagen.
[Realización 3]
La presente realización describe configuraciones y procedimientos característicos incluidos en las realizaciones 1 o 2 para confirmación. Las configuraciones y los procedimientos según la presente realización corresponden a las configuraciones y procedimientos descritos en las realizaciones 1 o 2. Específicamente, el concepto descrito en las realizaciones 1 y 2 incluye las configuraciones y los procedimientos según la presente realización.
La figura 15A es un diagrama de bloques que muestra un ejemplo de una configuración y un aparato de codificación de imágenes según la presente realización. Un aparato de codificación de imágenes 800 mostrado en la figura 15A codifica una imagen usando un vector de movimiento. El aparato de codificación de imágenes 800 incluye una unidad de codificación 801.
La figura 15B es un diagrama de flujo que muestra una operación de procesamiento del aparato de codificación de imágenes 800 mostrado en la figura 15A. La unidad de codificación 801 codifica una diferencia de vectores de movimiento (S801). Una diferencia de vectores de movimiento muestra la diferencia entre un vector de movimiento predicho y un vector de movimiento. Un vector de movimiento predicho es un valor predicho de un vector de movimiento. Cuando se codifica una diferencia de vectores de movimiento, la unidad de codificación 801 codifica una primera porción, una segunda porción, una tercera porción y una cuarta porción.
La primera porción es una parte de una primera componente que es una de una componente horizontal y una componente vertical de una diferencia de vectores de movimiento. La segunda porción es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical de la diferencia de vectores de movimiento. La tercera porción es una parte de la primera componente y es diferente de la primera porción. La cuarta porción es una parte de la segunda componente y es diferente de la segunda porción. Normalmente, una parte de cada componente es una parte de datos binarios correspondiente a la componente.
Después, la unidad de codificación 801 genera una cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento se combinan en la cadena de código. Por tanto, la diferencia de vectores de movimiento se codifica de manera eficiente combinando una parte de la componente horizontal y una parte de la componente vertical.
Por ejemplo, la primera porción puede incluir un indicador que indica si la primera componente es 0. La segunda porción puede incluir un indicador que indica si la segunda componente es 0. La tercera porción puede incluir el signo de la primera componente. La cuarta porción puede incluir el signo de la segunda componente.
Además, por ejemplo, si el valor absoluto de la primera componente es mayor que un valor de umbral, la tercera porción puede incluir la diferencia entre el valor de umbral y el valor absoluto de la primera componente. Si el valor absoluto de la segunda componente es mayor que el valor de umbral, la cuarta porción puede incluir la diferencia entre el valor de umbral y el valor absoluto de la segunda componente.
Además, por ejemplo, la unidad de codificación 801 puede codificar la primera porción y la segunda porción realizando codificación aritmética binaria adaptativa de contexto. Después, la unidad de codificación 801 puede codificar la tercera porción y la cuarta porción realizando codificación de derivación. La codificación aritmética binaria adaptativa de contexto es codificación aritmética en la que se usa una probabilidad variable actualizada basándose en datos codificados. La codificación de derivación es codificación aritmética en la que se usa una probabilidad fija predeterminada. Además, la unidad de codificación 801 puede codificar la tercera porción y la cuarta porción en paralelo.
Además, por ejemplo, la unidad de codificación 801 puede codificar la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por ejemplo, la unidad de codificación 801 puede conmutar el procesamiento de codificación a un primer procesamiento de codificación según una primera norma o a un segundo procesamiento de codificación según una segunda norma. Después, la unidad de codificación 801 puede generar un flujo de bits que incluye información de identificación que indica la primera norma o la segunda norma a la que se adapta uno correspondiente del primer procesamiento de codificación y el segundo procesamiento de codificación al que se ha conmutado el procesamiento de codificación.
Si el procesamiento de codificación se conmuta al primer procesamiento de codificación, la unidad de codificación 801 puede generar la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción. Además, la unidad de codificación 801 puede generar un flujo de bits que incluye información de identificación que indica la primera norma y la cadena de código, en este caso.
La figura 16A es un diagrama de bloques que muestra un ejemplo de una configuración de un aparato de decodificación de imágenes según la presente realización. Un aparato de decodificación de imágenes 900 mostrado en la figura 16A decodifica una imagen usando un vector de movimiento. Además, el aparato de decodificación de imágenes 900 incluye una unidad de decodificación 901.
La figura 16B es un diagrama de flujo que muestra una operación de procesamiento del aparato de decodificación de imágenes 900 mostrado en la figura 16A. La unidad de decodificación 901 decodifica una diferencia de vectores de movimiento (S901). Un vector de movimiento predicho es un valor predicho de un vector de movimiento. Una diferencia de vectores de movimiento muestra la diferencia entre el vector de movimiento predicho y el vector de movimiento.
Cuando se decodifica una diferencia de vectores de movimiento, la unidad de decodificación 901 obtiene una cadena de código. Después, la unidad de decodificación 901 decodifica una primera porción incluida en la cadena de código, decodifica una segunda porción incluida en la cadena de código, decodifica una tercera porción incluida en la cadena de código y decodifica una cuarta porción incluida en la cadena de código.
La primera porción es una parte de una primera componente que es una de una componente horizontal y una componente vertical de una diferencia de vectores de movimiento. La segunda porción es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical. La tercera porción es una parte de la primera componente y es diferente de la primera porción. La cuarta porción es una parte de la segunda componente y es diferente de la segunda porción. Normalmente, una parte de cada componente es una parte de datos binarios correspondiente a la componente.
Una cadena de código incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Por consiguiente, la unidad de decodificación 901 obtiene una cadena de código en la que se combinan una parte de la componente horizontal de la diferencia de vectores de movimiento y una parte de la componente vertical de la diferencia de vectores de movimiento. Después, la diferencia de vectores de movimiento se decodifica de manera eficiente usando una cadena de código en la que se combinan una parte de la componente horizontal y una parte de la componente vertical.
Por ejemplo, la primera porción puede incluir un indicador que indica si la primera componente es 0. La segunda porción puede incluir un indicador que indica si la segunda componente es 0. La tercera porción puede incluir el signo de la primera componente. La cuarta porción puede incluir el signo de la segunda componente.
Por ejemplo, si el valor absoluto de la primera componente es mayor que un valor de umbral, la tercera porción puede incluir la diferencia entre el valor de umbral y el valor absoluto de la primera componente. Si el valor absoluto de la segunda componente es mayor que el valor de umbral, la cuarta porción puede incluir la diferencia entre el valor de umbral y el valor absoluto de la segunda componente.
Por ejemplo, la unidad de decodificación 901 puede decodificar la primera porción y la segunda porción realizando decodificación aritmética binaria adaptativa de contexto. Además, la unidad de decodificación 901 puede decodificar la tercera porción y la cuarta porción realizando decodificación de derivación. La decodificación aritmética binaria adaptativa de contexto es decodificación aritmética en la que se usa una probabilidad variable actualizada basándose en datos decodificados. La decodificación de derivación es decodificación aritmética en la que se usa una probabilidad fija predeterminada. Además, la unidad de decodificación 901 puede decodificar la tercera porción y la cuarta porción en paralelo.
Por ejemplo, la unidad de decodificación 901 puede decodificar la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Además, por ejemplo, la unidad de decodificación 901 puede obtener un flujo de bits que incluye información de identificación que indica una primera norma o una segunda norma. Después, basándose en la información de identificación, la unidad de decodificación 901 puede conmutar el procesamiento de decodificación a un primer procesamiento de decodificación según la primera norma o a un segundo procesamiento de decodificación según la segunda norma.
Si el procesamiento de decodificación se conmuta al primer procesamiento de decodificación, la unidad de decodificación 901 puede obtener, a partir del flujo de bits, la cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en el orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Además, por ejemplo, el aparato de codificación de imágenes 800 y el aparato de decodificación de imágenes 900 pueden constituir un aparato de codificación y decodificación de imágenes.
Además, por ejemplo, la estructura de datos correspondiente a una cadena de código de una diferencia de vectores de movimiento puede ser la estructura de datos mostrada en la figura 17.
La figura 17 muestra una tabla de sintaxis que muestra un ejemplo de una estructura de datos correspondiente a una cadena de código de una diferencia de vectores de movimiento. En la figura 17, [0] indica una componente horizontal, mientras que [1] indica una componente vertical.
“abs_mvd_greater0_flag” es un indicador que indica si el valor absoluto de una componente horizontal o una componente vertical de una diferencia de vectores de movimiento es mayor de 0. “abs_mvd_greater1_flag” es un indicador que indica si el valor absoluto de la componente horizontal o la componente vertical de la diferencia de vectores de movimiento es mayor de 1. “abs_mvd_minus2” es un valor obtenido restando 2 a partir del valor absoluto de la componente horizontal o la componente vertical de la diferencia de vectores de movimiento. “mvd_sign_flag” es un signo de la componente horizontal o la componente vertical de la diferencia de vectores de movimiento.
“abs_mvd_greater0_flag” y “abs_mvd_greater1_flag” corresponden a una porción de prefijo. “abs_mvd_minus2” corresponde a una porción de sufijo. Normalmente, se usa codificación (decodificación) aritmética binaria adaptativa de contexto para codificar (decodificar) “abs_mvd_greater0_flag” y “abs_mvd_greater1_flag”. Después, se usa codificación (decodificación) de derivación para codificar (decodificar) “abs_mvd_minus2” y “mvd_sign_flag”.
Debe observarse que, en las realizaciones anteriores, cada uno de los elementos constituyentes puede estar constituido por hardware dedicado o puede obtenerse ejecutando un programa de software adecuado para el elemento constituyente. Cada elemento constituyente puede obtenerse mediante una unidad de ejecución de programas tal como una CPU o un procesador que lee y ejecuta un programa de software grabado en un medio de grabación tal como un disco duro o una memoria de semiconductor. En este caso, el software que realiza el aparato de codificación de imágenes en las realizaciones anteriores y similar es un programa tal como se describirá a continuación.
Específicamente, este programa hace que un ordenador ejecute un método de codificación de imágenes para codificar una imagen usando un vector de movimiento, incluyendo el método codificar una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho que es un valor predicho del vector de movimiento, en el que la codificación incluye: codificar una primera porción que es una parte de una primera componente que es una de una componente horizontal y una componente vertical de la diferencia de vectores de movimiento; codificar una segunda porción que es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical; codificar una tercera porción que es una parte de la primera componente y es diferente de la primera porción; codificar una cuarta porción que es una parte de la segunda componente y es diferente de la segunda porción; y generar una cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en un orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Lo anterior es una descripción de un método de codificación de imágenes según uno o más aspectos de la presente invención, basándose en las realizaciones. Sin embargo, la presente invención no se limita a estas realizaciones. Pueden incluirse diversas modificaciones de las realizaciones que pueden concebirse por los expertos en la técnica y combinaciones de elementos constituyentes en diferentes realizaciones.
[Realización 4]
El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa para implementar las configuraciones del método de codificación de imágenes en movimiento (método de codificación de imágenes) y el método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las realizaciones. Los medios de grabación pueden ser cualquier medio de grabación siempre que pueda grabarse el programa, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta de IC y una memoria de semiconductor.
A continuación en el presente documento, se describirán las aplicaciones del método de codificación de imágenes en movimiento (método de codificación de imágenes) y el método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las realizaciones y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el método de codificación de imágenes y un aparato de decodificación de imágenes que usa el método de decodificación de imágenes. Otras configuraciones en el sistema pueden cambiarse según sea apropiado dependiendo de los casos.
La figura 18 ilustra una configuración global de un sistema para proporcionar contenido ex100 para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación está dividida en células de tamaño deseado, y estaciones base ex106, ex107, ex108, ex109 y ex110 que son estaciones inalámbricas fijas están colocadas en cada una de las células.
El sistema para proporcionar contenido ex100 se conecta a dispositivos, tales como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una consola de videojuegos ex115 a través de Internet ex101, un proveedor de servicios de Internet ex102, una red de telefonía ex104, así como las estaciones base ex106 a ex110, respectivamente.
Sin embargo, la configuración del sistema para proporcionar contenido ex100 no se limita a la configuración mostrada en la figura 18 y resulta aceptable una combinación en la que cualquiera de los elementos está conectado. Además, cada dispositivo puede estar directamente conectado a la red de telefonía ex104, en vez de a través de las estaciones base ex106 a ex110 que son las estaciones inalámbricas fijas. Además, los dispositivos pueden estar interconectados entre sí mediante una comunicación inalámbrica a corta distancia y otras.
La cámara ex113, tal como una cámara de vídeo digital, puede captar vídeo. Una cámara ex116, tal como una cámara de vídeo digital, puede captar tanto imágenes fijas como vídeo. Además, el teléfono celular ex114 puede ser el que cumple con cualquiera de las normas tales como sistema global para comunicaciones móviles (GSM) (marca registrada), acceso múltiple por división de código (CDMA), acceso múltiple por división de código de banda ancha (W-CDMA), evolución a largo plazo (LTE) y acceso por paquetes de alta velocidad (HSPA). Alternativamente, el teléfono celular ex114 puede ser un sistema de teléfono personal (PHS).
En el sistema para proporcionar contenido ex100, un servidor de transmisión en flujo continuo ex103 está conectado a la cámara ex113 y otros a través de la red de telefonía ex104 y la estación base ex109, lo cual permite la distribución de imágenes de un espectáculo en directo y otros. En una distribución de este tipo, un contenido (por ejemplo, vídeo de un espectáculo de música en directo) captado por el usuario usando la cámara ex113 se codifica tal como se describió anteriormente en cada una de las realizaciones (es decir, la cámara funciona como aparato de codificación de imágenes según un aspecto de la presente invención) y se transmite el contenido codificado al servidor de transmisión en flujo continuo ex103. Por otro lado, el servidor de transmisión en flujo continuo ex103 lleva a cabo la distribución de flujo de los datos de contenido transmitidos a los clientes a petición de los mismos. Los clientes incluyen el ordenador ex111, la PDA ex112, la cámara ex113, el teléfono celular ex114 y la consola de videojuegos ex115 que pueden decodificar los datos codificados anteriormente mencionados. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, funciona como aparato de decodificación de imágenes según un aspecto de la presente invención).
Los datos captados pueden codificarse por la cámara ex113 o el servidor de transmisión en flujo continuo ex103 que transmite los datos, o los procedimientos de codificación pueden compartirse entre la cámara ex113 y el servidor de transmisión en flujo continuo ex103. De manera similar, los datos distribuidos pueden decodificarse por los clientes o el servidor de transmisión en flujo continuo ex103, o los procedimientos de decodificación pueden compartirse entre los clientes y el servidor de transmisión en flujo continuo ex103. Además, los datos de las imágenes fijas y el vídeo captados no sólo por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de transmisión en flujo continuo ex103 a través del ordenador ex111. Los procedimientos de codificación pueden realizarse por la cámara ex116, el ordenador ex111 o el servidor de transmisión en flujo continuo ex103, o compartirse entre los mismos.
Además, los procedimientos de codificación y decodificación pueden realizarse por un LSI ex500 generalmente incluido en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 puede estar configurado por un único chip o una pluralidad de chips. Puede integrarse software para codificar y decodificar vídeo en algún tipo de medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que puede leerse por el ordenador ex111 y otros, y los procedimientos de codificación y decodificación pueden realizarse usando el software. Además, cuando el teléfono celular ex114 está equipado con una cámara, pueden transmitirse los datos de imagen obtenidos por la cámara. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.
Además, el servidor de transmisión en flujo continuo ex103 puede estar compuesto por servidores y ordenadores y puede descentralizar datos y procesar los datos descentralizados, grabar o distribuir datos.
Tal como se describió anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema para proporcionar contenido ex100. Dicho de otro modo, los clientes pueden recibir y decodificar información transmitida por el usuario y reproducir los datos decodificados en tiempo real en el sistema para proporcionar contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo particular puede implementar radiodifusión personal. Además del ejemplo del sistema para proporcionar contenido ex100, al menos uno del aparato de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de imágenes en movimiento (aparato de decodificación de imágenes) descritos en cada una de las realizaciones puede implementarse en un sistema de radiodifusión digital ex200 ilustrado en la figura 19. Más específicamente, una estación de radiodifusión ex201 comunica o transmite, mediante ondas de radio a un satélite de radiodifusión ex202, datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados mediante el método de codificación de imágenes en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes según un aspecto de la presente invención). Tras recibir los datos multiplexados, el satélite de radiodifusión ex202 transmite ondas de radio para la radiodifusión. Después, una antena de uso doméstico ex204 con una función de recepción de radiodifusión de satélite recibe las ondas de radio. A continuación, un dispositivo tal como una televisión (receptor) ex300 y una caja de conexión (STB) ex217 decodifica los datos multiplexados recibidos y reproduce los datos decodificados (es decir, funciona como aparato de decodificación de imágenes según un aspecto de la presente invención).
Además, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215 y, en algunos casos, escribe datos obtenidos multiplexando una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento tal como se muestran en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se visualizan en el monitor ex219 y pueden reproducirse por otro dispositivo o sistema usando el medio de grabación ex215 en el que están grabados los datos multiplexados. También es posible implementar el aparato de decodificación de imágenes en movimiento en la caja de conexión ex217 conectada al cable ex203 para una televisión por cable o a la antena ex204 para radiodifusión por satélite y/o terrestre, para visualizar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de decodificación de imágenes en movimiento puede implementarse, no en la caja de conexión, sino en la televisión ex300.
La figura 20 ilustra la televisión (receptor) ex300 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las realizaciones. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos multiplexando datos de audio en datos de vídeo, a través de la antena ex204 o el cable ex203, etc., que recibe una radiodifusión; una unidad de modulación/demodulación ex302 que demodula los datos multiplexados recibidos o modula datos en datos multiplexados que van a suministrarse al exterior; y una unidad de multiplexación/demultiplexación ex303 que demultiplexa los datos multiplexados modulados para dar datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señales ex306 para dar datos.
La televisión ex300 incluye además: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (que funcionan como aparato de codificación de imágenes y aparato de decodificación de imágenes según los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada, y una unidad de visualización ex308 que visualiza la señal de vídeo decodificada, tal como un elemento de visualización. Además, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Además, la televisión ex300 incluye una unidad de control ex310 que controla de manera global cada elemento constituyente de la televisión ex300, y una unidad de circuito de suministro de potencia ex311 que suministra potencia a cada uno de los elementos. Aparte de la unidad de entrada de operación ex321, la unidad de interfaz ex317 puede incluir: un puente ex313 que está conectado a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para permitir la conexión del medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 que va a conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 que va a conectarse a una red de telefonía. En este caso, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria de semiconductor no volátil/volátil para almacenamiento. Los elementos constituyentes de la televisión ex300 están conectados entre sí a través de un bus síncrono.
En primer lugar, se describirá la configuración en la que la televisión ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En la televisión ex300, tras una operación de usuario mediante un control remoto ex200 y otros, la unidad de multiplexación/demultiplexación ex303 demultiplexa los datos multiplexados demodulados por la unidad de modulación/demodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señales de audio ex304 decodifica los datos de audio demultiplexados y la unidad de procesamiento de señales de vídeo ex305 decodifica los datos de vídeo demultiplexados, usando el método de decodificación descrito en cada una de las realizaciones, en la televisión ex300. La unidad de salida ex309 proporciona la señal de vídeo y la señal de audio decodificadas al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en memorias intermedias ex318 y ex319 y otras de modo que las señales pueden reproducirse de manera sincronizada entre sí. Además, la televisión ex300 puede leer datos multiplexados, no mediante radiodifusión y otros, sino a partir de los medios de grabación ex215 y ex216, tales como un disco magnético, un disco óptico y una tarjeta SD. A continuación, se describirá una configuración en la que la televisión ex300 codifica una señal de audio y una señal de vídeo y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, tras una operación de usuario mediante el control remoto ex220 y otros, la unidad de procesamiento de señales de audio ex304 codifica una señal de audio y la unidad de procesamiento de señales de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 usando el método de codificación descrito en cada una de las realizaciones. La unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio codificadas y proporciona la señal resultante al exterior. Cuando la unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321 y otras de modo que las señales se reproducen de manera sincronizada entre sí. En este caso, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser múltiples tal como se ilustra o al menos una memoria intermedia puede compartirse en la televisión ex300. Además, pueden almacenarse datos en una memoria intermedia de modo que puede evitarse el desbordamiento y subdesbordamiento entre la unidad de modulación/demodulación ex302 y la unidad de multiplexación/demultiplexación ex303, por ejemplo.
Además, la televisión ex300 puede incluir una configuración para recibir una entrada de AV a partir de un micrófono o una cámara distinta de la configuración para obtener datos de audio y de vídeo a partir de una radiodifusión o un medio de grabación y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos exteriores en la descripción, es posible que sólo pueda recibir, decodificar y proporcionar datos exteriores pero no codificar, multiplexar y proporcionar datos exteriores.
Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados a partir de o en un medio de grabación, uno de la televisión ex300 y el lector/grabador ex218 puede decodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabador ex218 pueden compartir la decodificación o codificación.
Como un ejemplo, la figura 21 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando se leen o se escriben datos a partir de, o en, un disco óptico. La unidad de reproducción/grabación de información ex400 incluye elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que van a describirse a continuación en el presente documento. El cabezal óptico ex401 irradia un punto de láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información y detecta luz reflejada a partir de la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 controla eléctricamente un láser de semiconductor incluido en el cabezal óptico ex401 y modula la luz de láser según los datos grabados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida detectando eléctricamente la luz reflejada a partir de la superficie de grabación usando un fotodetector incluido en el cabezal óptico ex401 y demodula la señal de reproducción separando un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 contiene temporalmente la información que va a grabarse en el medio de grabación ex215 y la información reproducida a partir del medio de grabación ex215. El motor de disco ex405 hace rotar el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 hasta una pista de información predeterminada mientras se controla el elemento de accionamiento de rotación del motor de disco ex405 para seguir el punto de láser. La unidad de control de sistema ex407 controla de manera global la unidad de reproducción/grabación de información ex400. Los procedimientos de lectura y escritura pueden implementarse por la unidad de control de sistema ex407 usando diversa información almacenada en la memoria intermedia ex404 y generando y añadiendo nueva información según sea necesario y, mediante la unidad de grabación de modulación ex402, la unidad de demodulación de reproducción ex403 y la unidad de servocontrol ex406 que graban y reproducen información mediante el cabezal óptico ex401 mientras se hace funcionar de una manera coordinada. La unidad de control de sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta el procesamiento haciendo que un ordenador ejecute un programa para leer y escribir.
Aunque el cabezal óptico ex401 irradia un punto de láser en la descripción, puede realizar grabación de alta densidad usando luz de campo cercano.
La figura 22 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, está formados en espiral surcos de guiado y una pista de información ex230 graba, por adelantado, información de dirección que indica una posición absoluta en el disco según un cambio de una forma de los surcos de guiado. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. Reproducir la pista de información ex230 y leer la información de dirección en un aparato que graba y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye una zona de grabación de datos ex233, una zona de circunferencia interna ex232 y una zona de circunferencia externa ex234. La zona de grabación de datos ex233 es una zona para su uso en la grabación de los datos de usuario. La zona de circunferencia interna ex232 y la zona de circunferencia externa ex234 que están dentro y fuera de la zona de grabación de datos ex233, respectivamente, son para un uso específico salvo por la grabación de datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe audio codificado, datos de vídeo codificados o datos multiplexados obtenidos multiplexando los datos de audio y vídeo codificados, a partir de, y en, la zona de grabación de datos ex233 del medio de grabación ex215.
Aunque en la descripción se describe como ejemplo un disco óptico que tiene una capa, tal como un DVD y un BD, el disco óptico no se limita a los mismos y puede ser un disco óptico que tiene una estructura de múltiples capas y que puede grabarse en una parte distinta de la superficie. Además, el disco óptico puede tener una estructura para grabación/reproducción multidimensional, tal como grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabación de información que tiene diferentes capas a partir de diversos ángulos.
Además, un coche ex210 que tiene una antena ex205 puede recibir datos a partir del satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación de coche ex211 dispuesto en el coche ex210, en el sistema de radiodifusión digital ex200. En este caso, una configuración del sistema de navegación de coche ex211 será una configuración que incluye, por ejemplo, una unidad de recepción de GPS de la configuración ilustrada en la figura 20. Lo mismo será válido para la configuración del ordenador ex111, el teléfono celular ex114 y otros.
La figura 23A ilustra el teléfono celular ex114 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en las realizaciones. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 que puede captar imágenes en movimiento y fijas; y una unidad de visualización ex358 tal como una pantalla de cristal líquido para visualizar los datos tales como vídeo decodificado captado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 incluye además: una unidad de cuerpo principal que incluye una unidad de teclas de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para emitir audio; una unidad de entrada de audio ex356 tal como un micrófono para introducir audio; una unidad de memoria ex367 para almacenar vídeo o imágenes fijas captado, audio grabado, datos codificados o decodificados del vídeo recibido, las imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.
A continuación, se describirá un ejemplo de una configuración del teléfono celular ex114 con referencia a la figura 23B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar de manera global cada unidad del cuerpo principal incluyendo la unidad de visualización ex358 así como la unidad de teclas de operación ex366, está conectada mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de suministro de potencia ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexación/demultiplexación ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.
Cuando se activa una tecla de terminación de llamada o una tecla de encendido mediante una operación del usuario, la unidad de circuito de suministro de potencia ex361 suministra potencia a las unidades respectivas a partir de un paquete de batería para activar el teléfono celular ex114.
En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recopiladas por la unidad de entrada de audio ex356 en modo de conversación por voz en señales de audio digitales bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Después, la unidad de modulación/demodulación ex352 realiza procesamiento de espectro ensanchado con las señales de audio digitales y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia con los datos, para transmitir los datos resultantes a través de la antena ex350. Además, en el teléfono celular ex114, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación por voz y realiza conversión de frecuencia y la conversión de analógico a digital con los datos. Después, la unidad de modulación/demodulación ex352 realiza procesamiento de espectro ensanchado inverso con los datos y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógicas, para emitirlos a través de la unidad de salida de audio ex357.
Además, cuando se transmite un correo electrónico en modo de comunicación de datos, se envían datos de texto del correo electrónico introducidos haciendo funcionar la unidad de teclas de operación ex366 y otros del cuerpo principal a la unidad de control principal ex360 mediante la unidad de control de entrada de operación ex362. La unidad de control principal ex360 hace que la unidad de modulación/demodulación ex352 realice procesamiento de espectro ensanchado con los datos de texto y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia con los datos resultantes para transmitir los datos a la estación base ex110 mediante la antena ex350. Cuando se recibe un correo electrónico, se realiza un procesamiento con los datos recibidos que es aproximadamente inverso al procesamiento para transmitir un correo electrónico y se proporcionan los datos resultantes a la unidad de visualización ex358.
Cuando se transmiten vídeo, imágenes fijas o video y audio en modo de comunicación de datos, la unidad de procesamiento de señales de vídeo comprime y codifica señales de vídeo suministradas a partir de la unidad de cámara ex365 usando el método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como aparato de codificación de imágenes según el aspecto de la presente invención) y transmite los datos de vídeo codificados a la unidad de multiplexación/demultiplexación ex353. En cambio, cuando la unidad de cámara ex365 capta vídeo, imágenes fijas y otros, la unidad de procesamiento de señales de audio ex354 codifica señales de audio recopiladas por la unidad de entrada de audio ex356 y transmite los datos de audio codificados a la unidad de multiplexación/demultiplexación ex353.
La unidad de multiplexación/demultiplexación ex353 multiplexa los datos de vídeo codificados suministrados a partir de la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados suministrados a partir de la unidad de procesamiento de señales de audio ex354, usando un método predeterminado. Después, la unidad de modulación/demodulación (unidad de circuito de modulación/demodulación) ex352 realiza procesamiento de espectro ensanchado con los datos multiplexados y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia con los datos para transmitir los datos resultantes mediante la antena ex350.
Cuando se reciben datos de un archivo de vídeo que está vinculado a una página web y otros en modo de comunicación de datos o cuando se recibe un correo electrónico con vídeo y/o audio adjuntos, con el fin de decodificar los datos multiplexados recibidos mediante la antena ex350, la unidad de multiplexación/demultiplexación ex353 demultiplexa los datos multiplexados para dar un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señales de vídeo ex355 los datos de vídeo codificados y a la unidad de procesamiento de señales de audio ex354 los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señales de vídeo ex355 decodifica la señal de vídeo usando un método de decodificación de imágenes en movimiento correspondiente al método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como aparato de decodificación de imágenes según el aspecto de la presente invención) y después la unidad de visualización ex358 visualiza, por ejemplo, el vídeo y las imágenes fijas incluido en el archivo de vídeo vinculado a la página web mediante la unidad de control de LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio y la unidad de salida de audio ex357 proporciona el audio.
Además, de manera similar a la televisión ex300, un terminal tal como el teléfono celular ex114 tiene probablemente 3 tipos de configuraciones de implementación, incluyendo no sólo (i) un terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de decodificación, sino también (ii) un terminal de transmisión que sólo incluye un aparato de codificación y (iii) un terminal de recepción que sólo incluye un aparato de decodificación. Aunque el sistema de radiodifusión digital ex200 recibe y transmite los datos multiplexados obtenidos multiplexando datos de audio sobre datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos multiplexando, no datos de audio, sino datos de caracteres relacionados con vídeo sobre datos de vídeo, y pueden ser, no datos multiplexados, sino los propios datos de vídeo.
Como tal, el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento en cada una de las realizaciones pueden usarse en cualquiera de los dispositivos y sistemas descritos. Por tanto, pueden obtenerse las ventajas descritas en cada una de las realizaciones.
Además, la presente invención no se limita a las realizaciones, y son posibles diversas modificaciones y revisiones sin alejarse del alcance de la presente invención.
[Realización 5]
Pueden generarse datos de vídeo conmutando, según sea necesario, entre (i) el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones y (ii) un método de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento de conformidad con una norma diferente, tal como MPEG-2, MPEG-4 AVC y VC-1.
En este caso, cuando se genera una pluralidad de datos de vídeo que se adaptan a las diferentes normas y después se decodifican, los métodos de decodificación necesitan seleccionarse para adaptarse a las diferentes normas. Sin embargo, dado que no puede detectarse a qué norma se adapta cada uno de la pluralidad de los datos de vídeo que van a decodificarse, hay un problema de que no puede seleccionarse un método de decodificación apropiado.
Con el fin de resolver el problema, datos multiplexados obtenidos multiplexando datos de audio y otros sobre datos de vídeo tienen una estructura que incluye información de identificación que indica a qué norma se adaptan los datos de vídeo. A continuación en el presente documento se describirá la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el método de codificación de imágenes en movimiento y mediante el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en el formato de flujo de transporte MPEG-2.
La figura 24 ilustra una estructura una estructura de los datos multiplexados. Tal como se ilustra en la figura 24, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG) y un flujo de gráficos interactivos. El flujo de vídeo representa vídeo primario y vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primaria y una parte de audio secundaria que va a mezclarse con la parte de audio primaria, y el flujo de gráficos de presentación representa subtítulos de la película. En este caso, el vídeo primario es vídeo normal que va a visualizarse en una pantalla y el vídeo secundario es vídeo que va a visualizarse en una ventana más pequeña en el vídeo primario. Además, el flujo de gráficos interactivos representa una pantalla interactiva que va a generarse disponiendo los componentes de GUI en una pantalla. El flujo de vídeo se codifica en el método de codificación de imágenes en movimiento o mediante el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones, o en un método de codificación de imágenes en movimiento o mediante un aparato de codificación de imágenes en movimiento de conformidad con una norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1. El flujo de audio se codifica según una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.
Cada flujo incluido en los datos multiplexados se identifica mediante PID. Por ejemplo, 0x1011 se asigna al flujo de vídeo que va a usarse para vídeo de una película, de 0x1100 a 0x111F se asignan a los flujos de audio, de 0x1200 a 0x121F se asignan a los flujos de gráficos de presentación, de 0x1400 a 0x141F se asignan a los flujos de gráficos interactivos, de 0x1B00 a 0x1B1F se asignan a los flujos de vídeo que van a usarse para vídeo secundario de la película, y de 0x1A00 a 0x1A1F se asignan a los flujos de audio que van a usarse para el vídeo secundario que va a mezclarse con el audio primario.
La figura 25 ilustra esquemáticamente cómo se multiplexan los datos. En primer lugar, un flujo de vídeo ex235 compuesto por tramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes de PES ex236 y un flujo de paquetes de PES ex239 y adicionalmente en paquetes de TS ex237 y paquetes de TS ex240, respectivamente. De manera similar, datos de un flujo de gráficos de presentación ex241 y datos de un flujo de gráficos interactivos ex244 se transforman en un flujo de paquetes de PES ex242 y un flujo de paquetes de PES ex245 y adicionalmente en paquetes de TS ex243 y paquetes de TS ex246, respectivamente. Estos paquetes de TS adicionales se multiplexan para dar un flujo para obtener datos multiplexados ex247.
La figura 26 ilustra en más detalle cómo se almacena un flujo de vídeo en un flujo de paquetes de PES. La primera barra en la figura 26 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes de PES. Tal como se indica mediante las flechas designadas yy1, yy2, yy3 e yy4 en la figura 26, el flujo de vídeo se divide en imágenes como imágenes I, imágenes B e imágenes P, cada una de las cuales es una unidad de presentación de vídeo, y las imágenes se almacenan en una carga útil de cada uno de los paquetes de PES. Cada uno de los paquetes de PES tiene una cabecera de PES y la cabecera de PES almacena un sello de tiempo de presentación (PTS) que indica un tiempo de visualización de la imagen y un sello de tiempo de decodificación (decoding time-stamp, DTS) que indica un tiempo de decodificación de la imagen.
La figura 27 ilustra un formato de paquetes de TS que van a escribirse finalmente en los datos multiplexados. Cada uno de los paquetes de TS es un paquete de longitud fija de 188 bytes que incluye una cabecera de TS de 4 bytes que tiene información, tal como un PID para identificar un flujo, y una carga útil de TS de 184 bytes para almacenar datos. Los paquetes de PES se dividen y se almacenan en las cargas útiles de TS, respectivamente. Cuando se usa un BD-ROM, a cada uno de los paquetes de TS se le asigna una TP_Extra_Header de 4 bytes, dando por tanto como resultado paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. La TP_Extra_Header almacena información tal como un Arrival_Time_Stamp (ATS). El ATS muestra un tiempo de inicio de transferencia en el que cada uno de los paquetes de TS debe transferirse a un filtro de PID. Los paquetes de origen se disponen en los datos multiplexados tal como se muestra en la parte inferior de la figura 27. Los números que aumentan desde la cabecera de los datos multiplexados se denominan números de paquete de origen (Source Packet Numbers, SPN).
Cada uno de los paquetes de TS incluido en los datos multiplexados incluye no sólo flujos de audio, vídeo, subtítulos y otros, sino también una tabla de asociación de programas (Program Association Table, PAT), una tabla de mapeo de programas (Program Map Table, PMT) y una referencia de reloj de programa (Program Clock Reference, PCR). La PAT muestra qué indica un PID en una PMT usada en los datos multiplexados, y un PID de la propia PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, e información de atributos de los flujos correspondientes a los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestran si se permite o no copiar los datos multiplexados. La PCR almacena información de tiempo de STC correspondiente a un ATS que muestra cuándo se transfiere el paquete de PCR a un decodificador, con el fin de lograr la sincronización entre un reloj de tiempo de llegada (Arrival Time Clock, ATC) que es un eje de tiempo de los ATS y un reloj de tiempo de sistema (System Time Clock, STC) que es un eje de tiempo de los PTS y DTS.
La figura 28 ilustra la estructura de datos de la PMT en detalle. Una cabecera de PMT está dispuesta en la parte superior de la PMT. La cabecera de PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados están dispuestos después de la cabecera de PMT. En los descriptores se describe información tal como la información de control de copia. Después de los descriptores, están dispuestos una pluralidad de elementos de información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada elemento de información de flujo incluye descriptores de flujo que describen, cada uno, información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo e información de atributos de flujo (tal como una tasa de transmisión de tramas o una relación de aspecto). Los descriptores de flujo están en un número igual al número de flujos en los datos multiplexados.
Cuando se graban los datos multiplexados en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.
Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados tal como se muestra en la figura 29. Los archivos de información de datos multiplexados están en una correspondencia de uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributos de flujo y un mapa de entradas.
Tal como se ilustra en la figura 29, los datos multiplexados incluyen una tasa de sistema, un tiempo de inicio de reproducción y un tiempo de final de reproducción. La tasa de sistema indica la tasa de transferencia máxima a la que un decodificador objetivo de sistema que va a describirse a continuación transfiere los datos multiplexados a un filtro de PID. Los intervalos de los ATS incluidos en los datos multiplexados se establecen para no ser superiores a una tasa de sistema. El tiempo de inicio de reproducción indica un PTS en una trama de vídeo en la cabecera de los datos multiplexados. Se añade un intervalo de una trama a un PTS en una trama de vídeo al final de los datos multiplexados y se establece el PTS al tiempo de final de reproducción.
Tal como se muestra en la figura 30, se registra un elemento de información de atributos en la información de atributos de flujo para cada PID de cada flujo incluido en los datos multiplexados. Cada elemento de información de atributos tiene información diferente dependiendo de si el flujo correspondiente es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación o un flujo de gráficos interactivos. Cada elemento de información de atributos de flujo de vídeo porta información incluyendo qué clase de códec de compresión se usa para comprimir el flujo de vídeo, y la resolución, relación de aspecto y tasa de transmisión de tramas de los elementos de datos de imágenes que se incluyen en el flujo de vídeo. Cada elemento de información de atributos de flujo de audio porta información incluyendo qué clase de códec de compresión se usa para comprimir el flujo de audio, cuántos canales se incluyen en el flujo de audio, qué idioma soporta el flujo de audio y lo alta que es la frecuencia de muestreo. La información de atributos de flujo de vídeo y la información de atributos de flujo de audio se usan para la inicialización de un decodificador antes de que el reproductor reproduzca la información.
En la presente realización, los datos multiplexados que van a usarse son de un tipo de flujo indicado en la PMT. Además, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributos de flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones incluye una etapa o una unidad para asignar información única que indica datos de vídeo generados mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la p Mt o la información de atributos de flujo de vídeo. Con la configuración, los datos de vídeo generados mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones pueden distinguirse de datos de vídeo que se adaptan a otra norma.
Además, la figura 31 ilustra etapas del método de decodificación de imágenes en movimiento según la presente realización. En la etapa exS100, se obtiene el tipo de flujo incluido en la PMT o la información de atributos de flujo de vídeo a partir de los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributos de flujo de vídeo indican o no que los datos multiplexados se generan mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributos de flujo de vídeo indican que los datos multiplexados se generan mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en la etapa exS102, se realiza la decodificación mediante el método de decodificación de imágenes en movimiento en cada una de las realizaciones. Además, cuando el tipo de flujo o la información de atributos de flujo de vídeo indican conformidad con las normas convencionales, tales como MPEG-2, MPEG-4 AVC y VC-1, en la etapa exS103, se realiza la decodificación mediante un método de decodificación de imágenes en movimiento de conformidad con las normas convencionales.
Como tal, asignar un nuevo valor único al tipo de flujo o la información de atributos de flujo de vídeo permite la determinación de si el método de decodificación de imágenes en movimiento o el aparato de decodificación de imágenes en movimiento que se describen en cada una de las realizaciones pueden realizar la decodificación o no. Aunque los datos multiplexados estén adaptados a una norma diferente, puede seleccionarse un método o aparato de decodificación apropiado. Por tanto, se vuelve posible decodificar información sin errores. Además, el método o aparato de codificación de imágenes en movimiento o el método o aparato de decodificación de imágenes en movimiento en la presente realización pueden usarse en los dispositivos y sistemas descritos anteriormente.
[Realización 6]
Cada uno del método de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el método de decodificación de imágenes en movimiento y el aparato de decodificación de imágenes en movimiento en cada una de las realizaciones se logra normalmente en forma de un circuito integrado o un circuito integrado a gran escala (Large Scale Integrated, LSI). Como ejemplo del LIS, la figura 32 ilustra una configuración del LSI ex500 que se realiza en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que van a describirse a continuación y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de suministro de potencia ex505 se activa suministrando potencia a cada uno de los elementos cuando se activa la unidad de circuito de suministro de potencia ex505.
Por ejemplo, cuando se realiza codificación, el LSI ex500 recibe una señal de AV a partir de un micrófono ex117, una cámara ex113 y otros, a través de una IO de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504 y una unidad de control de frecuencia de accionamiento ex512. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos según la velocidad y cantidad de procesamiento para transmitirse a una unidad de procesamiento de señales ex507. Después, la unidad de procesamiento de señales ex507 codifica una señal de audio y/o una señal de vídeo. En este caso, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Además, la unidad de procesamiento de señales ex507 algunas veces multiplexa los datos de audio codificados y los datos de vídeo codificados, y una IO de flujo ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación base ex107 o se escriben en los medios de grabación ex215. Cuando se multiplexan conjuntos de datos, los datos deben almacenarse temporalmente en la memoria intermedia ex508 de modo que los conjuntos de datos se sincronicen entre sí.
Aunque la memoria ex511 es un elemento fuera del LSI ex500, puede incluirse en el LSI ex500. La memoria intermedia ex508 no se limita a una memoria intermedia, sino que puede estar compuesta por memorias intermedias. Además, el LSI ex500 puede realizarse en un chip o en una pluralidad de chips.
Además, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de accionamiento ex512, la configuración de la unidad de control ex501 no se limita a esto. Por ejemplo, la unidad de procesamiento de señales ex507 puede incluir una CPU. La inclusión de otra CPU en la unidad de procesamiento de señales ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir como, o ser parte de, la unidad de procesamiento de señales ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señales ex507 o la CPU ex502 incluyendo una parte de la unidad de procesamiento de señales ex507.
El nombre usado en este caso es LSI, pero también puede denominarse IC, LSI de sistema, super-LSI o ultra-LSI dependiendo del grado de integración.
Además, las maneras para lograr la integración no se limitan al LSI y un circuito especial o procesador de propósito general y así sucesivamente también pueden lograr la integración. Una matriz de compuertas programable en el campo (FPGA) que puede programarse después de fabricar los LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o configuración de un LSI pueden usarse para el mismo propósito.
En el futuro, con el avance en la tecnología de semiconductor, una nueva tecnología puede sustituir al LSI. Los bloques funcionales pueden integrarse usando tal tecnología. La posibilidad es que el concepto inventivo se aplique a biotecnología.
[Realización 7]
Cuando se decodifican datos de vídeo generados en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en comparación con cuando se decodifican datos de vídeo que se adaptan a una norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la cantidad de procesamiento probablemente aumenta. Por tanto, el LSI ex500 necesita establecer una frecuencia de accionamiento superior a la de la CPU ex502 que va a usarse cuando se decodifican datos de vídeo en conformidad con la norma convencional. Sin embargo, cuando se establece la frecuencia de accionamiento para ser superior, hay un problema de que aumenta el consumo de potencia.
Con el fin de resolver el problema, el aparato de decodificación de imágenes en movimiento, tal como la televisión ex300 y el LSI ex500, está configurado para determinar a qué norma se adaptan los datos de vídeo y conmutar entre las frecuencias de accionamiento según la norma determinada. La figura 33 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento superior cuando se generan datos de vídeo mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones. Entonces, la unidad de conmutación de frecuencia de accionamiento ex803 indica a una unidad de procesamiento de decodificación ex801 que ejecute el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo se adaptan a la norma convencional, la unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento inferior a la de los datos de vídeo generados mediante el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones. Después, la unidad de conmutación de frecuencia de accionamiento ex803 indica a la unidad de procesamiento de decodificación ex802 que se adapte a la norma convencional para decodificar los datos de vídeo.
Más específicamente, la unidad de conmutación de frecuencia de accionamiento ex803 incluye la CPU ex502 y la unidad de control de frecuencia de accionamiento ex512 en la figura 32. En este caso, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación ex802 que se adapta a la norma convencional corresponden a la unidad de procesamiento de señales ex507 en la figura 32. La CPU ex502 determina a qué norma se adaptan los datos de vídeo. Después, la unidad de control de frecuencia de accionamiento ex512 determina una frecuencia de accionamiento basándose en una señal procedente de la CPU ex502. Además, la unidad de procesamiento de señales ex507 decodifica los datos de vídeo basándose en la señal procedente de la CPU ex502. Por ejemplo, la información de identificación descrita en la realización 5 se usa probablemente para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la realización 5, sino que puede ser cualquier información siempre que la información indiqué a qué norma se adaptan los datos de vídeo. Por ejemplo, cuando puede determinarse a qué norma se adaptan los datos de vídeo basándose en una señal externa para determinar que los datos de vídeo se usan para una televisión o un disco, etc., la determinación puede realizarse basándose en tal señal externa. Además, la CPU ex502 selecciona una frecuencia de accionamiento basándose, por ejemplo, en una tabla de consulta en la que las normas de los datos de vídeo están asociadas con las frecuencias de accionamiento tal como se muestra en la figura 35. La frecuencia de accionamiento puede seleccionarse almacenando la tabla de consulta en la memoria intermedia ex508 y en una memoria interna de un LSI, y con referencia a la tabla de consulta por la CPU ex502.
La figura 34 ilustra etapas para ejecutar un método en la presente realización. En primer lugar, en la etapa exS200, la unidad de procesamiento de señales ex507 obtiene información de identificación a partir de los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no mediante el método de codificación y por el aparato de codificación descritos en cada una de las realizaciones, basándose en la información de identificación. Cuando los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento superior a la unidad de control de frecuencia de accionamiento ex512. Después, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento superior. Por otro lado, cuando la información de identificación indica que los datos de vídeo se adaptan a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento inferior a la unidad de control de frecuencia de accionamiento ex512. Después, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento inferior a la del caso en el que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones.
Además, junto con la conmutación de las frecuencias de accionamiento, el efecto de conservación de potencia puede mejorarse cambiando la tensión que va a aplicarse al LSI ex500 o un aparato que incluye el LSI ex500. Por ejemplo, cuando se establece la frecuencia de accionamiento para ser inferior, la tensión que va a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 se establece probablemente a una tensión inferior a la del caso en el que la frecuencia de accionamiento se establece para ser superior.
Además, cuando la cantidad de procesamiento para decodificar es más grande, la frecuencia de accionamiento puede establecerse para ser superior, y cuando la cantidad de procesamiento para decodificar es más pequeña, la frecuencia de accionamiento puede establecerse para ser inferior como el método para establecer la frecuencia de accionamiento. Por tanto, el método de establecimiento no se limita a los descritos anteriormente. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo de conformidad con MPEG-4 AVC es más grande que la cantidad de procesamiento para decodificar datos de vídeo generados mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la frecuencia de accionamiento se establece probablemente en orden inverso al ajuste descrito anteriormente.
Además, el método para establecer la frecuencia de accionamiento no se limita al método para establecer la frecuencia de accionamiento inferior. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la tensión que va a aplicarse al LSI ex500 o al aparato que incluye el ex500 se establece probablemente para ser superior. Cuando la información de identificación indica que los datos de vídeo se adaptan a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la tensión que va a aplicarse al LSI ex500 o al aparato que incluye el ex500 se establece probablemente para ser inferior. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, probablemente no tiene que suspenderse el accionamiento de la CPU ex502. Cuando la información de identificación indica que los datos de vídeo se adaptan a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, probablemente se suspende el accionamiento de la CPU ex502 en un tiempo dado porque la CPU ex502 tiene capacidad de procesamiento adicional. Aunque la información de identificación indique que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en el caso en el que la CPU ex502 tiene capacidad de procesamiento adicional, probablemente se suspende el accionamiento de la CPU ex502 en un tiempo dado. En tal caso, el tiempo de suspensión de suspensión es probablemente más corto que en el caso en el que la información de identificación indica que los datos de vídeo se adaptan a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1.
Por consiguiente, el efecto de conservación de potencia puede mejorarse conmutando entre las frecuencias de accionamiento según la norma a la que se adaptan los datos de vídeo. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se acciona usando una batería, puede prolongarse la vida de la batería con el efecto de conservación de potencia.
[Realización 8]
Hay casos en los que se proporciona una pluralidad de datos de vídeo que se adaptan a diferentes normas a los dispositivos y sistemas, tales como una televisión y un teléfono móvil. Con el fin de permitir decodificar la pluralidad de datos de vídeo que se adaptan a las diferentes normas, la unidad de procesamiento de señales ex507 del LSI ex500 necesita adaptarse a las diferentes normas. Sin embargo, los problemas de aumentar la escala del circuito del LSI ex500 y aumentar el coste surgen con el uso individual de las unidades de procesamiento de señales ex507 que se adaptan a las normas respectivas.
Con el fin de resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación que se adapta a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, se comparten parcialmente. Ex900 en la figura 36A muestra un ejemplo de la configuración. Por ejemplo, el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y el método de decodificación de imágenes en movimiento que se adapta a MPEG-4 AVC tienen, parcialmente en común, los detalles de procesamiento, tales como codificación por entropía, cuantificación inversa, filtrado de desbloqueo y predicción con compensación de movimiento. Los detalles de procesamiento que van a compartirse incluyen probablemente el uso de una unidad de procesamiento de decodificación ex902 que se adapta a MPEG-4 AVC. En cambio, se usa probablemente una unidad de procesamiento de decodificación dedicada ex901 para otro procesamiento único para un aspecto de la presente invención. Dado que el aspecto de la presente invención se caracteriza por decodificación por entropía en particular, por ejemplo, la unidad de procesamiento de decodificación dedicada ex901 se usa para decodificación por entropía. Por lo demás, la unidad de procesamiento de decodificación se comparte probablemente para uno de cuantificación inversa, filtrado de desbloqueo y compensación de movimiento, o para todos los procesamientos. La unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones puede compartirse para el procesamiento que va a compartirse, y puede usarse una unidad de procesamiento de decodificación dedicada para el procesamiento único para el de MPEG-4 AVC.
Además, ex1000 en la figura 36B muestra otro ejemplo en el que se comparte parcialmente el procesamiento. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación dedicada ex1001 que soporta el procesamiento único para un aspecto de la presente invención, una unidad de procesamiento de decodificación dedicada ex1002 que soporta el procesamiento único para otra norma convencional y una unidad de procesamiento de decodificación ex1003 que soporta el procesamiento que va a compartirse entre el método de decodificación de imágenes en movimiento según el aspecto de la presente invención y el método de decodificación de imágenes en movimiento convencional. En este caso, las unidades de procesamiento de decodificación dedicadas ex1001 y ex1002 no están necesariamente especializadas para el procesamiento según el aspecto de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser unas que pueden implementar procesamiento general. Además, la configuración de la presente realización puede implementarse mediante el LSI ex500.
Como tal, es posible reducir la escala del circuito de un LSI y reducir el coste compartiendo la unidad de procesamiento de decodificación para el procesamiento que va a compartirse entre el método de codificación de imágenes en movimiento según el aspecto de la presente invención y el método de decodificación de imágenes en movimiento de conformidad con la norma convencional.
Según una realización adicional, se proporciona un aparato de codificación de imágenes que codifica una imagen usando un vector de movimiento. El aparato comprende una unidad de codificación configurada para codificar una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho que es un valor predicho del vector de movimiento. La unidad de codificación está configurada para: codificar una primera porción que es una parte de una primera componente que es una de una componente horizontal y una componente vertical de la diferencia de vectores de movimiento; codificar una segunda porción que es una parte de una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical; codificar una tercera porción que es una parte de la primera componente y es diferente de la primera porción; codificar una cuarta porción que es una parte de la segunda componente y es diferente de la segunda porción; y generar una cadena de código que incluye la primera porción, la segunda porción, la tercera porción y la cuarta porción en un orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción.
Según una realización adicional, se proporciona un aparato de decodificación de imágenes que decodifica una imagen usando un vector de movimiento. El aparato comprende una unidad de decodificación configurada para decodificar una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento y un vector de movimiento predicho que es un valor predicho del vector de movimiento. La unidad de decodificación está configurada para: obtener una cadena de código que incluye (i) una primera porción que es una parte de una primera componente que es una de una componente horizontal y una componente vertical de la diferencia de vectores de movimiento, (ii) una segunda porción que es una parte una segunda componente que es diferente de la primera componente y es la otra de la componente horizontal y la componente vertical, (iii) una tercera porción que es una parte de la primera componente y es diferente de la primera porción, y (iv) una cuarta porción que es una parte de la segunda componente y es diferente de la segunda porción, en un orden de la primera porción, la segunda porción, la tercera porción y la cuarta porción; y decodificar la primera porción incluida en la cadena de código, decodificar la segunda porción incluida en la cadena de código, decodificar la tercera porción incluida en la cadena de código y decodificar la cuarta porción incluida en la cadena de código.
Según una realización adicional, se proporciona un aparato de codificación y decodificación de imágenes que comprende el aparato de codificación de imágenes y el aparato de decodificación de imágenes anteriores.
[Aplicabilidad industrial]
El método de codificación de imágenes y el método de decodificación de imágenes según un aspecto de la presente invención pueden aplicarse, por ejemplo, a receptores de televisión, grabadores de vídeo digitales, sistemas de navegación de coches, teléfonos celulares, cámaras digitales y cámaras de vídeo digitales.
[Lista de signos de referencia]
100 Unidad de decodificación de diferencia de vectores de movimiento
101, A01 Unidad de control de reconstrucción de diferencia de vectores de movimiento
102, A02 Unidad de determinación de diferencia de vectores de movimiento 0
103, A03 Unidad de decodificación de porción de prefijo de diferencia de vectores de movimiento
104, A04 Unidad de decodificación de porción de sufijo de diferencia de fectores de movimiento
105, A05 Unidad de decodificación de signo de diferencia de vectores de movimiento
106, A06 Unidad de reconstrucción de diferencia de vectores de movimiento
110 Unidad de decodificación de porción de prefijo
120 Unidad de decodificación de porción de sufijo
200, 800 Aparato de codificación de imágenes
205 Restador
210 Unidad de transformada y cuantificación
220 Unidad de codificación por entropía
230, 420 Unidad de cuantificación inversa y transformada inversa
235, 425 Sumador
240, 430 Filtro de desbloqueo
250, 440 Memoria
260, 450 Unidad de intra-predicción
270 Unidad de detección de movimiento
280, 460 Unidad de compensación del movimiento
290, 470 Conmutador de cambio intra/inter
400, 900 Aparato de decodificación de imágenes
410 Unidad de decodificación por entropía
801 Unidad de codificación
901 Unidad de decodificación
A00 Unidad de decodificación de longitud variable de diferencia de vectores de movimiento
A07 Conmutador

Claims (1)

  1. REIVINDICACIONES
    Un método de codificación de imágenes para codificar una imagen usando un vector de movimiento, comprendiendo el método codificar, en un flujo de bits, una diferencia de vectores de movimiento que indica una diferencia entre el vector de movimiento usado para predecir una imagen y un vector de movimiento predicho que es una predicción del vector de movimiento, estando el método caracterizado porque comprende:
    codificar (S603, S606), en el flujo de bits, una cadena de código que indica si una componente horizontal de la diferencia de vectores de movimiento es cero o no y si una componente vertical de la diferencia de vectores de movimiento es cero o no; y
    la cadena de código (MVDXY_EXIST) adopta
    (i) un primer valor, cuando tanto la componente horizontal como la vertical de la diferencia de vectores de movimiento son cero,
    (ii) un segundo valor, cuando sólo la componente horizontal de la diferencia de vectores de movimiento es distinta de cero,
    (iii) un tercer valor, cuando sólo la componente vertical de la diferencia de vectores de movimiento es distinta de cero, y
    (iv) un cuarto valor, cuando tanto la componente horizontal como la vertical de la diferencia de vectores de movimiento son distintas de cero:
    codificar, en el flujo de bits, primeros datos agrupados
    los primeros datos agrupados incluyen (i) primeros datos de prefijo que son una porción de prefijo de la componente horizontal de la diferencia de vectores de movimiento (S602) cuando la cadena de código adopta el segundo o cuarto valor (S601: No), y
    los primeros datos agrupados incluyen (ii) segundos datos de prefijo que son una porción de prefijo de la componente vertical de la diferencia de vectores de movimiento (S604: No), cuando la cadena de código adopta el tercer o cuarto valor (S604: No); y
    codificar, en el flujo de bits, después de codificar los primeros datos agrupados, segundos datos agrupados; determinar (S607), si la componente horizontal comprende una primera porción de sufijo o no, en el que los segundos datos agrupados incluyen, cuando la componente horizontal comprende la primera porción de sufijo (S607: Sí) (i) primeros datos de sufijo que son la primera porción de sufijo de la componente horizontal de la diferencia de vectores de movimiento (S608), y (ii) primeros datos de signo que son un signo de la componente horizontal de la diferencia de vectores de movimiento (S610),
    en el que los segundos datos agrupados incluyen, cuando la componente horizontal no comprende la primera porción de sufijo (S607: No) y cuando la componente horizontal no es cero (ii) primeros datos de signo que son un signo de la componente horizontal de la diferencia de vectores de movimiento (S610), y determinar (S611), si la componente vertical comprende una segunda porción de sufijo o no,
    en el que los segundos datos agrupados incluyen, cuando la componente vertical comprende la segunda porción de sufijo (S611: Sí) (iii) segundos datos de sufijo que son la porción de sufijo de la componente vertical de la diferencia de vectores de movimiento (S6l2) y (iv) segundos datos de signo que son un signo de la componente vertical de la diferencia de vectores de movimiento (S614),
    en el que los segundos datos agrupados incluyen, cuando la componente vertical no comprende la segunda porción de sufijo (S611: No) y cuando la componente vertical no es cero (iv) los segundos datos de signo que son un signo de la componente vertical de la diferencia de vectores de movimiento (S614), en el que codificar los primeros datos agrupados comprende realizar codificación aritmética binaria adaptativa de contexto con probabilidad variable, y
    en el que codificar los segundos datos agrupados comprende realizar codificación de derivación.
    El método según la reivindicación 1, en el que codificar la cadena de código comprende realizar codificación aritmética binaria adaptiva de contexto con probabilidad variable.
    Un aparato que codifica, en un flujo de bits, una diferencia de vectores de movimiento que indica una diferencia entre un vector de movimiento usado para predecir una imagen y un vector de movimiento predicho que es una predicción del vector de movimiento, comprendiendo el aparato:
    conjunto de circuitos de procesamiento; y
    almacenamiento accesible a partir del conjunto de circuitos de procesamiento, teniendo el almacenamiento instrucciones que, cuando se ejecutan por el conjunto de circuitos de procesamiento hacen que el aparato ejecute el método de codificación según cualquiera de las reivindicaciones 1 a 2.
ES17204482T 2011-06-24 2012-06-21 Método y aparato de codificación de imágenes Active ES2944949T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161500805P 2011-06-24 2011-06-24

Publications (1)

Publication Number Publication Date
ES2944949T3 true ES2944949T3 (es) 2023-06-27

Family

ID=47361842

Family Applications (2)

Application Number Title Priority Date Filing Date
ES17204497T Active ES2952761T3 (es) 2011-06-24 2012-06-21 Método de decodificación de imágenes
ES17204482T Active ES2944949T3 (es) 2011-06-24 2012-06-21 Método y aparato de codificación de imágenes

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES17204497T Active ES2952761T3 (es) 2011-06-24 2012-06-21 Método de decodificación de imágenes

Country Status (13)

Country Link
US (7) US8855207B2 (es)
EP (6) EP3309970B1 (es)
JP (9) JP5362129B2 (es)
KR (2) KR102258753B1 (es)
CN (3) CN107396107B (es)
AU (1) AU2012274765B2 (es)
BR (1) BR112013002450B1 (es)
CA (1) CA2806796C (es)
ES (2) ES2952761T3 (es)
MX (1) MX2013001167A (es)
PL (2) PL3309970T3 (es)
TW (1) TWI565304B (es)
WO (1) WO2012176450A1 (es)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076239B2 (en) 2009-04-30 2015-07-07 Stmicroelectronics S.R.L. Method and systems for thumbnail generation, and corresponding computer program product
JP5362129B2 (ja) * 2011-06-24 2013-12-11 パナソニック株式会社 画像符号化方法および画像符号化装置
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
AU2012333927A1 (en) 2011-11-07 2013-08-22 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
WO2014107029A1 (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
GB2513110A (en) * 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9706229B2 (en) * 2013-06-05 2017-07-11 Texas Instruments Incorporated High definition VP8 decoder
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
WO2015056449A1 (ja) * 2013-10-18 2015-04-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20150189321A1 (en) * 2014-01-02 2015-07-02 Mediatek Inc. Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax
JP6346445B2 (ja) 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
US10944983B2 (en) * 2014-04-01 2021-03-09 Mediatek Inc. Method of motion information coding
US10382759B2 (en) 2014-06-20 2019-08-13 Hfi Innovation Inc. Method and apparatus of binarization and context-adaptive coding for syntax in video coding
WO2016013571A1 (ja) * 2014-07-23 2016-01-28 株式会社不二越 転がり軸受
EP3270594A1 (en) * 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for advanced cabac context adaptation for last coefficient coding
KR20210115052A (ko) 2017-07-07 2021-09-24 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
EP3691274A4 (en) * 2017-09-28 2021-04-28 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE FOR IT AND DECODING METHOD AND DEVICE FOR IT
WO2019150411A1 (ja) * 2018-01-30 2019-08-08 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
KR102220474B1 (ko) 2018-02-28 2021-02-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN108810553B (zh) * 2018-05-02 2021-01-12 上海大学 一种基于稀疏化处理的移动节点监测数据序列压缩方法
KR20200139830A (ko) * 2018-05-21 2020-12-14 엘지전자 주식회사 영상 코딩 시스템에서 lut를 기반으로 도출된 mvd를 사용하는 영상 디코딩 방법 및 그 장치
WO2020004682A1 (ko) * 2018-06-26 2020-01-02 삼성전자 주식회사 움직임 정보의 부호화 장치 및 부호화 방법, 및 움직임 정보의 복호화 장치 및 복호화 방법
CN113302936B (zh) * 2019-01-07 2024-03-19 北京字节跳动网络技术有限公司 用于具有MVD的Merge的控制方法
CN113273207A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 基于几何分区的具有运动矢量差(MVD)的Merge

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381145A (en) * 1993-02-10 1995-01-10 Ricoh Corporation Method and apparatus for parallel decoding and encoding of data
GB2319689B (en) * 1994-02-23 1998-07-15 Ricoh Kk Compression of palletized images
US20040146109A1 (en) * 2002-04-19 2004-07-29 Satoshi Kondo Method for calculation motion vector
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
CN1216496C (zh) * 2003-09-27 2005-08-24 浙江大学 一种视频编解码中的运动矢量预测方法和装置
JP2005184232A (ja) * 2003-12-17 2005-07-07 Sony Corp 符号化装置、プログラム、およびデータ処理方法
KR100645735B1 (ko) * 2004-10-14 2006-11-15 주식회사 팬택 모바일 플랫폼의 컨텐츠 오동작 통신 검출 장치 및 방법
CN1984336A (zh) * 2005-12-05 2007-06-20 华为技术有限公司 一种二进制化方法及装置
CN101167366B (zh) * 2005-12-05 2010-10-27 华为技术有限公司 一种二进制化方法及装置
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
KR101398534B1 (ko) * 2007-03-23 2014-05-27 톰슨 라이센싱 코딩된 비트스트림의 수정
US8782379B2 (en) * 2007-09-27 2014-07-15 Qualcomm Incorporated H.264 video decoder CABAC core optimization techniques
US8891615B2 (en) * 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
EP2319244A1 (en) * 2008-08-19 2011-05-11 Thomson Licensing Cabac/avc compliant watermarking of syntax elements in compressed video
US8594366B2 (en) * 2008-08-19 2013-11-26 Thomson Licensing Context-based adaptive binary arithmetic coding (CABAC) video stream compliance
JP2010050697A (ja) * 2008-08-21 2010-03-04 Toshiba Corp 画像圧縮伸張装置および画像圧縮伸張方法
EP2164176A1 (en) * 2008-09-12 2010-03-17 Thomson Licensing Method for lossless compressing prefix-suffix-codes, method for decompressing a bit sequence representing integers or symbols encoded in compressed prefix-suffix-codes and storage medium or signal carrying compressed prefix-suffix-codes
TWI455587B (zh) * 2009-04-10 2014-10-01 Asustek Comp Inc 具有多格式影像編解碼功能的資料處理電路及處理方法
JP5258664B2 (ja) * 2009-04-14 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
WO2011034148A1 (ja) 2009-09-18 2011-03-24 シャープ株式会社 符号化装置、復号装置、動画像符号化装置、動画像復号装置、および符号化データ
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US9106913B2 (en) * 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
ES2906869T3 (es) 2011-06-16 2022-04-20 Ge Video Compression Llc Inicialización de contexto en codificación entrópica
JP5362129B2 (ja) * 2011-06-24 2013-12-11 パナソニック株式会社 画像符号化方法および画像符号化装置
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution

Also Published As

Publication number Publication date
TWI565304B (zh) 2017-01-01
CN107396107A (zh) 2017-11-24
JP2014014146A (ja) 2014-01-23
US20170230681A1 (en) 2017-08-10
PL3309970T3 (pl) 2023-09-25
JP2016226026A (ja) 2016-12-28
JP7033675B2 (ja) 2022-03-10
WO2012176450A1 (ja) 2012-12-27
US20140029673A1 (en) 2014-01-30
ES2952761T3 (es) 2023-11-03
EP3309969A1 (en) 2018-04-18
CN103004207A (zh) 2013-03-27
US11743490B2 (en) 2023-08-29
EP3309969B1 (en) 2023-04-19
JP2014003698A (ja) 2014-01-09
CN107371025B (zh) 2020-04-14
US10382779B2 (en) 2019-08-13
KR20200067219A (ko) 2020-06-11
BR112013002450B1 (pt) 2022-10-25
MX2013001167A (es) 2013-02-15
CN107371025A (zh) 2017-11-21
EP2725796A4 (en) 2014-11-12
JP6821766B2 (ja) 2021-01-27
JP6229909B2 (ja) 2017-11-15
EP3309970B1 (en) 2023-06-07
US20120328022A1 (en) 2012-12-27
US20220329848A1 (en) 2022-10-13
CN103004207B (zh) 2017-09-29
US8855207B2 (en) 2014-10-07
JP6612416B2 (ja) 2019-11-27
US11330292B2 (en) 2022-05-10
JP5415648B2 (ja) 2014-02-12
EP2725796A1 (en) 2014-04-30
JPWO2012176450A1 (ja) 2015-02-23
TW201306599A (zh) 2013-02-01
US20140029674A1 (en) 2014-01-30
KR20140032930A (ko) 2014-03-17
JP6443847B2 (ja) 2018-12-26
EP4220966A1 (en) 2023-08-02
AU2012274765B2 (en) 2016-06-30
JP5390727B1 (ja) 2014-01-15
EP4383723A2 (en) 2024-06-12
AU2012274765A1 (en) 2013-02-07
JP2019047517A (ja) 2019-03-22
AU2012274765A2 (en) 2013-03-28
PL3309969T3 (pl) 2023-09-18
US11991388B2 (en) 2024-05-21
JP2014014130A (ja) 2014-01-23
US9681130B2 (en) 2017-06-13
EP3309970A1 (en) 2018-04-18
JP2021069124A (ja) 2021-04-30
JP2020018013A (ja) 2020-01-30
CA2806796C (en) 2020-08-25
US20190349600A1 (en) 2019-11-14
EP4220966B1 (en) 2024-06-05
JP5999563B2 (ja) 2016-09-28
CA2806796A1 (en) 2012-12-27
US20230353775A1 (en) 2023-11-02
EP4383723A3 (en) 2024-07-31
US9648324B2 (en) 2017-05-09
EP3522377A1 (en) 2019-08-07
BR112013002450A2 (pt) 2018-01-23
CN107396107B (zh) 2021-02-02
JP5362129B2 (ja) 2013-12-11
KR102258753B1 (ko) 2021-05-31
JP2017229103A (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
JP7033675B2 (ja) 復号方法、復号装置、符号化方法及び符号化装置
JP6238215B2 (ja) 復号方法および復号装置
ES2936333T3 (es) Procedimiento de codificación de imágenes de vídeo, procedimiento de decodificación de imágenes de vídeo, dispositivo de codificación de imágenes de vídeo, dispositivo de decodificación de imágenes de vídeo y dispositivo de codificación-decodificación de imágenes de vídeo
ES2940577T3 (es) Método de descodificación de imágenes y dispositivo de descodificación de imágenes
ES2863625T3 (es) Señalización de banderas de bloque codificado (CBF) de luminancia-crominancia en codificación de vídeo
ES2754784T3 (es) Procedimiento de decodificación de vídeo, aparato de decodificación de vídeo