ES2347385T3

ES2347385T3 - Aparato de generacion de flujo de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de multiplexado de imagenes en movimiento y aparato de descodificacion de imagenes en movimiento.

Info

Publication number: ES2347385T3
Application number: ES08158372T
Authority: ES
Inventors: Tadamasa Matsushita Electric Industrial Co. Ltd Toma; Shinya Matsushita Electric Industrial Co. Ltd Kadono; Tomoyuki Matsushita Electric Industrial Co. Ltd Okada; Hiroshi Matsushita Electric Industrial Co. Ltd Yahata
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2004-04-28
Filing date: 2005-04-25
Publication date: 2010-10-28
Anticipated expiration: 2025-04-25
Also published as: DE602005016663D1; CN1950907A; TW200601281A; CN101697576B; EP1743338B1; JP4910065B2; US8130843B2; JP4071811B2; EP2182519B1; TWI395207B; MY144441A; EP1743338A1; US20080117988A1; CA2542266A1; US20080219393A1; ATE555477T1; PL2207181T3; US20080118218A1; EP1968063B1; PL2182520T3

Abstract

Un aparato de generación de flujo de imágenes en movimiento que genera un flujo que incluye imágenes que constituyen una imagen en movimiento, comprendiendo dicho aparato de generación de flujo de imágenes en movimiento: una primera unidad de codificación utilizable para codificar una primera información suplementaria incluida en una unidad de acceso aleatorio, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I, (i) incluyendo la primera información suplementaria fragmentos plurales de información de tipos de imagen, que indica tipos de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de tipos de imagen colocados en un orden que corresponde a un orden de descodificación del grupo de imágenes; una segunda unidad de codificación utilizable para codificar una segunda información suplementaria incluida en la unidad de acceso aleatorio, (i) incluyendo la segunda información suplementaria fragmentos plurales de información de estructuras de imagen, que indica estructuras de campos o tramas de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de estructuras de imagen colocados en el orden que corresponde al orden de descodificación del grupo de imágenes; y una unidad de generación utilizable para generar un flujo de imágenes en movimiento, añadiendo la información suplementaria codificada primera y segunda a una imagen codificada correspondiente a la primera imagen I que es una imagen inicial de la unidad de acceso aleatorio.

Description

Aparato de generación de flujo de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato de multiplexado de imágenes en movimiento y aparato de descodificación de imágenes en movimiento.

Campo técnico

La presente invención se refiere a un aparato, y similares, que genera un flujo de imágenes en movimiento codificadas, especialmente a un aparato, y similares, que genera un flujo sobre el cual se puede llevar a cabo una reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable, reproducción inversa y similares.

Técnica anterior

Recientemente, ha llegado la era de los multimedios en la cual el sonido, las imágenes y otros valores de píxeles se integran en un medio, y los medios de información convencional, como las herramientas de comunicación tales como periódicos, revistas, televisión, radio y teléfono se consideran como objetos multimedios. Generalmente, los multimedios son una forma de representación simultánea no solamente de caracteres sino también de gráficos, sonido y especialmente imágenes. Con el fin de gestionar los medios de información convencionales anteriormente descritos como multimedios, es un requisito representar la información digitalmente.

Sin embargo, no es realista procesar directamente una gran cantidad de información de manera digital usando los medios de información convencionales anteriormente descritos porque, cuando se calcula la cantidad de datos de cada medio de información descrito anteriormente como cantidad de datos digitales, la cantidad de datos por carácter es de 1 a 2 octetos, mientras que la del sonido por segundo no es inferior a 65 kbits (calidad vocal telefónica) y la de las imágenes en movimiento por segundo no es inferior a 100 Mbits (actual calidad de recepción de televisión). Por ejemplo, ya está comercialmente disponible un teléfono con televisión, gracias a la Red Digital de Servicios Integrados (ISDN) con una velocidad de transmisión de 64 kbps a 1,5 Mbps, pero es imposible transmitir imágenes móviles de cámara de televisión cuando se usa ISDN.

Por este motivo es necesaria la técnica de compresión de la información. Por ejemplo, una norma de técnica de compresión de imágenes en movimiento de H. 261 o H. 263, recomendada por la Unión Internacional de las Telecomunicaciones-Sector de Normalización de las Telecomunicaciones (ITU-T) se usa para los teléfonos con televisión. Igualmente, con la técnica de compresión de la información de la norma MPEG-1, es posible almacenar información de imágenes, junto con información de sonido, en un CD (disco compacto) normal para música.

Aquí, el Grupo de Expertos en Imágenes en Movimiento (MPEG) es una norma internacional para comprimir digitalmente señales de imágenes en movimiento, y ha sido normalizada por la ISO/IEC (la Organización Internacional de Estandarización/Consorcio Internacional de Ingeniería). MPEG-1 es la norma para comprimir señales de imágenes en movimiento a 1,5 Mbps, es decir, para comprimir información de señal de televisión en aproximadamente una centésima. Igualmente, la calidad que satisface la norma MPEG-1 es el nivel medio que se puede realizar a una velocidad de transmisión de aproximadamente 1,5 Mbps. De este modo MPEG-2 se normaliza para satisfacer la necesidad de una mayor calidad de imagen, y comprime las señales de imágenes en movimiento de 2 a 15 Mbps. Actualmente, el grupo de trabajo (ISO/IEC JTC1/SC29/WG11), que normalizó MPEG-1 y MPEG-2, ha normalizado MPEG-4 con una mayor velocidad de compresión. La norma MPEG-4 (i) consigue una velocidad de compresión superior a la norma MPEG-1 y la norma MPEG-2, (ii) permite codificar, descodificar y realizar operaciones objeto por objeto, y (iii) realiza nuevas funciones necesarias en esta era de multimedios. El objeto inicial de la norma MPEG-4 es normalizar un procedimiento de codificación de imágenes con bajas velocidades de bits, pero el objeto se extiende a un procedimiento de codificación de propósito general de imágenes entrelazadas con velocidades de bits elevadas. Después de esto, ISO/IEC y ITU/T, en combinación, han normalizado la AVC (codificación de vídeo avanzada) de MPEG-4 como un procedimiento de codificación de imágenes de la próxima generación, de imágenes con una velocidad de compresión elevada. Se espera que se use para los aparatos relacionados con los discos ópticos de la próxima generación, o en la difusión para terminales móviles.

Generalmente, en la codificación de las imágenes móviles, la cantidad de información se comprime reduciendo las redundancias temporales y espaciales. En la codificación de predicción interimágenes, dirigida a reducir las redundancias temporales, la generación de imágenes de estimación y predicción de movimiento se lleva a cabo bloque por bloque con referencia a una imagen anterior o una imagen posterior, y la codificación se lleva a cabo sobre el valor diferencial entre la imagen de predicción obtenida y la imagen a codificar. En esta memoria, el término "Imagen" usado es un término que representa una imagen. En una imagen progresiva, una imagen significa una trama, pero en una imagen entrelazada, significa una trama o un campo. El término "imagen entrelazada" descrito aquí significa una trama compuesta por dos campos con un ligero retardo temporal. En los procedimientos de codificación y descodificación de imágenes entrelazadas, es posible procesar una trama como es, como dos campos, o trama por trama o campo por campo de cada bloque en una trama.

La imagen para llevar a cabo la codificación intra-predicción sin hacer referencia a ninguna imagen de referencia se denomina Imagen Intra-codificada (imagen I). Igualmente, la imagen para llevar a cabo la codificación inter-predicción que se refiere a solamente una imagen se denomina Imagen predictiva codificada (imagen P). Igualmente, la imagen para llevar a cabo la codificación inter-predicción que se refiere a dos imágenes de referencia simultáneamente se denomina Imagen codificada Bipredictiva (imagen B). Una imagen B se puede referir a dos imágenes seleccionadas como una combinación arbitraria de una imagen anterior y una imagen posterior en tiempo de visualización. Tales dos imágenes de referencia se pueden especificar sobre bloque por bloque, siendo el bloque una unidad básica de codificación y descodificación. Estas imágenes de referencia se distinguen las unas de las otras de la siguiente manera: la imagen de referencia descrita anteriormente en el flujo codificado de bits se denomina primera imagen de referencia, y la otra imagen de referencia, descrita más tarde, se llama segunda imagen de referencia. Obsérvese que tales imágenes de referencia deben haberse codificado o descodificado anteriormente para codificar o descodificar imágenes P e imágenes B.

La codificación inter-predicción de compensación de movimiento se usa para codificar imágenes P e imágenes B. La codificación intra-predicción de compensación de movimiento es un procedimiento de codificación intra-predicción en el cual se aplica la compensación de movimiento. La compensación de movimiento es un procedimiento para mejorar una precisión de predicción y reducir la cantidad de datos evaluando la cantidad de movimiento (en lo sucesivo denominada vector de movimiento) de cada bloque de una imagen y llevando a cabo la codificación de predicción que considera el vector de movimiento. Por ejemplo, la cantidad de datos se reduce evaluando los vectores de movimiento de las imágenes a codificar y codificando cada residuo de predicción entre cada valor de predicción que está desplazado en la cantidad de cada vector de movimiento y cada imagen actual a codificar. En el caso de este procedimiento, puesto que la información del vector de movimiento es necesaria en la descodificación, los vectores de movimiento también se codifican, y se graban o se transmiten.

Los vectores de movimiento se evalúan macrobloque por macrobloque. Más específicamente, se evalúan los vectores de movimiento fijando el macrobloque de una imagen a codificar, moviendo el macrobloque de una imagen de referencia dentro del intervalo de búsqueda, y encontrando la ubicación del bloque de referencia que es más cercano al bloque estándar.

Las Fig. 1A y 1B son, respectivamente, diagramas estructurales de flujos MPEG-2 convencionales. Como se muestra en la Fig. 1B, un flujo MPEG-2 tiene una estructura jerárquica como la que se describirá en lo sucesivo. Un flujo se compone de un Grupo de Imágenes (denominado GOP en lo sucesivo). El uso de un GOP como unidad básica en el procesamiento de codificación permite editar una imagen en movimiento o llevar a cabo un acceso aleatorio. Un GOP se compone de imágenes I, imágenes P e imágenes B. Un flujo, un GOP y una imagen incluyen además, una señal síncrona (sinc) que indica una frontera de unidades y un encabezamiento que indica los datos comunes en las unidades, siendo las unidades aquí un flujo, un GOP y una imagen, respectivamente.

Las Fig. 2A y 2B muestran respectivamente ejemplos que indican la manera de llevar a cabo la codificación de predicción inter-imagen que se usa en MPEG-2. Las imágenes diagonalmente sombreadas en la figura son las imágenes a las que han de referirse otras imágenes. Como se muestra en la Fig. 2A, en la codificación de predicción en MPEG-2, las imágenes P (P0, P6, P9, P12 y P15) se pueden referir solamente a una única imagen seleccionada como una imagen I o una imagen P inmediatamente posterior en el tiempo de visualización. Igualmente, las imágenes B (B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 y B20) se pueden referir a dos imágenes seleccionadas como una combinación de una imagen I o imagen P inmediatamente anterior y una imagen I o imagen P inmediatamente anterior. Además, el orden de las imágenes a colocar en un flujo está determinado. Las imágenes I y una imagen P se colocan en el orden del tiempo de visualización, y cada imagen B se coloca inmediatamente después de una imagen I a visualizar inmediatamente después de la imagen B o inmediatamente después de una imagen P. Como ejemplo estructural de un GOP, como se muestra en la Fig. 2B, las imágenes de 13 a B14 se agrupan en un solo
GOP.

La Fig. 3A es un diagrama estructural de un flujo AVC de MPEG-4. No hay ningún concepto equivalente a un GOP en la AVC de MPEG-4. Sin embargo, ya que es posible construir una unidad accesible aleatoriamente equivalente a un GOP, segmentando los datos sobre la base de una imagen especial que se puede descodificar sin depender de otras imágenes, la unidad se denominará en lo sucesivo RAU (Unidad de Acceso Aleatorio). Dicho de otro modo, una unidad de acceso aleatorio RAU es un grupo de imágenes codificadas que empieza con una imagen intracodificada que se puede descodificar sin depender de ninguna imagen.

A continuación, se describirá más adelante la unidad de acceso que es una unidad básica en la gestión de un flujo (denominada simplemente AU en lo sucesivo). Una AU es la unidad para almacenar datos codificados equivalentes a una imagen, e incluye un conjunto PS de parámetros, datos de segmentos y similares. Hay dos tipos de conjuntos PS de parámetros. Uno de ellos es un conjunto PPS de parámetros de imágenes (denominados en lo sucesivo simplemente PPS) que son datos equivalentes al encabezamiento de cada imagen. El otro es un conjunto SPS de parámetros de secuencias (denominado en lo sucesivo simplemente SPS) que es equivalente al encabezamiento incluido en una unidad de un GOP o más en el MPEG-2. Un SPS incluye el número máximo de imágenes de referencia, un tamaño de imagen y similares. Por otra parte, un PPS incluye un tipo de codificación de longitud variable, un valor inicial de la etapa de cuantización, el número de imágenes de referencia y similares. A cada imagen se le asigna un identificador que indica a cuál de los PPS y SPS anteriormente descritos se hace referencia. Igualmente, un número FN de trama, que es el número de identificación para identificar una imagen incluida en datos de segmentos. Obsérvese que una secuencia empieza con una imagen especial en la cual todos los estados necesarios para descodificar se reinician como se describirá más adelante, y que se compone de un grupo de imágenes que empieza con una imagen especial y termina con una imagen que se coloca inmediatamente antes de la siguiente imagen especial.

Hay dos tipos de imágenes I en la AVC de MPEG-4. Hay un Refresco de Descodificador Instantáneo (IDR) y el resto. Una imagen de IDR es la imagen I que puede descodificar todas las imágenes colocadas después de la imagen IDR en un orden de descodificación, sin referirse a las imágenes colocadas antes de la imagen IDR en el orden de descodificación; dicho de otro modo, es la imagen I en la cual se reinician los estados necesarios para la descodificación. Una imagen IDR corresponde a la imagen I superior de un GOP cerrado de MPEG-2 Una secuencia en la AVC de MPEG-4 empieza con una imagen IDR. En el caso de una imagen I que no es una imagen IDR, una imagen colocada después de la imagen I en el orden de descodificación se puede referir a una imagen colocada antes de la imagen I en el orden de descodificación. Los tipos de imágenes respectivos se definirán en lo sucesivo. Una imagen IDR y una imagen I son las imágenes que se componen solamente de segmentos I. Una imagen P es la imagen que puede estar compuesta por segmentos P y segmentos I. Una imagen B es la imagen que se puede componer de segmentos B, segmentos P y segmentos I. Obsérvese que los segmentos de una imagen IDR se almacenan en una unidad NAL cuyo tipo es diferente del de la unidad NAL donde se almacenan los segmentos de una imagen no-IDR. Aquí, una unidad NAL es una unidad de subimagen.

En una AU en la AVC de MPEG-4, no solamente pueden incluirse los datos necesarios para descodificar, sino también la información suplementaria y la información de frontera. Tal información suplementaria se denomina Información Potenciadora Suplementaria (SEI) y es innecesaria para descodificar datos de segmentos. Todos los datos tales como un conjunto PS de parámetros, datos de segmentos y una SEI, se almacenan en una unidad Capa de Abstracción de Red (NAL), es decir, la NALU. Una unidad NAL se compone de un encabezamiento y una carga útil. Un encabezamiento incluye un campo que indica el tipo de datos a almacenar (en lo sucesivo denominado tipo de unidad NAL). Los valores de los tipos de unidad NAL se definen respectivamente para los tipos de datos tales como un segmento o una SEI. La referencia a tal valor de un tipo de unidad NAL permite identificar el tipo de datos a almacenar en la unidad NAL. El encabezamiento de una unidad NAL incluye un campo denominado nal_ref_idc. Se define que un campo nal_ref_idc es un campo de 2 bits y adopta un valor de 0, 1 ó más, según los tipos de unidades NAL. Por ejemplo, la unidad NAL de un SPS o un PPS adopta el valor 1 o más. En el caso de la unidad NAL de un segmento, un segmento al que se refieren los otros segmentos adopta el valor 1 o más, mientras que el segmento al que no se hace referencia adopta el valor 0. Igualmente, la unidad NAL de una SEI siempre toma el valor 0.

Uno o más mensajes de SEI se pueden almacenar en la unidad NAL de una SEI. Un mensaje SEI se compone de un encabezamiento y una carga útil, y el tipo de información a almacenar en la carga útil se identifica mediante el tipo de un mensaje SEI indicado en el encabezamiento. La descodificación de una AU significa descodificar los datos de segmentos en una AU, y visualizar una AU significa visualizar el resultado de descodificación de los datos de segmentos en la AU en lo que sigue.

Aquí, puesto que una unidad NAL no incluye información para identificar una frontera de unidad NAL, es posible añadir información de frontera a la parte superior de cada unidad NAL en el momento de almacenar una unidad NAL como una AU. En la gestión de un flujo de AVC de MPEG-4 en un Flujo de Transporte (TS) de MPEG-2 o un Flujo de Programa (PS) de MPEG-2, un prefijo de código de inicio, mostrado como 3 octetos de 0x000001, se añade a la parte superior de una unidad NAL. Igualmente se define que una unidad NAL que indica una frontera de AU se debe insertar en la parte superior de una AU en un TS o PS de MPEG-2, tal como una AU denominada Delimitador de Unidad de Acceso.

Convencionalmente, se han propuesto diversos tipos de técnicas relacionados, como este, con la codificación de imágenes en movimiento (Por ejemplo, remítase al Documento de Patente 1).

Documento de Patente 1: Publicación japonesa de Patente Abierta a Inspección Pública Nº 2003-18549.

La Fig. 4 es un diagrama de bloques de un aparato convencional de codificación de imágenes en movimiento.

El aparato 1 de codificación de imágenes en movimiento es un aparato que produce un flujo codificado Str obtenido convirtiendo, a través de la codificación por compresión, una señal EntradaV de vídeo de entrada, a introducir en un flujo de bits de un flujo codificado de longitud variable, o similar. El aparato de codificación de imágenes en movimiento incluye una unidad PTYPE de determinación de estructura de predicción, una unidad ME de estimación de vector de movimiento, una unidad MC de compensación de movimiento, una unidad Restar de resta, una unidad T de transformada ortogonal, una unidad Q de cuantización, una unidad IQ de cuantización inversa, una unidad IT de transformada ortogonal inversa, una unidad Sumar de suma, una memoria de imagen MemImag, un conmutador y una unidad VLC de codificación de longitud variable.

La señal Entrada V de vídeo de entrada se introduce en la unidad de resta Restar y la unidad ME de estimación de vector de movimiento. La unidad Restar de resta calcula el valor diferencial entre la señal EntradaV de vídeo de entrada introducida y la imagen de predicción, y la envía a la unidad de transformada ortogonal. La unidad T de transformada ortogonal convierte el valor diferencial en un coeficiente de frecuencias, y lo envía a la unidad Q de cuantización. La unidad Q de cuantización lleva a cabo la cuantización sobre el coeficiente de frecuencia introducido, y envía un valor Qcoef de cuantización a la unidad de codificación de longitud variable.

La unidad IQ de cuantización inversa realiza la cuantización inversa sobre el valor Qcoef de cuantización para reconstruir el coeficiente de frecuencia, y lo envía a la unidad IT de transformada ortogonal inversa. La unidad IT de transformada ortogonal inversa lleva a cabo la transformada de frecuencia inversa para transformar el coeficiente de frecuencia en un valor diferencial de píxeles, y lo envía a la unidad Sumar de suma. La unidad Sumar de suma añade el valor diferencial de píxeles a la imagen de predicción, a enviar desde la unidad MC de compensación de movimiento, para realizar una imagen descodificada. El conmutador SW se enciende cuando se instruye el almacenamiento de la imagen descodificada, y la imagen descodificada se almacena en la memoria de imagen MemImag.

Por otra parte, la unidad ME de estimación de vector de movimiento, en la cual se introduce una señal Entrada V de vídeo de entrada macrobloque por macrobloque, busca la imagen descodificada almacenada en la memoria de imagen MemImag, y estima el área de imagen que es más cercana a la señal de imagen de entrada, y en consecuencia determina el vector MV de movimiento que indica la posición. La estimación del vector de movimiento se lleva a cabo bloque por bloque, siendo el bloque una parte segmentada de un macrobloque. Puesto que se pueden usar diversas imágenes como imágenes de referencia en este momento, los números de identificación para especificar imágenes a las cuales referirse (índices relativos) son necesarios bloque por bloque. Es posible especificar imágenes de referencia calculando los números de imagen indicados por los índices relativos, siendo tales números de imagen asignados a las imágenes respectivas en una memoria de imagen MemImag.

La unidad MC de compensación de movimiento selecciona el área de imagen que es óptima como imagen de predicción a partir de las imágenes descodificadas almacenadas en la memoria de imagen MemImag.

La unidad PTYPE de determinación de estructura de predicción instruye a la unidad ME de estimación de vector de movimiento y a la unidad MC de compensación de movimiento para llevar a cabo la codificación intra-imagen sobre la imagen objetivo, como imagen especial accesible aleatoriamente usando su tipo TipoI de imagen, en el caso en que una imagen de inicio de unidad de acceso aleatorio, EntradaRAU, indica que la unidad RAU de acceso aleatorio empieza con la imagen actual, e instruye a la unidad VLC de codificación de longitud variable para codificar el tipo TipoI de imagen.

La unidad VLC de codificación de longitud variable lleva a cabo la codificación de longitud variable sobre el valor Qcoef de cuantización, el índice relativo Índice, el tipo TipoI de imagen y el vector MV de movimiento para formar un flujo codificado Flujo.

La Fig. 5 es un diagrama en bloques de un aparato 2 convencional de descodificación de imágenes en movimiento. Este aparato 2 de descodificación de imágenes en movimiento incluye una unidad VLC de descodificación de longitud variable, una memoria MemImag de imagen, una unidad MC de compensación de movimiento, una unidad Sumar de suma, una unidad IT de transformada ortogonal inversa y una unidad IQ de cuantización inversa. Obsérvese que, en la figura, a estas unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento en un aparato convencional de codificación de imágenes en movimiento, según se muestra en el diagrama en bloques de la Fig. 4, se les asignan los mismos números de referencia, y se omitirán las descripciones acerca de las mismas.

La unidad VLD de descodificación de longitud variable descodifica un flujo codificado Flujo, y envía el valor Qcoef de cuantización, el índice relativo Índice, el tipo TipoI de imagen y el vector MV de movimiento. El valor Qcoef de cuantización, el índice relativo Índice y el vector MV de movimiento se introducen en la memoria MemImag de imagen, la unidad MC de compensación de movimiento y la unidad IQ de cuantización inversa, respectivamente, y a continuación se lleva a cabo el procesamiento de descodificación sobre los mismos. Tales operaciones de un aparato convencional de codificación de imágenes en movimiento ya se han descrito usando el diagrama en bloques de la Fig. 4.

Una unidad RAU de acceso aleatorio muestra que la descodificación se puede llevar a cabo empezando con la AU superior en la unidad de acceso aleatorio. Sin embargo, puesto que un flujo convencional de AVC de MPEG-4 permite estructuras de predicción muy flexibles, un aparato de almacenamiento con un disco óptico o un disco rígido no puede obtener información para determinar las AU a descodificar o visualizar en el momento de la reproducción a velocidad variable o reproducción inversa.

Las Fig. 6A y 6B son ejemplos de las estructuras de predicción de las AU. Aquí, se almacena una imagen en cada AU. La Fig. 6A es la estructura de predicción de las AU usada en un flujo MPEG-2. Las figuras sombreadas diagonalmente en la figura son imágenes de referencia para otras AU. En el MPEG-2 las AU de las imágenes P (P4 y P7) pueden llevar a cabo la codificación de predicción refiriéndose solamente a una única AU seleccionada como la AU de una imagen I o imagen P inmediatamente posterior en el tiempo de visualización. Igualmente, las AU de las imágenes B (B1, B2, B3, B5 y B6) pueden llevar a cabo la codificación de predicción refiriéndose a dos AU seleccionadas como una combinación de las AU de una imagen I o imagen P inmediatamente posterior y una imagen I o imagen P inmediatamente anterior en el tiempo de visualización. Además, el orden de las imágenes a colocar en un flujo se predetermina de la siguiente manera: las AU de una imagen I y las imágenes P se colocan en el orden del tiempo de visualización; y cada una de las AU de imágenes B se coloca inmediatamente después de las AU de la imagen I o una de las imágenes P que se coloca inmediatamente después de la AU de cada imagen B. En consecuencia, la descodificación se puede llevar a cabo de las tres siguientes maneras: (1) todas las imágenes se descodifican; (2) solamente las AU de una imagen I e imágenes P se descodifican y visualizan; y (3) solamente la AU de una imagen I se descodifica y visualiza. Por lo tanto, los tres siguientes tipos de reproducción se pueden llevar a cabo fácilmente usando: (1) reproducción normal, (2) reproducción de velocidad media, y (3) reproducción a alta velocidad.

En la AVC de MPEG-4, se puede llevar a cabo la predicción donde la AU de una imagen B se refiere a la AU de una imagen B. La Fig. 6B es un ejemplo de estructura de predicción en un flujo de AVC de MPEG-4, y las AU de imágenes B (B1 y B3) se refieren a la AU (B2) de la imagen B. En este ejemplo, se pueden llevar a cabo los cuatro siguientes tipos de descodificación o visualización: (1) todas las imágenes se descodifican; (2) solamente las AU, de una imagen I, imágenes P e imágenes B, a las que se hace referencia, se descodifican y visualizan; (3) solamente las AU de una imagen I, y las imágenes P son descodificadas y visualizadas; (4) solamente la AU de una imagen I se descodifica y visualiza.

Además, en la AVC de MPEG-4, la AU de una imagen P se puede referir a la AU de una imagen B. Como se muestra en la Fig. 7, la AU de una imagen P (P7) se puede referir a la AU de una imagen B (B2). En este caso, la AU de una imagen P (P7) se puede descodificar solamente después de que se haya descodificado la AU de una imagen B (B2). Por lo tanto, los tres siguientes tipos de descodificación o visualización se pueden llevar a cabo: (1) todas las imágenes se descodifican; (2) solamente las AU, de una imagen I, imágenes P e imágenes B, a las que se hace referencia, se descodifican y visualizan; (3) solamente la AU de una imagen I se descodifica y visualiza.

De esta manera, puesto que se permiten diversas estructuras de predicción en la AVC de MPEG-4, se debe realizar el análisis de los datos de segmentos y la evaluación de la estructura de la predicción para conocer la relación de referencia entre la AU. Esto conlleva un problema: las AU a descodificar o visualizar no se pueden determinar basándose en una regla que se predetermina según una velocidad de reproducción en el momento de llevar a cabo la reproducción a saltos, la reproducción a velocidad variable y la reproducción inversa, a diferencia del caso del MPEG-2.

El documento EP0756281 revela un aparato de generación de flujo de imágenes en movimiento en el cual la información sectorial de tramas I y P, requeridas para modalidades de reproducción trucada, se graba en un sector de entrada formado en la parte superior de cada GOP.

Divulgación de la invención

Un objeto de la presente invención es proporcionar (i) un aparato y un procedimiento de generación de flujo de imágenes en movimiento que generan un flujo de imagen en movimiento que pueden llevar a cabo una reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable y reproducción inversa, incluso en el caso de un procedimiento de codificación como la AVC de MPEG-4, que permite estructuras de predicción flexibles, y (ii) un aparato de descodificación de imágenes en movimiento, y similares, que descodifica tal flujo de imagen en movimiento.

La invención es un aparato de generación de flujo en movimiento según la reivindicación 1, un procedimiento de generación de flujo en movimiento según la reivindicación 2, un aparto de descodificación de imágenes en movimiento según la reivindicación 3, un procedimiento de descodificación de imágenes en movimiento según la reivindicación 4, un soporte de grabación legible por ordenador según la reivindicación 5, un procedimiento de grabación según la reivindicación 6 y un sistema de descodificación de imágenes en movimiento según la reivindicación 7.

Como se ha descrito hasta este punto, con la presente invención, se pueden determinar las AU a descodificar en el tiempo de la reproducción trucada, tal como reproducción a velocidad variable y reproducción inversa, refiriéndose a una unidad específica NAL en la AU superior de una unidad RAU de acceso aleatorio. Por lo tanto, se puede realizar fácilmente un aparato de descodificación de imágenes en movimiento con una función excelente de reproducción trucada, y de este modo la presente invención es sumamente práctica.

Breve descripción de los dibujos

Estos y otros objetos, ventajas y características de la invención devendrán evidentes a partir de la siguiente descripción, considerada conjuntamente con los dibujos anexos, que ilustran una realización específica de la invención. En los dibujos:

Las Fig. 1A y 1B son diagramas que muestran, respectivamente, estructuras de flujo MPEG-2 de una técnica anterior;

Las Fig. 2A y 2B son diagramas que muestran, respectivamente, estructuras de GOP de MPEG-2 de una técnica anterior;

Las Fig. 3A y 3B son diagramas que muestran, respectivamente, estructuras de flujo MPEG-4 de una técnica anterior;

La Fig. 4 es un diagrama en bloques que muestra la estructura de un aparato de codificación convencional;

La Fig. 5 es un diagrama en bloques que muestra la estructura de un aparato de descodificación convencional;

Las Fig. 6A y 6B son diagramas que muestran, respectivamente, ejemplos de la estructura de predicción en un flujo convencional de AVC de MPEG-4;

La Fig. 7 es un diagrama que muestra otro ejemplo de la estructura de predicción en un flujo convencional de AVC de MPEG-4;

Las Fig. 8A y 8B son diagramas que muestran, respectivamente, estructuras de flujos de AVC de MPEG-4 de la presente invención;

Las Fig. 9A a 9D son diagramas de un primer ejemplo que muestra las AU a descodificar en una unidad RAU de acceso aleatorio;

Las Fig. 10A a 10D son diagramas de un segundo ejemplo que muestra las AU a descodificar en una unidad RAU de acceso aleatorio;

Las Fig. 11A a 11C son diagramas de un tercer ejemplo que muestra las AU a descodificar en una unidad RAU de acceso aleatorio;

Las Fig. 12A a 12F son diagramas de un ejemplo que muestra el procedimiento para especificar las AU a descodificar en una unidad RAU de acceso aleatorio;

La Fig. 13A es un diagrama que muestra un ejemplo de sintaxis de una tabla que indica información de reproducción a velocidad variable, y la Fig. 13B es un diagrama que muestra una unidad de almacenamiento de datos;

La Fig. 14 es un diagrama de un ejemplo de extensión de una tabla que indica información de reproducción a velocidad variable;

Las Fig. 15A a 15C son diagramas de un ejemplo que muestra las AU de la imagen I y la imagen P en una unidad RAU de acceso aleatorio en forma de información de reproducción a velocidad variable;

Las Fig. 16A a 16C son diagramas de un ejemplo donde el tiempo de detención en memoria temporal se usa como indicador de prioridades en el momento de la utilización de las prioridades de las AU como información de reproducción a velocidad variable.

Las Fig. 17A y 17B son diagramas que muestran respectivamente ejemplos en los cuales las AU de estructura de trama y las AU de estructura de campo coexisten en las RAU respectivas; la Fig. 17C es un diagrama que muestra el ejemplo de sintaxis del primer mapa (RAU_map1) que muestra la estructura de cada AU en la RAU; la Fig. 17D es un diagrama que muestra el RAU_map1 de la RAU de la Fig. 17B; la Fig. 17E es un diagrama que muestra el RAU_map en cuanto a la unidad RAU de acceso aleatorio de la Fig. 17B; la Fig. 17F es un diagrama que muestra el ejemplo de sintaxis del segundo mapa (RAU_map2) que muestra el tipo de codificación de cada trama o cada imagen de un par de campos;

Las Fig. 18A a 18C son diagramas que muestran otro mapa ejemplar en forma de información de reproducción;

La Fig. 19 es un diagrama del procedimiento para indicar la información de frontera en una unidad RAU de acceso aleatorio;

Las Fig. 20A y 20B son diagramas que muestran ejemplos de estructuras de predicción de imágenes en una unidad RAU de acceso aleatorio;

La Fig. 21 es un diagrama en bloques que muestra la estructura de un aparato de codificación de imágenes en movimiento de la presente invención;

La Fig. 22 es un diagrama de flujo de un procedimiento de codificación de imágenes en movimiento;

La Fig. 23 es un diagrama de bloques que muestra la estructura de un aparato de multiplexado de imágenes en movimiento de la presente invención;

Las Fig. 24A y 24B son diagramas que muestran contenidos ejemplares de la Ayuda de la información de soporte;

La Fig. 25 es un diagrama que muestra un ejemplo de una unidad NAL en la cual la información de reproducción trucada se almacena en la Ayuda de la información de soporte;

La Fig. 26 es un diagrama de flujo que muestra el funcionamiento de un aparato de multiplexado de imágenes en movimiento;

La Fig. 27 es un diagrama en bloques que muestra la estructura de un aparato de descodificación de imágenes en movimiento de la presente invención;

La Fig. 28 es un diagrama de flujo de un procedimiento de descodificación de imágenes convencional;

La Fig. 29 es un diagrama de flujo de determinación de las AU a descodificar en el procedimiento de descodificación de imágenes en movimiento de la presente invención;

La Fig. 30 es un diagrama de flujo que muestra el procesamiento realizado en el caso en el cual las AU a descodificar no coinciden con las AU a visualizar en el procedimiento de descodificación de imágenes en movimiento de la presente invención;

La Fig. 31 es un diagrama que muestra una jerarquía de datos de una unidad HD-DVD;

La Fig. 32 es un diagrama estructural del espacio lógico sobre una unidad HD-DVD;

La Fig. 33 es un diagrama estructural de un archivo de información de un objeto VOB de vídeo;

La Fig. 34 es un diagrama de un mapa temporal;

La Fig. 35 es un diagrama estructural de un fichero de lista de reproducción;

La Fig. 36 es un diagrama estructural de un fichero de programa que corresponde a la lista de reproducción;

La Fig. 37 es un diagrama estructural que muestra un fichero de información de gestión de todo el disco Blue-Ray BD;

La Fig. 38 es un diagrama estructural de un fichero para grabar un gestor global de sucesos;

La Fig. 39 es un diagrama en bloques que muestra el contorno de un reproductor de HD-DVD; y

Las Fig. 40A a 40C son diagramas que muestran un soporte de grabación para almacenar el programa a fin de realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de la presente invención.

Mejor modo de realizar la invención

Se describirá en lo sucesivo una realización de la presente invención con referencia a las figuras.

Estructura de un flujo AVC

En primer lugar, la estructura de un flujo AVC a generar por un aparato de generación de flujos de imágenes en movimiento, un aparato de codificación de imágenes en movimiento y un aparato de multiplexado de imágenes en movimiento de la presente invención, dicho de otro modo, se describirá un flujo AVC a introducir en un aparato de descodificación de imágenes en movimiento de la presente invención.

La Fig. 8A y la Fig. 8B muestran, respectivamente, las estructuras de flujos AVC de la presente invención. Obsérvese que la información de frontera a añadir a la parte superior de una unidad NAL no se muestra en la figura. El flujo AVC difiere de un flujo AVC convencional en cuanto a que se añade información de reproducción trucada, indicando la información de reproducción trucada las AU a descodificar en el momento de la reproducción trucada, tal como la reproducción a saltos, la reproducción de velocidad variable y la reproducción inversa. La información de reproducción trucada se almacena en una unidad NAL para almacenar información de reproducción (Fig. 8A). En la AVC de MPEG-4, la relación entre la información a almacenar y el tipo de unidad NAL de una unidad NAL específica se puede establecer por aplicación. Más específicamente, pueden usarse los valores de 0 y 24 a 31, y estos tipos de unidad NAL se denominan tipos de unidad NAL ajustables por usuario. En consecuencia, la información de reproducción trucada se almacena en la unidad NAL que tiene tales tipos de unidad NAL ajustables por usuario. Aquí, en el caso en el cual los tipos de Unidad NAL específicos se reservan para almacenar la información distinta de la información de reproducción trucada, los tipos de unidad NAL que son diferentes a los tipos de unidad NAL se asignan a la información de reproducción trucada. Las unidades NAL de la información de reproducción trucada se almacenan en la AU superior de una unidad RAU de acceso aleatorio. Tal unidad NAL se coloca inmediatamente después de una unidad NAL de PPS, si está presente, en una AU, pero se puede colocar en otra posición mientras el orden satisfaga el requisito de la AVC de MPEG-4 u otra norma. Igualmente, en el caso en el cual es imposible interpretar la unidad NAL de información de reproducción trucada, los datos de la unidad NAL se pueden saltar y reiniciar la descodificación desde la parte superior de la siguiente unidad NAL. Por lo tanto, incluso un terminal que no puede interpretar la unidad NAL de información de reproducción trucada puede llevar a cabo el procesamiento de descodificación sin fallos.

Obsérvese que tal unidad NAL de información de reproducción trucada se puede incluir, no en la AU superior de una unidad RAU de acceso aleatorio, sino en otra AU tal como la última AU. Igualmente, tal unidad NAL de información de reproducción trucada se puede incluir en cada AU que constituye una unidad RAU de acceso aleatorio.

Las Fig. 9 a 11 muestran ejemplos de AU a descodificar en el momento de la reproducción a velocidad variable. La Fig. 9A muestra el orden de visualización de las AU. Aquí, las AU sombreadas diagonalmente son las AU a las que se refieren otras AU, y las flechas muestran imágenes a las que se hace referencia. Se asignan números negativos de referencia a las AU a visualizar antes de 10, y se asignan números positivos de referencia a las AU a visualizar después de B15. La Fig. 9B muestra el orden de descodificación de las AU mostradas en la Fig. 9A, y 10 a B11 constituyen una unidad RAU de acceso aleatorio. En este momento, 10, -B14, P4, B2, P8, P6, P12 y B10 se descodifican para llevar a cabo una reproducción a doble velocidad (Fig. 9C), mientras que 10, P4, P8 y P12 se descodifican para llevar a cabo una reproducción de cuádruple velocidad (Fig. 9D). Las Fig. 9C y 9D muestran que las AU con un signo * se han de descodificar en el momento de reproducción a doble velocidad y de reproducción de cuádruple velocidad, y estos fragmentos de información se almacenan en la unidad NAL de la información de reproducción trucada. En el ejemplo de la Fig. 10A a 10D, las imágenes de 10 a B11 en el orden de descodificación constituyen una unidad RAU de acceso aleatorio. Aquí, 10, -B13, P3, B1, P6, B4, P9, B7, P12 y B10 se descodifican para llevar a cabo una reproducción a una velocidad multiplicada por 1,5 mientras que I0, P3, P6, P9 y P12 se descodifican para llevar a cabo una reproducción a triple velocidad. Igualmente, en el ejemplo de la Fig. 11A a 11C, I0, P3, P6, P9 y P12 se descodifican para llevar a cabo una reproducción a triple velocidad.

Aquí las velocidades de reproducción no necesitan ser exactas porque se describen como directrices de las velocidades de reproducción. Por ejemplo, en el ejemplo de la Fig. 11C, en el caso en el cual todas las AU mostradas como las AU a descodificar en el momento de la reproducción a triple velocidad se descodifican, la velocidad es 3,2 veces superior a la obtenida a partir de la expresión: 16:5; dicho de otro modo, no es exactamente una triple velocidad. Igualmente, en el momento de la reproducción multiplicada por M, en el caso en el cual el menor valor sobre M es N entre las velocidades de reproducción mostradas como información de reproducción trucada, es posible descodificar las AU necesarias para ser descodificadas en el momento de reproducción multiplicada por N y determinar el modo en que el resto de las AU se deberían codificar, según la implementación del aparato de descodificación. Igualmente, es posible colocar prioridades elevadas sobre las AU necesarias para ser descodificadas en el caso en el cual la velocidad de reproducción es rápida, y determinar las AU a descodificar sobre la base de las prioridades.

Obsérvese que algunas AU, entre las AU a descodificar en el momento de la reproducción de velocidad variable, pueden no visualizarse. Por ejemplo, se visualiza la N-ésima AU en el momento de la reproducción de doble velocidad, pero no se visualiza la M-ésima AU. En este momento, en el caso en el cual existe una necesidad de descodificar la M-ésima AU a fin de descodificar la N-ésima AU, la M-ésima AU se descodifica pero no se visualiza en el momento de la reproducción a doble velocidad.

A continuación, el procedimiento para especificar las AU a descodificar en el momento de reproducción a velocidad variable se describirá con referencia a las Fig. 12A a 12F. Las Fig. 12A a 12F muestran los ejemplos de especificación de las AU a descodificar en la misma unidad RAU de acceso aleatorio que la de la Fig. 9. Como se muestra en la Fig. 12D, 10, -B14, P4, B2, P8, P6, P12, B10 se descodifican en el momento de la reproducción a doble velocidad. Estas AU son la primera, segunda, quinta, sexta, novena, décima, decimotercera y decimocuarta AU cuando se cuentan las AU a partir de la AU superior de la unidad RAU de acceso aleatorio. De esta manera, es posible especificar unívocamente las AU a descodificar en el momento de reproducción a velocidad variable mostrando los números ordinales de las AU en una unidad RAU de acceso aleatorio. Un delimitador de unidades de acceso se coloca seguramente en la parte superior de una AU en el momento de multiplexar un flujo AVC por un flujo de transporte (TS) de MPEG-2. Cuando se obtienen datos de AU a descodificar en el momento de reproducción a velocidad variable, los delimitadores de unidades de acceso se buscan en secuencia para conocer los límites de las AU. Esta forma de procesamiento de búsqueda elimina la necesidad de analizar la carga útil de unidades NAL, tales como datos de segmentos, y por ello es más fácil.

Obsérvese que es posible especificar las AU a descodificar determinando que las AU a las que harán referencia otras AU, tales como las AU de una imagen I e imágenes P (tales AU a las que se hará referencia se denominan AU de referencia), se descodifican en el momento de la reproducción a velocidad variable, y especificando los números ordinales de las AU de referencia en una unidad RAU de acceso aleatorio. En la unidad RAU de acceso aleatorio de la Fig. 12B, como se muestra en la Fig. 12C, 10, -B14, P4, B2, P8, P6, P12, B10, son AU de referencia. Igualmente, en el momento de la reproducción a doble velocidad, 10, -B14, P4, B2, P8, P6, P12, B10 se descodifican, pero cuando se indican estas AU en el orden de las AU de referencia, corresponden a la primera, segunda, tercera, cuarta, quinta, sexta, séptima y octava AU de referencia, como se muestra en la Fig. 12F. Si una AU es o no una AU de referencia puede evaluarse refiriéndose a un campo específico en el encabezamiento de la unidad NAL en un segmento. Más específicamente, en el caso en el que el valor de un campo nal_ref_idc no es 0, la AU es una AU de referencia. Obsérvese que una AU de referencia a descodificar se puede especificar sobre la base de un número de trama, porque es posible identificar una AU de referencia sobre la base de un número de trama.

Además, es posible especificar las AU a descodificar especificando el valor desplazado equivalente a la longitud en octetos, desde la posición de inicio de la AU superior de una unidad RAU de acceso aleatorio hasta la posición de inicio de la AU a descodificar. Por ejemplo, en las Fig. 12A a 12F, en el caso en que 10 se inicie con la posición alejada de la parte superior de un flujo en 10.000 octetos, y P4 se inicia con la posición alejada de P4 en 20.000 octetos, el valor desplazado hasta P4 es de 10.000 octetos, obtenido a partir de la expresión: 20.000 - 10.000. En el caso en el cual se usa un flujo multiplexado en un TS de MPEG-2, es posible especificar un valor de desplazamiento que incluye el sobregasto del encabezamiento de un paquete de TS o un paquete de PES (Flujo elemental en paquetes), o es posible especificar un valor desplazado que lo incluye en el momento de llevar a cabo el relleno de datos por aplicación. Igualmente, es posible especificar una AU por un número FN de trama.

Obsérvese que, en el caso de usar un flujo multiplexado en un TS de MPEG-2, es posible especificar las AU basándose en el número de paquetes TS a partir de (i) el paquete TS para almacenar el número de índice y la información de dirección para identificar un paquete TS que incluye los datos superiores de las AU a descodificar, o los datos superiores de la unidad RAU de acceso aleatorio a (ii) el paquete TS actual. Aquí, es posible utilizar la información sobre el Paquete de Origen a utilizar para un formato de grabación de un disco Blu-ray (BD) en lugar de un paquete TS. El Paquete de Origen se obtiene añadiendo, a un paquete TS, un encabezamiento de 4 bytes que incluye información temporal del paquete TS, información de control de copia y similares.

La Fig. 13A es un ejemplo de sintaxis de una tabla que indica la información para reproducción a velocidad variable. En la sintaxis, nro_imag_en_RAU muestra el número de las AU que constituyen una unidad RAU de acceso aleatorio, nro_velocidad muestra el número de velocidades de reproducción a las cuales las AU han de descodificarse, velocidad_reproducción muestra una velocidad de reproducción, nro_imag_desc muestra el número de las AU a descodificar en el momento de la reproducción a una velocidad de reproducción mostrada en velocidad_reproducción, imag_desc muestra los números ordinales de las AU a descodificar en el caso de contar las AU a partir de la AU superior en una unidad RAU de acceso aleatorio. La Fig. 13B es un ejemplo en el caso de almacenar información sobre las AU a descodificar en una unidad RAU de acceso aleatorio mostrada en las Fig. 9A a 9D en el momento de una reproducción a doble velocidad y una reproducción a cuádruple velocidad. Obsérvese que nro_imag_en_RAU se usa en el momento de calcular una velocidad de reproducción exacta basada en el número de las AU a descodificar y el número total de las AU en una unidad RAU de acceso aleatorio, o de saltar en base unidades RAU de acceso aleatorio en secuencia. Sin embargo, nro_imag_en_RAU se puede omitir porque la misma información se puede obtener buscando las AU superiores de las unidades RAU de acceso aleatorio. Igualmente, se puede añadir a la tabla un campo que indica el tamaño de una tabla. Obsérvese que, en el ejemplo de sintaxis de la Fig. 13A, el número ordinal de una AU a descodificar, contando desde la parte superior de una unidad RAU de acceso aleatorio, se muestra directamente, pero si es necesario o no descodificar cada AU puede mostrarse encendiendo o apagando los bits correspondientes a cada AU. Por ejemplo, una unidad RAU de acceso aleatorio se compone de 16 AU en el ejemplo de las Fig. 9A a 9D, y se necesitan 16 bits cuando se asigna 1 bit a una AU. En el momento de la reproducción a cuádruple velocidad, se muestra que la primera, quinta, novena y decimotercera AU se descodifican asignando información de 16 bits que se representa como 0b1000100010001000 (0b indica un número binario). Aquí, el bit superior y el último bit corresponden, respectivamente, a la AU superior y la última AU de una unidad RAU de acceso
aleatorio.

Obsérvese que el tamaño de una tabla es variable en el ejemplo de sintaxis de la Fig. 13A. El valor máximo del tamaño de la tabla se determina en el caso donde se prescriben el valor máximo del número de las AU que constituyen una unidad RAU de acceso aleatorio y el valor máximo de nro_velocidad. En consecuencia, es posible fijar el tamaño de la tabla en el valor máximo determinado y, en el caso donde el tamaño de la información para reproducción a velocidad variable no alcanza el valor máximo, es posible llevar a cabo el relleno. La fijación del tamaño de la tabla de esta manera hace posible obtener siempre los datos de un tamaño fijo cuando se obtiene la información de reproducción a velocidad variable, lo que permite acelerar el procesamiento de obtención de información. Obsérvese que el tamaño de tabla, o el tamaño de una unidad NAL para almacenar la tabla, se muestra como información de gestión. Igualmente, es posible predeterminar el tamaño de una unidad NAL para almacenar información de reproducción trucada, y, en el caso donde la información no se puede almacenar en una única unidad NAL, es posible almacenar la información para reproducción a velocidad variable en diversas unidades NAL por separado. En este momento el relleno se lleva a cabo sobre la carga útil de la última unidad NAL, de manera que el tamaño de la unidad NAL se convierta en el tamaño predeterminado. Igualmente, algunos valores prescritos se determinan como los valores del tamaño de la tabla, y el número de índice que indica un valor prescrito del tamaño de la tabla se puede mostrar en la tabla, o usar la información de gestión de la aplicación.

Igualmente, es posible mostrar información diferencial en lugar de enumerar todas las AU a descodificar a cada velocidad de reproducción. Como la información en el momento de la reproducción a una velocidad multiplicada por M (<N), solamente las AU necesarias para descodificar se muestran además de las AU a descodificar en el momento de la reproducción a una velocidad multiplicada por N. En el ejemplo de la Fig. 13B, como la segunda, sexta, décima y decimocuarta AU, además, de las AU a descodificar en el momento de la reproducción a velocidad cuádruple, se descodifican en el momento de la reproducción a doble velocidad, es posible mostrar solamente la segunda, sexta, décima y decimocuarta AU como la información para la reproducción a doble velocidad.

Obsérvese que las AU necesarias a descodificar en el momento de reproducción a velocidad variable se muestran en la descripción anterior, pero además, es posible mostrar la información que indica el orden de visualización de las AU necesarias a descodificar. Por ejemplo, la información en el momento de la reproducción a doble velocidad y la reproducción a velocidad cuádruple se muestra en el ejemplo de las Fig. 9A a 9D, pero hay un ejemplo de reproducción de esta unidad RAU de acceso aleatorio a triple velocidad. La visualización de una parte de las AU a visualizar en el momento de reproducción a doble velocidad, además de las AU a visualizar en el momento la reproducción a velocidad cuádruple, permite realizar una reproducción a triple velocidad. Aquí, cuando se considera el caso donde se visualizan una o más AU entre I0 y P4, que se han de visualizar en el momento de la reproducción a cuádruple velocidad, la información para la reproducción a doble velocidad muestra que los candidatos son -B14, B2, B6 y B10. Sin embargo, el orden de visualización de estas cuatro AU se puede obtener solamente en el caso donde se analiza la información de encabezamiento de un segmento. Aquí, puesto que la información en el orden de visualización muestra que solamente -B14 se visualiza entre I0 y P4, es posible determinar que -B14 sea descodificada. La Fig. 14 es un ejemplo de sintaxis que indica la información sobre el orden de visualización, y se obtiene añadiendo la información sobre el orden de visualización a la sintaxis de la Fig. 13A. Aquí, ind_pts_dts muestra si el orden de descodificación de las AU a descodificar a la velocidad de reproducción coincide o no con el orden de visualización de las AU, y solamente en el caso donde el orden de descodificación no coincide con el orden de visualización, la información del orden de visualización se muestra en un campo orden_visualización.

Obsérvese que, en el caso de reproducción a una velocidad de reproducción que no es mostrada por la información de reproducción a velocidad variable, es posible determinar las AU a descodificar y las AU a visualizar basándose en la regla que se predetermina en el terminal. Por ejemplo, en el caso de reproducción a triple velocidad en el ejemplo de la Fig. 9, es posible visualizar I0, B3, B9 y P12 además de las AU a visualizar en el momento de la reproducción a cuádruple velocidad, en lugar de visualizar una parte de las AU a visualizar en el momento de reproducción a doble velocidad. Aquí, como en las imágenes B, las imágenes B en las AU de referencia se pueden, preferiblemente, descodificar o visualizar.

Igualmente, hay un caso donde la reproducción trucada, tal como la reproducción a velocidad variable, se realiza reproduciendo solamente la AU de una imagen I o solamente las AU de una imagen I e imágenes P. Por lo tanto, se puede almacenar una lista de una imagen I e imágenes P como información de reproducción trucada. Las Fig. 15A a 15C muestran otro ejemplo. Aquí, las imágenes a partir de 10 a B14 se incluyen en una unidad RAU de acceso aleatorio como se muestra en la Fig. 15B y, entre esas, las AU de una imagen I e imágenes P son 10, P3, P6, P9, P12 y P15, como se muestra en la Fig. 15C. Por lo tanto, se almacena la información para identificar 10, P3, P6, P9, P12 y P15. En este momento, es posible añadir la información para distinguir la AU de una imagen I a partir de la AU de una imagen P. Igualmente, es posible mostrar la información para distinguir las siguientes imágenes entre sí, incluyendo las imágenes: una imagen I, imágenes P, imágenes B a servir de referencia (denominadas en lo sucesivo imágenes B de referencia), e imágenes B a las que no se hará referencia (denominadas en lo sucesivo imágenes B de no-
referencia).

Además, es posible almacenar la información de prioridad de las AU respectivas como información de reproducción trucada, y descodificar o visualizar las AU según las prioridades en el momento de la reproducción a velocidad variable. Es posible utilizar tipos de imágenes como información de prioridad. Por ejemplo, las prioridades de las AU se pueden asignar en el siguiente orden de enumeración: (i) una imagen I; (ii) imágenes P; (iii) imágenes B de referencia; e (iv) imágenes B de no-referencia. Igualmente, es posible establecer información de prioridad de la siguiente manera: cuanto mayor es el tiempo entre el momento después de la descodificación de una AU y el momento de visualización de la AU, mayor deviene la prioridad. Las Fig. 16A a 16C muestran un ejemplo de ajuste de las prioridades según el tiempo de detención en memoria temporal. La Fig. 16A muestra la estructura de predicción de las AU y a P3 se hace referencia también por parte de B7 y P9. En este momento, en el caso donde la unidad RAU de acceso aleatorio se compone de las AU desde I0 a B11 (Fig. 16B), el tiempo de detención en memoria temporal de cada AU es como se muestra en la Fig. 16C. Aquí, el tiempo de detección en memoria temporal se muestra basado en el número de tramas. Por ejemplo, P3 es necesario hasta que se descodifica P9, y el tiempo de detención en memoria temporal debe ser equivalente a seis imágenes. Por lo tanto, la descodificación de las AU cuyo tiempo de detención en memoria temporal es 3 o más significa la descodificación de toda la imagen I y todas las imágenes P, y se realiza la reproducción a triple velocidad. Aquí, el tiempo de detención en memoria temporal de P3 es superior al de 10, pero es posible añadir un valor desplazado a la AU de la imagen I para colocar la mayor prioridad sobre la AU de la imagen I. Igualmente, es posible colocar prioridades elevadas en las AU necesarias a descodificar en el momento de reproducción a alta velocidad y usar, como información de prioridad, N en las AU necesarias a descodificar en el momento de la reproducción a velocidad multiplicada por N. Obsérvese que, en el caso donde a una AU se hace referencia en otras AU después de ser descodificada o visualizada, es posible mostrar el periodo de tiempo durante el cual se hace referencia a la AU.

Obsérvese que la información de reproducción trucada se puede almacenar en un mensaje SEI (Fig. 8B). En este caso, el tipo de mensaje SEI se define para la información de reproducción trucada, y la información de reproducción trucada se almacena en el mensaje SEI del tipo definido. El mensaje SEI para la información de reproducción trucada se almacena en la unidad NAL de la SEI, solo o junto con otros mensajes. Obsérvese que es posible almacenar información de reproducción trucada en el mensaje SEI user_data_registered_itu_t_t35 o en el mensaje SEI user_data_unregistered, que son mensajes SEI para almacenar la información definida por un usuario. En el momento de usar estos mensajes SEI, es posible mostrar que la información de reproducción trucada se almacena, o que el tipo de información de reproducción trucada en la parte de carga útil de una SEI añadiendo información de identificación de la información a almacenar.

Obsérvese que es posible almacenar información de reproducción trucada en las AU distintas de la AU superior en una unidad RAU de acceso aleatorio. Igualmente, es posible predeterminar los valores para identificar las AU necesarias a descodificar en el momento de reproducción a una velocidad de reproducción específica y añadir los valores determinados para cada AU. Por ejemplo, en lo relativo a las AU a descodificar a una velocidad de reproducción que es una velocidad multiplicada por N, o inferior, N está dada como información de velocidad de reproducción. Igualmente, es posible mostrar lo siguiente en nal_ref_idc, y similares, de la unidad NAL de un segmento: la estructura de la imagen en una AU, siendo la estructura una estructura de trama o una estructura de campo y, además, en el caso donde la imagen tiene una estructura de campo, es posible mostrar el tipo de campo, que es un campo superior o un campo inferior. Por ejemplo, como existe una necesidad de visualizar alternadamente los campos superiores y los campos superiores en el caso de la visualización entrelazada, es deseable que pueda evaluarse fácilmente que el campo a descodificar a continuación es un campo superior o un campo inferior en el momento de descodificar campos saltando algunos campos en el momento de la reproducción a alta velocidad. En el caso donde el tipo de campo se puede evaluar a partir del encabezamiento de una unidad NAL, no hay necesidad de analizar el encabezamiento de segmentos y la magnitud de procesamiento necesaria para tal evaluación se puede reducir.

Obsérvese que la información que indica si la AU que constituye una unidad RAU de acceso aleatorio es un campo o una trama puede almacenarse en la AU superior de una unidad RAU de acceso aleatorio. Igualmente, es posible determinar fácilmente las AU a descodificar en el momento de la reproducción trucada, incluso en el caso donde una estructura de campo y una estructura de trama coexisten almacenando tal información en la AU superior de la unidad de acceso aleatorio. Las Fig. 17A y 17B son ejemplos donde las AU que tienen una estructura de trama y las AU que tienen una estructura de campo coexisten en la unidad RAU de acceso aleatorio, y muestran el orden de visualización de las AU y el orden de descodificación de las AU, respectivamente. Las siguientes imágenes se codifican, respectivamente, como pares de campos: B2 y B3; 14 y P5; B9 y B10; B11 y B12; P13 y P14; B15 y B16; B17 y B18; y P19 y P20. Igualmente, las otras AU se codifican como las AU que tienen una estructura de trama. En este momento, en el caso de reproducir solamente las AU de una imagen I e imágenes P, se puede descodificar y reproducir lo siguiente en el siguiente orden enumerado: el par de campos de 14 y P5; la trama de P8; el par de campos de P13 y P14; y el par de campos de P19 y P20. Sin embargo, la adición de tal información es efectiva porque hay una necesidad de evaluar si cada AU es uno de los campos que constituyen un par de campos o si cada AU es una trama en el momento de determinar las AU a descodificar.

La Fig. 17C es un ejemplo de sintaxis del primer mapa (RAU_map1) que indica si una AU en una unidad RAU de acceso aleatorio es una trama o un campo. El número de las AU que constituyen una unidad de acceso aleatorio se muestra en nro_AU_en_RAU, y la información sobre cada AU se muestra en el siguiente bucle en un orden de descodificación. Aquí, indicador_campo_trams muestra si la imagen a almacenar en un AU es una trama o un campo. Igualmente, tipo_imag muestra la información sobre el tipo de codificación de una imagen. Los tipos de codificación que se pueden mostrar incluyen: una imagen I; una imagen IDR; una imagen P; una imagen B de referencia; una imagen B de no-referencia; y similares. Por lo tanto, es posible determinar las imágenes a descodificar en el momento de la reproducción trucada refiriéndose a este mapa. Obsérvese que es posible indicar si cada imagen I y cada imagen P son objeto de referencia o no. Además, es posible indicar la información para evaluar si se aplica un requisito predeterminado en cuanto a las estructuras de predicción.

La Fig. 17D muestra RAU_map1, que se refiere a una unidad RAU de acceso aleatorio de la Fig. 17B. Aquí, los tipo_imag de una imagen I, imágenes P, imágenes B de referencia, e imágenes B de no-referencia, son 0, 1, 2 y 3, respectivamente. Aquí, es posible almacenar la información que indica los tipos de codificación de imágenes sobre las bases anteriormente enumeradas, porque las imágenes se reproducen trama a trama, o par de campos a par de campos, en el momento de la reproducción trucada.

La Fig. 17F es un ejemplo de sintaxis del segundo mapa (RAU-map2) que indica tipos de codificación de imágenes trama a trama o par de campos a par de campos. Aquí, nro_trama_en_RAU muestra el número de tramas que constituyen una unidad RAU de acceso aleatorio y el número de pares de campos. Igualmente, indicador_trama muestra si una imagen es una trama o no, y en el caso donde es una trama, se pone 1 allí. En el caso donde se pone 1 en indicador_trama, la información sobre el tipo de codificación de una trama se muestra en tipo_trama. En el caso donde se pone 0 en indicador_trama, dicho de otro modo, la imagen es uno de un par de campos, y el tipo de codificación de cada campo que constituye el par de campos se muestra en tipo_par_campos.

La Fig. 17E muestra el RAU_map2 en cuanto a la unidad RAU de acceso aleatorio de la Fig. 17B. En la Fig. 17E, los valores que indican el tipo_trama de una imagen I, imágenes P, imágenes B de referencia, e imágenes B de no-referencia, son 0, 1, 2 y 3, respectivamente. Igualmente, el tipo_par_campos muestra el tipo de cada campo en un orden de descodificación. Los tipos de campos son los siguientes: I para una imagen I; P para imágenes P; Br para imágenes B de referencia; y Bn para imágenes de no-referencia. Por ejemplo, se muestra como IP en el caso donde el primer campo es una imagen I y el segundo campo es una imagen P, y se muestra como BnBn en el caso donde el primer campo y el segundo campo son imágenes B de no-referencia. Aquí, los valores para indicar combinaciones de IP, PP, PI, BrBr, BnBn y similares se establecen previamente. Obsérvese que la siguiente información se puede usar como la información que indica el tipo de codificación de un par de campos: información en cuanto a si el par de campos incluye una imagen I o una o más imágenes P; información en cuanto a si el par de campos incluye una o más imágenes B de referencia; e información en cuanto a si el par de campos incluye una o más imágenes B de no-referencia.

Por ejemplo, la información de reproducción trucada puede ser el mapa de una unidad RAU de acceso aleatorio, como una sintaxis mostrada en la Fig. 18A. Este mapa incluye estructura_imagen, que indica la estructura de cada una de las imágenes incluidas en la unidad RAU de acceso aleatorio, y tipo_imagen, que indica el tipo de imagen. Como se muestra en la Fig. 18B, estructura_imagen muestra la estructura de cada imagen, es decir, una estructura de campo o una estructura de trama, y similares. Igualmente, como se muestra en la Fig. 18C, tipo_imagen muestra el tipo de imagen de cada imagen, es decir, una imagen I, una imagen B de referencia, una imagen B de no-referencia, y una imagen P. De este modo, el aparato de descodificación de imágenes en movimiento que recibió este mapa puede identificar fácilmente las AU sobre las cuales se realiza la reproducción trucada refiriéndose a este mapa. Como ejemplo, es posible descodificar y reproducir, en reproducción a velocidad elevada, solamente una imagen I e imágenes P, o imágenes B de referencia, además de una imagen I e imágenes P.

Obsérvese que en el caso donde la información que indica la estructura de imagen, tal como un avance descendente 3-2, se incluye en una AU que constituye una unidad RAU de acceso aleatorio, es posible incluir la información que indica la estructura de imagen en el primer o segundo mapa anteriormente descrito. Por ejemplo, es posible mostrar si cada imagen tiene campos de visualización equivalentes a tres imágenes o si cada imagen tiene campos de visualización equivalentes a dos imágenes, Además, en el caso donde tiene campos de visualización equivalentes a tres imágenes, es posible mostrar la información que indica si el primer campo se visualiza repetidamente, o la información que indica si el primer campo es un campo superior. Igualmente, en el caso donde tiene campos de visualización equivalentes a dos imágenes, es posible mostrar la información de si el primer campo es un campo superior. Aquí, en la AVC de MPEG-4, si una imagen tiene o no una estructura de imagen, tal como un avance descendente 3-2, puede mostrarse usando (i) el pic_struct_present_flag de un conjunto (SPS) de parámetros de secuencia o (ii) el picture_to_display_conversion_flag, y similares, en la temporización de la AVC y el descriptor HRD que se define en la norma del sistema MPEG-2. Además, la estructura de cada imagen se muestra por un campo pic_struct de una SEI de Temporización de Imagen. Por lo tanto, es posible mostrar la estructura de imagen fijando un indicador solamente en el caso donde un campo pic_struct tiene un valor específico, por ejemplo, una imagen tiene campos de visualización equivalentes a tres imágenes. Dicho de otro modo, indicar los tres siguientes tipos de información en cuanto a cada imagen es efectivo (i) en el caso donde la reproducción a saltos se realiza en medio de una unidad RAU de acceso aleatorio y (ii) en el momento de determinar el campo a visualizar en un momento específico o la trama en la cual se almacena un campo. Lo mismo se puede decir en el caso de determinar imágenes a visualizar durante la reproducción a velocidad variable. Los tres tipos de información son:

(i): campo

(ii): trama (que se usa en el momento de no usar un avance descendente de 3-2, o que se usa también en el momento de usar un avance descendente de 3-2. En el último caso, la trama tiene campos de visualización equivalentes a dos imágenes).

(iii): trama que tiene un campo de visualización equivalente a tres imágenes en el momento de usar un avance descendente de 3-2

Obsérvese que estos tipos de información se pueden indicar en la estructura_imagen de un mapa de RAU mostrado en la Fig. 18A.

Indicar información de lista de tipos de imágenes de las imágenes respectivas que constituyen una RAU de esta manera hace que sea posible determinar fácilmente imágenes a descodificar o visualizar en el momento de realizar una reproducción trucada, tal como la reproducción a velocidad variable, la reproducción a saltos y la reproducción inversa. Esto es especialmente efectivo en los siguientes casos:

(i): donde solamente una imagen I e imágenes P se reproducen;

(ii): donde se efectúa la reproducción a alta velocidad, en la cual hay una imagen I, imágenes P e imágenes B de referencia; y

(iii): donde las imágenes, sobre las cuales se establecen requisitos en cuanto a las estructuras de predicción, se identifican sobre la base de los tipos de imagen, se seleccionan las imágenes necesarias a descodificar en el momento de la reproducción trucada, y las imágenes seleccionadas se reproducen en reproducción trucada.

Además, es posible almacenar un valor por omisión de información de reproducción trucada en una región, que es diferente al flujo de AVC, tal como la información de gestión a nivel de aplicación, e incluir información de reproducción trucada en una unidad RAU de acceso aleatorio solamente en el caso donde la información de reproducción trucada es distinta a la información de reproducción trucada mostrada por el valor por omisión.

La información de reproducción trucada en cuanto a la reproducción a velocidad variable se ha descrito anteriormente, pero es posible utilizar información similar como información suplementaria en el momento de la reproducción inversa. Es posible completar la descodificación en un momento, en el momento de la reproducción inversa en el caso donde todas las imágenes a visualizar se pueden almacenar en una memoria, y la carga de procesamiento necesaria para la descodificación se puede reducir. Considerando un caso de realización de reproducción inversa en el orden enumerado de P12, P8, P4 e I0 en el ejemplo de las Fig. 9A a 9D, a condición de que todos los resultados de la descodificación de las cuatro AU se almacenen, es posible descodificar 10, P4, P8 y P12 en este orden en un momento y realizar la reproducción inversa. Por lo tanto, es posible evaluar si todos los datos descodificados de las AU pueden o no almacenarse basándose en el número de las AU a descodificar o visualizar en el momento de la reproducción, a una velocidad multiplicada por N, y determinar las AU a visualizar en el momento de la realización de la reproducción inversa basándose en el resultado de la evaluación.

Igualmente, se puede usar información de reproducción trucada como información suplementaria en el momento de la reproducción a saltos. Aquí, la reproducción a saltos significa el avance rápido de una imagen en movimiento y realizar una reproducción normal del inicio de las imágenes en movimiento con la posición determinada al azar. Determinar imágenes de avance rápido utilizando tal información suplementaria, incluso en el momento de la reproducción a saltos, hace que sea posible determinar la imagen en la cual se inicia la reproducción a saltos.

Obsérvese que la AU a servir de referencia para cada AU que constituye una unidad de acceso aleatorio se puede mostrar directamente en la información trucada. En el caso donde hay diversas AU de referencia, se muestran todas ellas. Aquí, en el caso donde una AU de referencia pertenece a una unidad de acceso aleatorio distinta a la unidad de acceso aleatorio que incluye una AU que se refiere a la AU de referencia, la AU se puede indicar de la siguiente manera específica: la M-ésima AU de la unidad de acceso aleatorio que se coloca antes o después de N números de unidades de acceso aleatorio, o la AU se puede indicar de la siguiente sencilla manera: la AU que pertenece a la unidad de acceso aleatorio que se coloca antes o después de N números de unidades de acceso aleatorio. Obsérvese que es posible mostrar el número ordinal, en el orden de descodificación, de la AU de referencia en el caso de contar a partir de la AU que se refiere a la AU de referencia. En ese momento, las AU se cuentan sobre la base de uno de los siguientes casos: todas las AU; las AU de referencia; las AU de un tipo de imagen específico tal como I, P y B. Igualmente, es posible mostrar que cada AU se puede referir a las AU de solamente hasta N números de AU antes y después, en un orden de descodificación. Obsérvese que, en el caso de referirse a una AU que no se incluye en las AU de hasta N números de AU antes y después en el orden de descodificación, es posible añadir la información que indica el hecho.

Obsérvese que es posible usar la información de reproducción trucada anteriormente descrita de una manera similar también en un formato de multiplexado, tal como MP4, donde el tamaño de una unidad NAL se usa en lugar de usar un prefijo de código de inicio como información de frontera de una unidad NAL.

Obsérvese que, en el momento de recibir y grabar un flujo codificado que se paquetiza usando un paquete TS (Flujo de transporte) de MPEG-2, o un RTP (Protocolo de transmisión en tiempo real), se produce una pérdida de paquetes. De esta manera, en el caso de la grabación de los datos recibidos en un entorno en el que se produce una pérdida de paquetes, es posible almacenar, en un flujo codificado como información suplementaria, o como información de gestión, la información que indica que los datos en un flujo se han perdido a causa de una pérdida de paquetes. Es posible mostrar una pérdida de datos debida a la pérdida de un paquete insertando la información de indicador que indica si los datos del flujo se han perdido o no, o un código de notificación de error especial para notificar la parte perdida. Obsérvese que, en el caso de la realización del procesamiento de ocultación de error cuando se pierden los datos, es posible almacenar información de identificación que indica la presencia/ausencia, o el procedimiento, del procesamiento de ocultación de error.

La información de reproducción trucada para determinar las AU a descodificar o visualizar en el momento de la reproducción trucada se ha descrito hasta este punto. Aquí, la estructura de datos para permitir la detección de la frontera de las unidades RAU de acceso aleatorio se describirá con referencia a la Fig. 19.

En la AU superior de una unidad RAU de acceso aleatorio, la unidad NAL de un SPS a ser objeto de referencia por una AU que constituye una unidad RAU de acceso aleatorio se almacena siempre. Por otra parte, en la norma AVC de MPEG-4, es posible almacenar la unidad NAL del SPS a ser objeto de referencia por la N-ésima AU en un orden de descodificación, en una AU que se selecciona arbitrariamente entre la N-ésima AU o las AU colocadas antes de la N-ésima AU en un orden de descodificación. Tal unidad NAL se almacena de manera que la unidad NAL de un SPS pueda transmitirse repetidamente, en preparación para el caso donde la unidad NAL de un SPS se pierde a causa de una pérdida de paquetes en el momento de transmitir un flujo en comunicación o difusión. Sin embargo, la siguiente regla es efectiva para el uso de las aplicaciones de almacenamiento. Solamente una única unidad NAL del SPS a ser objeto de referencia por todas las AU de la unidad RAU de acceso aleatorio se almacena en la AU superior de una unidad RAU de acceso aleatorio, y la unidad NAL del SPS no se almacena en las siguientes AU en la unidad de acceso aleatorio. Hacerlo así posibilita garantizar que la AU es la AU superior de la unidad RAU de acceso aleatorio si incluye la unidad NAL de un SPS. El inicio de la unidad RAU de acceso aleatorio se puede encontrar buscando la unidad NAL del SPS. La información de gestión de un flujo tal como un mapa temporal no garantiza la provisión de información de acceso en cuanto a todas las unidades RAU de acceso aleatorio. Por lo tanto, es especialmente efectivo que la posición de inicio de cada unidad RAU de acceso aleatorio se pueda obtener buscando la unidad NAL de un SPS en un flujo en el caso de, por ejemplo, realizar reproducción a saltos sobre la imagen situada en medio de la unidad RAU de acceso aleatorio cuya información de acceso no se proporciona.

Aquí, en el caso donde la AU superior de la unidad RAU de acceso aleatorio es la AU de una imagen IDR, la AU de la unidad RAU de acceso aleatorio no se refiere a la AU en la unidad RAU de acceso aleatorio que se sitúa previamente en un orden de descodificación. Este tipo de unidad RAU de acceso aleatorio se denomina unidad RAU de acceso aleatorio de tipo cerrado. Por otra parte, en el caso donde la AU superior de una unidad RAU de acceso aleatorio es la AU de una imagen I que no es una imagen IDR, la AU de la unidad RAU de acceso aleatorio puede referirse a la AU en la unidad RAU de acceso aleatorio que se sitúa previamente en un orden de descodificación. Este tipo de unidad RAU de acceso aleatorio se denomina unidad RAU de acceso aleatorio de tipo abierto. En el momento en que los ángulos se conmutan durante la reproducción en un disco óptico o similar, la conmutación se realiza a partir de una unidad RAU de acceso aleatorio RAU. Por lo tanto, es efectivo que la evaluación en cuanto a si una unidad RAU de acceso aleatorio es una unidad RAU de acceso aleatorio de tipo abierto o de tipo cerrado se pueda hacer en la parte superior de la unidad RAU de acceso aleatorio. Por ejemplo, es posible mostrar la información de indicador para evaluar el tipo, es decir, un tipo abierto o un tipo cerrado, en un campo nal_ref_idc de la unidad NAL de un SPS. Como se define que el valor de nal_ref_idc es 1 o más en la unidad NAL de un SPS, el bit de orden superior se fija siempre en 1 y la información de indicador se muestra mediante el bit de orden inferior. Obsérvese que una AU en una unidad RAU de acceso aleatorio no puede referirse a una AU en una unidad RAU de acceso aleatorio que se sitúa previamente en un orden de descodificación, incluso en el caso donde la AU superior es la AU de una imagen I que no es una IDR. Este tipo de unidad RAU de acceso aleatorio se puede considerar como una unidad RAU de acceso aleatorio de tipo cerrado. Obsérvese que la información de indicador se puede mostrar usando un campo distinto de nal_ref_idc.

Obsérvese que es posible especificar la posición de inicio de una unidad RAU de acceso aleatorio basada en la unidad NAL distinta de un SPS, a almacenar solamente en la AU superior de una unidad RAU de acceso aleatorio. Igualmente, es posible mostrar el tipo, es decir, el tipo abierto o el tipo cerrado, de cada una de las unidades RAU de acceso aleatorio, usando el campo nal_ref_idc de cada unidad RAU de acceso aleatorio.

Finalmente, las Fig. 20A y 20B muestran ejemplos de estructuras de predicción de las AU que constituyen una unidad RAU de acceso aleatorio. La Fig. 20A muestra las posiciones de las AU en un orden de visualización, y la Fig. 20B muestra las posiciones de las AU en el orden de descodificación. Como se muestra en las figuras, B1 y B2, que se muestran antes de 13, que es la AU superior de una unidad RAU de acceso aleatorio, se pueden referir a las AU a visualizar después de I3. En la figura, B1 se refiere a P6, Aquí, con el fin de garantizar que las AU de I3 y las siguientes imágenes en el orden de visualización se puedan descodificar correctamente, se prohíbe que las AU de I3 y las siguientes imágenes en el orden de visualización se refieran a las AU antes de I3 en el orden de visualización.

Aparato de codificación de imágenes en movimiento

La Fig. 21 es un diagrama en bloques del aparato 100 de codificación de imágenes en movimiento que realiza el procedimiento de codificación de imágenes en movimiento de la presente invención. Este aparato 100 de codificación de imágenes en movimiento genera un flujo codificado, mostrado en las Fig. 8 a 20, de una imagen en movimiento que se puede reproducir usando una reproducción trucada tal como la reproducción a saltos, la reproducción a velocidad variable y la reproducción inversa. El aparato 100 de codificación de imágenes en movimiento incluye una unidad TrickPlay de generación de información de reproducción trucada, además de las unidades de un aparato 1 codificación de imágenes en movimiento mostrado en la Fig. 4. Obsérvese que a las unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento de un aparato convencional de codificación de imágenes en movimiento, mostrado en el diagrama en bloques de la Fig. 4, se asignan los mismos números de referencia en la figura, y sus descripciones se omitirán.

La unidad TrickPlay de generación de información de reproducción trucada es un ejemplo de una unidad que genera, sobre la base de una unidad de acceso aleatorio que incluye una o más imágenes, información suplementaria para ser objeto de referencia en el tiempo de reproducción de las unidades de acceso aleatorio. La unidad TrickPlay de generación de información de reproducción trucada genera información de reproducción trucada basada en tipos TipoI de imágenes, y notifica la información de reproducción trucada a la unidad VLC de codificación de longitud variable.

La unidad VLC de codificación de longitud variable es un ejemplo de una unidad de generación de flujo que genera un flujo que incluye información suplementaria e imágenes, añadiendo la información suplementaria generada a cada unidad de acceso aleatorio correspondiente. La unidad VLC de codificación de longitud variable codifica y coloca la unidad NAL para almacenar información de reproducción trucada en la AU superior de una unidad RAU de acceso aleatorio.

La Fig. 22 es un diagrama de flujo de cómo el aparato 100 de codificación de imágenes en movimiento (principalmente la unidad TrickPlay de generación de información de reproducción trucada) mostrado en la Fig. 21 realiza el procedimiento de generación de un flujo codificado que incluye información de reproducción trucada.

En primer lugar, en la etapa 10, el aparato 100 de codificación de imágenes en movimiento evalúa si la AU a codificar es o no la AU superior de una unidad RAU de acceso aleatorio. En el caso donde es la AU superior, se pasa a la Etapa 11, mientras que en el caso donde no es la AU superior, se pasa a la etapa 12. En la etapa 11, el aparato 100 de codificación de imágenes en movimiento realiza el procesamiento inicial para generar información de reproducción trucada de la unidad RAU de acceso aleatorio, e igualmente, asegura el área para almacenar la información de reproducción trucada en la AU superior de la unidad RAU de acceso aleatorio. En la Etapa 12, el aparato 100 de codificación de imágenes en movimiento codifica los datos de AU, y pasa entonces a la Etapa 13. En la Etapa 13, el aparato 100 de codificación de imágenes en movimiento obtiene la información necesaria en el momento de generar información de reproducción trucada. Tal información es: los tipos de imágenes de la AU, es decir, una imagen I, una imagen P, una imagen B de referencia, o una imagen B de no-referencia; o si hay necesidad de descodificar la AU en el momento de realizar la reproducción a una velocidad multiplicada por N. Después de esto, el aparato 100 de codificación de imágenes en movimiento pasa a la Etapa 14. En la Etapa 14, el aparato 100 de codificación de imágenes en movimiento evalúa si la AU es la última AU de la unidad RAU de acceso aleatorio. En el caso donde es la última AU, el aparato 100 de codificación de imágenes en movimiento pasa a la Etapa 15, mientras que en el caso donde no es la última AU, pasa a la Etapa 16. En la Etapa 15, el aparato 100 de codificación de imágenes en movimiento determina información de reproducción trucada, genera la unidad NAL para almacenar la información de reproducción trucada, y almacena la unidad NAL generada en el área asegurada en la Etapa 11. Después completar el procesamiento de la Etapa 15, el aparato 100 de codificación de imágenes en movimiento pasa a la Etapa 16. En la Etapa 16, el aparato 100 de codificación de imágenes en movimiento evalúa si hay o no una AU a codificar a continuación. En el caso donde hay una AU a codificar, repite la Etapa 10 y las siguientes etapas, mientras que en el caso donde no hay AU a codificar, completa el procesamiento. Aquí, en el caso donde el aparato 100 de codificación de imágenes en movimiento evalúa que no hay AU a codificar en la Etapa 16, almacena información de reproducción trucada de la última unidad RAU de acceso aleatorio, y a continuación completa el procesamiento.

Por ejemplo, cuando el aparato 100 de codificación de imágenes en movimiento genera información de reproducción trucada mostrada en la Fig. 18A, obtiene lo siguiente en la Etapa 13: el tipo de imagen; si la imagen tiene una estructura de campo o si la imagen tiene una estructura de trama; o/y la información que indica si el campo de visualización de la imagen es equivalente a dos imágenes o equivalente a tres imágenes en el caso donde la información en cuanto a un avance descendente 3-2 se incluye en el flujo codificado. En la Etapa 15, el aparato 100 de codificación de imágenes en movimiento establece la estructura_imagen y el tipo_imagen de todas las imágenes en la unidad RAU de acceso aleatorio en un orden de descodificación.

Obsérvese que, en el caso donde el tamaño de la unidad NAL para almacenar información de reproducción trucada no se conoce en el momento de iniciar la codificación de la AU superior de una unidad RAU de acceso aleatorio, el procesamiento para asegurar el área para almacenar la información de reproducción trucada se omitirá en la Etapa 11. En este caso, la unidad NAL generada para almacenar información de reproducción trucada se inserta en la AU superior en la Etapa 15.

Igualmente, el almacenar o no almacenar la información de reproducción trucada se puede conmutar sobre una base de flujo codificado. Especialmente en el caso donde la estructura de predicción entre las AU que constituyen una unidad de acceso aleatorio se prescribe por aplicación, es posible determinar que la información de reproducción trucada no está almacenada. Por ejemplo, en el caso donde un flujo codificado tiene la misma estructura de predicción que en el caso de un flujo de MPEG-2, no hay necesidad de almacenar información de reproducción trucada. Esto es debido al hecho de que es posible determinar las AU necesarias a descodificar en el momento de la reproducción trucada sin información de reproducción trucada. Obsérvese que tal conmutación se puede llevar a cabo sobre la base de una unidad RAU de acceso aleatorio.

Aparato de multiplexado de imágenes en movimiento

La Fig. 23 es un diagrama en bloques que muestra la estructura del aparato 108 de multiplexado de imágenes en movimiento de la presente invención. Este aparato 108 de multiplexado de imágenes en movimiento introduce datos de imágenes en movimiento, codifica los datos de imágenes en movimiento para componer un flujo AVC de MPEG-4, multiplexa el flujo con la información de acceso a las AU que constituyen el flujo y la información de gestión que incluye la información suplementaria para determinar operaciones realizadas en el momento de la reproducción trucada, y graba el flujo multiplexado. El aparato 108 de multiplexado de imágenes en movimiento incluye una unidad 101 de determinación de atributos de flujo, una unidad 102 de codificación, una unidad 103 de generación de información de gestión, una unidad 106 de multiplexado y una unidad 107 de almacenamiento. Aquí, la unidad 102 de codificación tiene una función para añadir información de reproducción trucada en el aparato 100 de codificación de imágenes en movimiento mostrado en la Fig. 21.

La unidad 101 de determinación de atributos de flujo determina los requisitos concernientes a la reproducción trucada realizada en el momento de la codificación de un flujo AVC de MPEG-4, y los envía a la unidad 102 de codificación y a la unidad 105 de generación de información de soporte de reproducción como información de atributo TYPE. Aquí, los requisitos concernientes a la reproducción trucada incluyen información que indica: si el requisito para constituir una unidad de acceso aleatorio se aplica o no a un flujo AVC de MPEG-4; si la información que indica las AU a descodificar o visualizar en el momento de reproducción a velocidad variable o reproducción inversa se incluye en el flujo; o si se establece o no un requisito sobre la estructura de predicción entre las AU. La unidad 101 de determinación de atributos de flujo envía a la unidad 104 de generación de información de gestión general la información de gestión general que es la información necesaria para generar información de gestión tal como un formato de compresión o una resolución. La unidad 102 de codificación codifica los datos de video introducidos en el flujo AVC de MPEG-4 basándose en la información de atributo TYPE, envía los datos codificados a la unidad 106 de multiplexado, y envía la información de acceso en el flujo a la unidad 104 de generación de información de gestión general. Aquí, en el caso donde la información de atributo TYPE muestra que la información que indica las AU a descodificar o visualizar en el momento de reproducción a velocidad variable o reproducción inversa no se incluye en el flujo, la información de reproducción trucada no se incluye en el flujo codificado. Obsérvese que la información de acceso indica la información de una unidad de acceso que es la unidad básica al acceder al flujo, e incluye la dirección de inicio, el tiempo de visualización, y similares, de la AU superior en una unidad de acceso. La unidad 104 de generación de información de gestión general genera los datos de tabla a los que referirse en el momento de acceso a un flujo, y los datos de tabla que almacenan información de atributos, tales como un formato de compresión basado en la información de acceso, y la información de gestión general, y envía los datos de tabla a la unidad 106 de multiplexado como la información de gestión INFO. La unidad 105 de generación de información de soporte de reproducción genera información de soporte HLP que indica si el flujo tiene una estructura de acceso aleatorio basada en la información de atributo TYPE introducida, y envía la información de soporte HLP a la unidad 106 de multiplexado. La unidad 106 de multiplexado genera datos codificados introducidos a través de la unidad 102 de codificación, la información de gestión INFO, y los datos de multiplexado, multiplexando la información de soporte HLP, y luego los envía a la unidad 107 de almacenamiento. La unidad 107 de almacenamiento graba los datos de multiplexado introducidos a través de la unidad 106 de multiplexado en un soporte de grabación, tal como un disco óptico, un disco rígido y una memoria. Obsérvese que la unidad 102 de codificación puede paquetizar el flujo AVC de MPEG-4 en, por ejemplo, un TS (flujo de transporte) de MPEG-2 o un PS (flujo de programa) de MPEG-2, y a continuación envía los TS o PS de MPEG-2 paquetizados. Igualmente, la unidad 102 de codificación puede paquetizar el flujo usando un formato prescrito por la aplicación, tal como un BD.

Obsérvese que el contenido de la información de gestión no está obligado a depender de si la información de reproducción trucada se almacena en el flujo codificado o no. En este momento, la información de soporte HLP se puede omitir. Igualmente, el aparato 108 de multiplexado de imágenes en movimiento puede tener la estructura sin una unidad 105 de generación de información de soporte de reproducción.

Las Fig. 24A y 24B muestran ejemplos de la información mostrada por la información de soporte HLP. La información de soporte HLP incluye el procedimiento que indica directamente la información de un flujo como se muestra en la Fig. 24A, y el procedimiento que indica si el flujo satisface el requisito prescrito por una norma de aplicación específica, como se muestra en la Fig. 24B.

La Fig. 24A muestra lo siguiente como información concerniente a un flujo: información en cuanto a si el flujo tiene una estructura de acceso aleatorio; información en cuanto a si hay un requisito sobre la estructura de predicción entre imágenes almacenadas en una AU; e información en cuanto a si hay información que indica las AU a descodificar o visualizar en el momento de la reproducción trucada.

Aquí la información relativa a las AU a descodificar o visualizar en el momento de reproducción trucada puede indicar directamente las AU a descodificar o visualizar, o indicar las prioridades en el momento de descodificar o visualizar. Por ejemplo, se puede indicar que la información que indica que las AU a descodificar o visualizar sobre la base de las unidades de acceso aleatorio se almacena en una unidad NAL que tiene un tipo de unidad NAL especial prescrito por aplicación, un mensaje de SEI o similares. Obsérvese que es posible indicar si hay información que indica la estructura de predicción entre las AU que constituyen una unidad de acceso aleatorio. Igualmente, la información relativa a las AU a descodificar o visualizar en el momento de reproducción trucada se puede añadir sobre la base de una o más unidades de acceso aleatorio, o bien a cada una de las AU que constituyen la unidad de acceso aleatorio.

Además, en el caso donde la información que indica las AU a descodificar o visualizar se almacena en la unidad NAL que tiene un tipo especial, es posible mostrar el tipo de unidad NAL de la unidad NAL. En el ejemplo de la Fig. 25, en la información de soporte HLP, la información relativa a las AU a descodificar o visualizar en el momento de reproducción trucada se incluye en la unidad NAL cuyo tipo de unidad NAL es 0. En ese momento, es posible obtener la información relativa a la reproducción trucada demultiplexando la unidad NAL cuyo tipo de unidad NAL es 0 a partir de los datos de AU del flujo. En el caso donde la información relativa a la reproducción trucada se almacena usando un mensaje SEI, es posible indicar la información para identificar el mensaje SEI.

Igualmente, en cuanto a los requisitos sobre las estructuras de predicción, es posible indicar si uno o más requisitos predeterminados se satisfacen o no, o es posible indicar que los siguientes requisitos respectivos se satisfacen independientemente:

(i): en cuanto a las AU de una imagen I e imágenes P, el orden de descodificación debería coincidir con el orden de visualización;

(ii): la AU de una imagen P no se puede referir a la AU de una imagen B;

(iii): las AU después de la AU superior en un orden de visualización en una unidad de acceso aleatorio se puede referir solamente a las AU incluidas en la unidad de acceso aleatorio; y

(iv): cada AU se puede referir solamente a las AU colocadas hasta N números antes y después en el orden de descodificación. En este caso, todas las AU se cuentan por completo o las AU se cuentan sobre la base de las AU de referencia, y el valor de N se puede mostrar en la información de soporte HLP.

Obsérvese que, en la AVC de MPEG-4, es posible utilizar, como imágenes de referencia, imágenes sobre las cuales se realiza el procesamiento de filtrado (desbloqueo) para eliminar la distorsión de bloque después de la descodificación, para mejorar la calidad de imagen, y es posible utilizar, como imágenes para visualización, imágenes antes del desbloqueo. En este caso, el aparato de descodificación de imágenes en movimiento necesita mantener los datos de imagen antes y después del desbloqueo. Por lo tanto, es posible almacenar, en la información de soporte HLP, la información que indica si hay una necesidad de mantener las imágenes antes del desbloqueo para el uso de la visualización. La norma AVC de MPEG-4 define el tamaño máximo de una memoria temporal (DPB: Memoria temporal de imágenes descodificadas) necesaria para almacenar las imágenes de referencia o las imágenes a visualizar como los resultados de la descodificación. Por lo tanto, con una memoria temporal DPB que tiene el tamaño máximo o una memoria temporal que tiene el tamaño máximo prescrito por aplicación, es posible indicar si el procesamiento de descodificación se puede realizar sin fallos incluso en el caso de almacenar las imágenes para visualización de las imágenes de referencia. Obsérvese que, con el fin de almacenar las imágenes antes del desbloqueo de las imágenes de referencia, es posible indicar el tamaño de la memoria temporal a asegurar, además del tamaño necesario como un DPB, usando el número de octetos o el número de tramas. Aquí, si se realiza o no el desbloqueo sobre cada imagen se puede saber a partir de la información en el flujo, o la información exterior al flujo tal como la información de gestión. En el caso de obtener la información en el flujo, por ejemplo, se puede obtener a partir de una SEI. Además, en el caso de la descodificación de un flujo AVC de MPEG-4, es posible evaluar si las imágenes, antes del desbloqueo de las imágenes de referencia, se pueden usar para visualizar o no, basándose en el tamaño de la memoria temporal que se puede usar en la unidad de descodificación y la información anteriormente descrita, y entonces es posible determinar cómo visualizar las imágenes.

Obsérvese que toda la información, o una parte de la información, se puede incluir como información de soporte HLP. Igualmente, es posible incluir información necesaria basada en una condición predeterminada, por ejemplo, incluir información en cuanto a la presencia o ausencia de información de reproducción trucada solamente en el caso donde no hay ningún requisito relativo a la estructura de predicción. Igualmente, la información distinta de la información anteriormente descrita se puede incluir en la información de soporte HLP.

La Fig. 24B no indica directamente la información relativa a la estructura de un flujo, pero indica si un flujo satisface los requisitos sobre las estructuras de flujo prescritos por la norma de disco Blu-ray (BD-ROM) o la norma de DVD de Alta definición (HD), que es la norma para almacenar imágenes de alta definición en un DVD. Igualmente, en el caso donde se definen diversos modos como los requisitos de un flujo en una norma de aplicación tal como la norma BD-ROM o similares, la información que indica la modalidad aplicada se puede almacenar. Por ejemplo, se usan las siguientes modalidades: la modalidad 1, que indica que no hay ningún requisito; la modalidad 2, que indica que el flujo tiene una estructura de acceso aleatorio e incluye la información para especificar la AU a descodificar en el momento de reproducción trucada; y similares. Obsérvese que es posible indicar si el flujo satisface los requisitos prescritos en el servicio de comunicación, tal como la descarga o emisión de flujo, o una norma de difusión.

Obsérvese que es posible indicar tanto la información mostrada en la Fig. 24A como la información mostrada en la Fig. 24B. Igualmente, en el caso donde se conoce que el flujo satisface los requisitos en una norma de aplicación específica, es posible almacenar los requisitos en la norma de aplicación convirtiendo la estructura de flujo al formato para la descripción directa, como se muestra en la Fig. 24A, en lugar de indicar si el flujo satisface la norma de aplicación.

Obsérvese que es posible almacenar la información que indica las AU a descodificar o visualizar en el momento de la reproducción trucada como información de gestión. Igualmente, en el caso donde el contenido de la información de soporte HLP se conmuta en un flujo, se puede indicar la información de soporte HLP sección a sección.

La Fig. 26 es un diagrama de flujo que muestra las operaciones del aparato 108 de multiplexado de imágenes en movimiento. En la Etapa 51, la unidad 101 de determinación de atributos de flujo determina la información de atributo TYPE basada en los valores fijados por el usuario o las condiciones predeterminadas. En la Etapa 52, la unidad 102 de codificación codifica un flujo basado en la información de atributo TYPE. En la Etapa 53, la unidad 105 de generación de información de soporte de reproducción genera la información de soporte HLP basada en la información de atributo TYPE. En consecuencia, en la Etapa 54, la unidad 102 de codificación genera la información de acceso sobre la base de una unidad de acceso del flujo codificado, y la unidad 104 de generación de información de gestión general genera la información de gestión INFO añadiendo la información de acceso a la otra información necesaria (información de gestión general). En la Etapa 55, la unidad 106 de multiplexado multiplexa un flujo, la información de soporte HLP y la información de gestión INFO. En la Etapa 56, la unidad 107 de almacenamiento graba los datos multiplexados. Obsérvese que la Etapa 53 se puede realizar antes de la Etapa 52, o después de la Etapa 54.

Obsérvese que la unidad 102 de codificación puede almacenar la información mostrada en la información de soporte HLP en un flujo. En este caso, la información mostrada en la información de soporte HLP se almacena en la unidad NAL para almacenar reproducción trucada. Por ejemplo, en el caso donde las imágenes P no se refieren a las imágenes B, es posible descodificar solamente una imagen I e imágenes P en el momento de la reproducción a velocidad variable. Por lo tanto, se almacena información de indicador que indica si solamente una imagen I e imágenes P se pueden descodificar y visualizar. Igualmente, hay un caso donde algunas AU a descodificar en el momento de la reproducción a velocidad variable no pueden obtener un SPS o un PPS de las AU a las que se deberían referir las AU respectivas. Es el caso donde el PPS al que hace referencia una imagen P se almacena solamente en la AU de una imagen B en el caso de descodificar solamente una imagen e imágenes P. En este caso, hay una necesidad de obtener el PPS necesario para descodificar la imagen P a partir de la AU de una imagen B. Por lo tanto, es posible incluir información de indicador que indica si el SPS o el PPS a los que se refiere cada AU a descodificar en el momento de reproducción a velocidad variable se puede obtener con seguridad a partir de una de las otras AU a descodificar en el momento de reproducción a velocidad variable. Hacerlo de este modo posibilita realizar la operación tal como detectar un SPS o un PPS también a partir de la AU de una imagen no destinada a ser descodificada en el momento de reproducción a velocidad variable solamente en el caso donde no se establece un indicador. Igualmente, en el momento en que se muestra que solamente una imagen I e imágenes P se pueden descodificar y visualizar, es posible ajustar la velocidad de reproducción descodificando también imágenes B, especialmente imágenes B de referencia a las que hacen referencia otras imágenes.

Igualmente, es posible almacenar la información de indicador en el encabezamiento de otra unidad NAL tal como un SPS, un PPS o un segmento, en lugar de usar cualquier unidad NAL para almacenar reproducción trucada. Por ejemplo, en el caso donde un SPS al que hace referencia una AU que constituye una unidad RAU de acceso aleatorio se almacena en la AU superior en la unidad RAU de acceso aleatorio, el campo nal_ref_idc de la unidad NAL de un SPS puede indicar la información de indicador. Como se define que el valor de nal_ref_idc es 1 o más en la unidad NAL de un SPS, es posible fijar siempre el bit de orden superior en 1 e indicar la información de indicador mediante el bit de orden inferior.

Obsérvese que el contenido de la información de soporte HLP se puede almacenar en un flujo o en información de gestión, o ambos. Por ejemplo, el contenido se puede mostrar en información de gestión en el caso donde el contenido de la información de soporte HLP se fija en un flujo, mientras que el contenido se puede mostrar en un flujo en el caso donde el contenido es variable. Igualmente es posible almacenar la información de indicador que indica si la información de soporte HLP se fija o no en la información de gestión. Igualmente, en el caso donde la información de soporte HLP está predeterminada en una norma de aplicación tal como un BD-ROM o una memoria RAM, o en el caso donde la información de soporte HLP se proporciona por separado por comunicación o difusión, la información de soporte HLP no puede almacenarse.

Aparato de descodificación de imágenes en movimiento

La Fig. 27 es un diagrama en bloques del aparato 200 de descodificación de imágenes en movimiento que realiza el procedimiento de descodificación de imágenes en movimiento de la presente invención. Este aparato 200 de descodificación de imágenes en movimiento reproduce un flujo codificado mostrado en las Fig. 8A y 8B a 20. Puede realizar no solamente la reproducción normal, sino también la reproducción trucada, tal como la reproducción a saltos, la reproducción a velocidad variable y la reproducción inversa. El aparato 200 de descodificación de imágenes en movimiento incluye, además, una unidad de extracción de flujo EXT y una unidad AUsel de selección de las AU a descodificar, además de las unidades de un aparato 2 de descodificación convencional mostrado en la Fig. 5. Obsérvese que a las unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento respectivas del aparato 2 de descodificación convencional, mostrado en el diagrama en bloques de la Fig. 5, se les asignan los mismos números de referencia, y se omitirán sus descripciones.

La unidad AUsel de selección de las AU a descodificar determina las AU necesarias a descodificar basándose en la información GrpInf de reproducción trucada descodificada en la unidad VLD de descodificación de longitud variable, según una instrucción de reproducción trucada introducida desde el exterior. Aquí, la instrucción que indica reproducción trucada se introduce desde la unidad AUsel de selección de las AU a descodificar. Además, la unidad AUsel de selección de las AU a descodificar notifica a la unidad EXT de extracción de flujo sobre DecAU, que es la información que indica las AU determinadas como las AU necesarias a descodificar. La unidad EXT de extracción de flujo extrae solamente el flujo correspondiente a las AU que son evaluadas como las AU necesarias a descodificar por la unidad AUsel de selección de las AU a descodificar, y a continuación transmite el flujo a la unidad VLD de descodificación de longitud variable.

La Fig. 28 es un diagrama de flujo de la manera en que el aparato 200 de descodificación de imágenes en movimiento (principalmente la unidad AUsel de selección de las AU a descodificar) mostrado en la Fig. 27 realiza el procedimiento de descodificación de un flujo que incluye información de reproducción trucada en el momento de realizar la reproducción trucada.

En primer lugar, en la etapa 20, la unidad AUsel de selección de las AU a descodificar evalúa si la AU es la AU superior de una unidad RAU de acceso aleatorio detectando un SPS, o similar, en el flujo. En el caso donde la AU es la AU superior, pasa a la Etapa 21, mientras que en el caso donde la AU no es la AU superior, pasa a la Etapa 22. Aquí, la posición de inicio de la unidad RAU de acceso aleatorio se puede obtener a partir de información de gestión, tal como mapa temporal. Especialmente en el caso donde se determina la posición de inicio de reproducción en el momento de la reproducción por saltos, o solamente se selecciona la imagen superior de la unidad RAU de acceso aleatorio y se realiza la reproducción a alta velocidad sobre la imagen superior seleccionada, es posible determinar la posición de inicio de la unidad RAU de acceso aleatorio que se refiere al mapa temporal. En la Etapa 21, la unidad AUsel de selección de las AU a descodificar obtiene la información de reproducción trucada a partir de los datos de AU, analiza los datos de AU y determina las AU a descodificar antes de pasar a la Etapa 22. En la Etapa 22, la unidad AUsel de selección de las AU a descodificar evalúa si la AU es la AU que se determina en la Etapa 21 como la AU a descodificar. En el caso donde es la AU determinada, el aparato 200 de descodificación de imágenes en movimiento descodifica la AU en la Etapa 23, mientras que en el caso donde no es la AU determinada, pasa a la Etapa 24. En la Etapa 24, el aparato 200 de descodificación de imágenes en movimiento evalúa si queda alguna AU a descodificar. En el caso donde hay una AU, el aparato 200 de descodificación de imágenes en movimiento repite el procesamiento de la Etapa 20, y las siguientes etapas, mientras que en el caso donde no hay AU, se completa el procesamiento. Obsérvese que es posible omitir el proceso de la Etapa 21 y la Etapa 22, u omitir el procesamiento de determinación en la Etapa 21, y enviar la información que indica que todas las AU se descodifican en el momento de la reproducción normal, donde todas las AU se descodifican y visualizan en orden.

La Fig. 29 es un diagrama de flujo que indica el procesamiento (el procesamiento por la unidad AUsel de selección de las AU a descodificar) en la Etapa 21. En primer lugar, la unidad AUsel de selección de las AU a descodificar detecta la posición de inicio de una unidad NAL que constituye una AU, buscando en los datos de AU un prefijo de código de inicio, empezando con el octeto superior en la Etapa 30, y pasa a la Etapa 31. Obsérvese que puede buscar un prefijo de código de inicio a partir, no del octeto superior de los datos de AU, sino otra posición, tal como la posición final de un Delimitador de Unidad de Acceso. En la Etapa 31, la unidad AUsel de selección de las AU a descodificar obtiene el tipo de unidad NAL de una unidad NAL, y pasa a la Etapa 32. En la Etapa 32, la unidad AUsel de selección de las AU a descodificar evalúa si el tipo de unidad NAL obtenido en la Etapa 31 es el tipo de unidad NAL para almacenar información de reproducción trucada. En el caso donde la información de reproducción trucada está almacenada, pasa a la Etapa 33, mientras que en el caso donde la información de reproducción trucada no está almacenada, repite el procesamiento de la Etapa 30 y las siguientes etapas. Aquí, en el caso donde la información de reproducción trucada está almacenada en un mensaje SEI, la unidad AUsel de selección de las AU a descodificar obtiene la unidad NAL de una SEI en primer lugar, y evalúa, además, si el mensaje SEI para almacenar la información de reproducción trucada se incluye o no en la unidad NAL. En la Etapa 33, la unidad AUsel de selección de las AU a descodificar obtiene información de reproducción trucada, y pasa a la Etapa 34. En la Etapa 34, la unidad AUsel de selección de las AU a descodificar determina las imágenes necesarias a descodificar en el momento de realizar una operación de reproducción trucada especificada. Por ejemplo, siempre que se especifique la reproducción a doble velocidad. En el caso donde la información de reproducción trucada indica que es posible realizar la reproducción a doble velocidad descodificando y reproduciendo solamente una imagen I, imágenes P e imágenes B de referencia, se determina que estos tres tipos de imágenes se descodifican y reproducen. Obsérvese que, en el caso donde la información de reproducción trucada no se detecta en la imagen superior de la unidad RAU de acceso aleatorio en el procesamiento desde la Etapa 30 a la Etapa 32, las imágenes necesarias a descodificar en orden para realizar la operación de reproducción trucada se determinan según un procedimiento predeterminado. Como ejemplo, es posible evaluar si la imagen es una imagen de referencia o no remitiéndose al campo que indica el tipo de imagen de una imagen en un Delimitador de Unidad de Acceso, o comprobando el nal_ref_idc del encabezamiento de la unidad NAL. Por ejemplo, es posible distinguir imágenes B de referencia de imágenes B de no-referencia remitiéndose tanto al campo que indica los tipos de imágenes como a nal_ref_idc.

La Fig. 30 es un diagrama de flujo que indica el procesamiento (el procesamiento por parte de la unidad AUsel de selección de las AU a descodificar) en el caso donde todas las AU a descodificar no se visualizan siempre. A las etapas para realizar el mismo procesamiento que las etapas en el diagrama de flujo de la Fig. 28 se les asignan los mismos números de referencia, y se omitirá su descripción. En la Etapa 41, la unidad AUsel de selección de las AU a descodificar obtiene y analiza información de reproducción trucada, determina las AU a descodificar y las AU a visualizar en una operación de reproducción trucada especificada, y pasa a la Etapa 42. En la Etapa 42, la unidad AUsel de selección de las AU a descodificar evalúa si las AU a descodificar coinciden completamente con las AU a visualizar. En el caso donde hay una coincidencia completa, pasa a la Etapa 22, mientras que en el caso donde no hay coincidencia completa, pasa a la Etapa 43. En la Etapa 43, la unidad AUsel de selección de las AU a descodificar envía información de la lista de las AU a visualizar, y pasa a la Etapa 22. La información de lista de las AU enviadas se usa en una etapa (no mostrada en una figura) para determinar las AU a visualizar entre las AU descodificadas.

Obsérvese que, en la AVC de MPEG-4, es posible usar, como imágenes de referencia, imágenes sobre las cuales se realiza el procesamiento de filtrado (desbloqueo) para eliminar la distorsión de bloques después de la descodificación, a fin de mejorar la calidad de imagen, y es posible utilizar, como imágenes de visualización, imágenes antes del desbloqueo. En este caso, el aparato 200 de descodificación de imágenes en movimiento necesita mantener los datos de imagen antes y después del desbloqueo. Aquí, a condición de que el aparato 200 de descodificación de imágenes en movimiento tenga una memoria que pueda almacenar datos pos-descodificación equivalentes a cuatro imágenes, en el caso donde almacena los datos de imagen antes y después del desbloqueo en la memoria, la memoria necesita almacenar datos equivalentes a dos imágenes, a fin de mantener imágenes antes del desbloqueo de las imágenes de referencia. Sin embargo, como se ha descrito anteriormente, es deseable que se puedan contener en la memoria tantas imágenes como sea posible en el momento de la reproducción inversa. A condición de que el aparato 200 de descodificación de imágenes en movimiento utilice las imágenes después del desbloqueo también para el uso de visualización, puede contener datos de cuatro imágenes en una memoria porque no se necesita almacenar imágenes antes del desbloqueo. Por lo tanto, visualizar imágenes antes del desbloqueo, a fin de mejorar la calidad de imagen en el momento de la reproducción en una dirección normal y visualizar imágenes después del desbloqueo en el momento de la reproducción inversa, hace que sea posible mantener más imágenes en una memoria, y reducir la magnitud del procesamiento en el momento de la reproducción inversa. Por ejemplo, en el ejemplo de las Fig. 15A a 15C, que muestran una lista de las AU de una imagen I e imágenes P como información de reproducción trucada, todos los datos de cuatro imágenes se pueden mantener en una memoria en el momento de la reproducción inversa, mientras que los siguientes conjuntos de dos imágenes, que se seleccionan arbitrariamente entre I0, P3, P6 y P9, se pueden mantener en la memoria al mismo tiempo en el momento de la reproducción en una dirección normal: 10 y P3; P3 y P6; y P6 y P9.

Ejemplo de un formato de grabación de reproducción trucada en un disco óptico

Una función de reproducción trucada es especialmente importante en un aparato de disco óptico que reproduce medios de paquetes. Aquí, se describirá un ejemplo de grabación de información de reproducción trucada descrita anteriormente en un disco Blu-ray (BD) que es un disco óptico de la próxima generación.

En primer lugar, se describirá un formato de grabación de un BD-ROM.

La Fig. 31 es un diagrama que indica la estructura del BD-ROM, especialmente las estructuras de un disco BD 114, que es un soporte en disco, y los datos 111, 112 y 113 almacenados en el disco. Los datos almacenados en el disco BD 114 incluye datos de VA 113, información 112 de gestión de BD, tal como información de gestión relativa a los datos de VA y una secuencia de reproducción de VA, y un programa 111 de reproducción de BD que realiza la interactividad. Aquí, por motivos de conveniencia, la descripción del disco BD se hará enfocada sobre la aplicación de VA para reproducir contenidos de audio y visuales de películas, pero se puede hacer una descripción similar enfocada en otro uso.

La Fig. 32 es un diagrama que muestra la estructura de un fichero de directorio de datos lógicos almacenados en el disco BD anteriormente descrito. Un disco BD tiene un área de grabación desde su radio más interior a su radio más exterior como, por ejemplo un DVD, un CD y similares, y tiene espacio de direcciones lógicas para almacenar datos lógicos entre la entrada por lectura en el radio más interno y la salida por lectura en el radio exterior. Igualmente, en el interior de la entrada por lectura, hay un área especial que se puede leer solamente mediante un controlador denominado Área de Corte de Ráfaga (BCA). Como este área no se puede leer a partir de la aplicación, se puede usar, por ejemplo, para una técnica de protección de propiedad intelectual.

La información del sistema de ficheros (volumen) se almacena en la parte superior del espacio de direcciones lógicas, y datos de aplicación tales como datos de vídeo se almacenan también ahí. Como se ha descrito en la técnica anterior, un sistema de ficheros es, por ejemplo, el UDF o la ISO9660, y permite la lectura de los datos lógicos almacenados usando una estructura de directorio o una estructura de ficheros como en el caso de un ordenador personal normal.

En esta realización, como la estructura de directorio y la estructura de ficheros sobre el disco BD, se coloca el directorio BDVIDEO inmediatamente por debajo de un directorio raíz (ROOT). Este directorio es un directorio que almacena datos tales como contenido de VA o información de gestión (101, 102 y 103, que se describen en la Fig. 32) que se gestiona en el BD.

Por debajo del directorio BDVIDEO, se graban los siguientes siete ficheros.

(i): BD. INFO (el nombre de fichero es fijo) que es un fragmento de la "información de gestión del BD" y es un fichero que almacena la información relativa a todo el disco BD. El reproductor de BD lee en primer lugar este fichero.

(ii): BD.PROG (el nombre de fichero es fijo) que es uno de los "programas de reproducción de BD" y es un fichero que almacena la información de control de reproducción relativa a todo el disco BD.

(iii): XXX. PL ("XXX" es variable, y la extensión "PL" es fija) que es una elemento de "información de gestión de BD" y es un fichero que almacena la información de lista de reproducción, que es un guión (secuencia de reproducción). Cada lista de reproducción tiene un fichero.

(iv): XXX. PROG ("XXX" es variable, y la extensión "PROGR" es fija) que es uno de los "programas de reproducción de BD" y es un fichero que almacena la información de control de reproducción preparada sobre la base de listas de reproducción. La lista de reproducción correspondiente se identifica sobre la base de un nombre de cuerpo de fichero (basado en la coincidencia de "XXX").

(v): YYY.VOB ("YYY" es variable, y la extensión "VOB" es fija) que es uno de los "datos de VA" y es un fichero que almacena el VOB (lo mismo que el VOB descrito en la técnica anterior). Cada VOB tiene un fichero.

(vi): YYY.VOBI ("YYY" es variable, y la extensión "VOBI" es fija) que es un elemento de la "información de gestión de BD" y es fichero que almacena la información de gestión de flujo relativa al VOB que son los datos de VA. La lista de reproducción correspondiente se identifica basándose en un nombre de cuerpo de fichero (basado en una coincidencia de "YYY").

(vii): ZZZ.PNG ("ZZZ" es variable, y la extensión "PNG" es fija) que es uno de los "datos de VA" y es un fichero que almacena datos de imagen PNG (que es un formato de imagen normalizado por el W3C y denominado "ping") para constituir subtítulos y menús. Cada imagen PNG tiene un fichero.

La estructura de datos de navegación de BD (información de gestión de BD) se describirá con referencia a las Fig. 33 a 38.

La Fig. 33 es un diagrama que muestra la estructura interna de un fichero de información de gestión de VOB ("YYY.VOBI"). La información de gestión de VOB tiene la información del atributo de flujo (Atributo) del VOB y un mapa temporal (TMAP). El atributo de flujo tiene atributo de vídeo (Vídeo) y atributo de audio (Audio#0 a Audio#m) por separado. Especialmente en el caso de flujo de audio, como un VOB tiene diversos flujos de audio al mismo tiempo, la presencia o ausencia de un campo de datos se indica por el número (Número) de flujos de audio.

Los siguientes son atributos de vídeo (Vídeo) almacenados en campos respectivamente, y los valores que los campos respectivos pueden tener:

(i): formato de compresión (Codificación): MPEG-1; MPEG-2; MPEG-4; y AVC (Codificación de vídeo avanzada) de MPEG-4.

(ii): Resolución (Resolución): 1920 x 1080; 1440x1080; 1280x720; 720x480, y 720x565.

(iii): relación de aspecto (Aspecto): 4 a 3; y 16 a 9.

(iv): frecuencia de trama (Frecuenciatrama): 60; 59,94 (60/1,001), 50; 30; 29,97 (30/1,001), 25; 24; y 23,976 (24/1,001).

Los siguientes son atributos de audio (Audio) almacenados en campos respectivamente, y los valores que los respectivos campos pueden tener.

(i): formato de compresión (Codificación): AC3; MPEG-1; MPEG-2; y LPCM.

(ii): el número de canales (Ch): 1 a 8

(iii): atributo de idioma (Idioma):

\vskip1.000000\baselineskip

El mapa temporal (TMAP) es una tabla para almacenar la información sobre para cada VOBU, y tiene el número de las VOBU que tiene el VOB y los fragmentos respectivos de información de VOBU (VOBU#1 a VOBU#n). Los fragmentos respectivos de información de VOBU incluyen I_inicio, que es la dirección (la dirección de inicio de una imagen I) del paquete TS superior de una VOBU y una dirección de desplazamiento (I_fin) hasta la dirección final de la imagen I, y el tiempo de inicio de reproducción (PTS) de la imagen I.

La Fig. 34 es un diagrama que ilustra los detalles de la información de VOBU. Como es ampliamente conocido, ya que se puede realizar la compresión de velocidad de bits variable en el flujo de video MPEG, a fin de grabar el flujo de video en alta calidad, no hay ninguna proporcionalidad entre el tiempo de reproducción y el tamaño de los datos. Por otra parte, como se realiza una compresión de velocidad de bits fija en AC3, que es una norma de compresión de audio, la relación entre el tiempo y la dirección se puede obtener a partir de una expresión primaria. Sin embargo, en el caso de datos de vídeo MPEG, cada trama tiene un tiempo de visualización fijo, por ejemplo, una trama tiene un tiempo de visualización de 1/29,97 segundos en el caso de NTSC, pero el tamaño de los datos después de comprimir cada trama cambia en gran medida, según la característica de la imagen, o del tipo de imagen usado en la compresión, tal como una imagen I, una imagen P o una imagen B. Por lo tanto, en el caso de un flujo de vídeo MPEG, es imposible representar la relación entre el tiempo y la dirección usando una expresión primaria.

Como se puede esperar, es imposible representar la relación entre el tiempo y el tamaño de los datos usando una expresión primaria en un flujo del sistema MPEG donde los datos de vídeo MPEG se multiplexan, es decir, un VOB. Por lo tanto, un mapa temporal (TMAP) asocia el tiempo a la dirección en un VOB.

De esta manera, en el caso donde se da información de tiempo, la VOBU a la cual pertenece el tiempo se busca en primer lugar (siguiendo los PTS de la VOBU en orden), se salta al PTS inmediatamente antes de ese tiempo en la VOBU que un TMAP tiene (la dirección especificada por I_inicio), la descodificación se inicia con la imagen I superior de la VOBU, y la visualización se inicia con la imagen correspondiente a ese tiempo.

A continuación, la estructura interna de una información de lista de reproducción ("XXX.PL") se describirá con referencia a la Fig. 35. La información de lista de reproducción incluye una lista de celdas (ListaCeldas) y una lista de sucesos (ListaSucesos).

La lista de celdas (ListaCeldas) es una secuencia de celdas de reproducción en la lista de reproducción; y las celdas se reproducen en el orden de descripción indicado en esta lista. El contenido de la lista de celdas (ListaCeldas) es el número de celdas (Número) y la información de cada celda (Celda#1 a Celda#n).

La información de celda (Celda#) tiene un número de fichero de VOB (NombreVOB), tiempo de inicio (In) y tiempo final (Sal) en el VOB, y subtítulos (TablaSubtítulos). El tiempo de inicio (In) y el tiempo final (Sal) se representan como un número de trama en cada VOB. Es posible obtener la dirección de los datos de VOB necesarios para reproducir usando el mapa temporal (TMAP) anteriormente descrito.

La tabla de subtítulos (TablaSubtítulos) es una tabla que almacena información de subtítulos que se reproduce sincronizadamente con el VOB. Como en el caso del audio, se incluyen diversos idiomas en los subtítulos. La primera información de la tabla de subtítulo (TablaSubtítulos) incluye el número de idiomas (Número) y las siguientes tablas (Idioma#1 a Idioma#k) preparadas sobre una base de un idioma.

Cada tabla de idioma (Idioma#) incluye información de idioma (Idioma), el número (Número) de fragmentos de información de subtítulos de los subtítulos a visualizar por separado, e información de subtítulos (Discurso#1 a Discurso#j) de subtítulos a visualizar por separado. La información de subtítulos (Discurso#) incluye un nombre de fichero de datos de imagen (Nombre), el tiempo de inicio de visualización de subtítulo (In), el tiempo de finalización de visualización de subtítulo (Sal) y una posición de visualización de subtítulo (Posición).

La lista de sucesos (ListaSucesos) es una tabla que define cada suceso que se produce en la lista de reproducción. La lista de sucesos incluye el número de sucesos (Número) y los sucesos respectivos (Suceso#1 a Suceso#m). Cada suceso (Suceso#) incluye un tipo de suceso (Tipo), un identificador de suceso (ID), un tiempo de ocurrencia del suceso (Tiempo) y una duración del suceso (Duración).

La Fig. 36 es una tabla de gestión de sucesos ("XXX. PROG") que tiene un gestor de sucesos (que es un suceso temporal y un suceso para la selección de menús) preparado sobre la base de una lista de reproducción. La tabla de gestión de sucesos incluye el número de gestores/programas de sucesos definidos (Número) y los respectivos gestores/programas de sucesos (Programa#1 a Programa#n). El contenido de cada gestor/programa de sucesos (Programa#) es la definición del inicio de un gestor de suceso (etiqueta event_handler) y el identificador del gestor de sucesos (ID) que se empareja con el identificador de suceso previamente descrito, y a continuación del mismo, el programa descrito en "{}" que sigue a la palabra Function (Función). El suceso (Suceso#1 a Suceso#m) almacenado en la lista de sucesos (ListaSucesos) del "XXX.PL" previamente descrito se especifica usando un identificador (ID) del gestor de sucesos de "XXX. PROG".

A continuación, la estructura interna de la información relativa a todo el disco BD ("BD.INFO") se describirá con referencia a la Fig. 37. La información relativa a todo el disco BD incluye una lista de títulos (ListaTítulos) y una tabla de sucesos para sucesos globales (ListaSucesos).

La lista de títulos (ListaTítulos) incluye el número de títulos de un disco (Número) y fragmentos de información de título (Título#1 a Título#3) que siguen al número de títulos. Los fragmentos respectivos de información de título (Título#) incluyen una tabla de lista de reproducción en el título (TablaPL) y una lista de capítulos en el título (ListaCapítulos). La tabla de lista de reproducción (TablaPL) incluye el número de listas de reproducción en el título (Número) y nombres de listas de reproducción (Nombre) que son los nombres de ficheros de listas de reproducción. La lista de capítulos (ListaCapítulos) incluye el número de capítulos incluidos en el título (Número) y fragmentos de información de capítulo (Capítulo#1 a Capítulo#n). Cada fragmento de información de capítulo (Capítulo#) incluye una tabla de celdas (TablaCeldas) incluida en el capítulo, y la tabla de celdas (TablaCeldas) incluye el número de celdas (Número) y fragmentos de información de entrada de celdas (EntradaCelda#1 a EntradaCelda#k). La información de entrada de celda (EntradaCelda#) incluye el nombre de lista de reproducción que incluye la celda y un número de celdas en la lista de reproducción.

La lista de sucesos (ListaSucesos) incluye el número de sucesos globales (Número) y fragmentos de información de sucesos globales. Debería observarse que el suceso global a definir en primer lugar se denomina primer suceso (PrimerSuceso), y es el suceso invocado en primer lugar después de la inserción del disco BD en el reproductor. La información de suceso para el sucesos globales tiene solamente un tipo de suceso (Tipo) y un identificador de suceso (ID).

La Fig. 38 es una tabla ("BD.PROG") de un programa de un gestor de sucesos globales. El contenido de esta tabla es el mismo que el contenido de la tabla de gestión de sucesos descrita en la Fig. 36.

En el caso de almacenar la información de reproducción trucada anteriormente descrita en el formato BD-ROM descrito hasta ahora, se considera que una VOBU incluye una o más unidades RAU de acceso aleatorio, y la información de reproducción trucada se incluye en la AU superior de la VOBU. Obsérvese que, en la AVC de MPEG-4, se incluye una unidad NAL donde se almacena información de reproducción trucada.

Obsérvese que la información de reproducción trucada se puede almacenar en la información de gestión del BD. Por ejemplo, es posible almacenar información de reproducción trucada preparada en VOBU a VOBU, extendiendo el mapa temporal de la información de gestión del VOB. Igualmente, es posible definir un nuevo mapa para almacenar la información de reproducción trucada.

Igualmente, es posible almacenar la información de reproducción trucada bien en la VOBU o bien en la información de gestión del BD.

Igualmente es posible almacenar solamente el valor por omisión de la información de reproducción trucada en la información de gestión del BD, y solamente en el caso donde la información de reproducción trucada, en cuanto a la VOBU, es distinta al valor por omisión, es posible almacenar la información de reproducción trucada en la VOBU.

Igualmente, es posible almacenar un conjunto de uno o más fragmentos de información de reproducción trucada en la información de gestión del BD como la información que es común entre los flujos. La VOBU se puede referir a un fragmento de información de reproducción trucada entre los fragmentos de información de reproducción trucada almacenada en la información de gestión del BD. En este caso, la información del índice de la información de reproducción trucada objeto de referencia por la VOBU se almacena en la información de gestión de una unidad VOBU o en la VOBU.

Reproductor para reproducir discos ópticos

La Fig. 39 es un diagrama en bloques que muestra en líneas generales la estructura funcional de un reproductor que reproduce un disco BD mostrado en la Fig. 31, y similares. Los datos sobre el disco BD 201 se leen mediante un reproductor óptico 202. Los datos de lectura se transmiten a una memoria exclusiva que depende de los tipos de los datos respectivos. El programa de reproducción de BD (el contenido de "BD.PROG" o "XXX.PROG") se transmite a una memoria 203 de programa. Igualmente, la información de gestión del BD ("BD.INFO", "XXX.PL" o "YYY.VOBI") se transmite a una memoria 204 de información de gestión. Igualmente los datos AV ("YYY.VOB" o "ZZZ.PNG") se transmiten a una memoria AV 205.

El programa de reproducción de BD grabado en la memoria 203 de programa se procesa mediante una unidad 206 de procesamiento de programas. Igualmente, la información de gestión del BD grabada en la memoria 204 de información de gestión se procesa mediante la unidad 207 de procesamiento de información de gestión. Igualmente, los datos AV grabados en la memoria AV 205 se procesan mediante una unidad 208 de procesamiento de presenta-
ción.

La unidad 206 de procesamiento de programa recibe la información de listas de reproducción a reproducir por la unidad 207 de procesamiento de información de gestión y la información de sucesos, tal como la programación de la ejecución del programa, y realiza el procesamiento del programa. Igualmente, es posible cambiar dinámicamente las listas de reproducción a reproducir por el programa. Esto se puede llevar a cabo enviando una instrucción de reproducción de las listas de reproducción a la unidad 207 de procesamiento de información de gestión. La unidad 206 de procesamiento de programa recibe un suceso de un usuario; dicho de otro modo, recibe una petición a través de un controlador remoto, y en el caso donde hay un programa que corresponde al suceso de usuario, ejecuta el programa.

La unidad 207 de procesamiento de información de gestión recibe una instrucción de la unidad 206 de procesamiento de programa, analiza las listas de reproducción y la información de gestión de los VOB que corresponden a las listas de reproducción, e instruye a la unidad 208 de procesamiento de presentación para reproducir los datos AV deseados. Igualmente, la unidad 207 de procesamiento de información de gestión recibe la información de tiempo estándar desde la unidad 208 de procesamiento de presentación, instruye a la unidad 208 de procesamiento de presentación para detener la reproducción de los datos AV basándose en la información de tiempo. Igualmente, la unidad 207 de procesamiento de información de gestión genera un suceso para notificar a la unidad 206 de procesamiento de programas la programación de la ejecución del programa.

La unidad 208 de procesamiento de presentación tiene un descodificador que puede procesar vídeo, audio y subtítulos/imágenes (imágenes fijas), respectivamente. Descodifica y produce los datos AV según una instrucción de la unidad 207 de procesamiento de información de gestión. En el caso de datos de vídeo, y subtítulos/imágenes, se descodifican y a continuación se representan en los planos exclusivos respectivos, es decir, el plano 210 de vídeo y el plano 209 de imagen. Después de esto, la unidad 211 de procesamiento de síntesis lleva a cabo el procesamiento de síntesis sobre el vídeo, y envía el vídeo a un dispositivo de visualización tal como un televisor.

En el momento de la reproducción trucada, tal como la reproducción a saltos, la reproducción a velocidad variable y la reproducción inversa, la unidad 208 de procesamiento de presentación interpreta la operación de reproducción trucada solicitada por el usuario, y notifica a la unidad 207 de procesamiento de información de gestión de la información tal como la velocidad de reproducción. La unidad 207 de procesamiento de información de gestión analiza la información de reproducción trucada almacenada en la AU superior de la VOBU y determina las AU a descodificar y visualizar de manera que la operación de reproducción trucada especificada por el usuario se pueda realizar de manera segura. Obsérvese que la unidad 207 de procesamiento de información de gestión puede obtener la información de reproducción trucada, enviarla a la unidad 208 de procesamiento de presentación y determinar las AU a descodificar y las AU a visualizar en la unidad 208 de procesamiento de presentación.

Obsérvese que un sistema informático autónomo puede ejecutar fácilmente el procesamiento mostrado en esta realización, grabando el programa para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento mostrados en esta realización en un soporte de grabación tal como un disco flexible.

Las Fig. 40A a 40C son ilustraciones del modo en que el sistema informático ejecuta el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de esta realización usando un programa grabado en un soporte de grabación tal como un disco flexible.

La Fig. 40A muestra un ejemplo de un formato físico de un disco flexible como un soporte de grabación. La Fig. 40B muestra un disco flexible y la vista frontal y la vista en sección transversal del aspecto del disco flexible. Un disco flexible (FD) va contenido en una carcasa F, una pluralidad de pistas (Tr) se forman concéntricamente sobre la superficie del disco desde el radio exterior hacia el radio interior del disco, y cada pista se divide en 16 sectores (Se) en la dirección angular. Por lo tanto, en el caso del disco flexible que almacena el programa anteriormente descrito, el programa se graba en un área asignada al mismo sobre el disco flexible (FD).

Igualmente, la Fig. 40C muestra la estructura para grabar y reproducir el programa sobre el disco flexible. En el caso de grabar el programa anterior para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento sobre el disco flexible FD, un sistema informático Cs escribe el programa sobre el disco flexible a través de una unidad de disco flexible. Igualmente, en el caso de construir el anterior aparato de codificación de imágenes en movimiento y el anterior aparato de descodificación de imágenes en movimiento para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento usando el programa en el disco flexible, el programa se lee desde el disco flexible a través de la unidad de disco flexible, y se transmite al sistema informático.

Obsérvese que la anterior descripción se ha realizado usando un disco flexible como soporte de grabación, pero el programa se puede grabar sobre un disco óptico. Igualmente, un soporte de grabación no se limita a esto, y se puede usar otro soporte de grabación tal como una tarjeta IC o un casete de memoria ROM mientras pueda grabar el programa.

Hasta este punto, el aparato de generación de flujo de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el aparato de multiplexado de imágenes en movimiento y el aparato de descodificación de imágenes en movimiento de la presente invención se han descrito basándose en la realización, pero la presente invención no se limita a esta realización. Por ejemplo, la presente invención incluye lo siguiente en esta realización: (i) un aparato de generación de flujo de imágenes en movimiento; un aparato de grabación de disco óptico que tiene uno entre un aparato de codificación de imágenes en movimiento y un aparato de descodificación de imágenes en movimiento; un aparato de envío de imágenes en movimiento; un aparato de transmisión de difusión de televisión digital; un servidor Web; un aparato de comunicación; un terminal de información móvil; y similares; y (ii) un aparato de recepción de imágenes en movimiento que tiene un aparato de descodificación de imágenes en movimiento; un aparato de recepción de difusión de televisión digital; un aparato de comunicación; un terminal de información móvil; y similares.

Obsérvese que los bloques funcionales respectivos mostrados en las Fig. 21, 23, 27 y 39 se realizan típicamente como un LSI, que es un circuito de integración a gran escala. Cada uno de los bloques funcionales se puede fabricar en un único chip, o bien una parte de, o todos, los bloques funcionales pueden integrarse en un único chip (por ejemplo, los bloques funcionales salvo una memoria se pueden fabricar en un solo chip). El circuito integrado se denomina LSI aquí, pero se puede denominar IC, sistema LSI, super LSI o ultra LSI, según el nivel de integración. Igualmente, el procedimiento de fabricación de los mismos en un circuito integrado no se limita al procedimiento de su fabricación en un LSI, se puede realizar mediante un circuito exclusivo o un procesador genérico. Igualmente, es posible usar (i) un procesador reconfigurable donde la conexión o la configuración de células de circuito se puede reconfigurar o (ii) un FPGA programable (Formación de compuertas programables en el terreno), después de fabricarlos en un LSI. Además, en el caso donde la técnica de su fabricación en un circuito integrado, en lugar de su fabricación en un LSI, aparece cuando se desarrolla, además, la técnica de semiconductores o aparece cualquier técnica derivada, a su debido tiempo se pueden fabricar bloques funcionales en un circuito integrado que usa tal nueva técnica. La aplicación de biotécnica es probable. Igualmente, entre los bloques funcionales respectivos, una unidad de almacenamiento (una memoria de imagen) en la cual se almacenan los datos de imagen a codificar o descodificar, se puede configurar por separado en lugar de incluirse en un único chip.

Aplicabilidad industrial

La presente invención se puede aplicar como: un aparato de generación de flujo de imágenes en movimiento que genera una imagen en movimiento a reproducir en reproducción trucada; un aparato de codificación de imágenes en movimiento que genera, por codificación, una imagen en movimiento a reproducir en "reproducción trucada"; un aparato de multiplexado de imágenes en movimiento que genera, por multiplexado de paquetes, una imagen en movimiento a reproducir en reproducción trucada; y un aparato de descodificación de imágenes en movimiento que reproduce la imagen en movimiento en reproducción trucada; y especialmente, como un aparato para construir el sistema para reproducir un flujo AVC de MPEG-4 que usa un modo de reproducción trucada, tal como la reproducción a velocidad variable y la reproducción inversa, siendo tal aparato, por ejemplo, un aparato relacionado con un disco óptico sobre el cual se enfoca generalmente su función de reproducción trucada.

Claims

1. Un aparato de generación de flujo de imágenes en movimiento que genera un flujo que incluye imágenes que constituyen una imagen en movimiento, comprendiendo dicho aparato de generación de flujo de imágenes en movimiento:

: una primera unidad de codificación utilizable para codificar una primera información suplementaria incluida en una unidad de acceso aleatorio, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I, (i) incluyendo la primera información suplementaria fragmentos plurales de información de tipos de imagen, que indica tipos de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de tipos de imagen colocados en un orden que corresponde a un orden de descodificación del grupo de imágenes;

: una segunda unidad de codificación utilizable para codificar una segunda información suplementaria incluida en la unidad de acceso aleatorio, (i) incluyendo la segunda información suplementaria fragmentos plurales de información de estructuras de imagen, que indica estructuras de campos o tramas de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de estructuras de imagen colocados en el orden que corresponde al orden de descodificación del grupo de imágenes; y

: una unidad de generación utilizable para generar un flujo de imágenes en movimiento, añadiendo la información suplementaria codificada primera y segunda a una imagen codificada correspondiente a la primera imagen I que es una imagen inicial de la unidad de acceso aleatorio.

2. Un procedimiento de generación de flujo de imágenes en movimiento para generar un flujo que incluye imágenes que constituyen una imagen en movimiento, comprendiendo dicho procedimiento de generación de flujo de imágenes en movimiento:

: una primera etapa de codificación de la primera información suplementaria incluida en una unidad de acceso aleatorio, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I, (i) incluyendo la primera información suplementaria fragmentos plurales de información de tipos de imagen, que indica tipos de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de tipos de imagen colocados en un orden que corresponde a un orden de descodificación del grupo de imágenes;

: una segunda etapa de codificación para codificar la segunda información suplementaria incluida en la unidad de acceso aleatorio, (i) incluyendo la segunda información suplementaria fragmentos plurales de información de estructuras de imagen, que indica estructuras de campos o tramas de las imágenes incluidas en el grupo, y (ii) utilizándose cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada, y estando los fragmentos plurales de información de estructuras de imagen colocados en el orden que corresponde al orden de descodificación del grupo de imágenes; y

: una etapa de generación para generar un flujo de imágenes en movimiento añadiendo la información suplementaria codificada primera y segunda a una imagen codificada correspondiente a la primera imagen I, que es una imagen inicial de la unidad de acceso aleatorio.

3. Un aparato de descodificación de imágenes en movimiento que descodifica un flujo que incluye imágenes codificadas que constituyen una imagen en movimiento y reproduce el flujo descodificado, comprendiendo dicho aparato de descodificación de imágenes en movimiento:

: una unidad de obtención de instrucciones utilizable para obtener una instrucción que indica que se debería llevar a cabo la reproducción trucada;

: una unidad de análisis utilizable para analizar una primera información suplementaria y una segunda información suplementaria para la unidad de acceso aleatorio, demultiplexando la información suplementaria primera y segunda de una primera imagen I, efectuándose el análisis para cada unidad de acceso aleatorio, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I;

: una unidad de especificación de imágenes de reproducción utilizable para especificar imágenes, entre las imágenes incluidas en la unidad de acceso aleatorio, que son necesarias para la reproducción trucada indicada por la instrucción obtenida por dicha unidad de obtención de instrucciones, basada en un resultado del análisis realizado por dicha unidad de análisis; y

: una unidad de descodificación utilizable para descodificar las imágenes especificadas por dicha unidad de especificación de imágenes de reproducción y reproducir las imágenes descodificadas,

: en el cual la primera información suplementaria en la unidad de acceso aleatorio incluye fragmentos plurales de información de tipos de imágenes, que indica tipos de las imágenes incluidas en la unidad de acceso aleatorio, y los fragmentos plurales de información de tipos de imagen se colocan en un orden que corresponde a un orden de descodificación del grupo de imágenes; y la segunda información suplementaria incluida en la unidad de acceso aleatorio incluye fragmentos plurales de información de estructuras de imágenes que indica estructuras de campos o tramas de las imágenes incluidas en la unidad de acceso aleatorio, y los fragmentos plurales de la información de estructuras de imagen se colocan en el orden que corresponde al orden de descodificación del grupo de imágenes, y

: la información suplementaria primera y segunda se añaden a una imagen codificada correspondiente a la primera imagen I que es la imagen inicial de la unidad de acceso aleatorio, y se utilizan cuando las imágenes incluidas en la unidad de acceso aleatorio se reproducen en reproducción trucada.

4. Un procedimiento de descodificación de imágenes en movimiento para descodificar un flujo que incluye imágenes codificadas que constituyen una imagen en movimiento y reproducir el flujo descodificado, comprendiendo dicho procedimiento de descodificación de imágenes en movimiento:

: una etapa de obtención de instrucciones para obtener una instrucción que indica que se debería llevar a cabo la reproducción trucada;

: una etapa de análisis para analizar una primera información suplementaria y una segunda información suplementaria para la unidad de acceso aleatorio, demultiplexando la información suplementaria primera y segunda de una primera imagen I, efectuándose el análisis para cada unidad de acceso aleatorio, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I;

: una etapa de especificación de imágenes de reproducción, para especificar imágenes, entre las imágenes incluidas en la unidad de acceso aleatorio, que son necesarias para la reproducción trucada indicada por la instrucción obtenida en dicha etapa de obtención de instrucciones, basada en un resultado del análisis realizado en dicha etapa de análisis; y

: una etapa de descodificación para descodificar las imágenes especificadas en dicha etapa de especificación de imágenes de reproducción y reproducir las imágenes descodificadas,

5. Un soporte de grabación legible por ordenador sobre el cual se graba un flujo, incluyendo el flujo imágenes e información suplementaria primera y segunda,

: en el cual el flujo está estructurado de manera que la primera información suplementaria y la segunda información suplementaria se añaden a una imagen codificada correspondiente a una primera imagen I, que es una primera imagen de una unidad de acceso aleatorio, y se utilizan cuando las imágenes incluidas en cada unidad de acceso aleatorio se reproducen en reproducción trucada, incluyendo la unidad de acceso aleatorio un grupo de imágenes cuya primera imagen es una imagen I, siendo la primera información suplementaria incluida en la unidad de acceso aleatorio fragmentos plurales de información de tipos de imagen, incluida en la unidad de acceso aleatorio, y estando los fragmentos plurales de la información de tipos de imagen colocados en un orden que corresponde a un orden de descodificación del grupo de imágenes, y siendo la segunda información suplementaria incluida en la unidad de acceso aleatorio fragmentos plurales de información de estructuras de imagen, que indica estructuras de campos o tramas de las imágenes incluidas en la unidad de acceso aleatorio, y estando los fragmentos plurales de la información de tipos de imagen colocados en el orden que corresponde al orden de descodificación del grupo de imágenes.

6. Un procedimiento de grabación para grabar un flujo que incluye imágenes que constituyen una imagen en movimiento sobre un soporte de grabación legible por ordenador, comprendiendo dicho procedimiento de grabación

: una etapa de grabación para grabar el flujo generado usando el procedimiento de generación de flujo de imágenes en movimiento según la reivindicación 2.

7. Un sistema de descodificación de imágenes en movimiento que comprende el soporte de grabación según la reivindicación 5, y el aparato de descodificación de imágenes en movimiento según la reivindicación 3, que lee un flujo que incluye imágenes codificadas que constituyen una imagen en movimiento del soporte de grabación, descodifica y reproduce el flujo.