ES2674908T3 - Método y aparato para ocultación de imágenes de video perdidas - Google Patents

Método y aparato para ocultación de imágenes de video perdidas Download PDF

Info

Publication number
ES2674908T3
ES2674908T3 ES06772266.0T ES06772266T ES2674908T3 ES 2674908 T3 ES2674908 T3 ES 2674908T3 ES 06772266 T ES06772266 T ES 06772266T ES 2674908 T3 ES2674908 T3 ES 2674908T3
Authority
ES
Spain
Prior art keywords
image
reference image
lost
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES06772266.0T
Other languages
English (en)
Inventor
Zhenyu Wu
Frederic Landais
Purvin Bibhas Pandit
Jill Macdonald Boyce
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing DTV SAS
Original Assignee
Thomson Licensing DTV SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing DTV SAS filed Critical Thomson Licensing DTV SAS
Application granted granted Critical
Publication of ES2674908T3 publication Critical patent/ES2674908T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Un descodificador de video H.264, que comprende: un descodificador (110) de entropía para descomprimir una corriente de bits de video y analizar la corriente de bits de video descomprimida para encontrar recuentos de orden de imagen para imágenes de la corriente de bits de video descomprimida; un detector (176) de error - para determinar antes de descodificar una imagen, si una imagen de referencia se ha perdido basándose en un elemento de sintaxis frame_num, - cuando una imagen de referencia no se ha perdido y cuando una imagen descodificada está lista para su emisión, para determinar si una imagen de no referencia de la corriente de bits de video descomprimida se ha perdido basándose en la comparación de los recuentos de orden de imagen de imágenes descodificadas temporalmente adyacentes, - en donde la corriente de bits de video codificada utiliza una tasa de imagen fija; y un ocultador (186) de error para ocultar una imagen de referencia perdida y una imagen de no referencia perdida.

Description

5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Método y aparato para ocultación de imágenes de video perdidas Referencia cruzada a solicitudes relacionadas
Esta solicitud reivindica el beneficio de la Solicitud Provisional de los EE.UU N° de Serie 60/702.233, presentada el 25 de Julio de 2005, y titulada “VIDEO RECORDER DETECTION AND CONCEALMENT OF REFERENCE AND NON- REFERENCE FRAMES”
Campo de la invención
La presente invención se refiere en general a codificación y descodificación de video y, más particularmente, a métodos y aparato para la detección de imágenes de video de no referencia perdidas y a la ocultación de imágenes de video de referencia y de no referencia perdidas.
Antecedentes de la invención
El contenido de video entregado a través de canales de comunicación propensa a error está sometido a errores introducidos durante la transmisión. Dentro de muchas infraestructuras de aplicación, los errores de transmisión pueden dar como resultado a menudo pérdidas de los datos que han de ser recibidos por una aplicación. Para aplicaciones de transmisión de video de baja tasa de bits, por ejemplo redes 3GPP, cada unidad de datos perdidos corresponde usualmente a la pérdida de una imagen codificada en la capa de aplicación. Si se deja sin tratar, tal corriente de bits corrupta cuando es presentada al descodificador de video puede estropear o incluso bloquear el proceso de descodificación. Por ello, debería haber situados dentro del descodificador mecanismos para detectar tales pérdidas.
Las imágenes de video pueden ser divididas en dos tipos en corrientes de bits H.264, imágenes de referencia e imágenes de no referencia. El software JM descodificador H.264 actual puede detectar una imagen de referencia perdida comprobando una variable llamada “frame_num” asignada a cada imagen de referencia. “frame_num” es incrementada en 1 para la siguiente imagen de referencia, así cuando el espacio entre dos “frame_num” consecutivas es mayor que 1, el descodificador sabe que se ha producido una imagen de referencia perdida. En este caso, el software JM descodificador actual detiene cualquier descodificación adicional.
Además, el software JM descodificador H.264 actual no puede detectar la pérdida de una imagen de no referencia. El descodificador simplemente descodifica la siguiente imagen disponible en la corriente de bits y omite la imagen perdida. Por tanto, la secuencia video emitida tiene menos imágenes y esto puede provocar una fluctuación de la velocidad de presentación, lo que afecta a la experiencia de visión final.
Compendio de la invención
Estos y otros inconvenientes y desventajas de la técnica anterior son abordados por la presente invención, que está dirigida a métodos y aparato para la detección de imágenes de video de no referencia perdidas y a la ocultación de imágenes de video de referencia y de no referencia perdidas.
Según un aspecto de la presente invención, se ha proporcionado un descodificador de video y un método para descodificar una corriente de bits de video según se ha especificado en las reivindicaciones.
Estos y otros aspectos, características y ventajas de la presente invención resultarán evidentes a partir de la siguiente descripción detallada de realizaciones ejemplares, que ha de ser leída en conexión con los dibujos adjuntos.
Breve descripción de los dibujos
La presente invención puede ser mejor comprendida de acuerdo con las siguientes figuras ejemplares, en las que:
La fig. 1 muestra un diagrama de bloques para un descodificador de video ejemplar no escalable al que pueden aplicarse los presentes principios; y
La fig. 2 muestra un diagrama de flujo para un método ejemplar para descodificar una secuencia de video, de acuerdo con los principios de la presente invención.
Descripción detallada
La presente invención está dirigida a métodos y aparato para la detección de imágenes de video de no referencia y a la ocultación de imágenes de video de referencia y de no referencia perdidas.
Así, de acuerdo con los principios de nuestra invención, puede implementarse un descodificador y/o método de descodificación para detectar la pérdida de imágenes de no referencia y pueden invocarse funciones correspondientes para ocultar las imágenes de no referencia perdidas. Además, de acuerdo con los presentes principios, puede implementarse un descodificador y/o método de descodificación para ocultar también imágenes de referencia. Esta detección y/u ocultación de imágenes de video perdidas conduce a una calidad de video y a una tasa de bits más
5
10
15
20
25
30
35
40
45
50
55
estables, y a una mejor satisfacción del espectador.
La presente descripción ilustra los principios de la presente invención. Se apreciará así que los expertos en la técnica serán capaces de considerar distintas disposiciones que, aunque no hayan sido descritas o mostradas explícitamente en este documento, constituyen una realización de los principios de la invención y están incluidas dentro de su espíritu y alcance.
Todos los ejemplos y el lenguaje condicional citados en este documento están destinados a propósitos pedagógicos para ayudar al lector en la comprensión de los principios de la invención y de los conceptos aportados por el inventor para promover la técnica, y han de ser considerados como que no están limitados a dichos ejemplos y condiciones citados específicamente.
Además, todas las declaraciones en este documento que citan principios, aspectos, y realizaciones de la invención, así como ejemplos específicos de la misma, están destinados a abarcar tanto equivalencias estructurales como funcionales de la misma. Adicionalmente, se pretende que tales equivalencias incluyen tanto equivalencias actualmente conocidas como equivalencias desarrolladas en el futuro, es decir, cualesquiera elementos desarrollados que realicen misma función, independientemente de la estructura.
Así, por ejemplo, los expertos en la técnica apreciarán que los diagramas de bloques presentados en este documento representan vistas conceptuales de circuitos ilustrativos que ponen en práctica los principios de la invención. De manera similar, se apreciará que cualesquiera gráficos, diagramas de flujo, diagramas de transición de estado, pseudo-código, y similares representan distintos procesos que pueden ser representados sustancialmente en medios legibles por ordenador y así ejecutados por un ordenador o procesador, haya sido o no mostrado explícitamente dicho ordenador o procesador.
Las funciones de los distintos elementos mostrados en las figuras pueden ser proporcionadas mediante el uso de hardware dedicado así como de hardware capaz de ejecutar software en asociación con el software apropiado. Cuando son proporcionadas por un procesador, las funciones pueden ser proporcionadas por un único procesador dedicado, por un único procesador compartido, o por una pluralidad de procesadores individuales, algunos de los cuales pueden ser compartidos. Además, el uso explícito del término "procesador" o "controlador" no debería ser considerado que se refiere exclusivamente a hardware capaz de ejecutar software, y puede incluir implícitamente, sin limitación, hardware de procesador de señal digital ("DSP"), memoria sólo de lectura ("ROM") para almacenar software, memoria de acceso aleatorio ("RAM"), y almacenamiento no volátil.
Puede también incluirse otro hardware, convencional y/o a medida. De manera similar cualesquiera cambios mostrados en las figuras son solamente conceptuales. Su función puede ser llevada a cabo mediante la operación de un programa lógico, a través de una lógica dedicada, a través de la interacción de un programa lógico y de una lógica dedicada, o incluso manualmente, siendo seleccionable la técnica particular por la persona que la implementa como se comprende más específicamente a partir del contexto.
En las reivindicaciones, cualquier elemento expresado como un medio para realizar una función especificada está destinado a abarcar cualquier modo de realizar esa función incluyendo, por ejemplo, a) una combinación de elementos de circuito que realiza esa función o b) software en cualquier forma, incluyendo, por ello, firmware, micro-código o similar, combinado con circuitos apropiados para ejecutar ese software para realizar la función. La invención como ha sido definida por dichas reivindicaciones reside en el hecho de que las funcionalidades proporcionadas por los distintos medios citados son combinadas y reunidas de la manera en que lo definen las reivindicaciones. Se ha considerado así que cualesquiera medios que puedan proporcionar esas funcionalidades son equivalentes a los mostrados en este documento.
Volviendo a la fig. 1, un descodificador de video no escalable está indicado en general por el número de referencia 100. El descodificador 100 de video incluye un descodificador 110 de entropía para recibir una secuencia de video. Una primera salida del descodificador 110 de entropía está conectada en comunicación de señal con una entrada de un cuantificador/transformador inverso 120. Una salida del cuantificador/transformador inverso 120 está conectada en comunicación de señal con una primera entrada de una unión sumadora 140. La salida de la unión sumadora 140 está conectada en comunicación de señal con un filtro 190 de desbloqueo. Una salida del filtro 190 de desbloqueo está conectada en comunicación de señal con almacenamientos 150 de imagen de referencia. Los almacenamientos 150 de imagen de referencia están conectados en comunicación de señal con una primera entrada de un compensador 160 de movimiento. Una salida del compensador 160 del movimiento está conectada en comunicación de señal con una segunda entrada de la unión sumadora 140. Una segunda salida del descodificador 110 de entropía está conectada en comunicación de señal con una segunda entrada del compensador 160 de movimiento. Una tercera salida del descodificador 110 de entropía está conectada en comunicación de señal con la entrada de un detector 176 de error. La salida del detector 176 de error está conectada en comunicación de señal con la entrada de un ocultador 186 de error. La salida del ocultador 186 de error está conectada en comunicación de señal como una tercera entrada del compensador 160 de movimiento. La salida del filtro 190 de desbloqueo está disponible como una salida del descodificador 100 de video.
Como se ha indicado anteriormente, se han proporcionado métodos y aparatos para la detección de imágenes de video
5
10
15
20
25
30
35
40
45
50
55
de no referencia perdidas y la ocultación de imágenes de video de referencia y de no referencia perdidas. Ventajosamente, detectando las imágenes de video de no referencia perdidas de acuerdo con los principios de la presente invención, se evita el caso en el que el descodificador simplemente omite la imagen perdida causando posiblemente una fluctuación de la velocidad de presentación y afectando a la experiencia de visión final. Además, cualquiera de las imágenes de video de referencia perdidas y de las imágenes de video de no referencia perdidas puede ser ocultada de acuerdo con los principios descritos en este documento.
Durante el proceso de descodificación normal de una corriente de bits H.264, el descodificador mantiene un recuento de orden de imágenes (POC) variable para cada imagen codificada, incluyendo tanto imágenes de referencia como de no referencia. El POC fue diseñado originalmente con propósitos de descodificación de fuente, tal como para derivar vectores de movimiento en modo directo temporal, o predicción ponderada en rebanadas B. Sin embargo, de acuerdo con los principios de la presente invención, el POC puede ser también utilizado para detectar una imagen de no referencia perdida, si la corriente de bits de video codificada utiliza una tasa de imagen fija.
En una corriente de bits H.264 válida, cada imagen tiene su propio valor de POC, comenzando desde 0 para una imagen de refresco de descodificación instantánea (IDR) de un grupo de imágenes (GOP). Definimos el espacio de POC entre un par de valores de POC como sigue:
Espacio de POC — POClmagen 1 — POClmagen 2
Dentro de cada GOP, el espacio de POC permanece siendo típicamente el mismo para dos imágenes 1 y 2 consecutivas temporalmente. Así, si se especifica un espacio de POC y es conocido para el descodificador, el descodificador puede comprobar si se ha perdido una imagen. Después del proceso de descodificación, debido a una posible codificación fuera de orden para imágenes B, la comprobación es realizada siempre que el descodificador está listo para emitir una imagen descodificada a un archivo o para presentarla. El descodificador calcula el espacio de POC entre dos imágenes descodificadas adyacentes temporalmente. Si el valor no es igual al espacio de POC especificado, el descodificador sabe que hay una imagen o imágenes perdidas entre las dos imágenes. Ya que las imágenes de referencia perdidas con detectadas por la variable "frame_num", este método basado en espacio de POC es utilizado exclusivamente para imágenes no referencia.
Cuando se ha perdido una imagen, la operación de "copia de movimiento" puede ser llamada para ocultar la imagen perdida. Con la "copia de movimiento" el campo de movimiento de una imagen de referencia especificada es copiado a la imagen perdida. Por ejemplo, el vector de movimiento de cada macro-bloque (MB) o división MB desde la imagen de referencia es copiada a la estructura ubicada conjuntamente en la imagen perdida. Además, como se permiten múltiples imágenes de referencia en H.264, el índice de referencia asociado con cada vector de movimiento en la imagen de referencia es también copiado. Después de las operaciones anteriores, el procedimiento de compensación de movimiento normal en el descodificador es requerido para reconstruir la imagen perdida.
Un problema que se plantea con la "copia de movimiento" es que en la imagen de referencia, algunas MB o particiones MB pueden ser codificadas en modo interno. Cuando sucede esto, no hay vectores de movimiento o índices de referencia asociados con estas regiones. Efectivamente, estas regiones crean "agujeros" en el campo de movimiento desde el que los vectores de movimiento han de ser copiados. Un modo de resolver el problema es asignar el valor (0,0) a estos vectores de movimiento perdidos en la imagen perdida. Sin embargo, cuando el campo contiene muchos movimientos, el campo puede producir artefactos de ocultación en la imagen oculta así como en imágenes futuras debido a la propagación de error. Esto degrada la calidad de video descodificado.
De acuerdo con los principios de la presente invención, predecimos la información de movimiento perdido de estas regiones basándose en sus contiguas espacialmente disponibles. Específicamente, la información de movimiento tal corrección es obtenida siguiendo el mismo procedimiento de descodificación como modo OMITIR. En otras palabras, el vector de movimiento de la región es predicho por filtrado intermedio de los vectores de movimiento de regiones específicas espacialmente contiguas. Al mismo tiempo, el índice de referencia del vector de movimiento de la región en la imagen perdida es asignado a imagen de referencia inmediatamente previa, que es el mismo que la descodificación de modo OMITIR.
En "copia de movimiento", la imagen de referencia puede ser cualquier imagen disponible en la memoria temporal del descodificador que transporte información de movimiento. Así, incluso si se ha perdido una imagen de IDR, siempre que no sea la primera imagen en la corriente de bits, puede aún ser ocultada con "copia de movimiento" especificando una imagen de referencia disponible en la memoria temporal del descodificador, posiblemente a partir del GOP previo.
Volviendo a la fig. 2, se ha indicado un método para descodificar una secuencia de video generalmente por el número de referencia 200. El método 200 es capaz de detectar imágenes de referencia así como imágenes de no referencia y ocultar las imágenes perdidas. Cuando se ha perdido una imagen, el método utiliza una operación de "copia de movimiento" modificada para realizar la ocultación. Comparado con los esquemas de descodificación actuales, la complejidad adicional en la que se ha incurrido por los dos perfeccionamientos propuestos en esta invención, en particular el cálculo del espacio de POC y la predicción de la información de movimiento para aquellas regiones intra- codificadas en una imagen de referencia, es insignificante.
El método incluye un bloque 204 de inicio que pasa el control a un bloque 208 de límite de bucle. El bloque 208 de límite
5
10
15
20
25
30
35
40
45
50
55
de bucle comienza un bucle sobre cada imagen en la secuencia de video, y pasa el control a un bloque 212 de decisión. El bloque 212 de decisión determina si el número de imagen de la nueva imagen menos el número de imagen de la vieja imagen (inmediatamente precedente) es igual o no a uno. Si lo es, entonces el control es pasado a un bloque 216 de función. Si no lo es, el control es pasado a un bloque 236 de límite de bucle.
El bloque 216 de función realiza una descodificación normal de una imagen actual, y pasa el control a un bloque 220 de decisión. El bloque 220 de decisión determina si la imagen actual está lista o no para ser emitida para su presentación. Si lo está, entonces el control es pasado a un bloque 224 de función. Si no lo está, el control es pasado a un bloque 232 de límite de bucle que finaliza el bucle sobre cada imagen.
El bloque 224 de función calcula el espacio de recuento de orden de imagen (POC), y pasa el control a un bloque 228 de decisión. El bloque 228 de decisión determina si el espacio de POC es correcto o no. Si lo es, entonces el control es pasado al bloque 232 de límite de bucle. Si no lo es, el control es pasado al bloque 236 de límite de bucle.
El bloque 236 de límite de bucle comienza un bucle sobre cada macro-bloque en una imagen perdida, y pasa el control a un bloque 240 de decisión. El bloque 240 de decisión determina si la región ubicada conjuntamente en la imagen de referencia está o no intra-codificada. Si lo está, entonces el control es pasado a un bloque 244 de función. Si no lo está, el control es pasado a un bloque 276 de función.
El bloque 244 de función predice el vector de movimiento de la región de acuerdo con la descodificación en modo de omitir, y pasa el control a un bloque 248 de función. El bloque 248 de función establece el índice de referencia de la región a uno antes de la imagen de referencia, y pasa el control a un bloque 252 de límite de bucle.
Si el bloque 240 de decisión pasa el control al bloque 276 de función, entonces el MV es ajustado al de la región ubicada conjuntamente en la imagen de referencia y el control es pasado al bloque 280 de función. El bloque 280 de función ajusta el índice de referencia de la región al de la región ubicada conjuntamente en la imagen de referencia, y pasa entonces el control a un bloque 252 de límite de bucle.
El bloque 252 de límite de bucle termina el bucle sobre cada uno de los macro-bloques en la imagen perdida, y pasa el control a un bloque 256 de función. El bloque 256 de función realiza la compensación de movimiento para reconstruir la imagen perdida, y pasa el control a un bloque 260 de decisión. El bloque 260 de decisión determina si la imagen perdida es o no una imagen de referencia. Si lo es, entonces el control es pasado a un bloque 264 de función. Si no lo es, el control es pasado a un bloque 272 de función. Cuando el control es pasado al bloque 272 de función, el POC es actualizado para la imagen oculta y el control es pasado al bloque 232 límite de bucle.
El bloque 264 de función actualiza el frame_num para la imagen oculta, y pasa el control a un bloque 268 de función. El bloque 268 de función pone la imagen oculta en la memoria temporal de descodificación, y pasa el control al bloque 232 de límite de bucle.
El bloque 232 de límite de bucle pasa el control a un bloque 284 de extremidad.
A continuación se dará una descripción de algunas de las muchas ventajas/características relacionadas de la presente invención, algunas de las cuales han sido mencionadas anteriormente. Por ejemplo, una ventaja/característica es un descodificador de video que incluye un descodificador de entropía, un detector de error, y un ocultador de error. El descodificador de entropía es para descomprimir una corriente de bits de video destinada a tener una tasa de imagen fija y a analizar la corriente de bits de video descomprimida para encontrar recuentos de orden de imagen para imágenes de la corriente de bits de video descomprimida. El detector de error es para determinar que una imagen particular de la corriente de bits del video descomprimida ha desaparecido basándose en los recuentos de orden de imagen. El ocultador de error es para ocultar la imagen particular. Otra ventaja/característica es el descodificador de video como se ha descrito anteriormente, en el que el detector de error determina que la imagen particular se ha perdido basándose en un espacio en los recuentos de orden de imagen entre imágenes adyacentes temporalmente de la corriente de bits de video descomprimida. Aún otra ventaja/característica es el descodificador de video como se ha descrito anteriormente, en donde el detector de error determina que la imagen particular se ha perdido determinando un espacio de recuento de orden de imagen entre imágenes adyacentes temporalmente, e indicando la imagen particular como perdida cuando el espacio de recuento de orden de la imagen es mayor que un umbral. Además, otra ventaja/característica es el descodificador del video como se ha descrito anteriormente, en el que el ocultador de error oculta la imagen particular utilizando un procedimiento de repetición de imagen. Además, otra ventaja/característica es el descodificador de video como se ha descrito anteriormente, en el que el ocultador de error oculta la imagen particular derivando la información de movimiento para un bloque en la imagen particular desde un bloque ubicado conjuntamente en una imagen codificada previamente. También, otra ventaja/característica es el descodificador del video que deriva la información de movimiento para el bloque en la imagen particular a partir del bloque ubicado conjuntamente en la imagen codificada previamente como se ha descrito anteriormente, en donde el ocultador de error deriva un índice de referencia para utilizar para el bloque en la imagen particular a partir de un índice de referencia del bloque ubicado conjuntamente en la imagen descodificada previamente. Adicionalmente, otra ventaja/característica es el descodificador de video que deriva la información de movimiento para el bloque en la imagen particular a partir del bloque ubicado conjuntamente en la imagen codificada previamente como se ha descrito anteriormente, en el que el ocultador de error oculta la imagen particular derivando en su lugar la información de movimiento para el bloque en la imagen particular a partir de vectores de
5
10
15
20
25
30
35
40
45
movimiento de bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen codificada previamente, cuando el bloque ubicado conjuntamente en la imagen codificada previamente es intra-codificado. Adicionalmente, otra ventaja/característica es el descodificador del video que deriva en su lugar la información de movimiento para el bloque en la imagen particular a partir de los vectores de movimiento de los bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen codificada previamente cuando el bloque ubicado conjuntamente en la imagen codificada previamente es intra-codificado como se ha descrito anteriormente, en donde el ocultador de error deriva la información de movimiento para el bloque en la imagen particular aplicando un filtro intermedio a los vectores del movimiento de los bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen codificada previamente. Además, otra ventaja/característica es el descodificador del video que deriva en su lugar la información de movimiento para el bloque en la imagen particular a partir de los vectores de movimiento de los bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen codificada previamente cuando el bloque ubicado conjuntamente en la imagen codificada previamente es intra-codificado como se ha descrito anteriormente, en donde la información de movimiento para el bloque en la imagen particular es obtenida utilizando una descodificación en modo de OMITIR. Además, otra ventaja/característica es el descodificador de video que deriva en su lugar la información de movimiento para el bloque en la imagen particular utilizando descodificación en modo OMITIR cuando el bloque ubicado conjuntamente la imagen codificada previamente es intra- codificado como se ha descrito anteriormente, en donde la descodificación en modo OMITIR es realizada de acuerdo con la norma H.264 de la Unión Internacional de Telecomunicación, Sector de Telecomunicación (ITU-T). También, otra ventaja/característica es el descodificador del video como se ha descrito anteriormente, en el que el detector de error actualiza un recuento de orden de imagen de la imagen particular. Una o más de las ventajas/características anteriormente citadas pueden ser asociadas con distintas realizaciones de la presente invención.
Estas y otras características y ventajas de la presente invención pueden ser fácilmente deducidas por un experto en la técnica pertinente basándose en las enseñanzas de este documento. Ha de comprenderse que las enseñanzas de la presente invención pueden ser implementadas en distintas formas de hardware, software, firmware, procesadores de propósito especial, o combinaciones de los mismos.
Más preferiblemente, las enseñanzas de la presente invención son implementadas como una combinación de hardware y software. Además, el software puede ser implementado como un programa de aplicación realizado de forma tangible sobre una unidad de almacenamiento de programas. El programa de aplicación puede ser descargado, y ejecutado, por una máquina que comprenda cualquier arquitectura adecuada. Preferiblemente la máquina es implementada sobre una plataforma informática que tiene hardware tal como una o más unidades de procesamiento centrales ("CPU"), una memoria de acceso aleatorio ("RAM"), e interfaces de entrada/salida ("I/O"). La plataforma informática puede también incluir un sistema operativo y un código de micro-instrucciones. Los distintos procesos y funciones descritos en este documento pueden ser o bien parte del código de micro-instrucciones o bien parte del programa de aplicación, o cualquier combinación de los mismos, que pueda ser ejecutada por una CPU. Además, pueden conectarse otras distintas unidades periféricas a la plataforma informática tales como una unidad de almacenamiento de datos adicional y una unidad de impresión.
Ha de comprenderse además que, debido a que algunos de los componentes del sistema constituyente y métodos representados en los dibujos adjuntos son implementados preferiblemente en software, las conexiones reales entre los componentes del sistema o bloques de función del proceso pueden diferir dependiendo de la manera en la que se programe la presente invención. Dadas las enseñanzas en este documento, un experto en la técnica pertinente será capaz de contemplar estas implementaciones o configuraciones y otras similares de la presente invención.
Aunque se han descrito las realizaciones ilustrativas en este documento con referencia a los dibujos adjuntos, ha de comprenderse que la presente invención no está limitada a esas realizaciones precisas, y que pueden efectuarse distintos cambios y modificaciones en ella por un experto en la técnica pertinente sin salir del alcance de la presente invención. La totalidad de tales cambios y modificaciones están destinados a ser incluidos dentro del alcance de la presente invención como ha sido descrita en las reivindicaciones adjuntas.

Claims (8)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    REIVINDICACIONES
    1. Un descodificador de video H.264, que comprende:
    un descodificador (110) de entropía para descomprimir una corriente de bits de video y analizar la corriente de bits de video descomprimida para encontrar recuentos de orden de imagen para imágenes de la corriente de bits de video descomprimida;
    un detector (176) de error
    - para determinar antes de descodificar una imagen, si una imagen de referencia se ha perdido basándose en un elemento de sintaxis frame_num,
    - cuando una imagen de referencia no se ha perdido y cuando una imagen descodificada está lista para su emisión, para determinar si una imagen de no referencia de la corriente de bits de video descomprimida se ha perdido basándose en la comparación de los recuentos de orden de imagen de imágenes descodificadas temporalmente adyacentes,
    - en donde la corriente de bits de video codificada utiliza una tasa de imagen fija; y
    un ocultador (186) de error para ocultar una imagen de referencia perdida y una imagen de no referencia perdida.
  2. 2. El descodificador del video según la reivindicación 1, en el que dicho ocultador (186) de error oculta la imagen de no referencia derivando la información de movimiento para un bloque en la imagen de no referencia a partir de los vectores de movimiento de bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida, cuando el bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida es intra-codificado.
  3. 3. El descodificador de video según la reivindicación 2, en el que dicho ocultador (186) de error deriva la información de movimiento para el bloque en la imagen de no referencia aplicando un filtro intermedio a los vectores de movimiento de los bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida.
  4. 4. El descodificador de video según la reivindicación 2, en el que la información de movimiento para el bloque en la imagen de no referencia es obtenida utilizando descodificación en modo OMITIR.
  5. 5. El descodificador del video según la reivindicación 1, en el que dicho detector (176) de error actualiza un recuento de orden de imagen de la imagen de no referencia.
  6. 6. Un método para descodificar una corriente de bits de video H.264 que comprende:
    - descomprimir la corriente de bits de video;
    - analizar la corriente de bits de video descomprimida para encontrar recuentos de orden de imagen para imágenes de la corriente de bits de video descomprimida;
    - determinar (212) antes de descodificar una imagen, si se ha perdido una imagen de referencia basándose en un elemento de sintaxis frame_num, cuando la imagen de referencia no se ha perdido y cuando una imagen descodificada está lista para emitir la determinación (224, 228) de si una imagen de no referencia de la corriente de bits de vídeo descomprimida se ha perdido basándose en la comparación de los recuentos de orden de imagen de imágenes descodificadas temporalmente adyacentes, en donde la corriente de bits de video codificada utiliza una tasa de imagen fija; y
    - ocultar (244) la imagen de referencia perdida y la imagen de no referencia perdida.
  7. 7. El método según la reivindicación 6, en el que dicha operación de ocultación (244) oculta la imagen de no referencia derivando la información de movimiento para un bloque en la imagen de no referencia a partir de vectores de movimiento de bloques contiguos espacialmente disponibles del bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida, cuando el bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida está intra- codificado.
  8. 8. El método según la reivindicación 7, en el que dicha operación de ocultación (244) deriva la información de movimiento para el bloque en la imagen de no referencia aplicando un filtro intermedio a los vectores de movimiento de los bloques contiguos especialmente disponibles del bloque ubicado conjuntamente en la imagen de referencia de la imagen perdida.
ES06772266.0T 2005-07-25 2006-06-06 Método y aparato para ocultación de imágenes de video perdidas Active ES2674908T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70223305P 2005-07-25 2005-07-25
US702233P 2005-07-25
PCT/US2006/021890 WO2007018709A2 (en) 2005-07-25 2006-06-06 Method and apparatus for the concealment of missing video frames

Publications (1)

Publication Number Publication Date
ES2674908T3 true ES2674908T3 (es) 2018-07-04

Family

ID=37137156

Family Applications (1)

Application Number Title Priority Date Filing Date
ES06772266.0T Active ES2674908T3 (es) 2005-07-25 2006-06-06 Método y aparato para ocultación de imágenes de video perdidas

Country Status (10)

Country Link
US (1) US8428147B2 (es)
EP (1) EP1908300B1 (es)
JP (2) JP2009504001A (es)
KR (1) KR101289603B1 (es)
CN (1) CN101288315B (es)
BR (1) BRPI0613522B1 (es)
ES (1) ES2674908T3 (es)
MX (1) MX2008001155A (es)
TW (1) TW200723888A (es)
WO (1) WO2007018709A2 (es)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090099547A (ko) * 2007-01-04 2009-09-22 톰슨 라이센싱 멀티뷰 코딩 비디오에서 비디오 에러 정정을 위한 방법 및 장치
US8605779B2 (en) 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
WO2009002310A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for identification of lost coded video frames
JP4950133B2 (ja) * 2008-06-11 2012-06-13 日本放送協会 受信エラー補完型受信機及びプログラム
US20100158130A1 (en) * 2008-12-22 2010-06-24 Mediatek Inc. Video decoding method
TWI442778B (zh) * 2010-02-05 2014-06-21 Acer Inc 視訊解碼裝置
CN102148985B (zh) * 2010-02-05 2013-06-12 宏碁股份有限公司 视讯译码装置
AU2012208842B2 (en) 2011-01-19 2014-08-07 Hfi Innovation Inc. Method and apparatus for parsing error robustness of temporal Motion Vector Prediction
CN103843340B (zh) * 2011-09-29 2018-01-19 瑞典爱立信有限公司 参考图片列表处理
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
KR101645235B1 (ko) * 2014-04-04 2016-08-04 고려대학교 산학협력단 정보 은닉 기법을 이용한 재압축-재압축 해제 장치, 방법 및 이를 저장한 저장매체
CN104883372B (zh) * 2015-06-19 2018-11-16 中国电子科技集团公司第五十四研究所 一种基于无线自组织网的防欺骗和抗攻击的数据传输方法
WO2017153006A1 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs
CN107231563B (zh) 2016-03-24 2020-06-23 腾讯科技（深圳）有限公司 视频处理方法和装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
KR100247978B1 (ko) * 1997-08-08 2000-03-15 윤종용 픽쳐 디코딩 동기화 회로 및 그 방법
JP3349964B2 (ja) * 1998-11-02 2002-11-25 沖電気工業株式会社 画像復号化装置
JP3411234B2 (ja) * 1999-04-26 2003-05-26 沖電気工業株式会社 符号化情報受信復号装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
MXPA05008405A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de descodificacion de imagen.
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
MXPA06003925A (es) 2003-10-09 2006-07-05 Thomson Licensing Proceso de derivacion de modo directo para el ocultamiento de error.
US7567584B2 (en) * 2004-01-15 2009-07-28 Panasonic Corporation Multiplex scheme conversion apparatus
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility

Also Published As

Publication number Publication date
WO2007018709A2 (en) 2007-02-15
WO2007018709A3 (en) 2007-08-16
BRPI0613522B1 (pt) 2019-09-17
CN101288315A (zh) 2008-10-15
US8428147B2 (en) 2013-04-23
JP5536174B2 (ja) 2014-07-02
BRPI0613522A2 (pt) 2011-01-18
KR20080030623A (ko) 2008-04-04
EP1908300B1 (en) 2018-05-16
US20090175344A1 (en) 2009-07-09
JP2013021729A (ja) 2013-01-31
CN101288315B (zh) 2012-05-30
KR101289603B1 (ko) 2013-07-24
JP2009504001A (ja) 2009-01-29
EP1908300A2 (en) 2008-04-09
TW200723888A (en) 2007-06-16
MX2008001155A (es) 2008-03-13

Similar Documents

Publication Publication Date Title
ES2674908T3 (es) Método y aparato para ocultación de imágenes de video perdidas
US10506236B2 (en) Video encoding and decoding with improved error resilience
US6904174B1 (en) Simplified predictive video encoder
US8311106B2 (en) Method of encoding and decoding motion picture frames
US11050903B2 (en) Video encoding and decoding
US20130301734A1 (en) Video encoding and decoding with low complexity
JP6055155B2 (ja) ハードウェアデコーダアクセラレータのためのセキュリティ強度の向上
JPH07303046A (ja) 自在駒落ち動画像符号化方法