MX2013010423A

MX2013010423A - Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.

Info

Publication number: MX2013010423A
Application number: MX2013010423A
Authority: MX
Inventors: Yoshitomo Takahashi; Shinobu Hattori; Hironari Sakurai
Original assignee: Sony Corp
Priority date: 2011-03-18
Filing date: 2012-03-09
Publication date: 2013-10-03
Also published as: US20130342647A1; CN103430529A; CN107197227A; CN107274475A; AU2016262741A1; RU2013141792A; CA2827621C; JP6365635B2; WO2012128070A1; US10389997B2; CN103430529B; EP3267398A2; US10218958B2; CA2827621A1; AU2016262741B2; US9615079B2; US20170064283A1; US9712802B2; JP2018186528A; CN107277484A

Abstract

La presente invención pertenece a un dispositivo de procesamiento de imágenes y un método de procesamiento de imágenes que permiten que las imágenes de color para puntos de vista de despliegue se generen utilizando las imágenes de color y las imágenes de profundidad con puntos de vista predeterminados. Una unidad de generación de información para generar puntos de vista genera la información de generación de punto de vista, la cual se utiliza al generar imágenes de color para los puntos de vista de despliegue, de acuerdo con un método para generar imágenes de color para los puntos de vista de despliegue obtenidas llevando a cabo la deformación utilizando imágenes de color corregidas de múltiples vistas e imágenes de profundidad de múltiples vistas. Una unidad de codificación de imágenes de múltiples vistas codifica las imágenes de color corregidas de múltiples vistas y las imágenes de profundidad de múltiples vistas, y transmite las imágenes con la información de generación de punto de vista. La presente invención se puede aplicar, por ejemplo, a un dispositivo de procesamiento de imágenes para imágenes de múltiples vistas.

Description

APARATO DE PROCESAMIENTO DE IMÁGENES Y MÉTODO DE PROCESAMIENTO DE IMÁGENES CAMPO TÉCNICO La presente técnica se refiere a un aparato de procesamiento de imágenes y un método de procesamiento de imágenes, y más particularmente, a un aparato de procesamiento de imágenes y un método de procesamiento de imágenes capaces de generar una imagen de color de un punto de vista de despliegue utilizando una imagen de color y una imagen de profundidad de un punto de vista predeterminado.

ANTECEDENTES DE LA TÉCNICA En los últimos años, las imágenes en 3D atraen la atención. Un método generalmente utilizado para visualizar una imagen en 3D es tal que una persona utiliza anteojos que abren el obturador del ojo izquierdo durante el despliegue de una de las imágenes de dos puntos de vista y que abre el obturador del ojo derecho durante el despliegue de la otra de las imágenes, y la persona visualiza de manera alternada las imágenes de los dos puntos de vista que se despliegan (a partir de ahora referido como "método que utiliza anteojos").

Sin embargo, con tal método que utiliza anteojos, es necesario que un espectador compre los anteojos además de un dispositivo de despliegue de imágenes en 3D, lo cual reduce el deseo por la compra. Además, el espectador tiene que utilizar los anteojos durante la visualización, lo cual es molesto. Por consiguiente, existe la demanda por un método de visualización para visualizar imágenes en 3D sin utilizar anteojos (a partir de ahora referido como "método sin anteojos").

En el método sin anteojos, las imágenes de tres o más puntos de vista se despliegan de tal manera que el ángulo visualizable es diferente para cada punto de vista, y cuando el espectador visualiza las imágenes de dos puntos de vista, con los ojos derecho e izquierdo, el espectador puede visualizar una imagen en 3D sin utilizar anteojos.

El siguiente método se ha hecho como un método de despliegue de imagen en 3D de acuerdo con el método sin anteojos. En este método, se obtienen una imagen de color y una imagen de profundidad de un punto de vista predeterminado, y utilizando la imagen de color y la imagen de profundidad, se generan y despliegan imágenes de color de múltiples puntos de vista que son puntos de vista de despliegue que incluyen puntos de vista aparte del punto de vista predeterminado. Se debe tener en cuenta que "múltiples puntos de vista" denota tres o más puntos de vista.

Como un método para la codificación de imágenes de color de múltiples puntos de vista y una imagen de profundidad, se ha sugerido un método para codificar separadamente las imágenes de color y la imagen de profundidad (por ejemplo, véase el Documento de Patente 1) .

LISTA DE MENCIONES DOCUMENTO NO DE PATENTE Documento No Patente 1: ORGANIZACIÓN INTERNACIONAL PARA LA ESTANDARIZACIÓN, ORGANIZACIÓN INTERNACIONAL DE NORMALI ACIÓN DE CODIFICACIÓN ISO/IEC JTC1/SC29/WG11 DE IMÁGENES EN MOVIMIENTO Y AUDIO, Guangzhou, China, Octubre de 2010 BREVE DESCRIPCIÓN DE LA INVENCIÓN PROBLEMAS A SER SOLUCIONADOS POR LA INVENCIÓN En el estándar de codificación convencional y similares, no se toma en consideración la transmisión de información adecuada para el despliegue de imagen en 3D de acuerdo con el método sin anteojos. Por consiguiente, en el estándar de codificación convencional, se transmite una gran cantidad de información, la cual no es necesaria para la generación de imágenes de color de múltiples puntos de vista que son puntos de vista de despliegue que incluyen puntos de vista aparte del punto de vista predeterminado utilizando una imagen de color de un punto de vista predeterminado y una imagen relacionada a la paralaje que es una imagen (imagen de profundidad) relacionada a la paralaje tal como una imagen de profundidad, y además, se transmite información necesaria.

Como consecuencia, un lado de recepción no puede generar una imagen de color de un punto de vista aparte del punto de vista utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje.

La presente técnica se hace en vista de tales circunstancias, y es para permitir la generación de una imagen de color de un punto de vista de despliegue utilizando una imagen de color de un punto de vista predeterminado y una imagen relacionada a la paralaje.

SOLUCIONES PARA LOS PROBLEMAS Un aparato de procesamiento de imágenes de acuerdo con un primer aspecto de la presente técnica es un aparato de procesamiento de imágenes que incluye una unidad de codificación para generar un flujo de bits mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista; una unidad de generación para generar la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; una unidad de transmisión para transmitir el flujo de bits generado por la unidad de codificación y la información de generación de punto de vista generada por la unidad de generación .

Un método de procesamiento de imágenes de acuerdo con un primer aspecto de la presente técnica corresponde al aparato de procesamiento de imágenes de acuerdo con el primer aspecto de la presente técnica.

En el primer aspecto de la presente técnica, un flujo de bits se genera mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista, y se genera la información de generación de punto de vista que se utiliza para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, y se transmiten el flujo de bits y la información de generación de punto de vista.

Un aparato de procesamiento de imágenes de acuerdo con un segundo aspecto de la presente técnica es un aparato de procesamiento de imágenes que incluye una unidad de recepción para recibir un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, una unidad de decodificación para generar la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido por la unidad de recepción, y una unidad de generación para generar la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad generadas por la unidad de decodificación y la información de generación de punto de vista recibida por la unidad de recepción.

Un método de procesamiento de imágenes de acuerdo con un segundo aspecto de la presente técnica corresponde al aparato de procesamiento de imágenes de acuerdo con el segundo aspecto de la presente técnica.

En el segundo aspecto de la presente técnica, se reciben un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, y se generan la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido en el procesamiento de la etapa de recepción, y se genera la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad y la información de generación de punto de vista.

Se pueden conseguir un aparato de procesamiento de imágenes de acuerdo con los primer y segundo aspectos haciendo que una computadora ejecute un programa.

A fin de conseguir el aparato de procesamiento de imágenes de acuerdo con los primer y segundo aspectos, un programa ejecutado por la computadora se puede proporcionar mediante la transmisión del programa a través de un medio de transmisión o mediante el registro del programa a un medio de registro .

EFECTOS DE LA INVENCIÓN De acuerdo con el primer aspecto de la presente técnica, se puede transmitir la información necesaria para la generación de una imagen de color de un punto de vista de despliegue utilizando una imagen de color de un punto de vista predeterminado y una imagen de profundidad.

De acuerdo con el segundo aspecto de la presente técnica, una imagen de color de un punto de vista de despliegue se puede generar utilizando una imagen de color de un punto de vista predeterminado y una imagen de profundidad.

BREVE DESCRIPCIÓN DE LOS DIBUJOS La Figura 1 es una figura que ilustra la sintaxis de la información SEI de adquisición de múltiples vistas.

La Figura 2 es un diagrama de bloques que ilustra un ejemplo de la configuración de una primera modalidad de un dispositivo de codificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica.

La Figura 3 es una figura que ilustra un ejemplo de la configuración de una unidad de acceso de un flujo de bits codificado .

La Figura 4 es una figura que ilustra un ejemplo de la descripción de una porción de SEI.

La Figura 5 es un diagrama de flujo que explica el procesamiento de codificación del dispositivo de codificación de la Figura 2.

La Figura 6 es un diagrama de flujo que explica los detalles del procesamiento de codificación de múltiples puntos de vista de la Figura 5.

La Figura 7 es un diagrama de bloques que ilustra un ejemplo de la configuración de la primera modalidad de un dispositivo de decodificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica .

La Figura 8 es una figura que explica el procesamiento de deformación de una imagen de profundidad.

La Figura 9 es un diagrama de flujo que explica el procesamiento de decodificación del dispositivo de decodificación de la Figura 7.

La Figura 10 es un diagrama de flujo que explica los detalles del procesamiento de decodificación de múltiples puntos de vista de la Figura 9.

La Figura 11 es un diagrama de bloques que ilustra un ejemplo de la configuración de una segunda modalidad de un dispositivo de codificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica .

La Figura 12 es una figura que explica un valor máximo relacionado a la paralaje y un valor mínimo relacionado a la paralaje de la información de generación de punto de vista.

La Figura 13 es una figura que explica el parámetro de exactitud de paralaje de la información de generación de punto de vista.

La Figura 14 es una figura que explica una distancia inter-cámara de la información de generación de punto de vista.

La Figura 15 es un diagrama de bloques que ilustra un ejemplo de la configuración de la unidad de codificación de imágenes de múltiples puntos de vista de la Figura 11.

La Figura 16 es una figura que ilustra un ejemplo de la configuración de un flujo de bits codificado.

La Figura 17 es una figura que ilustra un ejemplo de la sintaxis del PPS de la Figura 16.

La Figura 18 es una figura que ilustra un ejemplo de la sintaxis de un encabezamiento de la rebanada.

La Figura 19 es una figura que ilustra un ejemplo de la sintaxis de un encabezamiento de la rebanada.

La Figura 20 es un diagrama de flujo que explica el procesamiento de codificación del dispositivo de codificación de la Figura 11.

La Figura 21 es un diagrama de flujo que explica el procesamiento de codificación de múltiples puntos de vista de la Figura 20.

La Figura 22 es un diagrama de bloques que ilustra un ejemplo de la configuración de la segunda modalidad de un dispositivo de decodificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica.

La Figura 23 es un diagrama de bloques que ilustra un ejemplo de la configuración de la unidad de decodificación de imágenes de múltiples puntos de vista de la Figura 22.

La Figura 24 es un diagrama de flujo que explica el procesamiento de decodificación de múltiples puntos de vista de la unidad de decodificación de imágenes de múltiples puntos de vista de la Figura 22.

La Figura 25 es una figura que explica la paralaje y la profundidad.

La Figura 26 es un diagrama de bloques que ilustra un ejemplo de la configuración de una modalidad de una computadora .

La Figura 27 es una figura que ilustra un ejemplo de la configuración esquemática de un dispositivo de televisión al cual se aplica la presente técnica.

La Figura 28 es una figura que ilustra un ejemplo de la configuración esquemática de un teléfono portátil al cual se aplica la presente técnica.

La Figura 29 es una figura que ilustra un ejemplo de la configuración esquemática de un dispositivo de registro/reproducción al cual se aplica la presente técnica.

La Figura 30 es una figura que ilustra un ejemplo de la configuración esquemática de un dispositivo de captura de imágenes al cual se aplica la presente técnica.

MODO PARA LLEVAR A CABO LA INVENCIÓN Explicación acerca de la imagen de profundidad (imagen relacionada a la paralaje) en esta especificación La Figura 25 es una figura que explica la paralaje y la profundidad .

Como se ilustra en la Figura 25, cuando una imagen de color de un sujeto M se captura mediante una cámara el provista en una posición Cl y una cámara c2 provista en una posición C2, una profundidad Z del sujeto M que es una distancia en una dirección de profundidad desde la cámara cl (cámara c2) se define por la siguiente expresión (a).

Z = (L/d) x f · · · (a) Se debe tener en cuenta que L denota una distancia entre la posición Cl y la posición C2 en una dirección horizontal (a partir de ahora referida como distancia inter-cámara) . La variable d denota un valor obtenido sustrayendo una distancia u2 de la posición del sujeto M en la imagen de color capturada por la cámara c2 en la dirección horizontal desde el centro de la imagen de color de una distancia ul de la posición del sujeto M en la imagen de color capturada por la cámara cl en la dirección horizontal desde el centro de la imagen de color. Más específicamente, d denota la paralaje. Adicionalmente, f denota la distancia focal de la cámara cl. En la expresión (a) , las distancias focales de la cámara cl y la cámara c2 son las mismas.

Como se muestra en la expresión (a) , la paralaje d y la profundidad Z se pueden convertir de forma única. Por consiguiente, en esta especificación, la imagen de la paralaje que representa la paralaje d de las imágenes de color de dos puntos de vista tomados por la cámara cl y la cámara c2 y la imagen de profundidad que representa la profundidad Z se refieren colectivamente como una imagen de profundidad (imagen relacionada a la paralaje) .

Se debe tener en cuenta que la imagen de profundidad (imagen relacionada a la paralaje) puede ser una imagen que representa la paralaje d o la profundidad Z, y el valor de pixel de la imagen de profundidad (imagen relacionada a la paralaje) puede no ser la paralaje d o la profundidad Z misma. Por ejemplo, se puede emplear un valor obtenido mediante la normalización de la paralaje d o un valor obtenido mediante la normalización de un número recíproco 1/Z de la profundidad Z.

Un valor I obtenido mediante la normalización de la paralaje d con 8 bits (0 a 255) se puede obtener a partir de la siguiente expresión (b) . El número de bits de normalización de la paralaje d no está limitado a ocho bits. Éste puede ser otros números de bits tal como 10 bits y 12 bits.

Fórmula Matemática 4 En la expresión (b) , Dmáx es el valor máximo de la paralaje d, Dmín es el valor mínimo de la paralaje d. El valor máximo Dm0x y el valor mínimo Dmín se pueden establecer en unidad de pantalla, o se pueden establecer en unidades de múltiples pantallas.

Un valor y obtenido mediante la normalización del número recíproco 1/Z de la profundidad Z con 8 bits (0 a 255) se puede obtener a partir de la siguiente expresión (c) . El número de bits de normalización del número recíproco 1/Z de la profundidad Z no está limitado a 8 bits. Éste puede ser otros números de bits tal como 10 bits y 12 bits.

Fórmula Matemática 5 Z cerca lejos En la expresión (c) , Ziejos denota el valor máximo de la profundidad Z, y Zcerca denota el valor mínimo de la profundidad Z . El valor máximo ? y el valor mínimo Zcerca se pueden establecer en unidad de pantalla, o se pueden establecer en unidades de múltiples pantallas.

Como se describe anteriormente, en esta especificación, debido a que la paralaje d y la profundidad Z se pueden convertir de forma única, la imagen de la paralaje en la cual el valor I obtenido mediante la normalización de la paralaje d es el valor de pixel y la imagen de profundidad en la cual el valor y obtenido mediante la normalización del número recíproco 1/Z de la profundidad Z es el valor de pixel se refieren colectivamente como la imagen de profundidad (imagen relacionada a la paralaje) . En este caso, el formato de color de la imagen de profundidad (imagen relacionada a la paralaje) es ya sea YUV420 o YUV400, pero puede ser otros formatos de color .

Cuando el valor I o el valor y no se utiliza como el valor de pixel de la imagen de profundidad (imagen relacionada a la paralaje) y se presta atención a la información del valor I o el valor y mismo, el valor I o el valor y se adopta como la información de profundidad. Adicionalmente, lo que se obtiene trazando un mapa del valor I o el valor y se referirá como un mapa de profundidad.

Primera modalidad Ejemplo de la configuración de la primera modalidad del dispositivo de codificación La Figura 2 es un diagrama de bloques que ilustra un ejemplo de la configuración de una primera modalidad de un dispositivo de codificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica .

Un dispositivo 10 de codificación de la Figura 2 incluye una unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, una unidad 12 de corrección de imágenes de color de múltiples puntos de vista, una unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista, una unidad 14 de generación de información de generación de punto de vista, y una unidad 15 de codificación de imágenes de múltiples puntos de vista.

El dispositivo 10 de codificación codifica una imagen de color de un punto de vista predeterminado y una imagen relacionada a la paralaje, y utiliza la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje para sumar y transmitir la información de generación de punto de vista que es la información para generar una imagen de color de un punto de vista aparte del punto de vista predeterminado .

La unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista del dispositivo 10 de codificación captura imágenes de color de múltiples puntos de vista, y las proporciona como imágenes de color de múltiples puntos de vista a la unidad 12 de corrección de imágenes de color de múltiples puntos de vista. La unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista genera, como la información de captura de imagen, información acerca de la captura de imagen tal como el número de puntos de vista de las imágenes de color, los parámetros externos, y la información de rango, y proporciona la información a la unidad 14 de generación de información de generación de punto de vista .

Se debe tener en cuenta que el parámetro externo es un parámetro para definir la posición de unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal.

Cuando la imagen relacionada a la paralaje generada por la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista es una imagen de profundidad, la información de rango incluye el valor mínimo (valor mínimo Zcerca) y el valor máximo (valor máximo ZiejOS) de los valores de las coordenadas mundiales en posiciones en la dirección de profundidad que ocurrirían en la imagen relacionada a la paralaje de múltiples puntos de vista (imagen de profundidad de múltiples puntos de vista) . El valor mínimo y el valor máximo se referirán a partir de ahora como un valor mínimo de profundidad y un valor máximo de profundidad, respectivamente. Por otra parte, cuando la imagen relacionada a la paralaje generada por la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista es una imagen de la paralaje, la información de rango incluye el valor mínimo (valor mínimo Dmín) y el valor máximo (valor máximo Dmáx) de la paralaje en la coordenada mundial que ocurriría en la imagen relacionada a la paralaje de múltiples puntos de vista, y además información para identificar una imagen de color de un punto de vista adoptado como un punto de base cuando se obtiene un valor de la paralaje. El valor mínimo y el valor máximo se referirán a partir de ahora como un valor mínimo de la paralaje y un valor máximo de la paralaje, respectivamente.

La unidad 12 de corrección de imágenes de color de múltiples puntos de vista realiza la corrección de color, la corrección de claridad, la corrección de distorsión, y similares sobre las imágenes de color de múltiples puntos de vista provistas a partir de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. Consecuentemente, la distancia focal de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la imagen de color de múltiples puntos de vista corregida en la dirección horizontal (dirección de X) es la misma en todos los puntos de vista. La unidad 12 de corrección de imágenes de color de múltiples puntos de vista proporciona la imagen de color de múltiples puntos de vista corregida a la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista y a la unidad 15 de codificación de imágenes de múltiples puntos de vista como imágenes de color corregidas de múltiples puntos de vista. La unidad 12 de corrección de imágenes de color de múltiples puntos de vista genera información acerca de la imagen de color corregida de múltiples puntos de vista tal como los parámetros internos como la información de la imagen de color, y proporciona la información a la unidad 14 de generación de información de generación de punto de vista.

Los parámetros internos incluyen la distancia focal, en la dirección horizontal, de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista que es la misma para todos los puntos de vista en las imágenes de color corregidas de múltiples puntos de vista, y el punto principal que es el centro de la imagen, es decir, la posición del centro óptico de la lente en la dirección horizontal. La posición del punto principal en la dirección horizontal puede ser diferente para cada punto de vista.

La unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera imágenes relacionadas a la paralaje de múltiples puntos de vista a partir de las imágenes de color corregidas de múltiples puntos de vista provistas a partir de la unidad 12 de corrección de imágenes de color de múltiples puntos de vista. Posteriormente, la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista proporciona las imágenes relacionadas a la paralaje generadas de múltiples puntos de vista a la unidad 15 de codificación de imágenes de múltiples puntos de vista como la imagen relacionada a la paralaje de múltiples puntos de vista.

La unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera, como la información de la imagen relacionada a la paralaje (información de la imagen de profundidad), información acerca de la imagen relacionada a la paralaje de múltiples puntos de vista tal como el número de puntos de vista de las imágenes relacionadas a la paralaje de múltiples puntos de vista, la información del tipo de imagen que indica si la imagen relacionada a la paralaje de múltiples puntos de vista es una imagen de profundidad o una imagen de la paralaje (información de identificación de la imagen de profundidad) .

Posteriormente, la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista proporciona la información de la imagen relacionada a la paralaje a la unidad 14 de generación de información de generación de punto de vista.

La unidad 14 de generación de información de generación de punto de vista funciona como una unidad de generación, y utiliza la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista para generar la información de generación de punto de vista de conformidad con un método predeterminado para generar una imagen de color de otro punto de vista. Más específicamente, la unidad 14 de generación de información de generación de punto de vista genera la información de identificación de la imagen de color y la información de identificación de la imagen relacionada a la paralaje (información de identificación de la imagen de profundidad) con base en el número de puntos de vista de las imágenes de color provistas a partir de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista y el número de puntos de vista de las imágenes relacionadas a la paralaje provistas a partir de la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista. Se debe tener en cuenta que la información de identificación de la imagen de color es la información para identificar la imagen de color, y la información de identificación de la imagen relacionada a la paralaje es la información para identificar la imagen relacionada a la paralaje .

La unidad 14 de generación de información de generación de punto de vista genera una indicación de parámetro externo que indica la presencia/ausencia de un parámetro externo en cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista con base en el parámetro externo incluido en la información de captura de imagen provista por la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. Adicionalmente, la unidad 14 de generación de información de generación de punto de vista genera una indicación de parámetro interno que indica la presencia/ausencia de un parámetro interno en cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista con base en el parámetro interno incluido en la información de la imagen de color provista por la unidad 12 de corrección de imágenes de color de múltiples puntos de vista. Posteriormente, la unidad 14 de generación de información de generación de punto de vista genera la información de generación de punto de vista a partir de la información de identificación de la imagen de color, la información de identificación de la imagen relacionada a la paralaje, la indicación de parámetro externo, la indicación de parámetro interno, la información de captura de imagen, la información de la imagen de color, y la información de la imagen relacionada a la paralaje. La información de generación de punto de vista está constituida por la información de identificación de la imagen de color, la información de identificación de la imagen relacionada a la paralaje, la información de parámetro externo, la información de parámetro interno, el número de puntos de vista de las imágenes de color, la información de rango, el número de puntos de vista de las imágenes relacionadas a la paralaje, y la información del tipo de imagen. Se debe tener en cuenta que la información de parámetro externo está constituida por la indicación de parámetro externo y el parámetro externo del punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista, y la información de parámetro interno está constituida por la indicación de parámetro interno y el parámetro interno del punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista. La unidad 14 de generación de información de generación de punto de vista proporciona la información de generación de punto de vista generada a la unidad 15 de codificación de imágenes de múltiples puntos de vista .

La unidad 15 de codificación de imágenes de múltiples puntos de vista funciona como una unidad de codificación, y codifica la imagen de color corregida de múltiples puntos de vista provista por la unidad 12 de corrección de imágenes de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista de conformidad con el mismo método que el método MVC (Codificación de Video de Múltiples vistas) , y suma la información de generación de punto de vista provista por la unidad 14 de generación de información de generación de punto de vista. La unidad 15 de codificación de imágenes de múltiples puntos de vista funciona como una unidad de transmisión, y transmite, como un flujo de bits codificado, el flujo de bits obtenido como resultado.

Ejemplo de la configuración del flujo de bits codificado La Figura 3 es una figura que ilustra un ejemplo de la configuración de una unidad de acceso de un flujo de bits codificado generado por el dispositivo 10 de codificación de la Figura 2.

Como se ilustra en la Figura 3, la unidad de acceso del flujo de bits codificado está constituida por el SPS (Conjunto de Parámetros de Secuencia), el SPS Subconjunto, el PPS (Conjunto de Parámetros de Fotograma), la SEI, y la rebanada.

En el ejemplo de la Figura 3, el número de puntos de vista de las imágenes de color corregidas de múltiples puntos de vista y las imágenes relacionadas a la paralaje de múltiples puntos de vista es dos. La imagen A de color corregida que es uno de los puntos de vista de las imágenes de color corregidas de múltiples puntos de vista de los dos puntos de vista se codifica como una vista base. La imagen B de color corregida del otro de los puntos de vista, la imagen A relacionada a la paralaje correspondiente a la imagen A de color, y la imagen B relacionada a la paralaje correspondiente a la imagen B de color se codifican como vistas no base.

Como consecuencia, las rebanadas se disponen, por ejemplo, en el siguiente orden: una rebanada para la imagen A de color codificada como la vista base, una rebanada de la imagen A relacionada a la paralaje codificada como la vista no base, y una rebanada para la imagen B de color, y luego una rebanada para la imagen B relacionada a la paralaje. En la porción de encabezamiento de cada rebanada, se describe la información para identificar el PPS.

El SPS es un encabezamiento que incluye información acerca de la codificación de la vista base. El SPS Subconjunto es un encabezamiento de extensión que incluye información acerca de la codificación de la vista base y la vista no base. El PPS es un encabezamiento que incluye información que indica el modo de codificación del fotograma entero e información para identificar el SPS y el SPS Subconjunto. La SEI es información adicional que no es requisito para la decodificación, e incluye la información de generación de punto de vista y similares.

Durante la decodificación de la imagen A de color que está codificada como la vista base, el PPS se busca con base en la información para identificar el PPS descrito en la porción de encabezamiento de la imagen A de color, y el SPS se busca con base en la información para identificar el SPS descrito en el PPS.

Por otra parte, durante la decodificación de la imagen A relacionada a la paralaje codificada como la vista no base, el PPS se busca con base en la información para identificar el PPS descrito en el encabezamiento de la imagen A relacionada a la paralaje. El Sub SPS se busca con base en la información para identificar el Sub SPS descrito en el PPS. Durante la decodificación de la imagen B de color y la imagen B relacionada a la paralaje codificada como la vista no base, también se busca el PPS y también se busca el Sub SPS igual que durante la decodificación de la imagen A relacionada a la paralaj e .

Ejemplo de una porción de la descripción de la SEI La Figura 4 es una figura que ilustra un ejemplo de la descripción de una porción de la SEI.

En la segunda línea desde lo alto en el lado izquierdo de la SEI de la Figura 4, se describe el número de puntos de vista (núm_color_vista_menos_l ) de la imagen de color. En la tercera línea, se describe el número de puntos de vista (núm_profundidad_vista_menos_l ) de la imagen relacionada a la paralaje .

En la quinta línea desde lo alto en el lado izquierdo de la Figura 4, la ID de vista (color_vista_id) de la imagen de color se describe como la información de identificación de imagen de color de la imagen de color de cada punto de vista. En la séptima línea, la ID de vista (profundidad_vista_id) de la imagen relacionada a la paralaje se describe como la información de identificación de imagen relacionada a la paralaje de la imagen relacionada a la paralaje de cada punto de vista. En la octava linea desde lo alto en el lado izquierdo de la Figura 4, la indicación de parámetro interno en la información de parámetro interno se describe para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista. En la novena línea, la indicación de parámetro externo en la información de parámetro externo se describe para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista.

En las líneas 11 y 13 a 15 desde lo alto en el lado izquierdo de la Figura 4, se describe la distancia focal en la dirección horizontal en el parámetro interno.

En la SEI de la Figura 4, el número x real se describe como un número de punto flotante utilizando el valor de prec, el valor de signo, el valor de exponente, y un valor de mantisa definido por la siguiente expresión (1) .

Cuando e = 0 se mantiene, v = Máx (0, prec-30) x = (-l)s-2-(30 + v) -n Cuando 0 < e = 62 se mantiene, v = Máx (0, e+prec-31) x = (-1)3 ·26"31 · (1 + n/2v) · ¦ · (].) En la expresión (1) , prec denota el valor de prec, s denota valor de signo, e denota el valor de exponente, y n denota el valor de mantisa. Consecuentemente, el valor de signo, el valor de exponente, el valor de mantisa representan el signo, el exponente, la mantisa del número x real, respectivamente .

Como se describe anteriormente, el número x real se describe como un número de punto flotante, y por consiguiente, en las lineas 11 y 13 a 15 desde lo alto en el lado izquierdo de la Figura 4, se describen el valor de prec (prec_focal_longitud) , el valor de signo ( signo_focal_longitud_x) , el valor de exponente (exponente_focal_longitud_x) , el valor de mantisa (mantisa_focal_longitud_x) de la distancia focal en la distancia horizontal, respectivamente.

En la linea 12 desde lo alto en el lado izquierdo de la Figura 4, un valor común para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista se describe como el valor de prec (prec_principal_punto) en la posición del punto principal en la dirección horizontal. En las lineas 17 a 19 desde lo alto en el lado izquierdo de la Figura 4, el valor de signo ( signo_principal_punto_x) , el valor de exponent (exponente_principal_punto_x) , el valor de mantisa (mantisa_principal_punto_x) en la posición del punto principal en la dirección horizontal se describen para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista.

En la linea 2 desde lo alto en el lado derecho de la Figura 4, un valor común para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista se describe como el valor de prec (prec_traducción_parám) del parámetro externo. En las lineas 4 a 6 desde lo alto en el lado derecho de la Figura 4, los parámetros externos del valor de signo ( signo_traducción_x) , el valor de exponente (exponente_traducción_x) , el valor de mantisa (mantisa_traducción_x) se describen para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista.

En la linea 9 desde lo alto en el lado derecho de la Figura 4, se describe la información del tipo de imagen (profundidad_mapa_indicación) . En las lineas 11 a 12 desde lo alto en el lado derecho de la Figura 4, cuando la información del tipo de imagen indica la imagen de profundidad, se describen el valor mínimo de profundidad (profundidad_más cercano) y el valor máximo de profundidad (profundidad_más lejano) que son comunes para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista en la información de rango.

Adicionalmente, en las líneas 16 a 18 desde lo alto en el lado derecho de la Figura 4, se describe la información de rango donde la información del tipo de imagen indica la imagen de la paralaje. Más específicamente, en las líneas 16 y 17, se describen el valor mínimo de la paralaje (disparidad_minima ) y el valor máximo de la paralaje (disparidad_máxima) , respectivamente. El valor mínimo de la paralaje y el valor máximo de la paralaje son diferentes de acuerdo con el punto de vista, y por consiguiente, se generan y describen para cada punto de vista.

En la línea 18, la ID de vista (referencia_profundidad_vista) de la imagen de color se describe, para cada punto de vista correspondiente a la imagen relacionada a la paralaje de múltiples puntos de vista, como la información para identificar la imagen de color del punto de vista adoptado como el punto de base cuando se deriva el valor de la paralaje.

Explicación acerca del procesamiento del dispositivo de codificación La Figura 5 es un diagrama de flujo que explica el procesamiento de codificación del dispositivo 10 de codificación de la Figura 2.

En la etapa S10 en la Figura 5, la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista del dispositivo 10 de codificación captura imágenes de color de múltiples puntos de vista, y las proporciona como imágenes de color de múltiples puntos de vista a la unidad 12 de corrección de imágenes de color de múltiples puntos de vista .

En la etapa Sil, la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista genera información de captura de imagen, y la proporciona a la unidad 14 de generación de información de generación de punto de vista .

En la etapa S12, la unidad 12 de corrección de imágenes de color de múltiples puntos de vista realiza la corrección de color, la corrección de claridad, la corrección de distorsión, y similares sobre las imágenes de color de múltiples puntos de vista provistas a partir de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. La unidad 12 de corrección de imágenes de color de múltiples puntos de vista proporciona la imagen de color de múltiples puntos de vista corregida a la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista y a la unidad 15 de codificación de imágenes de múltiples puntos de vista como imágenes de color corregidas de múltiples puntos de vista.

En la etapa S13, la unidad 12 de corrección de imágenes de color de múltiples puntos de vista genera información de la imagen de color, y la proporciona a la unidad 14 de generación de información de generación de punto de vista.

En la etapa S14, la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera imágenes relacionadas a la paralaje de múltiples puntos de vista a partir de las imágenes de color corregidas de múltiples puntos de vista provistas a partir de la unidad 12 de corrección de imágenes de color de múltiples puntos de vista. Posteriormente, la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista proporciona las imágenes relacionadas a la paralaje generadas de múltiples puntos de vista a la unidad 15 de codificación de imágenes de múltiples puntos de vista como la imagen relacionada a la paralaje de múltiples puntos de vista.

En la etapa S15, la unidad 13 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera información de la imagen relacionada a la paralaje, y la proporciona a la unidad 14 de generación de información de generación de punto de vista.

En la etapa S16, la unidad 14 de generación de información de generación de punto de vista genera la información de identificación de la imagen de color, la información de identificación de la imagen relacionada a la paralaje, la indicación de parámetro interno, y la indicación de parámetro externo con base en la información de captura de imagen, la información de la imagen de color, y la información de la imagen relacionada a la paralaje.

En la etapa S17, la unidad 14 de generación de información de generación de punto de vista genera la información de generación de punto de vista. Más específicamente, la unidad 14 de generación de información de generación de punto de vista genera, como la información de generación de punto de vista, la información de identificación de la imagen de color, la información de identificación de la imagen relacionada a la paralaje, el número de puntos de vista de las imágenes de color, la información de parámetro externo, la información de parámetro interno, la información de rango, el número de puntos de vista de las imágenes relacionadas a la paralaje, y la información del tipo de imagen. La unidad 14 de generación de información de generación de punto de vista proporciona la información de generación de punto de vista generada a la unidad 15 de codificación de imágenes de múltiples puntos de vista.

En la etapa S18, la unidad 15 de codificación de imágenes de múltiples puntos de vista realiza el procesamiento de codificación de múltiples puntos de vista para codificar la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista, y sumar la información de generación de punto de vista y similares. Los detalles del procesamiento de codificación de múltiples puntos de vista se explicarán con referencia a la Figura 6 explicada más adelante.

En la etapa S19, la unidad 15 de codificación de imágenes de múltiples puntos de vista transmite el flujo de bits codificado generado como resultado de la etapa S18, y termina el procesamiento.

La Figura 6 es un diagrama de flujo que explica los detalles del procesamiento de codificación de múltiples puntos de vista en la etapa S18 de la Figura 5. Este procesamiento de codificación de múltiples puntos de vista se hace, por ejemplo, en unidades de rebanadas. En el procesamiento de codificación de múltiples puntos de vista de la Figura 6, las imágenes a ser codificadas son la imagen A de color, la imagen B de color, la imagen A relacionada a la paralaje, y la imagen B relacionada a la paralaje.

En la etapa S31 de la Figura 6, la unidad 15 de codificación de imágenes de múltiples puntos de vista genera el SPS de una rebanada objetivo que es la rebanada del objetivo de procesamiento, y da una ID única al SPS. En la etapa S32, la unidad 15 de codificación de imágenes de múltiples puntos de vista genera el SPS Subconjunto de la rebanada objetivo, y da una ID única al SPS Subconjunto.

En la etapa S33, la unidad 15 de codificación de imágenes de múltiples puntos de vista genera el PPS de la rebanada objetivo que incluye la ID dada en las etapas S31 y S32, y da una ID única al PPS. En la etapa S34, la unidad 15 de codificación de imágenes de múltiples puntos de vista genera la SEI que incluye la información de generación de punto de vista de la rebanada objetivo.

En la etapa S35, la unidad 15 de codificación de imágenes de múltiples puntos de vista codifica la rebanada objetivo de la imagen A de color como una vista base, y suma una porción de encabezamiento que incluye la ID dada en la etapa S33. En la etapa S36, la unidad 15 de codificación de imágenes de múltiples puntos de vista codifica la rebanada objetivo de la imagen A relacionada a la paralaje como una vista no base, y suma una porción de encabezamiento que incluye la ID dada en la etapa S33.

En la etapa S37, la unidad 15 de codificación de imágenes de múltiples puntos de vista codifica la rebanada objetivo de la imagen B de color como una vista no base, y suma una porción de encabezamiento que incluye la ID dada en la etapa S33. En la etapa S38, la unidad 15 de codificación de imágenes de múltiples puntos de vista codifica la rebanada objetivo de la imagen B relacionada a la paralaje como una vista no base, y suma una porción de encabezamiento que incluye la ID dada en la etapa S33.

Posteriormente, la unidad 15 de codificación de imágenes de múltiples puntos de vista genera un flujo de bits codificado disponiendo, en orden, el SPS, el SPS Subconjunto, el PPS, la SEI, la rebanada objetivo de la imagen A de color, la rebanada objetivo de la imagen A relacionada a la paralaje, la rebanada objetivo de la imagen B de color, y la rebanada objetivo de la imagen B relacionada a la paralaje asi generados. Posteriormente, el procesamiento en la etapa S18 en la Figura 5 se realiza nuevamente, y subsiguientemente se realiza la etapa S19.

En el procesamiento de codificación de múltiples puntos de vista de la Figura 6, por el bien de la explicación, el SPS se genera en unidad de rebanada, pero cuando el SPS de la rebanada objetivo actual es el mismo que el SPS de la rebanada objetivo previa, no se genera tal SPS. Se puede decir lo mismo para el SPS Subconjunto, el PPS, y la SEI.

Como se describe anteriormente, el dispositivo 10 de codificación utiliza la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista para generar la información de generación de punto de vista de conformidad con un método predeterminado para generar una imagen de color de otro punto de vista, y la transmite conjuntamente con la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje. Por consiguiente, el dispositivo de decodificación explicado más adelante puede utilizar la imagen de color del punto de vista predeterminado, la imagen relacionada a la paralaje, y la información de generación de punto de vista para generar la imagen de color de un punto de vista diferente del punto de vista predeterminado.

Ejemplo de la configuración de la primera modalidad del dispositivo de decodificación La Figura 7 es un diagrama de bloques que ilustra un ejemplo de la configuración de la primera modalidad de un dispositivo de decodificación, que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica, el cual decodifica un flujo de bits codificado transmitido a partir del dispositivo 10 de codificación de la Figura 2.

El dispositivo 30 de decodificación de la Figura 7 está constituido por una unidad 31 de decodificación de imágenes de múltiples puntos de vista, una unidad 32 de composición de punto de vista, y una unidad 33 de despliegue de imágenes de múltiples puntos de vista.

La unidad 31 de decodificación de imágenes de múltiples puntos de vista del dispositivo 30 de decodificación funciona como una unidad de recepción, y recibe el flujo de bits codificado transmitido a partir del dispositivo 10 de codificación de la Figura 2. La unidad 31 de decodificación de imágenes de múltiples puntos de vista extrae la información de generación de punto de vista a partir de la SEI del flujo de bits codificado recibido, y proporciona la información de generación de punto de vista a la unidad 32 de composición de punto de vista. La unidad 31 de decodificación de imágenes de múltiples puntos de vista funciona como una unidad de decodificación, y decodifica el flujo de bits codificado de conformidad con el método de decodificación correspondiente al método de codificación de la unidad 15 de codificación de imágenes de múltiples puntos de vista de la Figura 2, y genera imágenes de color corregidas de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista. La unidad 31 de decodificación de imágenes de múltiples puntos de vista proporciona las imágenes de color corregidas de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista a la unidad 32 de composición de punto de vista.

La unidad 32 de composición de punto de vista utiliza la información de generación de punto de vista provista por la unidad 31 de decodificación de imágenes de múltiples puntos de vista para realizar el procesamiento de deformación (los detalles del cual se explicarán más adelante) sobre la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 31 de decodificación de imágenes de múltiples puntos de vista para tantos puntos de vista de despliegue como el número de puntos de vista correspondiente a la unidad 33 de despliegue de imágenes de múltiples puntos de vista.

Más específicamente, la unidad 32 de composición de punto de vista identifica las imágenes relacionadas a la paralaje de múltiples puntos de vista para tantos puntos de vista como el número de puntos de vista de la imagen relacionada a la paralaje de entre las imágenes relacionadas a la paralaje de múltiples puntos de vista y las imágenes de color corregidas de múltiples puntos de vista provistas por la unidad 31 de decodificación de imágenes de múltiples puntos de vista con base en la información de identificación de la imagen relacionada a la paralaje incluida en la información de generación de punto de vista. Posteriormente, cuando la indicación de parámetro interno incluida en la información de generación de punto de vista indica la presencia del parámetro interno, la unidad 32 de composición de punto de vista obtiene el parámetro interno a partir de la información de generación de punto de vista. Posteriormente, cuando la indicación de parámetro externo incluida en la información de generación de punto de vista indica la presencia del parámetro externo, la unidad 32 de composición de punto de vista obtiene el parámetro externo a partir de la información de generación de punto de vista. Posteriormente, la unidad 32 de composición de punto de vista realiza el procesamiento de deformación sobre la imagen relacionada a la paralaje de múltiples puntos de vista para deformar la imagen relacionada a la paralaje de múltiples puntos de vista de acuerdo con los puntos de vista de despliegue con base en el parámetro interno y el parámetro externo asi obtenidos, y la información del tipo de imagen y la información de rango incluidas en la información de generación de punto de vista.

El procesamiento de deformación es el procesamiento para convertir geométricamente una imagen de un cierto punto de vista en una imagen de otro punto de vista. Los puntos de vista de despliegue incluyen puntos de vista aparte de los puntos de vista correspondientes a la imagen de color de múltiples puntos de vista.

La unidad 32 de composición de punto de vista utiliza la información de generación de punto de vista y la imagen relacionada a la paralaje de los puntos de vista de despliegue obtenidos como resultado del procesamiento de deformación para realizar el procesamiento de deformación sobre las imágenes de color corregidas de múltiples puntos de vista provistas por la unidad 31 de decodificación de imágenes de múltiples puntos de vista para deformarlas de acuerdo con los puntos de vista de despliegue. Más específicamente, la unidad 32 de composición de punto de vista identifica las imágenes de color de múltiples puntos de vista de tantos puntos de vista como el número de puntos de vista de las imágenes de color de entre las imágenes de color corregidas de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provistas por la unidad 31 de decodificación de imágenes de múltiples puntos de vista con base en la información de identificación de la imagen de color incluida en la información de generación de punto de vista. Posteriormente, la unidad 32 de composición de punto de vista utiliza la imagen relacionada a la paralaje para los puntos de vista de despliegue obtenidos como resultado del procesamiento de deformación para realizar el procesamiento de deformación sobre las imágenes de color corregidas de múltiples puntos de vista para deformarlas de acuerdo con los puntos de vista de despliegue .

La unidad 32 de composición de punto de vista proporciona las imágenes de color para los puntos de vista de despliegue obtenidos como consecuencia, a la unidad 33 de despliegue de imágenes de múltiples puntos de vista como las imágenes de color compuestas de múltiples puntos de vista.

La unidad 33 de despliegue de imágenes de múltiples puntos de vista despliega las imágenes de color compuestas de múltiples puntos de vista provistas por la unidad 32 de composición de punto de vista de tal manera que el ángulo visualizable es diferente para cada punto de vista. El espectador visualiza las imágenes de dos puntos de vista dados con sus ojos derecho e izquierdo, visualizando asi una imagen en 3D de múltiples puntos de vista sin utilizar anteojos.

Explicación acerca del procesamiento de deformación de la imagen de profundidad La Figura 8 es una figura que explica el procesamiento de deformación de una imagen de profundidad.

En el procesamiento de deformación de la imagen de profundidad, primero, como se ilustra en la Figura 8, una posición m (x, y, z) de cada pixel de la imagen de profundidad para el punto de vista en una posición t (tx, ty, tz) objetivo de procesamiento se asocia, a través del espacio tridimensional, con una posición m' (?' , y' , z' ) de la imagen de profundidad para el punto de vista de despliegue en una posición t' (t'x, t'y, t'z) procesada por deformación.

Más específicamente, la posición M (X, Y, Z) en la coordenada mundial correspondiente a la posición m (x, y, z) en la pantalla para el pixel del cual el valor de profundidad (valor y) es un valor correspondiente a la posición Z (profundidad Z) en la coordenada mundial en la dirección de profundidad en la imagen de profundidad para el punto de vista en la posición t (tx, ty, tz) se obtiene de acuerdo con la siguiente expresión (2), y se obtiene la posición m' (?' , y', z' ) en la pantalla de la imagen de profundidad para el punto de vista de despliegue en la posición t' (t'x, t'y, t' z) correspondiente a la posición M (X, Y, Z) .

(X, Y, Z)T = RA"1 (x, y, 1)TZ + (tx, ty, tz)T s (?', y', 1)T = A'R'"1 [(X, Y, Z)T - (f x , fy, t'2)T] · · · (2) En la expresión (2) , R es una matriz de rotación para transformar la coordenada en la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la forma de coordenada mundial, y es una matriz fija determinada por adelantado. R' es una matriz de rotación para transformar la coordenada en la unidad de captura de imagen virtual para capturar la imagen de color correspondiente a la imagen de profundidad procesada por deformación en la forma de la coordenada mundial.

En la expresión (2), A es una matriz para transformar la coordenada en la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la forma de la coordenada en la pantalla, y se representa por la siguiente expresión ( 3 ) .

Fórmula Matemática 1 focal_longitud_x radial_distorsión principal_punto_x 0.0 focal_longitud_y principal_punto_y 0.0 0.0 1.0 • · · ( 3) En la expresión (3) , focal_longitud_x, focal_longitud_y representan la distancia focal de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal y la dirección vertical (dirección de y), respectivamente. Se debe tener en cuenta que principal_punto_x, principal_punto_y representan las posiciones de los puntos principales de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal y la dirección vertical, respectivamente. La radial_distorsión representa un coeficiente de tensión en la dirección del radio.

Sin embargo, la unidad 32 de composición de punto de vista no utiliza la distancia focal en la dirección vertical y la posición del punto principal en la dirección vertical en la expresión (3) . La corrección se hace por la unidad 12 de corrección de imágenes de color de múltiples puntos de vista de modo que el coeficiente de tensión en la dirección del radio se vuelve cero.

A' es una matriz, expresada de la misma manera que A, para transformar la coordenada de la unidad de captura de imagen virtual para capturar la imagen de color correspondiente a la imagen de profundidad procesada por deformación en la forma de la coordenada en la pantalla, y se determina por adelantado. En la expresión (2), s es un factor de escala, y es un valor fijo determinado por adelantado. En este caso, ty y tz son valores fijos determinados por adelantado .

Por consiguiente, la información aparte de la imagen de profundidad requerida para asociar la posición m (x, y, z) y la posición m' (?' , y' , z' ) es la distancia focal en la dirección horizontal, la posición del punto principal en la dirección horizontal, la posición de la unidad 11 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal, y el valor mínimo de profundidad y el valor máximo de profundidad requeridos para transformar el valor de profundidad en la posición Z. Tal información está incluida en la información de generación de punto de vista.

Después de que la asociación se hace como se describe anteriormente, el pixel de la imagen de profundidad que ha sido sometida al procesamiento de deformación correspondiente a cada pixel de la imagen de profundidad del objetivo de procesamiento se determina con base en la posición m' (?' , y' , z' ) correspondiente a la posición m (x, y, z) de cada pixel. Posteriormente, el valor de profundidad de cada pixel de la imagen de profundidad del objetivo de procesamiento se adopta como el valor de profundidad del pixel de la imagen de profundidad procesada por deformación correspondiente al pixel .

Se debe tener en cuenta que el procesamiento de deformación para la imagen de la paralaje se realiza de la misma manera que aquel realizado sobre la imagen de profundidad excepto que el valor de profundidad (valor y) se reemplaza con el valor de la paralaje (valor I) .

Explicación acerca del procesamiento del dispositivo de decodificación La Figura 9 es un diagrama de flujo que explica el procesamiento de decodificación del dispositivo 30 de decodificación de la Figura 7. Este procesamiento de decodificación se inicia, por ejemplo, cuando el flujo de bits codificado se transmite a partir del dispositivo 10 de codificación de la Figura 2.

En la etapa S51 de la Figura 9, la unidad 31 de decodificación de imágenes de múltiples puntos de vista del dispositivo 30 de decodificación recibe el flujo de bits codificado transmitido a partir del dispositivo 10 de codificación de la Figura 2.

En la etapa S52, la unidad 31 de decodificación de imágenes de múltiples puntos de vista decodifica el flujo de bits codificado recibido, y realiza el procesamiento de decodificación de múltiples puntos de vista para extraer la información de generación de punto de vista. Los detalles del procesamiento de decodificación de múltiples puntos de vista se explicarán con referencia a la Figura 10 explicada más adelante .

En la etapa S53, la unidad 32 de composición de punto de vista funciona como una unidad de generación, y genera la imagen de color compuesta de múltiples puntos de vista utilizando la información de generación de punto de vista provista por la unidad 31 de decodificación de imágenes de múltiples puntos de vista, las imágenes de color corregidas de múltiples puntos de vista, y la imagen relacionada a la paralaje de múltiples puntos de vista.

En la etapa S54, la unidad 33 de despliegue de imágenes de múltiples puntos de vista despliega la imagen de color compuesta de múltiples puntos de vista provista por la unidad 32 de composición de punto de vista de tal manera que el ángulo visualizable, y termina el procesamiento.

La Figura 10 es un diagrama de flujo que explica los detalles del procesamiento de decodificación de múltiples puntos de vista en la etapa S52 de la Figura 9. Este procesamiento de decodificación de múltiples puntos de vista se realiza, por ejemplo, en unidades de rebanadas. En el procesamiento de decodificación de múltiples puntos de vista de la Figura 10, las imágenes del objetivo de decodificación son la imagen A de color, la imagen B de color, la imagen A relacionada a la paralaje, y la imagen B relacionada a la paralaj e .

En la etapa S71 de la Figura 10, la unidad 31 de decodificación de imágenes de múltiples puntos de vista extrae el SPS a partir del flujo de bits codificado recibido. En la etapa S72, la unidad 31 de decodificación de imágenes de múltiples puntos de vista extrae el SPS Subconjunto a partir del flujo de bits codificado. En la etapa S73, la unidad 31 de decodificación de imágenes de múltiples puntos de vista extrae el PPS a partir del flujo de bits codificado.

En la etapa S74, la unidad 31 de decodificación de imágenes de múltiples puntos de vista extrae la SEI a partir del flujo de bits codificado, y proporciona la información de generación de punto de vista incluida en la SEI a la unidad 32 de composición de punto de vista.

En la etapa S75, con base en la ID del PPS incluido en el encabezamiento de la rebanada objetivo de la imagen ? de color, la unidad 31 de decodificación de imágenes de múltiples puntos de vista activa el PPS al cual se da la ID. En la etapa S76, con base en la ID del SPS incluido en el PPS y activado en la etapa S75, la unidad 31 de decodificación de imágenes de múltiples puntos de vista activa el SPS al cual se da la ID.

En la etapa S77, la unidad 31 de decodificación de imágenes de múltiples puntos de vista busca el PPS y el SPS activado, y decodifica la rebanada objetivo de la imagen ? de color como la vista base, y la proporciona a la unidad 32 de composición de punto de vista.

En la etapa S78, con base en la ID del SPS Subconjunto incluido en el PPS y activado, la unidad 31 de decodificación de imágenes de múltiples puntos de vista activa el SPS Subconjunto al cual se da la ID. En la etapa S79, la unidad 31 de decodificación de imágenes de múltiples puntos de vista busca el PPS y el SPS Subconjunto activado, y decodifica la rebanada objetivo de la imagen A relacionada a la paralaje como la vista no base, y la proporciona a la unidad 32 de composición de punto de vista.

En la etapa S80, la unidad 31 de decodificación de imágenes de múltiples puntos de vista busca el PPS y el SPS Subconjunto activado, y decodifica la rebanada objetivo de la imagen B de color como la vista no base, y la proporciona a la unidad 32 de composición de punto de vista. En la etapa S81, la unidad 31 de decodificación de imágenes de múltiples puntos de vista busca el PPS y el SPS Subconjunto activado, y decodifica la rebanada objetivo de la imagen B relacionada a la paralaje como la vista no base, y la proporciona a la unidad 32 de composición de punto de vista. Posteriormente, se realiza nuevamente el procesamiento en la etapa S52 en la Figura 9, y subsiguientemente se realiza la etapa S53.

En el procesamiento de decodificación de múltiples puntos de vista de la Figura 10, por el bien de la explicación, se considera que el SPS, el SPS Subconjunto, el PPS, y la SEI se generan para todas las rebanadas, y se configuran para ser extraídos en todo momento para cada rebanada, pero cuando hay una rebanada para la cual no se generan el SPS, el SPS Subconjunto, el PPS, y la SEI, se salta el procesamiento para extraer el SPS, el SPS Subconj unto, el PPS, y la SEI.

Como se describe anteriormente, el dispositivo 30 de decodificación recibe, a partir del dispositivo 10 de codificación, la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje asi como la información de generación de punto de vista. Por consiguiente, el dispositivo 30 de decodificación puede utilizar la imagen de color del punto de vista predeterminado, la imagen relacionada a la paralaje, y la información de generación de punto de vista para generar la imagen de color de un punto de vista diferente del punto de vista predeterminado .

En contraste, el flujo de bits codificado de acuerdo con el método MVC que es un método de codificación convencional no incluye información necesaria para generar una imagen de color de un punto de vista diferente de un punto de vista predeterminado utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje. Más específicamente, no incluye la información para identificar la imagen de color y la imagen relacionada a la paralaje, la información para identificar la imagen de la paralaje y la imagen de profundidad, y la información de rango .

La información SEI de adquisición de múltiples vistas como se ilustra en la Figura 1, incluye parámetros para el interior de la cámara y el exterior de la cámara, pero incluye mucha información innecesaria aparte de la información de generación de punto de vista. Adicionalmente, en la información SEI de adquisición de múltiples vistas, los parámetros para el interior de la cámara se describen para todos los puntos de vista o sólo para puntos de vista particulares, independientemente de los tipos de los parámetros. Por consiguiente, cuando los parámetros para el interior de la cámara se describen para todos los puntos de vista, incluye mucha información redundante, y cuando se describen los parámetros sólo para puntos de vista particulares, tal información es insuficiente. En la información SEI de adquisición de múltiples vistas, los parámetros fuera de la cámara se describen para todos los puntos de vista, y por consiguiente, se incluye mucha información redundante.

En el dispositivo 10 de codificación, la imagen relacionada a la paralaje de múltiples puntos de vista se genera a partir de la imagen de color corregida de múltiples puntos de vista, pero se puede generar mediante detectores que detectan el valor de la paralaje y el valor de profundidad durante la captura de imagen de la imagen de color de múltiples puntos de vista. Esto es aplicable al dispositivo 50 de codificación explicado más adelante.

La información de generación de punto de vista puede incluir cualquiera de la información de identificación de la imagen de color y la información de identificación de la imagen relacionada a la paralaje. En este caso, el dispositivo 30 de decodificación identifica, como una imagen no identificada, una de las imágenes de la imagen de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista que no es identificada. Por ejemplo, la información de generación de punto de vista incluye sólo la información de identificación de la imagen de color, el dispositivo 30 de decodificación identifica la imagen de color de múltiples puntos de vista con base en la información de identificación de la imagen de color, y determina que las imágenes aparte de aquellas son las imágenes relacionadas a la paralaje de múltiples puntos de vista.

En la primera modalidad, la información de generación de punto de vista se transmite en la SEI. Alternativamente, la información de generación de punto de vista se puede incluir en la VCL (Capa de Codificación de Video) , el SPS (Conjunto de Parámetros de Secuencia) y el PPS (Conjunto de Parámetros de Fotograma) de la NAL (Capa de Abstracción de Red) , y similares .

Segunda modalidad Ejemplo de la configuración de la segunda modalidad del dispositivo de codificación La Figura 11 es un diagrama de bloques que ilustra un ejemplo de la configuración de una segunda modalidad de un dispositivo de codificación que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica .

Un dispositivo 50 de codificación de la Figura 11 incluye una unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, una unidad 52 de corrección de imágenes de color de múltiples puntos de vista, una unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista, una unidad 54 de generación de información de generación de punto de vista, y una unidad 55 de codificación de imágenes de múltiples puntos de vista. El dispositivo 50 de codificación transmite una porción de la información de generación de punto de vista como la información acerca de la codificación (parámetro de codificación) .

Más específicamente, la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista del dispositivo 10 de codificación captura imágenes de color de múltiples puntos de vista, y las proporciona como imágenes de color de múltiples puntos de vista a la unidad 52 de corrección de imágenes de color de múltiples puntos de vista. La unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista genera el parámetro externo, el valor máximo relacionado a la paralaje (valor máximo de profundidad), y el valor mínimo relacionado a la paralaje (valor mínimo de profundidad) (los detalles de los cuales se explicarán más adelante) . La unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista proporciona el parámetro externo, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje a la unidad 54 de generación de información de generación de punto de vista, y proporciona el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje a la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista.

Cuando la imagen relacionada a la paralaje generada por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista es una imagen de profundidad, el valor máximo relacionado a la paralaje es un valor máximo de profundidad, y cuando es una imagen de la paralaje, el valor máximo relacionado a la paralaje es un valor máximo de la paralaje. Cuando la imagen relacionada a la paralaje generada por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista es una imagen de profundidad, el valor mínimo relacionado a la paralaje es un valor mínimo de profundidad, y cuando es una imagen de la paralaje, el valor mínimo relacionado a la paralaje es un valor mínimo de la paralaje.

La unidad 52 de corrección de imágenes de color de múltiples puntos de vista realiza la corrección de color, la corrección de claridad, la corrección de distorsión, y similares sobre las imágenes de color de múltiples puntos de vista provistas a partir de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. Consecuentemente, la distancia focal de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la imagen de color de múltiples puntos de vista corregida en la dirección horizontal (dirección de X) es la misma en todos los puntos de vista. La unidad 52 de corrección de imágenes de color de múltiples puntos de vista proporciona la imagen de color de múltiples puntos de vista corregida a la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista y a la unidad 55 de codificación de imágenes de múltiples puntos de vista como imágenes de color corregidas de múltiples puntos de vista.

Con base en el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje provistos a partir de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera imágenes relacionadas a la paralaje de múltiples puntos de vista a partir de las imágenes de color corregidas de múltiples puntos de vista provistas a partir de la unidad 52 de corrección de imágenes de color de múltiples puntos de vista. Más específicamente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista obtiene un valor relacionado a la paralaje el cual aún no ha normalizado en cada pixel (el número recíproco 1/Z de la profundidad Z o la paralaje d) a partir de la imagen de color corregida de múltiples puntos de vista para cada punto de vista de múltiples puntos de vista, y normaliza el valor relacionado a la paralaje que aún no ha normalizado con base en el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje. Posteriormente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera una imagen relacionada a la paralaje en la cual el valor relacionado a la paralaje (valor y, valor I) de cada pixel normalizado es un valor de pixel del pixel de la imagen relacionada a la paralaje para cada punto de vista de los múltiples puntos de vista.

Posteriormente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista proporciona las imágenes relacionadas a la paralaje generadas de múltiples puntos de vista a la unidad 55 de codificación de imágenes de múltiples puntos de vista como la imagen relacionada a la paralaje de múltiples puntos de vista. Adicionalmente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera el parámetro de exactitud de paralaje (parámetro de exactitud de profundidad) que representa la exactitud del valor de pixel de la imagen relacionada a la paralaje de múltiples puntos de vista, y proporciona el parámetro de exactitud de paralaje a la unidad 54 de generación de información de generación de punto de vista.

La unidad 54 de generación de información de generación de punto de vista funciona como una unidad de generación, y utiliza la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista para generar la información de generación de punto de vista de conformidad con un método predeterminado para generar una imagen de color de otro punto de vista. Más específicamente, la unidad 54 de generación de información de generación de punto de vista obtiene la distancia inter-cámara con base en los parámetros externos provistos por la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. La distancia inter-cámara es una distancia entre la posición de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal cuando la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista captura una imagen de color en cada punto de vista de la imagen relacionada a la paralaje de múltiples puntos de vista y la posición de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la dirección horizontal cuando la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista captura una imagen de color que tiene una paralaje correspondiente a la imagen relacionada a la paralaje con respecto a la imagen de color asi capturada.

La unidad 54 de generación de información de generación de punto de vista adopta, como la información de generación de punto de vista, el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje provistos por la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, la distancia inter-cámara, y el parámetro de exactitud de paralaje provisto por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista. La unidad 54 de generación de información de generación de punto de vista proporciona la información de generación de punto de vista generada a la unidad 55 de codificación de imágenes de múltiples puntos de vista.

La unidad 55 de codificación de imágenes de múltiples puntos de vista funciona como una unidad de codificación, y codifica la imagen de color corregida de múltiples puntos de vista provista por la unidad 52 de corrección de imágenes de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista de conformidad con el método de acuerdo con el método HEVC (Codificación de Video de Alta Eficiencia). En Agosto de 2011, Thomas Wiegand, Woo-jin Han, Benjamín Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603_d5 (versión 5) , el 20 de Mayo de 2011 se publicó como un borrador acerca del método HEVC.

La unidad 55 de codificación de imágenes de múltiples puntos de vista realiza la codificación diferencial sobre el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara en la información de generación de punto de vista provista por la unidad 54 de generación de información de generación de punto de vista, y causa que tal información sea la información incluida acerca de la codificación de la imagen relacionada a la paralaje de múltiples puntos de vista. Posteriormente, la unidad 55 de codificación de imágenes de múltiples puntos de vista transmite como un flujo de bits codificado, un flujo de bits que incluye las imágenes de color corregidas de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista que se codifican, el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje que se codifican mediante codificación diferencial, la información acerca de la codificación que incluye la distancia inter-cámara, el parámetro de exactitud de paralaje provisto por la unidad 54 de generación de información de generación de punto de vista, y similares.

Como se describe anteriormente, la unidad 55 de codificación de imágenes de múltiples puntos de vista codifica mediante codificación diferencial y transmite el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, y por consiguiente, puede reducir la cantidad de códigos de la información de generación de punto de vista. A fin de proporcionar una imagen en 3D confortable, es probable no cambiar grandemente el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara entre fotogramas, y por consiguiente, la codificación diferencial es efectiva para reducir la cantidad de códigos.

Explicación acerca de la información de generación de punto de vista La Figura 12 es una figura que explica un valor máximo relacionado a la paralaje y un valor mínimo relacionado a la paralaje de la información de generación de punto de vista.

En la Figura 12, el eje horizontal denota el valor relacionado a la paralaje que no está normalizado, y el eje vertical denota el valor de pixel de la imagen relacionada a la paralaje (información de profundidad) .

Como se ilustra en la Figura 12, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista normaliza el valor relacionado a la paralaje no normalizado de cada pixel (el número reciproco 1/Z de la profundidad Z o la paralaje d) en, por ejemplo, un valor de 0 a 255, utilizando el valor mínimo relacionado a la paralaje Dmm y el valor máximo relacionado a la paralaje Dméx. Posteriormente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera una imagen relacionada a la paralaje en la cual el valor relacionado a la paralaje normalizado de cada pixel que es un valor de cualquiera de 0 y 255 (información de profundidad) es un valor de pixel.

Más específicamente, como se describe anteriormente, el valor I de pixel de cada pixel en la imagen relacionada a la paralaje se representa por la siguiente expresión (4), utilizando el valor d relacionado a la paralaje no normalizado (paralaje d) , el valor mínimo relacionado a la paralaje Dmin, y el valor máximo relacionado a la paralaje Dm¿x de ese pixel. Fórmula Matemática 2 Por consiguiente, en el dispositivo de decodificación explicado más adelante, es necesario restaurar el valor d relacionado a la paralaje no normalizado a partir del valor I de pixel de cada pixel en la imagen relacionada a la paralaje de conformidad con la siguiente expresión (5) utilizando el valor mínimo relacionado a la paralaje Dmin y el valor máximo relacionado a la paralaje Dm¿x.

Fórmula Matemática 3 Más específicamente, como se describe anteriormente, el valor y de pixel de cada pixel en la imagen relacionada a la paralaje se representa por la expresión (c) , utilizando el valor Z relacionado a la paralaje no normalizado (paralaje Z) , el valor mínimo relacionado a la paralaje Zcerca el valor máximo relacionado a la paralaje iejOS de ese pixel. Por consiguiente, en el dispositivo de decodificación explicado más adelante, es necesario restaurar el valor Z relacionado a la paralaje a partir del valor y de pixel de cada pixel en la imagen relacionada a la paralaje utilizando el valor mínimo relacionado a la paralaje Zcerca y el valor máximo relacionado a la paralaje iej0S- Consecuentemente, el valor mínimo relacionado a la paralaje y el valor máximo relacionado a la paralaje se transmiten al dispositivo de decodificación.

Como se ilustra en la etapa superior de la Figura 13, cuando el valor relacionado a la paralaje no normalizado (el número recíproco 1/Z de la profundidad Z o la paralaje d) por valor relacionado a la paralaje normalizado (información de profundidad) es 0.5, el parámetro de exactitud de paralaje representa 0.5 que es la exactitud del valor relacionado a la paralaje normalizado (información de profundidad) . Como se ilustra en la etapa inferior de la Figura 13, cuando el valor relacionado a la paralaje no normalizado por valor relacionado a la paralaje normalizado es uno, el parámetro de exactitud de paralaje representa 1.0 que es la exactitud del valor relacionado a la paralaje.

En el ejemplo de la Figura 13, el valor relacionado a la paralaje no normalizado en el punto de vista #1 en el primer punto de vista es 1.0, y el valor relacionado a la paralaje no normalizado en el punto de vista #2 en el segundo punto de vista es 0.5. Por consiguiente, el valor relacionado a la paralaje normalizado del punto de vista #1 es 1.0 incluso aunque la exactitud del valor relacionado a la paralaje sea ya sea 0.5 o 1.0. Por otra parte, el valor relacionado a la paralaje del punto de vista #2 es 0.5 incluso aunque la exactitud del valor relacionado a la paralaje sea 0.5, y el valor relacionado a la paralaje del punto de vista #2 es 0 incluso aunque la exactitud del valor relacionado a la paralaje sea 1.0.

La Figura 14 es una figura que explica una distancia inter-cámara de la información de generación de punto de vista .

Como se ilustra en la Figura 14, la distancia inter-cámara de la imagen relacionada a la paralaje del punto de vista #1 con respecto al punto de vista #2 es una distancia entre la posición representada por el parámetro externo del punto de vista #1 y la posición representada por el parámetro externo del punto de vista #2.

Ejemplo de la configuración de la unidad de codificación de imágenes de múltiples punto de vista La Figura 15 es un diagrama de bloques que ilustra un ejemplo de la configuración de la unidad 55 de codificación de imágenes de múltiples puntos de vista de la Figura 11.

La unidad 55 de codificación de imágenes de múltiples puntos de vista de la Figura 15 incluye una unidad 61 de codificación de rebanada, una unidad 62 de codificación del encabezamiento de la rebanada, una unidad 63 de codificación de PPS, y una unidad 64 de codificación de SPS.

La unidad 61 de codificación de rebanada de la unidad 55 de codificación de imágenes de múltiples puntos de vista codifica la imagen de color corregida de múltiples puntos de vista provista por la unidad 52 de corrección de imágenes de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista de conformidad con el método de acuerdo con el método HEVC en unidades de rebanadas. La unidad 61 de codificación de rebanada provee a la unidad 62 de codificación del encabezamiento de la rebanada con datos codificados en unidades de rebanadas obtenidos como resultado de la codificación.

La unidad 62 de codificación del encabezamiento de la rebanada determina que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara en la información de generación de punto de vista provista por la unidad 54 de generación de información de generación de punto de vista son el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada del objetivo de procesamiento actual, y los retiene.

La unidad 62 de codificación del encabezamiento de la rebanada también determina si el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada del objetivo de procesamiento actual son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación con respecto a la rebanada, y esta determinación se hace en la unidad a la cual se da el mismo PPS (a partir de ahora referida como la unidad de mismo PPS) .

Posteriormente, cuando se determina que todos del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada que constituye la unidad de mismo PPS son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación, la unidad 62 de codificación del encabezamiento de la rebanada suma la información acerca de la codificación aparte del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de esa rebanada como el encabezamiento de la rebanada de los datos codificados de cada rebanada que constituye la unidad de mismo PPS, y proporciona la información a la unidad 63 de codificación de PPS. La unidad 62 de codificación del encabezamiento de la rebanada provee a la unidad 63 de codificación de PPS con una indicación de transmisión que indica la ausencia de transmisión de los resultados codificados mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara.

Por otra parte, cuando se determina que todos del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de al menos una rebanada que constituye la unidad de mismo PPS no son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación, la unidad 62 de codificación del encabezamiento de la rebanada suma la información acerca de la codificación que incluye el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de esa rebanada como el encabezamiento de la rebanada a los datos codificados de la rebanada de tipo intra, y proporciona la información a la unidad 63 de codificación de PPS.

La unidad 62 de codificación del encabezamiento de la rebanada realiza la codificación de diferencia sobre el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada de tipo inter. Más específicamente, la unidad 62 de codificación del encabezamiento de la rebanada sustrae el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación con respecto a la rebanada a partir del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada de tipo inter, respectivamente, y obtiene un resultado codificado mediante codificación de diferencia. Posteriormente, la unidad 62 de codificación del encabezamiento de la rebanada suma la información acerca de la codificación que incluye el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara como el encabezamiento de la rebanada a los datos codificados de la rebanada de tipo inter, y proporciona la información a la unidad 63 de codificación de PPS.

En este caso, la unidad 62 de codificación del encabezamiento de la rebanada provee a la unidad 63 de codificación de PPS con una indicación de transmisión que indica la presencia de transmisión de los resultados codificados mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara.

La unidad 63 de codificación de PPS genera el PPS incluyendo la indicación de transmisión provista a partir de la unidad 62 de codificación del encabezamiento de la rebanada y el parámetro de exactitud de paralaje en la información de generación de punto de vista provista a partir de la unidad 54 de generación de información de generación de punto de vista de la Figura 11. La unidad 63 de codificación de PPS suma, en la unidad de mismo PPS, el PPS a los datos codificados en unidades de rebanadas a los cuales se suma el encabezamiento de la rebanada provisto a partir de la unidad 62 de codificación del encabezamiento de la rebanada, y los proporciona a la unidad 64 de codificación de SPS.

La unidad 64 de codificación de SPS genera el SPS. Posteriormente, la unidad 64 de codificación de SPS suma, en unidades de secuencias, el SPS a los datos codificados a los cuales se suma el PPS provisto a partir de la unidad 63 de codificación de PPS. La unidad 64 de codificación de SPS transmite, como un flujo de bits codificado, el flujo de bits obtenido como resultado.

Ejemplo de la configuración del flujo de bi-bs codificado La Figura 16 es una figura que ilustra un ejemplo de la configuración de un flujo de bits codificado.

En la Figura 16, por el bien de la explicación, sólo se describen los datos codificados de la rebanada de la imagen relacionada a la paralaje de múltiples puntos de vista. Pero en realidad, el flujo de bits codificado también se dispone con los datos codificados de la rebanada de la imagen de color de múltiples puntos de vista.

En el ejemplo de la Figura 16, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de las dos rebanadas de tipo ínter y una rebanada de tipo intra que constituyen la unidad de mismo PPS del PPS #0 que es el PPS 0 no son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, respectivamente, de la rebanada previa en el orden de codificación. Por consiguiente, el PPS #0 incluye una indicación de transmisión "1" que indica la presencia de transmisión. En el ejemplo de la Figura 16, la exactitud de paralaje de la rebanada que constituye la unidad de mismo PPS del PPS #0 es 0.5, y el PPS #0 incluye "1" que representa la exactitud de paralaje 0.5 como el parámetro de exactitud de paralaj e .

Adicionalmente, en el ejemplo de la Figura 16, el valor mínimo relacionado a la paralaje de la rebanada de tipo intra que constituye la unidad de mismo PPS del PPS #0 es 10, y el valor máximo relacionado a la paralaje de la misma es 50, y la distancia inter-cámara de la misma es 100. Por consiguiente, el encabezamiento de rebanada de la rebanada incluye el valor mínimo relacionado a la paralaje "10", el valor máximo relacionado a la paralaje "50", y la distancia inter-cámara "100".

En el ejemplo de la Figura 16, el valor mínimo relacionado a la paralaje de la primera rebanada de tipo inter que constituye la unidad de mismo PPS del PPS #0 es 9, y el valor máximo relacionado a la paralaje de la misma es 48, y la distancia inter-cámara de la misma es 105. Por consiguiente, el encabezamiento de rebanada de la rebanada incluye, como el resultado codificado mediante codificación de diferencia del valor mínimo relacionado a la paralaje, la diferencia "-1" que se obtiene sustrayendo el valor mínimo relacionado a la paralaje "10" de la rebanada de tipo intra que se dispone antes de la rebanada en el orden de codificación a partir del valor mínimo relacionado a la paralaje "9" de la rebanada. Asimismo, la diferencia "-2" del valor máximo relacionado a la paralaje se incluye como el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje, y la diferencia "5" de la distancia inter-cámara se incluye como el resultado codificado mediante codificación de diferencia de la distancia inter-cámara.

Adicionalmente, en el ejemplo de la Figura 16, el valor mínimo relacionado a la paralaje de la segunda rebanada de tipo ínter que constituye la unidad de mismo PPS del PPS #0 es 7, y el valor máximo relacionado a la paralaje de la misma es 47, y la distancia inter-cámara de la misma es 110. Por consiguiente, el encabezamiento de rebanada de la rebanada incluye, como el resultado codificado mediante codificación de diferencia del valor mínimo relacionado a la paralaje, la diferencia "-2" que se obtiene sustrayendo el valor mínimo relacionado a la paralaje "9" de la primera rebanada de tipo ínter que se dispone antes de la rebanada en el orden de codificación a partir del valor mínimo relacionado a la paralaje "7" de la rebanada. Asimismo, la diferencia "-1" del valor máximo relacionado a la paralaje se incluye como el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje, y la diferencia "5" de la distancia inter-cámara se incluye como el resultado codificado mediante codificación de diferencia de la distancia inter-cámara .

En el ejemplo de la Figura 16, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de las dos rebanadas de tipo ínter y una rebanada de tipo intra que constituyen la unidad de mismo PPS del PPS #1 que es el PPS 1 son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, respectivamente, de la rebanada previa en el orden de codificación. Más específicamente, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de las dos rebanadas de tipo inter y una rebanada de tipo intra que constituyen la unidad de mismo PPS del PPS #1 que es el PPS 1 son "7", "47", y "110", respectivamente, que son los mismos que aquellos de la segunda rebanada de tipo inter que constituye la unidad de mismo PPS del PPS #0. Por consiguiente, el PPS #1 incluye una indicación de transmisión "0" que indica la ausencia de transmisión. En el ejemplo de la Figura 16, la exactitud de paralaje de la rebanada que constituye la unidad de mismo PPS del PPS #1 es 0.5, y el PPS #1 incluye "1" que representa la exactitud de paralaje 0.5 como el parámetro de exactitud de paralaje.

Ejemplo de la sintaxis del PPS La Figura 17 es una figura que ilustra un ejemplo de la sintaxis del PPS de la Figura 16.

Como se ilustra en la Figura 17, el PPS incluye el parámetro de exactitud de paralaje (disparidad_precisión) y la indicación de transmisión (disparidad_fotograma_misma_indicación) . Por ejemplo, el parámetro de exactitud de paralaje es "0" cuando indica la exactitud de paralaje (la exactitud de la información de profundidad) 1, y el parámetro de exactitud de paralaje es "2" cuando indica la exactitud de paralaje (la exactitud de la información de profundidad) 0.25. Como se describe anteriormente, el parámetro de exactitud de paralaje es "1" cuando indica la exactitud de paralaje (la exactitud de la información de profundidad) 0.5. Como se describe anteriormente, la indicación de transmisión es "1" cuando indica la presencia de transmisión, y la indicación de transmisión es "0" cuando indica ausencia de transmisión.

Ejemplo de la sintaxis del encabezamiento de la rebanada Las Figuras 18 y 19 son figuras que ilustran un ejemplo de la sintaxis del encabezamiento de la rebanada.

Como se ilustra en la Figura 19, cuando la indicación de transmisión es 1, y el tipo de la rebanada es el tipo intra, el encabezamiento de la rebanada incluye el valor mínimo relacionado a la paralaje (mínima_disparidad) , el valor máximo relacionado a la paralaje (máxima_disparidad) , y la distancia inter-cámara (traducción x) .

Por otra parte, cuando la indicación de transmisión es 1, y el tipo de la rebanada es el tipo inter, el encabezamiento de la rebanada incluye el resultado codificado mediante codificación de diferencia del valor mínimo relacionado a la paralaje (delta_mínima_disparidad) , el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje (delta_máxima_disparidad) , y el resultado codificado mediante codificación de diferencia de la distancia inter-cámara (delta_traducción_x) .

Explicación acerca del procesamiento del dispositivo de codificación La Figura 20 es un diagrama de flujo que explica el procesamiento de codificación del dispositivo 50 de codificación de la Figura 11.

En la etapa Slll de la Figura 20, la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista del dispositivo 50 de codificación captura imágenes de color de múltiples puntos de vista, y las proporciona como imágenes de color de múltiples puntos de vista a la unidad 52 de corrección de imágenes de color de múltiples puntos de vista .

En la etapa S112, la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista genera el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y el parámetro externo. La unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista proporciona el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y el parámetro externo a la unidad 54 de generación de información de generación de punto de vista, y proporciona el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje a la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista.

En la etapa S113, la unidad 52 de corrección de imágenes de color de múltiples puntos de vista realiza la corrección de color, la corrección de claridad, la corrección de distorsión, y similares sobre las imágenes de color de múltiples puntos de vista provistas a partir de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista. Consecuentemente, la distancia focal de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista en la imagen de color de múltiples puntos de vista corregida en la dirección horizontal (dirección de X) es la misma en todos los puntos de vista. La unidad 52 de corrección de imágenes de color de múltiples puntos de vista proporciona la imagen de color de múltiples puntos de vista corregida a la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista y a la unidad 55 de codificación de imágenes de múltiples puntos de vista como imágenes de color corregidas de múltiples puntos de vista.

En la etapa S114, con base en el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje provistos a partir de la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera imágenes relacionadas a la paralaje de múltiples puntos de vista a partir de las imágenes de color corregidas de múltiples puntos de vista provistas a partir de la unidad 52 de corrección de imágenes de color de múltiples puntos de vista. Posteriormente, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista proporciona las imágenes relacionadas a la paralaje generadas de múltiples puntos de vista a la unidad 55 de codificación de imágenes de múltiples puntos de vista como la imagen relacionada a la paralaje de múltiples puntos de vista.

En la etapa S115, la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista genera los parámetros de exactitud de paralaje, y proporciona los parámetros de exactitud de paralaje a la unidad 54 de generación de información de generación de punto de vista.

En la etapa S116, la unidad 54 de generación de información de generación de punto de vista obtiene la distancia inter-cámara con base en los parámetros externos provistos por la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista.

En la etapa S117, la unidad 54 de generación de información de generación de punto de vista genera, como información de generación de punto de vista, el valor máximo relacionado a la paralaje y el valor mínimo relacionado a la paralaje provistos por la unidad 51 de captura de imágenes, de imágenes de color, de múltiples puntos de vista, la distancia inter-cámara, y el parámetro de exactitud de paralaje provisto por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista. La unidad 54 de generación de información de generación de punto de vista proporciona la información de generación de punto de vista generada a la unidad 55 de codificación de imágenes de múltiples puntos de vista.

En la etapa S118, la unidad 55 de codificación de imágenes de múltiples puntos de vista realiza el procesamiento de codificación de múltiples puntos de vista para codificar la imagen de color corregida de múltiples puntos de vista provista por la unidad 52 de corrección de imágenes de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista de conformidad con el método de acuerdo con el método HEVC. Los detalles del procesamiento de codificación de múltiples puntos de vista se explicarán con referencia a la Figura 21 explicada más adelante.

En la etapa S119, la unidad 55 de codificación de imágenes de múltiples puntos de vista transmite el flujo de bits codificado obtenido como resultado del procesamiento de codificación de múltiples puntos de vista, y termina el procesamiento .

La Figura 21 es un diagrama de flujo que explica el procesamiento de codificación de múltiples puntos de vista en la etapa S118 de la Figura 20.

En la etapa S131 de la Figura 21, la unidad 61 de codificación de rebanada de la unidad 55 de codificación de imágenes de múltiples puntos de vista (Figura 15) codifica la imagen de color corregida de múltiples puntos de vista provista por la unidad 52 de corrección de imágenes de color de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 53 de generación de imágenes relacionadas a la paralaje de múltiples puntos de vista de conformidad con el método de acuerdo con el método HEVC en unidades de rebanadas. La unidad 61 de codificación de rebanada provee a la unidad 62 de codificación del encabezamiento de la rebanada con datos codificados en unidades de rebanadas obtenidos como resultado de la codificación.

En la etapa S132, la unidad 62 de codificación del encabezamiento de la rebanada determina que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara en la información de generación de punto de vista provista por la unidad 54 de generación de información de generación de punto de vista son el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada del objetivo de procesamiento actual, y los retiene.

En la etapa S133, la unidad 62 de codificación del encabezamiento de la rebanada determina si el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de todas las rebanadas que constituyen la unidad de mismo PPS son los mismos que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación con respecto a la rebanada .

Cuando se determina que la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje son los mismos en la etapa S133, la unidad 62 de codificación del encabezamiento de la rebanada genera una indicación de transmisión que indica la ausencia de transmisión de los resultados codificados mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, y la proporciona a la unidad 63 de codificación de PPS en la etapa S134.

En la etapa S135, la unidad 62 de codificación del encabezamiento de la rebanada suma, como encabezamiento de la rebanada, la información acerca de la codificación aparte de la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor minimo relacionado a la paralaje de esa rebanada a los datos codificados de cada rebanada que constituye la unidad de mismo PPS que es el objetivo de procesamiento de la etapa S133. Posteriormente, la unidad 62 de codificación del encabezamiento de la rebanada provee a la unidad 63 de codificación de PPS con los datos codificados de cada rebanada que constituye la unidad de mismo PPS obtenidos como consecuencia, y procede al procesamiento en la etapa S140.

Por otra parte, cuando se determina que la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor minimo relacionado a la paralaje no son los mismos en la etapa S133, la unidad 62 de codificación del encabezamiento de la rebanada genera una indicación de transmisión que indica la presencia de transmisión de los resultados codificados mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor minimo relacionado a la paralaje, y la distancia inter-cámara, y la proporciona a la unidad 63 de codificación de PPS en la etapa S136. El procesamiento en las etapas S137 a S139 explicadas más adelante se realiza para cada rebanada que constituye la unidad de mismo PPS que es el objetivo de procesamiento de la etapa S133.

En la etapa S137, la unidad 62 de codificación del encabezamiento de la rebanada determina si el tipo de la rebanada que constituye la unidad de mismo PPS que es el objetivo de procesamiento de la etapa S133 es el tipo intra o no. Cuando se determina que el tipo de la rebanada es el tipo intra en la etapa S137, la unidad 62 de codificación del encabezamiento de la rebanada suma la información acerca de la codificación que incluye el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de esa rebanada como el encabezamiento de la rebanada a los datos codificados de esa rebanada en la etapa S138. Posteriormente, la unidad 62 de codificación del encabezamiento de la rebanada provee a la unidad 63 de codificación de PPS con los datos codificados en unidades de rebanadas obtenidos como consecuencia, y procede al procesamiento en la etapa S140.

Por otra parte, cuando se determina que el tipo de la rebanada no es el tipo intra en la etapa S137, más específicamente, cuando se determina que el tipo de la rebanada es el tipo ínter, se realiza el procesamiento en la etapa S139. En la etapa S139, la unidad 62 de codificación del encabezamiento de la rebanada realiza la codificación de diferencia sobre la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje de esa rebanada, y suma, como el encabezamiento de la rebanada, la información acerca de la codificación que incluye el resultado codificado mediante codificación de diferencia a esos datos codificados de esa rebanada. Posteriormente, la unidad 62 de codificación del encabezamiento de la rebanada provee a la unidad 63 de codificación de PPS con los datos codificados en unidades de rebanadas obtenidos como consecuencia, y procede al procesamiento en la etapa S140.

En la etapa S140, la unidad 63 de codificación de PPS genera el PPS incluyendo la indicación de transmisión provista a partir de la unidad 62 de codificación del encabezamiento de la rebanada y el parámetro de exactitud de paralaje en la información de generación de punto de vista provista a partir de la unidad 54 de generación de información de generación de punto de vista de la Figura 11.

En la etapa S141, la unidad 63 de codificación de PPS suma, en la unidad de mismo PPS, el PPS a los datos codificados en unidades de rebanadas a los cuales se suma el encabezamiento de la rebanada provisto a partir de la unidad 62 de codificación del encabezamiento de la rebanada, y los proporciona a la unidad 64 de codificación de SPS.

En la etapa S142, la unidad 64 de codificación de SPS genera el SPS.

En la etapa S143, la unidad 64 de codificación de SPS suma, en unidades de secuencias, el SPS a los datos codificados a los cuales se suma el PPS provisto a partir de la unidad 63 de codificación de PPS, y genera un flujo de bits codificado.

Como se describe anteriormente, el dispositivo 50 de codificación dispone la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje en el encabezamiento de la rebanada como la información acerca de la codificación. Consecuentemente, por ejemplo, la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje se pueden utilizar para la codificación .

Ejemplo de la configuración de la segunda modalidad del dispositivo de decodificación La Figura 22 es un diagrama de bloques que ilustra un ejemplo de la configuración de la segunda modalidad de un dispositivo de decodificación, que sirve como un aparato de procesamiento de imágenes al cual se aplica la presente técnica, el cual decodifica un flujo de bits codificado transmitido a partir del dispositivo 50 de codificación de la Figura 11.

En la configuración según se ilustra en la Figura 22, las mismas configuraciones que aquellas de la Figura 7 se denotan con los mismos números de referencia. Las explicaciones repetidas se omiten según sea necesario.

La configuración del dispositivo 80 de decodificación de la Figura 22 es diferente de la configuración de la Figura 7 en que el dispositivo 80 de decodificación incluye una unidad 81 de decodificación de imágenes de múltiples puntos de vista y una unidad 82 de composición de punto de vista en lugar de la unidad 31 de decodificación de imágenes de múltiples puntos de vista y la unidad 32 de composición de punto de vista. El dispositivo 80 de decodificación despliega imágenes de color compuestas de múltiples puntos de vista con base en la información de generación de punto de vista transmitida a partir del dispositivo 50 de codificación.

Más específicamente, la unidad 81 de decodificación de imágenes de múltiples puntos de vista del dispositivo 80 de decodificación funciona como una unidad de recepción, y recibe el flujo de bits codificado transmitido a partir del dispositivo 50 de codificación de la Figura 11. La unidad 81 de decodificación de imágenes de múltiples puntos de vista extrae el parámetro de exactitud de paralaje y la indicación de transmisión a partir del PPS incluido en el flujo de bits codificado recibido. La unidad 81 de decodificación de imágenes de múltiples puntos de vista extrae la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje a partir del encabezamiento de la rebanada del flujo de bits codificado de conformidad con la indicación de transmisión. La unidad 81 de decodificación de imágenes de múltiples puntos de vista genera la información de generación de punto de vista que incluye el parámetro de exactitud de paralaje, la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje, y la proporciona a la unidad 82 de composición de punto de vista.

La unidad 81 de decodificación de imágenes de múltiples puntos de vista funciona como una unidad de decodificación, y decodifica los datos codificados en unidades de rebanadas incluidos en el flujo de bits codificado de conformidad con el método correspondiente al método de codificación de la unidad 15 de codificación de imágenes de múltiples puntos de vista de la Figura 11, y genera la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista. La unidad 81 de decodificación de imágenes de múltiples puntos de vista proporciona las imágenes de color corregidas de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista a la unidad 82 de composición de punto de vista.

La unidad 82 de composición de punto de vista utiliza la información de generación de punto de vista provista por la unidad 81 de decodificación de imágenes de múltiples puntos de vista para realizar el procesamiento de deformación sobre la imagen relacionada a la paralaje de múltiples puntos de vista provista por la unidad 81 de decodificación de imágenes de múltiples puntos de vista para deformar la imagen de acuerdo con los puntos de vista de despliegue. Más específicamente, la unidad 82 de composición de punto de vista realiza el procesamiento de deformación sobre la imagen relacionada a la paralaje de múltiples puntos de vista para deformar la imagen de acuerdo con los puntos de vista de despliegue con la exactitud correspondiente al parámetro de exactitud de paralaje, con base en la distancia inter-cámara, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y similares incluidos en la información de generación de punto de vista. La unidad 82 de composición de punto de vista utiliza la imagen relacionada a la paralaje de los puntos de vista de despliegue obtenida como resultado del procesamiento de deformación para realizar el procesamiento de deformación sobre las imágenes de color corregidas de múltiples puntos de vista provistas por la unidad 81 de decodificación de imágenes de múltiples puntos de vista para deformarlas de acuerdo con los puntos de vista de despliegue. La unidad 82 de composición de punto de vista proporciona las imágenes de color para los puntos de vista de despliegue obtenidas como consecuencia, a la unidad 33 de despliegue de imágenes de múltiples puntos de vista como las imágenes de color compuestas de múltiples puntos de vista.

Como se describe anteriormente, la unidad 82 de composición de punto de vista realiza el procesamiento de deformación sobre las imágenes relacionadas a la paralaje de múltiples puntos de vista para deformarlas de acuerdo con los puntos de vista de despliegue con la exactitud correspondiente al parámetro de exactitud de punto de vista con base en el parámetro de exactitud de paralaje, y por consiguiente, no es necesario que la unidad 82 de composición de punto de vista realice inútilmente el procesamiento de deformación con un alto grado de exactitud.

Además, la unidad 82 de composición de punto de vista realiza el procesamiento de deformación sobre la imagen relacionada a la paralaje de múltiples puntos de vista para deformarla de acuerdo con la distancia inter-cámara, y por consiguiente, cuando la paralaje correspondiente al valor relacionado a la paralaje de la imagen relacionada a la paralaje de múltiples puntos de vista que se ha sometido al procesamiento de deformación no está en un rango apropiado, el valor relacionado a la paralaje se puede corregir a un valor correspondiente a la paralaje en el rango apropiado con base en la distancia inter-cámara.

Ejemplo de la configuración de la unidad de decodificación de imágenes de múltiples puntos de vista La Figura 23 es un diagrama de bloques que ilustra un ejemplo de la configuración de la unidad 81 de decodificación de imágenes de múltiples puntos de vista de la Figura 22.

La unidad 81 de decodificación de imágenes de múltiples puntos de vista de la Figura 23 incluye una unidad 101 de decodificación de SPS, una unidad 102 de decodificación de PPS, una unidad 103 de decodificación del encabezamiento de la rebanada, y una unidad 104 de decodificación de rebanada.

La unidad 101 de decodificación de SPS de la unidad 81 de decodificación de imágenes de múltiples puntos de vista recibe el flujo de bits codificado transmitido a partir del dispositivo 50 de codificación de la Figura 11, y extrae el SPS en el flujo de bits codificado. La unidad 101 de decodificación de SPS provee a la unidad 102 de decodificación de PPS con el flujo de bits codificado aparte del SPS y el SPS extraído.

La unidad 102 de decodificación de PPS extrae el PPS a partir del flujo de bits codificado aparte del SPS provisto a partir de la unidad 101 de decodificación de SPS. La unidad 102 de decodificación de PPS provee a la unidad 103 de decodificación del encabezamiento de la rebanada con el flujo de bits codificado aparte del SPS y el PPS, y el PPS y el SPS extraídos.

La unidad 103 de decodificación del encabezamiento de la rebanada extrae un encabezamiento de la rebanada a partir del flujo de bits codificado aparte del SPS y el PPS provisto a partir de la unidad 102 de decodificación de PPS. Cuando la indicación de transmisión incluida en el PPS provisto por la unidad 102 de decodificación de PPS es "1" que indica la presencia de transmisión, la unidad 103 de decodificación del encabezamiento de la rebanada retiene la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje incluidos en el encabezamiento de la rebanada, o actualiza la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje retenidos ahí con base en el resultado codificado mediante codificación de diferencia de la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje. La unidad 103 de decodificación del encabezamiento de la rebanada genera la información de generación de punto de vista a partir de la distancia inter-cámara, el valor máximo relacionado a la paralaje, y el valor mínimo relacionado a la paralaje, que están retenidos, y el parámetro de exactitud de paralaje incluido en el PPS, y la proporciona a la unidad 82 de composición de punto de vista. Adicionalmente, la unidad 103 de decodificación del encabezamiento de la rebanada provee a la unidad 104 de decodificación de rebanada con los datos codificados en unidades de rebanadas que son el flujo de bits codificado aparte del SPS, el PPS, y el encabezamiento de la rebanada, y el SPS, el PPS, y el encabezamiento de la rebanada .

La unidad 104 de decodificación de rebanada decodifica los datos codificados en unidades de rebanadas de conformidad con el método correspondiente al método de codificación de la unidad 61 de codificación de rebanada (Figura 15) con base en el SPS, el PPS, y el encabezamiento de la rebanada provisto a partir de la unidad 103 de decodificación del encabezamiento de la rebanada. La unidad 103 de decodificación del encabezamiento de la rebanada provee a la unidad 82 de composición de punto de vista de la Figura 22 con la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista obtenidas como resultado de la decodificación.

Explicación acerca del procesamiento del dispositivo de decodificación El procesamiento de decodificación del dispositivo 80 de decodificación de la Figura 22 se realiza de la misma manera excepto el procesamiento de decodificación de múltiples puntos de vista en la etapa S52 de la Figura 9, y por consiguiente, en la explicación de abajo, sólo se explicará el procesamiento de decodificación de múltiples puntos de vista.

La Figura 24 es un diagrama de flujo que explica el procesamiento de decodificación de múltiples puntos de vista de la unidad 81 de decodificación de imágenes de múltiples puntos de vista del dispositivo 80 de decodificación de la Figura 22.

En la etapa S161 de la Figura 24, la unidad 101 de decodificación de SPS de la unidad 81 de decodificación de imágenes de múltiples puntos de vista (Figura 23) extrae el SPS a partir del flujo de bits codificado recibido. La unidad 101 de decodificación de SPS provee a la unidad 102 de decodificación de PPS con el flujo de bits codificado aparte del SPS y el SPS extraído.

En la etapa S162, la unidad 102 de decodificación de PPS extrae el PPS a partir del flujo de bits codificado aparte del SPS provisto a partir de la unidad 101 de decodificación de SPS. La unidad 102 de decodificación de PPS provee a la unidad 103 de decodificación del encabezamiento de la rebanada con el flujo de bits codificado aparte del SPS y el PPS, y el PPS y el SPS extraídos.

En la etapa S163, la unidad 103 de decodificación del encabezamiento de la rebanada proporciona el parámetro de exactitud de paralaje incluido en el PPS provisto a partir de la unidad 102 de decodificación de PPS a la unidad 82 de composición de punto de vista como una porción de la información de generación de punto de vista.

En la etapa S164, la unidad 103 de decodificación del encabezamiento de la rebanada determina si la indicación de transmisión incluida en el PPS provisto por la unidad 102 de decodificación de PPS es "1" que indica la presencia de transmisión. Se debe tener en cuenta que el subsiguiente procesamiento en las etapas S165 a S174 se realiza en unidades de rebanadas.

Cuando se determina que la indicación de transmisión es "1" que indica la presencia de transmisión en la etapa S164, el procesamiento en la etapa S165 se realiza subsiguientemente. En la etapa S165, la unidad 103 de decodificación del encabezamiento de la rebanada extrae el encabezamiento de la rebanada que incluye el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, o el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, a partir del flujo de bits codificado aparte del SPS y el PPS provisto a partir de la unidad 102 de decodificación de PPS.

En la etapa S166, la unidad 103 de decodificación del encabezamiento de la rebanada determina si el tipo de la rebanada es el tipo intra o no. Cuando se determina que el tipo de la rebanada es el tipo intra en la etapa S166, el procesamiento en la etapa S167 se realiza subsiguientemente.

En la etapa S167, la unidad 103 de decodificación del encabezamiento de la rebanada retiene el valor mínimo relacionado a la paralaje incluido en el encabezamiento de la rebanada extraído en la etapa S165, y lo proporciona a la unidad 82 de composición de punto de vista como una porción de la información de generación de punto de vista.

En la etapa S168, la unidad 103 de decodificación del encabezamiento de la rebanada retiene el valor máximo relacionado a la paralaje incluido en el encabezamiento de la rebanada extraído en la etapa S165, y lo proporciona a la unidad 82 de composición de punto de vista como una porción de la información de generación de punto de vista.

En la etapa S169, la unidad 103 de decodificación del encabezamiento de la rebanada retiene la distancia inter-cámara incluida en el encabezamiento de la rebanada extraído en la etapa S165, y la proporciona a la unidad 82 de composición de punto de vista como una porción de la información de generación de punto de vista. Posteriormente, se realiza el procesamiento en la etapa S175.

Por otra parte, cuando se determina que el tipo de la rebanada no es el tipo intra en la etapa S166, más específicamente, cuando se determina que el tipo de la rebanada es el tipo inter, se realiza el procesamiento en la etapa S170.

En la etapa S170, la unidad 103 de decodificación del encabezamiento de la rebanada suma el resultado codificado mediante codificación de diferencia del valor mínimo relacionado a la paralaje incluido en el encabezamiento de la rebanada extraído en la etapa S165 al valor mínimo relacionado a la paralaje retenido. La unidad 103 de decodificación del encabezamiento de la rebanada proporciona el valor mínimo relacionado a la paralaje restaurado mediante la operación de adición a la unidad 82 de composición de punto de vista como una parte de la información de generación de punto de vista.

En la etapa S171, la unidad 103 de decodificación del encabezamiento de la rebanada suma el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje incluido en el encabezamiento de la rebanada extraído en la etapa S165 al valor máximo relacionado a la paralaje retenido. La unidad 103 de decodificación del encabezamiento de la rebanada proporciona el valor máximo relacionado a la paralaje restaurado mediante la operación de adición a la unidad 82 de composición de punto de vista como una parte de la información de generación de punto de vista.

En la etapa S172, la unidad 103 de decodificación del encabezamiento de la rebanada suma el resultado codificado mediante codificación de diferencia de la distancia inter-cámara incluida en el encabezamiento de la rebanada extraído en la etapa S165 a la distancia inter-cámara retenida. La unidad 103 de decodificación del encabezamiento de la rebanada proporciona la distancia inter-cámara restaurada mediante la operación de adición a la unidad 82 de composición de punto de vista como una parte de la información de generación de punto de vista. Posteriormente, se realiza el procesamiento en la etapa S175.

Cuando se determina que la indicación de transmisión no es "1" que indica la presencia de transmisión en la etapa S164, es decir, se determina que la indicación de transmisión es "0" que indica la ausencia de transmisión, el procesamiento en la etapa S173 se realiza subsiguientemente.

En la etapa S173, la unidad 103 de decodificación del encabezamiento de la rebanada extrae el encabezamiento de la rebanada no incluyendo el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, y el resultado codificado mediante codificación de diferencia del valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara, a partir del flujo de bits codificado aparte del SPS y el PPS provisto a partir de la unidad 102 de decodificación de PPS.

En la etapa S174, la unidad 103 de decodificación del encabezamiento de la rebanada determina que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara que están retenidos, es decir, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada previa en el orden de codificación, son el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada del objetivo de procesamiento, por lo que se restauran el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara de la rebanada del objetivo de procesamiento. Posteriormente, la unidad 103 de decodificación del encabezamiento de la rebanada proporciona el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara así restaurados a la unidad 82 de composición de punto de vista como una porción de la información de generación de punto de vista, y procede al procesamiento en la etapa S175.

En la etapa S175, la unidad 104 de decodificación de rebanada decodifica los datos codificados en unidades de rebanadas de conformidad con el método correspondiente al método de codificación de la unidad 61 de codificación de rebanada (Figura 15) con base en el SPS, el PPS, y el encabezamiento de la rebanada provisto a partir de la unidad 103 de decodificación del encabezamiento de la rebanada. La unidad 103 de decodificación del encabezamiento de la rebanada provee a la unidad 82 de composición de punto de vista de la Figura 22 con la imagen de color corregida de múltiples puntos de vista y la imagen relacionada a la paralaje de múltiples puntos de vista obtenidas como resultado de la decodificación.

Como se describe anteriormente, el dispositivo 80 de decodificación puede decodificar el flujo de bits codificado en que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara se disponen como la información acerca de la codificación en el encabezamiento de la rebanada. Consecuentemente, por ejemplo, se puede decodificar el flujo de bits codificado en que el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara se utilizan para la codificación.

En la segunda modalidad, el valor máximo relacionado a la paralaje, el valor mínimo relacionado a la paralaje, y la distancia inter-cámara en la información de generación de punto de vista se incluyen en el encabezamiento de la rebanada, pero pueden estar descritos en el SPS, el PPS, la SEI, y similares. En la segunda modalidad, la información de generación de punto de vista también puede incluir la información de identificación de la imagen de color, la información de identificación de la imagen relacionada a la paralaje, la información de parámetro externo, la información de parámetro interno, el número de puntos de vista de las imágenes de color, la información para identificar las imágenes de color de puntos de vista adoptados como un punto de base para obtener el valor de la paralaje, el número de puntos de vista de la imagen relacionada a la paralaje, la información del tipo de imagen, y similares.

Tercera modalidad Explicación acerca de la computadora a la cual se aplica la presente técnica Subsiguientemente, la serie de procesamiento anteriormente mencionada se puede realizar ya sea mediante hardware o software. Cuando la serie de procesamiento se realiza mediante software, un programa que constituye el software se instala en una computadora de propósito general y similares .

La FIGURA 26 es una configuración ejemplar de una modalidad de una computadora a la cual se instala el programa para ejecutar la serie de procesamiento anteriormente mencionada .

El programa puede ser previamente almacenado en una unidad 808 de almacenamiento y una ROM (Memoria de Sólo Lectura) 802 que sirven como el medio de registro incorporado en la computadora.

Alternativamente, el programa se puede almacenar (registrar) a un medio 811 removible. Este medio 811 removible se puede proporcionar como el denominado software de paquete. En este caso, los ejemplos del medio 811 removible incluyen, por ejemplo, un disco flexible, una CD-ROM (memoria de sólo lectura en disco compacto) , un disco MO (Magneto-Óptico) , un DVD (Disco Versátil Digital) , un disco magnético, una memoria semiconductora, y similares.

El programa se puede instalar a la computadora desde el medio 811 removible como se describe anteriormente utilizando una unidad lógica 810. Alternativamente, el programa se puede descargar a la computadora por medio de una red de comunicación o una red de radiodifusión, y el programa se puede instalar a la unidad 808 de almacenamiento provista ahí. Más específicamente, el programa puede ser, por ejemplo, transferido desde un sitio de descarga hacia la computadora inalámbricamente por medio de un satélite artificial para la radiodifusión por satélite digital, o puede ser transferido a la computadora por medio de cable, es decir, una red tal como una LAN (Red de Área Local) y la Internet.

La computadora tiene una CPU (Unidad de Procesamiento Central) 801. La CPU 801 se conecta a una interfaz 805 de entrada/salida por medio de una barra colectora 804.

Cuando un usuario opera una unidad 806 de entrada para ingresar un comando a la CPU 801 por medio de la interfaz 805 de entrada/salida, la CPU 801 ejecuta el programa almacenado en la ROM 802 en respuesta al comando. Alternativamente, la CPU 801 carga el programa almacenado en la unidad 808 de almacenamiento a una RAM (Memoria de Acceso Aleatorio) 803, y ejecuta el programa.

De esta manera, la CPU 801 realiza el procesamiento de acuerdo con los diagramas de flujo anteriormente mencionados o el procesamiento realizado con las configuraciones en los diagramas de bloques como se describe anteriormente.

Posteriormente, según sea necesario, la CPU 801, por ejemplo, proporciona como salida el resultado del procesamiento de la misma desde una unidad 807 de salida por medio de la interfaz 805 de entrada/salida, transmite el resultado del procesamiento de la misma desde la unidad 809 de comunicación, o registra el resultado del procesamiento de la misma a la unidad 808 de almacenamiento.

La unidad 806 de entrada está constituida por un teclado, un ratón, un micrófono, y similares. La unidad 807 de salida está constituida por una LCD (Pantalla de Cristal Liquido), un altavoz, y similares.

En este caso, en esta especificación, el procesamiento realizado de acuerdo con el programa mediante la computadora puede no ser necesariamente realizado en la serie de tiempo de acuerdo con el orden descrito en los diagramas de flujo. En otras palabras, el procesamiento realizado de acuerdo con el programa mediante la computadora incluye el procesamiento ejecutado independientemente o en paralelo (por ejemplo, el procesamiento realizado con objetos o procesamiento paralelo) .

El programa se puede procesar mediante una computadora (procesador) , o se puede procesar mediante una pluralidad de computadoras como procesamiento distribuido. Adicionalmente, el programa se puede transferir a una computadora localizada lejos y puede ser ejecutado.

La presente técnica se puede aplicar a un aparato de procesamiento de imágenes utilizado para la comunicación a través de un medio de red tal como la radiodifusión de satélite, la TV (televisión) por cable, la Internet, y el teléfono portátil, o para el procesamiento en un medio de registro tal como discos ópticos, magnéticos, y memorias flash .

El aparato de procesamiento de imágenes anteriormente explicado se puede aplicar a cualquier dispositivo electrónico dado. A partir de ahora, se explicará un ejemplo del mismo. Cuarta modalidad Ejemplo de la configuración del dispositivo de televisión La Figura 27 ilustra un ejemplo de la configuración esquemática del dispositivo de televisión al cual se aplica la presente técnica. El dispositivo 900 de televisión incluye una antena 901, un sintonizador 902, un desmultiplexor 903, un decodificador 904, una unidad 905 de procesamiento de señales de video, una unidad 906 de despliegue, una unidad 907 de procesamiento de señales de audio, un altavoz 908, y una unidad 909 de interfaz externa. Adicionalmente, el dispositivo 900 de televisión incluye una unidad 910 de control y una unidad 911 de interfaz de usuario.

El sintonizador 902 sintoniza y decodifica un canal deseado de entre las señales de radiodifusión recibidas por la antena 901, y proporciona como salida el flujo de bits codificado asi obtenido al desmultiplexor 903.

El desmultiplexor 903 extrae los paquetes de video y audio de un programa, que es un objetivo de visualización, a partir del flujo de bits codificado, y proporciona como salida los datos de los paquetes extraídos al decodificador 904. El desmultiplexor 903 también proporciona los paquetes de datos tales como EPG (Guía de Programa Electrónico) a la unidad 910 de control. Cuando están aleatorizados, el desmultiplexor y similares realizan la desaleatorización.

El decodificador 904 realiza el procesamiento de decodificación de los paquetes, y proporciona como salida los datos de video generados por el procesamiento de decodificación a la unidad 905 de procesamiento de señales de video, y los datos de audio a la unidad 907 de procesamiento de señales de audio.

La unidad 905 de procesamiento de señales de video realiza la reducción de ruido y el procesamiento del video de acuerdo con los ajustes del usuario sobre los datos de video. La unidad 905 de procesamiento de señales de video genera, por ejemplo, datos de video de un programa desplegado en la unidad 906 de despliegue y datos de imagen hechos mediante el procesamiento con base en una aplicación provista por medio de una red. La unidad 905 de procesamiento de señales de video genera datos de video para desplegar una pantalla de menú y similares para permitir la selección de elementos, y superpone los datos de video sobre los datos de video del programa. La unidad 905 de procesamiento de señales de video genera una señal de accionamiento con base en los datos de video asi generados, y acciona la unidad 906 de despliegue.

La unidad 906 de despliegue despliega, por ejemplo, el video del programa, mediante el accionamiento de un dispositivo de despliegue (por ejemplo, el dispositivo de despliegue de cristal liquido y similares) con base en la señal de accionamiento provista por la unidad 905 de procesamiento de señales de video.

La unidad 907 de procesamiento de señales de audio realiza el procesamiento predeterminado tal como la reducción de ruido sobre los datos de audio, y el procesamiento de conversión D/A y el procesamiento de amplificación de los datos de audio que han sido procesados, y proporciona los datos al altavoz 908, proporcionando asi como salida el audio.

La unidad 909 de interfaz externa es una interfaz para conectar un dispositivo externo y una red, e intercambiar datos tales como los datos de video y los datos de audio.

La unidad 910 de control se conecta a la unidad 911 de interfaz de usuario. La unidad 911 de interfaz de usuario está constituida por, por ejemplo, conmutadores de operación y una unidad de recepción de señales de control remoto, y proporciona una señal de operación de acuerdo con la operación del usuario a la unidad 910 de control.

La unidad 910 de control está constituida por una CPU (Unidad de Procesamiento Central), una memoria, y similares. La memoria almacena, por ejemplo, los programas ejecutados por la CPU, diversas clases de datos requeridos cuando el procesamiento se realiza con la CPU, los datos EPG, y los datos obtenidos por medio de una red. Los programas almacenados en la memoria se leen y ejecutan por la CPU con una temporización predeterminada tal como durante la activación del dispositivo 900 de televisión. La CPU ejecuta el programa, controlando de esta manera cada unidad a fin de causar que el dispositivo 900 de televisión opere de conformidad con la operación del usuario.

El dispositivo 900 de televisión se provee con la barra colectora 912 para conectar el sintonizador 902, el desmultiplexor 903, el decodificador 904, la unidad 905 de procesamiento de señales de video, la unidad 907 de procesamiento de señales de audio, la unidad 909 de interfaz externa, y la unidad 910 de control.

En el dispositivo de televisión configurado como se describe anteriormente, el decodificador 904 se provee con una función de un aparato de procesamiento de imágenes (método de procesamiento de imágenes) de la presente solicitud. Consecuentemente, utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede generar una imagen de color de un punto de vista aparte del punto de vista predeterminado.

Quinta modalidad Ejemplo de la configuración del teléfono portátil La Figura 28 ilustra un ejemplo de la configuración esquemática del teléfono portátil al cual se aplica la presente técnica. Un teléfono 920 portátil incluye una unidad 922 de comunicación, un códec o codificador-decodificador 923 de audio, una unidad 926 de cámara, una unidad 927 de procesamiento de imágenes, un desmultiplexor 928, una unidad 929 de registro/reproducción, una unidad 930 de despliegue, y una unidad 931 de control. Éstos se conectan entre si por medio de una barra colectora 933.

La unidad 922 de comunicación se conecta a la antena 921, y el codificador-decodificador 923 de audio se conecta al altavoz 924 y al micrófono 925. Adicionalmente, la unidad 931 de control se conecta a la unidad 932 de operación.

El teléfono 920 portátil realiza diversas clases de operación tal como la transmisión y la recepción de la señal de audio, la transmisión y la recepción de los datos de correo electrónico y de imagen, la captura de imágenes, o el registro de datos, en diversas clases de modos tales como el modo de llamada telefónica de audio y el modo de comunicación de datos .

En el modo de llamada telefónica de audio, una señal de audio analógica generada por el micrófono 925, por ejemplo, se convierte en datos de audio y se comprime por el codificador- decodificador 923 de audio, y se proporciona a la unidad 922 de comunicación. La unidad 922 de comunicación realiza, por ejemplo, el procesamiento de modulación y el procesamiento de conversión de frecuencia sobre los datos de audio, y genera una señal de transmisión. La unidad 922 de comunicación proporciona la señal de transmisión a la antena 921, y transmite la señal de transmisión a una estación base, no mostrada. La unidad 922 de comunicación realiza, por ejemplo, la amplificación, el procesamiento de conversión de frecuencia y el procesamiento de amplificación sobre la señal de recepción recibida por la antena 921, y proporciona los datos de audio obtenidos al codificador-decodificador 923 de audio. El codificador-decodificador 923 de audio realiza, por ejemplo, la extensión de datos de los datos de audio y la conversión en señal de audio analógica, y proporciona como salida los datos al altavoz 924.

Cuando el correo se transmite en el modo de comunicación de datos, la unidad 931 de control recibe los datos de carácter que se ingresan mediante la operación con la unidad 932 de operación, y despliega los caracteres de entrada sobre la unidad 930 de despliegue. La unidad 931 de control también genera datos de correo con base en, por ejemplo, la instrucción del usuario con la unidad 932 de operación, y proporciona los datos de correo a la unidad 922 de comunicación. La unidad 922 de comunicación realiza, por ejemplo, el procesamiento de modulación y el procesamiento de conversión de frecuencia sobre los datos de correo, y transmite la señal de transmisión obtenida por medio de la antena 921. La unidad 922 de comunicación realiza, por ejemplo, la amplificación, el procesamiento de conversión de frecuencia y el procesamiento de amplificación sobre la señal de recepción recibida por la antena 921, y restaura los datos de correo. Los datos de correo se proporcionan a la unidad 930 de despliegue, y se despliega el contenido del correo.

El teléfono 920 portátil también puede almacenar los datos de correo recibidos a un medio de almacenamiento utilizando la unidad 929 de registro/reproducción. El medio de almacenamiento puede ser cualquier medio de almacenamiento reescribible dado. Por ejemplo, el medio de almacenamiento puede ser una memoria semiconductora tal como la RAM y la memoria interna flash, un disco duro, o un medio removible tal como un disco magnético, un disco magneto-óptico, un disco óptico, una memoria USB, o una tarjeta de memoria.

Cuando los datos de imagen se transmiten en el modo de comunicación de datos, los datos de imagen generados por la unidad 926 de cámara se proporcionan a la unidad 927 de procesamiento de imágenes. La unidad 927 de procesamiento de imágenes realiza el procesamiento de codificación de los datos de imagen y genera datos codificados.

El desmultiplexor 928 multiplexa los datos codificados generados por la unidad 927 de procesamiento de imágenes y los datos de audio provistos a partir del codificador-decodificador 923 de audio de conformidad con el método predeterminado, y proporciona los datos a la unidad 922 de comunicación. La unidad 922 de comunicación realiza, por ejemplo, el procesamiento de modulación y el procesamiento de conversión de frecuencia sobre los datos multiplexados , y transmite la señal de transmisión obtenida por medio de la antena 921. La unidad 922 de comunicación realiza, por ejemplo, la amplificación, el procesamiento de conversión de frecuencia y el procesamiento de amplificación sobre la señal de recepción recibida por la antena 921, y restaura los datos multiplexados. Los datos multiplexados se proporcionan al desmultiplexor 928. El desmultiplexor 928 separa los datos multiplexados, y proporciona los datos codificados a la unidad 927 de procesamiento de imágenes, y los datos de audio al codificador-decodificador 923 de audio. La unidad 927 de procesamiento de imágenes realiza el procesamiento de decodificación de los datos codificados y genera datos de imagen. Los datos de imagen se proporcionan a la unidad 930 de despliegue, y se despliega la imagen recibida. El codificador-decodificador 923 de audio convierte los datos de audio en una señal de audio analógica, y proporciona la señal de audio analógica al altavoz 924 a fin de proporcionar como salida el audio recibido.

En el teléfono portátil configurado como se describe anteriormente, la unidad 927 de procesamiento de imágenes se provee con una función de un aparato de procesamiento de imágenes (método de procesamiento de imágenes) de la presente solicitud. Consecuentemente, utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede transmitir la información requerida para generar una imagen de color de un punto de vista aparte del punto de vista predeterminado. Utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede generar una imagen de color de un punto de vista aparte del punto de vista predeterminado.

Sexta modalidad Ejemplo de la configuración del dispositivo de registro/reproducción La Figura 29 ilustra un ejemplo de la configuración esquemática del dispositivo de registro/reproducción al cual se aplica la presente técnica. Por ejemplo, un dispositivo 940 de registro/reproducción registra los datos de audio y los datos de video del programa de radiodifusión recibido a un medio de registro, y provee a un usuario con los datos registrados con la temporización de acuerdo con la instrucción de usuario. Por ejemplo, el dispositivo 940 de registro/reproducción puede obtener los datos de audio y los datos de video a partir de otro dispositivo, y puede registrarlos al medio de registro. Adicionalmente, el dispositivo 940 de registro/reproducción decodifica y proporciona como salida los datos de audio y los datos de video registrados en el medio de registro, permitiendo de esta manera el despliegue de la imagen y la salida del audio con el dispositivo de monitor y similares.

El dispositivo 940 de registro/reproducción incluye un sintonizador 941, una unidad 942 de interfaz externa, un codificador 943, una unidad 944 HDD (Unidad de Disco Duro) , una unidad 945 de disco, un selector 946, un decodificador 947, una unidad 948 OSD (Despliegue Sobre Pantalla), una unidad 949 de control, y una unidad 950 de interfaz de usuario.

El sintonizador 941 sintoniza un canal deseado a partir de las señales de radiodifusión recibidas por medio de una antena, no mostrada. El sintonizador 941 proporciona como salida, al selector 946, un flujo de bits codificado obtenido mediante la amplificación de la señal de recepción del canal deseado .

La unidad 942 de interfaz externa puede estar constituida por, por ejemplo, cualquiera de una interfaz IEEE1394, una unidad de interfaz de red, una interfaz USB, una interfaz de memoria flash, y similares. La unidad 942 de interfaz externa es una interfaz para conectarse a un dispositivo externo, una red, una tarjeta de memoria, y similares, y recibe los datos tales como los datos de video, los datos de audio, y similares asi registrados.

El codificador 943 realiza la codificación de acuerdo con un método predeterminado cuando los datos de video y los datos de audio provistos a partir de la unidad 942 de interfaz externa no están codificados, y proporciona como salida el flujo de bits codificado al selector 946.

La unidad 944 HDD registra los datos de contenido tales como el video y el audio, otros datos de diversas clases de programas, y similares a un disco duro interno, y los lee a partir del disco duro durante la reproducción y similares.

La unidad 945 de disco registra y reproduce la señal hacia/desde un disco óptico cargado. Por ejemplo, el disco óptico es un disco DVD (DVD de video, DVD-RAM, DVD-R, DVD-R , DVD+R, DVD+RW y similares), un disco Blu-Ray, y similares.

Durante el registro del video y el audio, el selector 946 selecciona un flujo de bits codificado a partir de cualquiera del sintonizador 941 y el codificador 943, y lo proporciona a cualquiera de la unidad 944 HDD y la unidad 945 de disco. Durante la reproducción del video y el audio, el selector 946 provee al decodificador 947 con el flujo de bits codificado que se proporciona como salida a partir de la unidad 944 HDD o la unidad 945 de disco.

El decodificador 947 realiza el procesamiento de decodificación del flujo de bits codificado. El decodificador 947 realiza el procesamiento de decodificación, proporcionando por consiguiente los datos de video generados a la unidad 948 OSD. El decodificador 947 realiza el procesamiento de decodificación, proporcionando como salida por consiguiente los datos de audio generados.

La unidad 948 OSD genera los datos de video para desplegar la pantalla de menú y similares tales como la selección de elementos, y los superpone y los proporciona como salida en los datos de video que se proporcionan como salida a partir del decodificador 947.

La unidad 949 de control se conecta a la unidad 950 de interfaz de usuario. La unidad 950 de interfaz de usuario está constituida por, por ejemplo, conmutadores de operación y una unidad de recepción de señales de control remoto, y proporciona una señal de operación de acuerdo con la operación del usuario a la unidad 949 de control.

La unidad 949 de control está constituida por una CPU, una memoria, y similares. La memoria almacena, por ejemplo, los programas ejecutados por la CPU, diversas clases de datos requeridos cuando el procesamiento se realiza con la CPU. Los programas almacenados en la memoria se leen y ejecutan por la CPU con la temporización predeterminada tal como durante la activación del dispositivo 940 de registro/reproducción. La CPU ejecuta el programa, controlando de esta manera cada unidad a fin de causar que el dispositivo 940 de registro/reproducción opere de conformidad con la operación del usuario.

En el dispositivo de registro/reproducción configurado como se describe anteriormente, el decodificador 947 se provee con una función de un aparato de procesamiento de imágenes (método de procesamiento de imágenes) de la presente solicitud. Consecuentemente, utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede generar una imagen de color de un punto de vista aparte del punto de vista predeterminado.

Séptima modalidad Ejemplo de la conf guración del dispositivo de captura de imágenes La Figura 30 ilustra un ejemplo de la configuración esquemática del dispositivo de captura de imágenes al cual se aplica la presente técnica. Un dispositivo 960 de captura de imágenes captura una imagen de un sujeto, despliega la imagen del sujeto en la unidad de despliegue, y registra los datos de imagen a un medio de registro.

El dispositivo 960 de captura de imágenes incluye un bloque 961 óptico, una unidad 962 de captura de imágenes, una unidad 963 de procesamiento de señales de la cámara, una unidad 964 de procesamiento de datos de imagen, una unidad 965 de despliegue, una unidad 966 de interfaz externa, una unidad 967 de memoria, una unidad 968 de medios, una unidad 969 OSD, y una unidad 970 de control. La unidad 970 de control se conecta a una unidad 971 de interfaz de usuario. Adicionalmente, la unidad 964 de procesamiento de datos de imagen, la unidad 966 de interfaz externa, la unidad 967 de memoria, la unidad 968 de medios, la unidad 969 OSD, la unidad 970 de control, y similares se conectan por medio de la barra colectora 972.

El bloque 961 óptico incluye, por ejemplo, un lente de enfoque y un mecanismo de diafragma. El bloque 961 óptico causa que una imagen óptica de un sujeto se forme en una superficie de captura de imagen de la unidad 962 de captura de imágenes. La unidad 962 de captura de imágenes incluye un CCD o un detector de imagen CMOS, y genera una señal eléctrica de acuerdo con una imagen óptica mediante conversión fotoeléctrica, y proporciona la señal eléctrica a la unidad 963 de procesamiento de señales de la cámara.

La unidad 963 de procesamiento de señales realiza diversas clases de procesamiento de las señales de la cámara tales como la corrección de rodilla, corrección de gamma, y corrección de color sobre la señal eléctrica provista por la unidad 962 de captura de imágenes. La unidad 963 de procesamiento de señales de la cámara provee a la unidad 964 de procesamiento de datos de imagen con datos de imagen que han sido sometidos al procesamiento de señales de la cámara.

La unidad 964 de procesamiento de datos de imagen realiza el procesamiento de codificación sobre los datos de imagen provistos a partir de la unidad 963 de procesamiento de señales de la cámara. La unidad 964 de procesamiento de datos de imagen, la unidad 966 de interfaz externa y la unidad 968 de medios con los datos codificados generados realizando el procesamiento de codificación. La unidad 964 de procesamiento de datos de imagen realiza el procesamiento de decodificación sobre los datos codificados provistos por la unidad 966 de interfaz externa y la unidad 968 de medios. La unidad 964 de procesamiento de datos de imagen provee a la unidad 965 de despliegue con los datos de imagen generados realizando el procesamiento de decodificación. La unidad 964 de procesamiento de datos de imagen realiza el procesamiento para proveer a la unidad 965 de despliegue con los datos de imagen provistos a partir de la unidad 963 de procesamiento de señales de la cámara, y superpone los datos de despliegue obtenidos a partir de la unidad 969 OSD sobre los datos de imagen y proporciona los datos a la unidad 965 de despliegue.

La unidad 969 OSD genera los datos de despliegue tales como la pantalla de menú y los iconos que incluyen símbolos, caracteres, o figuras, y proporciona como salida los datos de despliegue a la unidad 964 de procesamiento de datos de imagen .

La unidad 966 de interfaz externa está constituida por, por ejemplo, una terminal de entrada/salida USB, y cuando se imprime la imagen, se conecta a una impresora. La unidad 966 de interfaz externa también se conecta a una unidad lógica según sea necesario, y se carga un medio removible tal como un disco magnético, un disco óptico, o similares según sea necesario, y se instala un programa de computadora leído a partir del mismo según sea necesario. Adicionalmente, la unidad 966 de interfaz externa incluye una interfaz de red conectada a una red predeterminada tal como una LAN o la Internet. Por ejemplo, la unidad 970 de control lee los datos codificados a partir de la unidad 967 de memoria de conformidad con un comando de la unidad 971 de interfaz de usuario, y puede proporcionar los datos a otro dispositivo conectado por medio de la red a partir de la unidad 966 de interfaz externa. La unidad 970 de control obtiene, por medio de la unidad 966 de interfaz externa, los datos codificados y los datos de imagen provistos desde otro dispositivo por medio de la red, y puede proporcionar los datos a la unidad 964 de procesamiento de datos de imagen, por ejemplo.

El medio de registro accionado por la unidad 968 de medios puede ser cualquier medio removible dado que pueda ser leído y escrito, tal como un disco magnético, un disco magnético óptico, un disco óptico, o una memoria semiconductora. El medio de registro puede ser de cualquier tipo como un medio removible, y puede ser un dispositivo de cinta, o un disco, o una tarjeta de memoria. Se debe tener en cuenta que puede ser una tarjeta IC que no es de contacto y similares .

La unidad 968 de medios y el medio de registro pueden estar integrados, y similares, por ejemplo, una unidad de disco duro interno y una SSD (Unidad de Estado Sólido) , la unidad 968 de medios y el medio de registro pueden estar configurados por un medio de almacenamiento no movible.

La unidad 970 de control está constituida por una CPU, una memoria, y similares. La memoria almacena, por ejemplo, los programas ejecutados por la CPU, diversas clases de datos requeridos cuando el procesamiento se realiza con la CPU. Los programas almacenados en la memoria se leen y ejecutan por la CPU con una temporización predeterminada tal como durante la activación del dispositivo 960 de captura de imágenes. La CPU ejecuta el programa, controlando de esta manera cada unidad a fin de causar que el dispositivo 960 de captura de imágenes opere de conformidad con la operación del usuario.

En el dispositivo de captura de imágenes configurado como se describe anteriormente, la unidad 964 de procesamiento de datos de imagen se provee con una función de un aparato de procesamiento de imágenes (método de procesamiento de imágenes) de la presente solicitud. Consecuentemente, utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede transmitir la información requerida para generar una imagen de color de un punto de vista aparte del punto de vista predeterminado. Utilizando la imagen de color del punto de vista predeterminado y la imagen relacionada a la paralaje, se puede generar una imagen de color de un punto de vista aparte del punto de vista predeterminado.

Más específicamente, las modalidades de la presente técnica no están limitadas a las modalidades explicadas anteriormente, y se pueden cambiar en diversas maneras en tanto estén dentro de la esencia de la presente técnica.

Se debe tener en cuenta que la presente técnica se puede configurar como sigue. (1) Un aparato de procesamiento de imágenes que incluye una unidad de codificación para generar un flujo de bits mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista; una unidad de generación para generar la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; y una unidad de transmisión para transmitir el flujo de bits generado por la unidad de codificación y la información de generación de punto de vista generada por la unidad de generación. (2) El aparato de procesamiento de imágenes según se describe en (1), en donde la unidad de transmisión transmite la información de generación de punto de vista como un parámetro de codificación utilizado para la codificación o la decodificación. (3) El aparato de procesamiento de imágenes según se describe en (1) o (2), en donde la unidad de transmisión transmite la diferencia entre la información de generación de punto de vista de la imagen de profundidad y la información de generación de punto de vista de una imagen de profundidad localizada antes de la imagen de profundidad en el orden de codificación . (4) El aparato de procesamiento de imágenes según se describe en (3) , en donde cuando la rebanada del flujo de bits es una rebanada intra, la unidad de transmisión transmite la información de generación de punto de vista de la rebanada, y cuando la rebanada es una rebanada inter, la unidad de transmisión transmite la diferencia de la rebanada. (5) El aparato de procesamiento de imágenes según se describe en (3) o (4) adicionalmente incluye una unidad de establecimiento para establecer la información de identificación de diferencia para identificar la presencia/ausencia de la diferencia, en donde la unidad de transmisión transmite la información de identificación de diferencia que se establece por la unidad de establecimiento. (6) El aparato de procesamiento de imágenes según se describe en (5), en donde la unidad de transmisión transmite la información de identificación de diferencia establecida por la unidad de establecimiento de tal manera que la información de identificación de diferencia se incluye en el PPS (Conjunto de Parámetros de Fotograma) del flujo de bits. (7) El aparato de procesamiento de imágenes según se describe en cualquiera de (1) a (6), en donde la unidad de generación genera, como la información de generación de punto de vista, la información para identificar la imagen de color o la información para identificar la imagen de profundidad. (8) El aparato de procesamiento de imágenes según se describe en cualquiera de (1) a (7), en donde la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, o una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la unidad de generación genera, como la información de generación de punto de vista, la información de identificación de la imagen de profundidad que indica si la imagen de profundidad es la imagen en forma de profundidad o la imagen de la paralaje. (9) El aparato de procesamiento de imágenes según se describe en (8), en donde cuando la imagen de profundidad es la imagen en forma de profundidad, la unidad de generación genera, como la información de generación de punto de vista, la información que indica un valor mínimo y un valor máximo del valor de la coordenada mundial en una posición en la dirección de profundidad que puede ocurrir en la imagen de profundidad, y cuando la imagen de profundidad es la imagen de la paralaje, la unidad de generación genera, como la información de generación de punto de vista, la información que indica un valor mínimo y un valor máximo de la paralaje, en la coordenada mundial, en una posición que puede ocurrir en la imagen de la paralaje, y la información para identificar una imagen de color del punto de base. (10) El aparato de procesamiento de imágenes según se describe en cualquiera de (1) a (8), en donde la unidad de generación genera, como la información de generación de punto de vista, un valor mínimo de profundidad que representa el valor mínimo que ocurriría como un valor de pixel de la imagen de profundidad, un valor máximo de profundidad que representa el valor máximo que ocurriría como un valor de pixel de la imagen de profundidad, y una distancia de la posición de captura de imagen que es una distancia entre las posiciones de captura de imagen de múltiples imágenes de color correspondientes a la imagen de profundidad, y la unidad de transmisión transmite la información de generación de punto de vista como un encabezamiento de la rebanada del flujo de bits. (11) Un método de procesamiento de imágenes para un aparato de procesamiento de imágenes, que incluye una etapa de codificación para generar un flujo de bits mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista, una etapa de generación para generar la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, y una etapa de transmisión para transmitir el flujo de bits generado en el procesamiento de la etapa de codificación y la información de generación de punto de vista generada en el procesamiento de la etapa de generación. (12) Un aparato de procesamiento de imágenes que incluye una unidad de recepción para recibir un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, una unidad de decodificación para generar la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido por la unidad de recepción, y una unidad de generación para generar la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad generadas por la unidad de decodificación y la información de generación de punto de vista recibida por la unidad de recepción. (13) El aparato de procesamiento de imágenes según se describe en (12), en donde la unidad de recepción recibe la información de generación de punto de vista como un parámetro de codificación utilizado para la codificación o la decodificación. (14) El aparato de procesamiento de imágenes según se describe en (12) o (13), en donde la unidad de recepción recibe la diferencia entre la información de generación de punto de vista de la imagen de profundidad y la información de generación de punto de vista de una imagen de profundidad localizada antes de la imagen de profundidad en el orden de codificación, la unidad de generación restaura la información de generación de punto de vista de la imagen de profundidad correspondiente a la diferencia utilizando la diferencia y la información de generación de punto de vista de la imagen de profundidad localizada, en el orden de codificación, antes de la imagen de profundidad correspondiente a la diferencia, que se reciben por la unidad de recepción, y realiza el procesamiento de deformación utilizando la información de generación de punto de vista restaurada, la imagen de color, y la imagen de profundidad, generando de esta manera la imagen de color del punto de vista de despliegue. (15) El aparato de procesamiento de imágenes según se describe en (14), en donde cuando la rebanada del flujo de bits es una rebanada intra, la unidad de recepción recibe la información de generación de punto de vista de la rebanada, y cuando la rebanada es una rebanada ínter, la unidad de recepción recibe la diferencia de la rebanada. (16) El aparato de procesamiento de imágenes según se describe en (14) o (15), en donde la unidad de recepción recibe la información de identificación de diferencia para identificar la presencia/ausencia de la diferencia, y la unidad de generación restaura la información de generación de punto de vista con base en la información de identificación de diferencia recibida por la unidad de recepción. (17) El aparato de procesamiento de imágenes según se describe en (16), en donde la unidad de recepción recibe la información de identificación de diferencia incluida en el PPS (Conjunto de Parámetros de Fotograma) del flujo de bits. (18) El aparato de procesamiento de imágenes según se describe en cualquiera de (12) a (17), en donde la unidad de recepción recibe, como la información de generación de punto de vista, la información para identificar la imagen de color o la información para identificar la imagen de profundidad, y la unidad de generación identifica la imagen de color y la imagen de profundidad recibidas por la unidad de recepción con base en la información de generación de punto de vista, realiza el procesamiento de deformación sobre la imagen de profundidad, y genera la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación sobre la imagen de color utilizando la imagen de profundidad del punto de vista de despliegue que se ha sometido al procesamiento de deformación. (19) El aparato de procesamiento de imágenes según se describe en cualquiera de (12) a (18), en donde la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, o una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la unidad de recepción recibe, como la información de generación de punto de vista, la información que indica si la imagen de profundidad es una imagen en forma de profundidad o una imagen de la paralaje. (20) El aparato de procesamiento de imágenes según se describe en (19), en donde cuando la imagen de profundidad es la imagen en forma de profundidad, la unidad de recepción recibe, como la información de generación de punto de vista, la información que indica un valor mínimo y un valor máximo del valor de la coordenada mundial en una posición en la dirección de profundidad que puede ocurrir en la imagen de profundidad, y cuando la imagen de profundidad es la imagen de la paralaje, la unidad de recepción recibe la información que indica un valor mínimo y un valor máximo de la paralaje, en la coordenada mundial, en una posición que puede ocurrir en la imagen de la paralaje, y la información para identificar una imagen de color del punto de base. (21) El aparato de procesamiento de imágenes según se describe en cualquiera de (12) a (19), en donde la unidad de recepción recibe, como un encabezamiento de la rebanada del flujo de bits, la información de generación de punto de vista que incluye un valor mínimo de profundidad que representa el valor mínimo que ocurriría como un valor de pixel de la imagen de profundidad, un valor máximo de profundidad que representa el valor máximo que ocurriría como un valor de pixel de la imagen de profundidad, y una distancia de la posición de captura de imagen que es una distancia entre las posiciones de captura de imagen de múltiples imágenes de color correspondientes a la imagen de profundidad. (22) Un método de procesamiento de imágenes para un aparato de procesamiento de imágenes, que incluye una etapa de recepción para recibir un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad, una etapa de decodificación para generar la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido en el procesamiento de la etapa de recepción, y una etapa de generación para generar la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad generadas en el procesamiento de la etapa de decodificación y la información de generación de punto de vista recibida en el procesamiento de la unidad de recepción. LISTA DE SÍMBOLOS DE REFERENCIA 10 dispositivo de codificación, 14 unidad de generación de información de generación de punto de vista, 15 unidad de codificación de imágenes de múltiples puntos de vista, 30 dispositivo de decodificación, 31 unidad de decodificación de imágenes de múltiples puntos de vista, 32 unidad de composición de punto de vista

Claims

REIVINDICACIONES

1. Un aparato de procesamiento de imágenes caracterizado en que comprende: una unidad de codificación para generar un flujo de bits mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista; una unidad de generación para generar la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; y una unidad de transmisión para transmitir el flujo de bits generado por la unidad de codificación y la información de generación de punto de vista generada por la unidad de generación .

2. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la unidad de transmisión transmite la información de generación de punto de vista como información auxiliar del flujo de bits.

3. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la unidad de transmisión transmite la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) del flujo de bits.

4. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la unidad de generación genera, como la información de generación de punto de vista, la información para identificar la imagen de color o la información para identificar la imagen de profundidad.

5. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la imagen de profundidad es una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la unidad de generación genera, como la información de generación de punto de vista, la información del valor mínimo de la paralaje que indica un valor mínimo del valor de la paralaje de la imagen de la paralaje y la información del valor máximo de la paralaje que indica un valor máximo del valor de la paralaje de la imagen de la paralaje, y la unidad de transmisión transmite la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

6. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, la unidad de generación genera, como la información de generación de punto de vista, la información del valor mínimo hacia la profundidad que indica un valor mínimo de un valor de pixel de la imagen de profundidad y la información del valor máximo hacia la profundidad que indica un valor máximo del valor de pixel de la imagen de profundidad, y la unidad de transmisión transmite la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

7. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, o una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la unidad de generación genera, como la información de generación de punto de vista, la información de identificación de la imagen de profundidad que indica si la imagen de profundidad es la imagen en forma de profundidad o la imagen de la paralaje.

8. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 7, caracterizado en que cuando la imagen de profundidad es la imagen en forma de profundidad, la unidad de generación genera, como la información de generación de punto de vista, la información del valor mínimo hacia la profundidad que indica un valor mínimo del valor de la coordenada mundial en una posición en la dirección de profundidad en la imagen en forma de profundidad y la información del valor máximo hacia la profundidad que indica un valor máximo del valor de la coordenada mundial en una posición en la dirección de profundidad en la imagen en forma de profundidad, y cuando la imagen de profundidad es la imagen de la paralaje, la unidad de generación genera, como la información de generación de punto de vista, la información del valor mínimo de la paralaje que indica un valor mínimo de la distancia del valor de la coordenada mundial en la imagen de la paralaje y la información del valor máximo de la paralaje que indica un valor máximo de la distancia del valor de la coordenada mundial en la imagen de la paralaje.

9. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la unidad de generación genera, como la información de ¦generación de punto de vista, la información del valor mínimo de profundidad que indica un valor mínimo de un valor de pixel en la imagen de profundidad, la información del valor máximo de profundidad que indica un valor máximo de un valor de pixel en la imagen de profundidad, y la información de la distancia de la posición de captura de imagen que indica una distancia entre las posiciones de captura de imagen de las imágenes de color correspondientes a las imágenes de profundidad, la unidad de transmisión transmite la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

10. Un método de procesamiento de imágenes para un aparato de procesamiento de imágenes, caracterizado en que comprende : una etapa de codificación para generar un flujo de bits mediante la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista; una etapa de generación para generar la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue, de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; y una etapa de transmisión para transmitir el flujo de bits generado en el procesamiento de la etapa de codificación y la información de generación de punto de vista generada en el procesamiento de la etapa de generación.

11. Un aparato de procesamiento de imágenes caracterizado en que comprende: una unidad de recepción para recibir un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; una unidad de decodificación para generar la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido por la unidad de recepción; y una unidad de generación para generar la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad generadas por la unidad de decodificación y la información de generación de punto de vista recibida por la unidad de recepción.

12. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 11, caracterizado en que la unidad de recepción recibe la información de generación de punto de vista como información auxiliar del flujo de bits.

13. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 11, caracterizado en que la unidad de recepción recibe la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

14. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 11, caracterizado en que la unidad de recepción recibe, como la información de generación de punto de vista, la información para identificar la imagen de color o la información para identificar la imagen de profundidad, y la unidad de generación identifica la imagen de color y la imagen de profundidad recibidas por la unidad de recepción con base en la información de generación de punto de vista, realiza el procesamiento de deformación sobre la imagen de profundidad, y genera la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación sobre la imagen de color utilizando la imagen de profundidad del punto de vista de despliegue que se ha sometido al procesamiento de deformación .

15. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 11, caracterizado en que la imagen de profundidad es una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la información de generación de punto de vista incluye la información del valor mínimo de la paralaje que indica un valor mínimo del valor de la paralaje de la imagen de la paralaje y la información del valor máximo de la paralaje que indica un valor máximo del valor de la paralaje de la imagen de la paralaje, y la unidad de recepción recibe la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

16. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, la información de generación de punto de vista incluye la información del valor mínimo hacia la profundidad que indica un valor mínimo de un valor de pixel de la imagen de profundidad y la información del valor máximo hacia la profundidad que indica un valor máximo del valor de pixel de la imagen de profundidad, y la unidad de recepción recibe la información de generación de punto de vista como SEI (Información de Mejora Suplementaria) .

17. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 1, caracterizado en que la imagen de profundidad es una imagen en forma de profundidad que incluye un valor de profundidad que representa una posición de un sujeto en una dirección de profundidad en cada pixel de la imagen de color, o una imagen de la paralaje que incluye un valor de la paralaje que representa una distancia entre cada pixel de la imagen de color y un pixel de una imagen de color en un punto de base correspondiente al pixel, y la unidad de recepción recibe, como la información de generación de punto de vista, la información de identificación de la imagen de profundidad que indica si la imagen de profundidad es la imagen en forma de profundidad o la imagen de la paralaje.

18. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 17, caracterizado en que cuando la imagen de profundidad es la imagen en forma de profundidad, la unidad de recepción recibe, como la información de generación de punto de vista, la información del valor minimo hacia la profundidad que indica un valor minimo del valor de la coordenada mundial en una posición en la dirección de profundidad en la imagen en forma de profundidad y la información del valor máximo hacia la profundidad que indica un valor máximo del valor de la coordenada mundial en una posición en la dirección de profundidad en la imagen en forma de profundidad, y cuando la imagen de profundidad es la imagen de la paralaje, la unidad de recepción recibe, como la información de generación de punto de vista, la información del valor mínimo de la paralaje que indica un valor mínimo de la distancia del valor de la coordenada mundial en la imagen de la paralaje y la información del valor máximo de la paralaje que indica un valor máximo de la distancia del valor de la coordenada mundial en la imagen de la paralaje.

19. El aparato de procesamiento de imágenes de acuerdo con la reivindicación 11, caracterizado en que la unidad de recepción recibe, como SEI (Información de Mejora Suplementaria) , la información de generación de punto de vista que incluye la información del valor mínimo de profundidad que indica un valor mínimo de un valor de pixel en la imagen de profundidad, la información del valor máximo de profundidad que indica un valor máximo de un valor de pixel en la imagen de profundidad, y la información de la distancia de la posición de captura de imagen que indica una distancia entre las posiciones de captura de imagen de las imágenes de color correspondientes a las imágenes de profundidad.

20. Un método de procesamiento de imágenes para un aparato de procesamiento de imágenes, caracterizado en que comprende: una etapa de recepción para recibir un flujo de bits obtenido como resultado de la codificación de una imagen de color de un punto de vista y una imagen de profundidad del punto de vista y la información de generación de punto de vista utilizada para generar una imagen de color de un punto de vista de despliegue que se genera de conformidad con un método de generación de la imagen de color del punto de vista de despliegue obtenida realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad; una etapa de decodificación para generar la imagen de color y la imagen de profundidad mediante la decodificación del flujo de bits recibido en el procesamiento de la etapa de recepción; y una etapa de generación para generar la imagen de color del punto de vista de despliegue realizando el procesamiento de deformación utilizando la imagen de color y la imagen de profundidad generadas en el procesamiento de la etapa de decodificación y la información de generación de punto de vista recibida en el procesamiento de la etapa de recepción.