BR112012007892B1 - Método para codificação de imagem, método para decodificação de imagem, aparelho para codificação de imagem e aparelho para decodificação de imagem - Google Patents

Abstract

método para codificação de imagem, método para decodificação de imagem, aparelho para codificação de imagem e aparelho para decodificação de imagem. a presente invenção refere-se a um método de codificação de imagem para manipular adequadamente um formato de vídeo 30 que inclui uma camada básica e uma camada de melhoria que inclui uma camada de vídeo e uma camada de sistema. a camada de vídeo inclui uma etapa (81801) de codificar uma imagem para gerar um fluxo codificado. a camada de sistema inclui uma etapa (81802) de multiplexar o fluxo codificado e um identificador para gerar um fluxo de sistema, o identificador indicando se a imagem tem ou não um formato de esquerda e direita misturados que inclui uma camada básica e uma camada de melhoria e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro. na etapa de codificação (81801), a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro é codificada para gerar o fluxo codificado, quando a imagem tem o formato de esquerda e direita misturados.

Description

CAMPO DA TÉCNICA

A presente invenção refere-se a um método para codificação de imagem que inclui: uma camada de vídeo para gerar um fluxo codificado codificando uma imagem composta de uma ou mais imagens; e uma camada de sistema para gerar um fluxo de sistema para transmitir ou armazenar o fluxo codificado.

ANTECEDENTES DA TÉCNICA

A recomendação H.264 do ITU-T (Setor de Padronização de Telecomunicação da União de Telecomunicação Internacional) tem uma extensão do padrão chamado Codificação de Vídeo Escalável (SVC) para obter escalabilidade espacial e escalabilidade temporal.

A SVC garante escalabilidade através de uma pluralidade de camadas que inclui uma camada básica, uma camada de melhoria, e assim por diante. Por exemplo, uma imagem de baixa resolução é obtida a partir da camada básica, e uma imagem de alta resolução é obtida a partir da camada de melhoria.

Na SVC, escalabilidade espacial significa escalabilidade na resolução da imagem, tamanho da imagem, ou algo semelhante, enquanto que escalabilidade temporal significa escalabilidade na taxa de quadros ou algo semelhante. Gerenciamento dos mesmos em uma pluralidade de níveis obtém uma qualidade graduada.

A recomendação H.264 da ITU-T também tem um padrão de extensão chamado Codificação de Vídeo Multivisão (MVC) que permite codificação de codificação eficiente de uma pluralidade de imagens para uma pluralidade de visualizações.

Em MVC, uma pluralidade de imagens para uma pluralidade de visualizações que inclui uma visualização básica (também referenciada como uma visualização independente) e uma visualização não básica (também referenciada como uma visualização dependente) são codificadas. A codificação pode ser executada usando predição inter-visualização. Por exemplo, uma imagem de visualização não básica é codificada usando uma imagem de visualização básica como uma imagem preditiva. Isto melhora a eficiência da codificação.

As Literaturas Não de Patente (LNP) 1 a 5 descrevem padrões para identificar os padrões de extensão mencionados acima em Sistemas MPEG-2 para codificar imagens e áudio.

LISTA DE CITAÇÕES Literatura Não de Patente

LNP 1 - ITU-T Rec. H.222.0 | ISO/IEC 13818-1

LNP 2 - ISO/IEC 13818-1: 2007/Amd 4: 2009

LNP 3 - Recomendação H.222.0 (2006) Emenda 4 (12/09) "Transporte de vídeo multivisão sobre ITU-T Rec. H.222.0 | ISO/IEC 13818- 1"

LNP 4 - ISO/IEC 13818-1: 2007/Amd 3: 2009

LNP 5 - Recomendação H.222.0 (2006) Emenda 3 (03/09) "Transporte de vídeo escalável sobre ITU-T Rec. H.222.0 | ISO/IEC 13818- 1"

SUMÁRIO DA INVENÇÃO Problema Técnico

Entretanto, o SVC convencional carece de especificações para manipulação de imagens 3D, e portanto não pode manipular imagens 3D. O MVC convencional pode manipular imagens 3D, mas não pode manipular imagens 3D em resoluções diferentes. Por exemplo, existe um formato de vídeo chamado SBS (Lado a Lado) que divide uma área de imagem em duas áreas de esquerda e direita e dispõe uma imagem para o olho esquerdo na área esquerda e uma imagem para o olho direito na área direita. Em SBS, uma resolução de cada lado é metade de uma resolução normal. Em detalhes, em um ambiente de HD Pleno com uma resolução de 1920 pixels x 1080 pixels, cada lado no SBS tem metade da resolução de HD Pleno.

O SVC convencional e o MVC convencional não têm função de codificar uma imagem usando o formato de vídeo SBS de modo que a camada básica fornece metade da resolução de HD Pleno e a camada de melhoria fornece a resolução de HD Pleno.

Supondo que uma imagem é codificada no formato de vídeo SBS de acordo com o MVC convencional ou o SVC convencional. É difícil de distinguir um fluxo de bit obtido usando SBS e um fluxo de bit obtido sem usar SBS, um do outro. Em mais detalhes, é difícil determinar a diferença entre os formatos de vídeo, em uma camada de sistema em LNP 1 (ITU-T Rec. H.222.0 | ISO/IEC 13818-1) e assim por diante. Um aparelho de decodificação de imagem precisa de uma estrutura complexa para determinar esta diferença.

Em vista disso, a presente invenção tem um objetivo de fornecer um método de codificação de imagem e um método de decodificação de i- magem que possa manipular adequadamente um formato de vídeo 3D que inclui uma camada básica e uma camada de melhoria.

Solução para o Problema

Para resolver o problema exposto, um método de codificação de imagem de acordo com a presente invenção é um método de codificação de imagem que inclui: uma camada de vídeo para gerar um fluxo codificado codificando uma imagem composta de uma ou mais imagens; e uma camada de sistema para gerar um fluxo de sistema para transmitir ou armazenar o fluxo codificado, a camada de vídeo que inclui codificar a imagem para gerar o fluxo codificado, e a camada de sistema que inclui multiplexar o fluxo codificado gerado na codificação e um identificador para gerar o fluxo de sistema, em que o identificador indica se um formato da imagem é ou não um formato de esquerda e direita misturados que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, em que a codificação inclui, no caso onde o formato da imagem é o formato de esquerda e direita misturados, codificar a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro, para gerar o fluxo codificado.

Portanto, o método de codificação de imagem de acordo com a presente invenção pode gerar o fluxo de sistema que permite determinação na camada de sistema no lado de decodificação se a imagem tem ou não o formato de esquerda e direita misturados. O método de codificação de imagem de acordo com a presente invenção pode deste modo manipular ade-quadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Além disso, a camada de sistema pode ser em conformidade com Sistemas MPEG-2, em que a camada de vídeo está em conformidade com um esquema de codificação de vídeo multivisão, a codificação inclui codificar a imagem de acordo com o esquema de codificação de vídeo multivisão para gerar o fluxo codificado, e a multiplexação inclui inserir o identificador em um descritor para o esquema de codificação de vídeo multivisão, e multiplexar o fluxo codificado e o descritor que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com o esquema de codificação de vídeo multivisão, e o identificador é inserido no descritor para o esquema de codificação de vídeo multivisão. O método de codificação de imagem de acordo com a presente invenção pode deste modo gerar o fluxo de sistema adequado usando o descritor.

Além disso, a camada de vídeo pode ser em conformidade com H.264 MVC, em que o descritor para o esquema de codificação de vídeo multivisão é um descritor MVC para H.264 MVC, a codificação inclui codificar a imagem de acordo com H.264 MVC para gerar o fluxo codificado, e a multiplexação inclui inserir o identificador no descritor MVC para H.264 MVC, e multiplexar o fluxo codificado e o descritor MVC que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com H.264 MVC, e o identificador é inserido no descritor MVC para H.264 MVC. O método de co- dificação de imagem de acordo com a presente invenção pode deste modo gerar o fluxo de sistema adequado usando o descritor MVC.

Além disso, a codificação pode incluir: codificar a imagem do formato de esquerda e direita misturados no caso onde o formato da imagem é o formato de esquerda e direita misturados; e codificar a imagem de um formato de esquerda e direita independentes no caso onde o formato da i- magem não é o formato de esquerda e direita misturados, o formato de es-querda e direita independentes é um formato que inclui um quadro de uma visualização esquerda e um quadro de uma visualização direita como quadros separados.

Portanto, o método de codificação de imagem de acordo com a presente invenção pode codificar a imagem do formato de esquerda e direita misturados ou a imagem do formato de esquerda e direita independentes.

Além disso, a camada de sistema pode ser em conformidade com Sistemas MPEG-2, em que a camada de vídeo está em conformidade com um esquema de codificação de vídeo escalável, a codificação inclui codificar a imagem de acordo com o esquema de codificação de vídeo escalável para gerar o fluxo codificado, e a multiplexação inclui inserir o identificador em um descritor para o esquema de codificação de vídeo escalável, e multiplexar o fluxo codificado e o descritor que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com o esquema de codificação de vídeo escalável, e o identificador é inserido no descritor para o esquema de codificação de vídeo escalável. O método de codificação de imagem de acordo com a presente invenção pode deste modo gerar o fluxo de sistema adequado usando o descritor.

Além disso, a camada de vídeo pode ser em conformidade com H.264 SVC, em que o descritor para o esquema de codificação de vídeo escalável é um descritor SVC para H.264 SVC, a codificação inclui codificar a imagem de acordo com H.264 SVC para gerar o fluxo codificado, e a multiplexação inclui inserir o identificador no descritor SVC para H.264 SVC, e multiplexar o fluxo codificado e o descritor SVC que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com H.264 SVC, e o identificador é inserido no descritor SVC para H.264 SVC. O método de codificação de imagem de acordo com a presente invenção pode deste modo gerar o fluxo de sistema adequado usando o descritor SVC.

Além disso, a codificação pode incluir: codificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda e direita misturados; e codificar a imagem para exibição monoscó- pica no caso onde o formato da imagem não é o formato de esquerda e direita misturados.

Portanto, o método de codificação de imagem de acordo com a presente invenção pode codificar a imagem para exibição estereoscópica ou a imagem para exibição monoscópica.

Além disso, o método de codificação de imagem pode adicionalmente incluir gerar a imagem no formato de esquerda e direita misturados através de (i) gerar, como um quadro da camada básica, um quadro em que uma primeira parte de um quadro esquerdo que é um quadro de uma visualização esquerda é incluído na área de imagem de visualização esquerda e uma segunda parte de um quadro direito que é um quadro de uma visualização direita é incluído na área de imagem de visualização direita, e (ii) gerar, como um quadro da camada de melhoria, um quadro em que uma terceira parte do quadro esquerdo é incluída na área de imagem de visualização esquerda e uma quarta parte do quadro direito é incluída na área de imagem de visualização direita, a terceira parte é diferente da primeira parte, e a quarta parte é diferente da segunda parte, em que a codificação inclui codificar a imagem gerada na geração para gerar o fluxo codificado, quando codifica a imagem do formato de esquerda e direita misturados.

Portanto, o quadro da camada de melhoria é gerado da parte diferente da parte que corresponde ao quadro da camada básica. Este quadro da camada básica e quadro da camada de melhoria obtém precisão graduada.

Além disso, o método de codificação de imagem pode adicio- nalmente incluir gerar a imagem no formato de esquerda e direita misturados através de (i) gerar, como um quadro da camada básica, um quadro em que uma primeira parte de um quadro esquerdo que é um quadro de uma visua-lização esquerda é incluído na área de imagem de visualização esquerda e uma segunda parte de um quadro direito que é um quadro de uma visualização direita é incluído na área de imagem de visualização direita, e (ii) gerar, como um quadro da camada de melhoria, um quadro em que todo o quadro esquerdo ou uma terceira parte do quadro esquerdo é incluído na área de imagem de visualização esquerda e todo o quadro direito ou uma quarta parte do quadro direito é incluído na área de imagem de visualização direita, a terceira parte que inclui a primeira parte, e a quarta parte que inclui a segunda parte, em que a codificação inclui codificar a imagem gerada na geração para gerar o fluxo codificado, quando codifica a imagem do formato de esquerda e direita misturados.

Portanto, o quadro da camada de melhoria é gerado da parte que inclui a parte que corresponde ao quadro da camada básica. Este quadro da camada básica e quadro da camada de melhoria obtém precisão graduada.

Um método de decodificação de imagem de acordo com a presente invenção pode ser um método de decodificação de imagem que inclui: uma camada de sistema para obter, a partir de um fluxo de sistema para transmitir ou armazenar um fluxo codificado que inclui uma imagem composta de uma ou mais imagens, o fluxo codificado; e uma camada de vídeo para decodificar a imagem incluída no fluxo codificado, a camada de sistema que inclui demultiplexer o fluxo de sistema no fluxo codificado e um identificador para obter o fluxo codificado e o identificador, em que o identificador indica se um formato da imagem é ou não um formato de esquerda e direita misturados que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, a camada de vídeo que inclui decodificar a imagem incluída no fluxo codificado obtido na demultiplexação, e o método de decodificação que inclui adicionalmente fornecer a imagem decodificada na decodificação, em um modo de saída especificado de acordo com o identificador obtido na de- multiplexação, em que a decodificação inclui, no caso onde o formato da imagem é o formato de esquerda e direita misturados, decodificar a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

Portanto, o método de decodificação de acordo com a presente invenção pode comutar o modo de saída da imagem de acordo com o identificador que indica se a imagem tem ou não o formato de esquerda e direita misturados. O método de decodificação de acordo com a presente invenção pode deste modo manipular adequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Além disso, a camada de sistema pode ser em conformidade com Sistemas MPEG-2, em que a camada de vídeo está em conformidade com um esquema de codificação de vídeo multivisão, a demultiplexação inclui demultiplexar o fluxo de sistema no fluxo codificado e um descritor para o esquema de codificação de vídeo multivisão, para obter o fluxo codificado e o identificador incluído no descritor, e a decodificação inclui decodificar a imagem codificada de acordo com o esquema de codificação de vídeo multi-visão.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem codificada de acordo com o esquema de codificação de vídeo multivisão, e obter o identificador a partir do descritor para o esquema de codificação de vídeo multivisão. O método de decodificação de acordo com a presente invenção pode deste modo manipular a- dequadamente o formato de esquerda e direita misturados.

Além disso, a camada de vídeo pode ser em conformidade com H.264 MVC, em que o descritor para o esquema de codificação de vídeo multivisão é um descritor MVC para H.264 MVC, a demultiplexação inclui demultiplexar o fluxo de sistema no fluxo codificado e no descritor MVC para H.264 MVC, para obter o fluxo codificado e o identificador incluído no descri- tor MVC, e a decodificação inclui decodificar a imagem codificada de acordo com H.264 MVC.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem codificada de acordo com H.264 MVC, e obter o identificador a partir do descritor MVC para H.264 MVC. O método de decodificação de acordo com a presente invenção pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a decodificação pode incluir: decodificar a imagem do formato de esquerda e direita misturados no caso onde o formato da imagem é o formato de esquerda e direita misturados; e decodificar a imagem de um formato de esquerda e direita independentes no caso onde o formato da imagem não é o formato de esquerda e direita misturados, em que o formato de esquerda e direita independentes é um formato que inclui um quadro de uma visualização esquerda e um quadro de uma visualização direita como quadros separados.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem do formato de esquerda e direita misturados ou a imagem do formato de esquerda e direita independentes.

Além disso, a camada de sistema pode ser em conformidade com Sistemas MPEG-2, em que a camada de vídeo está em conformidade com um esquema de codificação de vídeo escalável, a demultiplexação inclui demultiplexar o fluxo de sistema no fluxo codificado e um descritor para o esquema de codificação de vídeo escalável, para obter o fluxo codificado e o identificador incluído no descritor, e a decodificação inclui decodificar a imagem codificada de acordo com o esquema de codificação de vídeo esca-lável.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem codificada de acordo com o esquema de codificação de vídeo escalável, e obter o identificador a partir do descritor para o esquema de codificação de vídeo escalável. O método de decodificação de acordo com a presente invenção pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a camada de vídeo pode ser em conformidade com H.264 SVC, em que o descritor para o esquema de codificação de vídeo es- calável é um descritor SVC para H.264 SVC, a demultiplexação inclui demultiplexer o fluxo de sistema no fluxo codificado e no descritor SVC para H.264 SVC, para obter o fluxo codificado e o identificador incluído no descritor SVC, e a decodificação inclui decodificar a imagem codificada de acordo com H.264 SVC.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem codificada de acordo com H.264 SVC, e obter o identificador a partir do descritor SVC para H.264 SVC. O método de decodificação de acordo com a presente invenção pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a decodificação pode incluir: decodificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda e direita misturados; e decodificar a imagem para exibição monoscópica no caso onde o formato da imagem não é o formato de esquerda e direita misturados.

Portanto, o método de decodificação de acordo com a presente invenção pode decodificar a imagem para exibição estereoscópica ou a imagem para exibição monoscópica.

Além disso, o método de decodificação pode adicionalmente incluir gerar um quadro esquerdo que é um quadro de uma visualização esquerda e um quadro direito que é um quadro de uma visualização direita , no caso onde o formato da imagem é o formato de esquerda e direita misturados, em que a geração inclui: obter uma primeira parte do quadro esquerdo da área de imagem de visualização esquerda em um quadro de camada básica, em que o quadro de camada básica é um quadro da camada básica e é incluído na imagem decodificada na decodificação; obter uma segunda parte do quadro direito da área de imagem de visualização direita no quadro de camada básica; obter uma terceira parte do quadro esquerdo da área de imagem de visualização esquerda em um quadro de camada de melhoria, em que o quadro de camada de melhoria é um quadro da camada de melho- ria e é incluído na imagem decodificada na decodificação, a terceira parte é diferente da primeira parte; obter uma quarta parte do quadro direito da área de imagem de visualização direita no quadro da camada de melhoria, a quarta parte é diferente da segunda parte; gerar o quadro esquerdo da primeira parte obtida e da terceira parte obtida; e gerar o quadro direito da segunda parte obtida e da quarta parte obtida, e o fornecimento inclui fornecer, como a imagem, o quadro esquerdo e o quadro direito gerado na geração, no caso onde o formato da imagem é o formato de esquerda e direita misturados.

Portanto, o método de decodificação de acordo com a presente invenção pode gerar o quadro esquerdo de alta resolução e o quadro direito de alta resolução combinando o quadro da camada básica e o quadro da camada de melhoria.

Além disso, o método de decodificação pode adicionalmente incluir gerar, no caso onde o formato da imagem é o formato de esquerda e direita misturados, um quadro esquerdo da área de imagem de visualização esquerda no quadro decodificado e um quadro direito da área de imagem de visualização direita no quadro decodificado, em que o quadro esquerdo é um quadro de uma visualização esquerda, o quadro direito é um quadro de uma visualização direita, e o quadro decodificado é um quadro de uma de camada básica e camada de melhoria e é incluído na imagem decodificada na decodificação, em que o fornecimento inclui fornecer, como a imagem, o quadro esquerdo e o quadro direito gerados na geração, no caso onde o formato da imagem é o formato de esquerda e direita misturados.

Portanto, o método de decodificação de acordo com a presente invenção pode gerar o quadro esquerdo e o quadro direito a partir de qualquer um de quadro da camada básica e quadro da camada de melhoria. O método de decodificação de acordo com a presente invenção pode deste modo gerar a imagem que tem qualquer um da pluralidade de graus de precisão.

Um aparelho de codificação de imagem de acordo com a presente invenção pode ser um aparelho de codificação de imagem que inclui: uma unidade de camada de vídeo que gera um fluxo codificado codificando uma imagem composta de uma ou mais imagens; e uma unidade de camada de sistema que gera um fluxo de sistema para transmitir ou armazenar o fluxo codificado, a unidade de camada de vídeo que inclui uma unidade de codificação que codifica a imagem para gerar o fluxo codificado, e a unidade de camada de sistema que inclui uma unidade de multiplexação que multi- plexa o fluxo codificado gerado pela unidade de codificação e um identificador para gerar o fluxo de sistema, em que o identificador indica se um formato da imagem é ou não um formato de esquerda e direita misturados que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, em que a unidade de codificação, no caso onde o formato da imagem é o formato de esquerda e direita misturados, codifica a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro, para gerar o fluxo codificado.

Portanto, o método de codificação de imagem de acordo com a presente invenção é implementado como um aparelho de codificação de i- magem.

Um aparelho de decodificação de imagem de acordo com a presente invenção pode ser um aparelho de decodificação de imagem que inclui: uma unidade de camada de sistema que obtém, a partir de um fluxo de sistema para transmitir ou armazenar um fluxo codificado que inclui uma i- magem composta de uma ou mais imagens, o fluxo codificado; e uma unidade de camada de vídeo que decodifica a imagem incluída no fluxo codificado, a unidade de camada de sistema que inclui uma unidade de demulti- plexação que demultiplexa o fluxo de sistema no fluxo codificado e um identificador para obter o fluxo codificado e o identificador, em que o identificador indica se um formato da imagem é ou não um formato de esquerda e direita misturados que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de ima- gem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, em que a unidade de camada de vídeo inclui uma unidade de decodificação que decodifica a imagem incluída no fluxo codificado obtido pela unidade de demultiplexação, e o aparelho de decodificação de imagem que inclui adicionalmente uma unidade de saída que fornece a imagem decodificada pela unidade de decodificação, em um modo de saída especificado de acordo com o identificador obtido pela unidade de demultiplexação, em que a unidade de decodificação, no caso onde o formato da imagem é o formato de esquerda e direita misturados, decodifica a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

Portanto, o método de decodificação de acordo com a presente invenção é implementado como um aparelho de decodificação de imagem.

Efeitos Vantajosos da Invenção

De acordo com a presente invenção, é possível determinar na camada de sistema se a imagem tem ou não o formato de esquerda e direita misturados. O método de codificação de imagem e o método de decodificação de acordo com a presente invenção podem deste modo manipular adequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

BREVE DESCRIÇÃO DAS FIGURAS

A FIGURA 1 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção.

A FIGURA 2 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com a Modalidade 1 da presente invenção.

A FIGURA 3 é um diagrama de blocos que mostra outro exemplo do aparelho de decodificação de imagem de acordo com a Modalidade 1 da presente invenção.

A FIGURA 4 é um diagrama esquemático que mostra um exem- pio de um método de redução de imagem de acordo com a Modalidade 1 da presente invenção.

A FIGURA 5 é um diagrama esquemático que mostra um exemplo de um método de síntese de imagem de acordo com a Modalidade 1 da presente invenção.

A FIGURA 6 é um diagrama que mostra um exemplo da sintaxe de um descritor MVC de acordo com a Modalidade 1 da presente invenção.

A FIGURA 7 é um diagrama que mostra outro exemplo da sintaxe do descritor MVC de acordo com a Modalidade 1 da presente invenção.

A FIGURA 8 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 2 da presente invenção.

A FIGURA 9 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com a Modalidade 2 da presente invenção.

A FIGURA 10 é um diagrama de blocos que mostra outro exemplo do aparelho de decodificação de imagem de acordo com a Modalidade 2 da presente invenção.

A FIGURA 11 é um diagrama que mostra um exemplo da sintaxe de um descritor SVC de acordo com a Modalidade 2 da presente invenção.

A FIGURA 12 é um diagrama que mostra um fluxo de sistema de Sistemas MPEG-2 de acordo com a Modalidade 3 da presente invenção.

A FIGURA 13 é um diagrama que mostra um exemplo da estrutura da caixa em MP4 de acordo com a Modalidade 4 da presente invenção.

A FIGURA 14 é um diagrama que mostra um exemplo da estrutura do arquivo MP4 de acordo com a Modalidade 4 da presente invenção.

A FIGURA 15 é um diagrama que mostra uma estrutura hierárquica de caixas de acordo com a Modalidade 4 da presente invenção.

A FIGURA 16 é um diagrama que mostra um exemplo de informação de cabeçalho de acordo com a Modalidade 4 da presente invenção.

A FIGURA 17 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 5 da presente invenção.

A FIGURA 18 é um fluxograma que mostra um exemplo de uma operação de um aparelho de codificação de imagem de acordo com a Modalidade 5 da presente invenção.

A FIGURA 19 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com a Modalidade 5 da presente invenção.

A FIGURA 20 é um fluxograma que mostra um exemplo de uma operação do aparelho de decodificação de imagem de acordo com a Modalidade 5 da presente invenção.

A FIGURA 21 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 6 da presente invenção.

A FIGURA 22 é um fluxograma que mostra um exemplo de uma operação de um aparelho de codificação de imagem de acordo com a Modalidade 6 da presente invenção.

A FIGURA 23 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com a Modalidade 6 da presente invenção.

A FIGURA 24 é um fluxograma que mostra um exemplo de uma operação do aparelho de decodificação de imagem de acordo com a Modalidade 6 da presente invenção.

A FIGURA 25 ilustra uma configuração geral do sistema de fornecimento de conteúdo para implementar serviços de distribuição de conteúdo.

A FIGURA 26 ilustra uma configuração geral do sistema de difusão digital.

A FIGURA 27 é um diagrama de blocos que ilustra um exemplo de uma configuração de uma televisão.

A FIGURA 28 é um diagrama de blocos que ilustra um exemplo de uma configuração de uma unidade de reprodução / gravação de informação que lê e grava informação de ou em um meio de gravação que é um disco ótico.

A FIGURA 29 mostra um exemplo de uma configuração de um meio de gravação que é um disco ótico.

A FIGURA 30A mostra um exemplo de um telefone celular.

A FIGURA 30B mostra um exemplo de uma configuração do telefone celular.

A FIGURA 31 mostra uma estrutura de dados multiplexados.

A FIGURA 32 ilustra esquematicamente como cada um dos fluxos é multiplexado em dados multiplexados.

A FIGURA 33 ilustra como um fluxo de vídeo é armazenado no fluxo de pacotes PES em mais detalhes.

A FIGURA 34 mostra uma estrutura de Pacotes TS e pacotes fontes nos dados multiplexados.

A FIGURA 35 mostra uma estrutura de dados de uma PMT.

A FIGURA 36 mostra uma estrutura interna de informação de dados multiplexados.

A FIGURA 37 mostra uma estrutura interna de informação de a- tributos de fluxo.

A FIGURA 38 mostra etapas para identificar dados de vídeo.

A FIGURA 39 é um diagrama de blocos que ilustra um exemplo de uma configuração de um circuito integrado para implementar o método de codificação de imagem em movimento e o método de decodificação de imagem em movimento de acordo com cada uma das Modalidades.

A FIGURA 40 mostra uma configuração para comutar entre frequências de acionamento.

A FIGURA 41 mostra etapas para identificar dados de vídeo e comutar entre frequências de acionamento.

A FIGURA 42 mostra um exemplo de uma tabela de pesquisa em que padrões de dados de vídeo são associados com as frequências de acionamento.

A FIGURA 43A mostra um exemplo de uma configuração para compartilhamento de um módulo de uma unidade de processamento de si- nal.

A FIGURA 43B mostra outro exemplo de uma configuração para compartilhamento de um módulo de uma unidade de processamento de sinal.

DESCRIÇÃO DAS MODALIDADES

A seguir são descritas modalidades da presente invenção em detalhes, com referências aos desenhos. As modalidades descritas abaixo representam cada uma, uma modalidade preferencial da presente invenção. Os numerais, formas, materiais, componentes, posições de disposição de componente, conexões, etapas, sequências de etapas, e assim por diante descritas nas modalidades são meramente exemplos, e não devem limitar o escopo da presente invenção. O escopo da presente invenção é limitado apenas pelas reivindicações. Consequentemente, os componentes que são incluídos nas modalidades, mas não são definidos nas reivindicações independentes que representam os conceitos mais amplos da presente invenção são descritos como não sendo necessariamente requeridos para alcançar o objetivo da presente invenção mas constituem modalidades mais preferenciais.

Na descrição a seguir, um quadro é uma imagem composta de um campo ou um quadro. Uma visualização é vídeo que é uma imagem composta de uma pluralidade de quadros. Por exemplo, uma visualização esquerda é vídeo para o olho esquerdo, e uma visualização direita é vídeo para o olho direito. A visualização esquerda e a visualização direita são combinadas para obter exibição estereoscópica. Existe uma instância onde uma imagem é composta de uma pluralidade de quadros, tal como quando uma imagem é composta de um quadro incluído na visualização esquerda e um quadro incluído na visualização direita.

Além disso, na descrição a seguir, uma camada de sistema e uma camada de vídeo são cada uma, uma camada de processo (grupo de processo) composta de uma pluralidade de processos. A camada de vídeo é também referenciada como uma camada de codificação de vídeo (VCL). Uma camada básica e uma camada de melhoria são cada uma dados.

Modalidade 1

A FIGURA 1 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 1 da presente invenção. Um aparelho de codificação de imagem 100 mostrado na FIGURA 1 inclui quatro unidades de redução horizontal pela 1/2 111 a 114, duas unidades de combinação 121 e 122, quatro memórias temporárias de amortecimento de quadro 131 a 134, dois comutadores 151 e 152, uma unidade de controle de sinal de entrada 160, um codificador MVC 170, e um codificador de sistema 180. O codificador MVC 170 inclui dois codificadores 171 e 172.

Um aparelho de codificação de imagem 100 recebe, como uma entrada, uma imagem 3D do formato 3D de imagem de visualização direita- esquerda independentes (também referenciado como um formato de esquerda-direita independentes). O formato 3D de imagem de visualização direita-esquerda independentes é um formato que inclui um quadro da visualização esquerda e um quadro da visualização direita como quadros separa-dos.

No aparelho de codificação de imagem 100, as quatro unidades de redução horizontal pela 1/2 111 a 114eas duas unidades de combinação 121 e 122 convertem a imagem 3D do formato 3D de imagem de visualização direita-esquerda independentes para uma imagem 3D do formato 3D de pixels de visualização direita-esquerda misturados (também referenciado como um formato misturado direita-esquerda). O formato 3D de pixels de visualização direita-esquerda misturados é um formato que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão, e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro.

Em mais detalhes, a unidade de redução horizontal pela 1/2 111 reduz um quadro esquerdo que é um quadro da visualização esquerda, pela 1/2 na direção horizontal. A unidade de redução horizontal pela 1/2 112 reduz um quadro direito que é um quadro da visualização direita, pela 1/2 na direção horizontal. A unidade de combinação 121 combina o quadro esquer- do reduzido pela unidade de redução horizontal pela 1/2 111 e o quadro direito reduzido pela unidade de redução horizontal pela 1/2 112, para gerar um quadro que inclui a área de imagem de visualização esquerda e a área de imagem de visualização direita.

A unidade de redução horizontal pela 1/2 113 reduz o quadro esquerdo pela 1/2 na direção horizontal. A unidade de redução horizontal pela 1/2 114 reduz o quadro direito pela 1/2 na direção horizontal. A unidade de combinação 122 combina o quadro esquerdo reduzido pela unidade de redução horizontal pela 1/2 113 e o quadro direito reduzido pela unidade de redução horizontal pela 1/2 114, para gerar um quadro que inclui a área de imagem de visualização esquerda e a área de imagem de visualização direita.

Deste modo, a imagem 3D do formato 3D de imagem de visualização direita-esquerda independentes é convertido para uma imagem 3D do formato 3D de pixels de visualização direita-esquerda misturados. O quadro gerado pela unidade de combinação 121 é armazenado na memória temporária de amortecimento de quadro 131, e o quadro gerado pela unidade de combinação 122 é armazenado na memória temporária de amortecimento de quadro 132.

O codificador 171 no codificador MVC 170 codifica o quadro armazenado na memória temporária de amortecimento de quadro 131, como um quadro da camada básica e também como um quadro da visualização básica. O codificador 172 no codificador MVC 170 codifica o quadro armazenado na memória temporária de amortecimento de quadro 132, como um quadro da camada de melhoria e também como um quadro da visualização não básica. O codificador MVC 170 portanto converte a imagem 3D para dois fluxos de bit codificados da camada básica e da camada de melhoria.

Alternativamente, o aparelho de codificação de imagem 100 entra a imagem 3D do formato 3D de imagem de visualização direita-esquerda independentes para o codificador MVC 170, sem converter a mesma para o formato 3D de pixels de visualização direita-esquerda misturados. Ou seja, o quadro da visualização esquerda é diretamente ar- mazenado na memória temporária de amortecimento de quadro 133, e o quadro da visualização direita é diretamente armazenado na memória tem-porária de amortecimento de quadro 134. O codificador 171 no codificador MVC 170 codifica o quadro armazenado na memória temporária de amorte-cimento de quadro 133, como a visualização básica. O codificador 172 no codificador MVC 170 codifica o quadro armazenado na memória temporária de amortecimento de quadro 134, como a visualização não básica.

O codificador MVC 170 portanto converte a imagem 3D para dois fluxos de bit codificados da visualização esquerda e da visualização direita.

A unidade de controle de sinal de entrada 160 comuta os dois comutadores 151 e 152 de acordo com uma instrução do usuário, em que deste modo comuta os quadros entrados para o codificador MVC 170. Por exemplo, no caso onde o usuário instrui o aparelho de codificação de imagem 100 para codificar a imagem no formato 3D de pixels de visualização direita-esquerda misturados, os quadros armazenado nas duas memórias temporárias de amortecimento de quadro 131 e 132 são entrados para o codificador MVC 170. No caso onde o usuário instrui o aparelho de codificação de imagem 100 para codificar a imagem no formato 3D de visualização de imagem direita-esquerda independentes, os quadros armazenados nas duas memórias temporárias de amortecimento de quadro 133 e 134 são entrados para o codificador MVC 170.

O codificador de sistema 180 executa codificação de sistema nos dois fluxos de bit codificados obtido pelo codificador MVC 170 e um tipo de formato 3D. O codificador de sistema 180 então fornece um fluxo de sistema que inclui os dois fluxos de bit codificados e o tipo de formato 3D. O tipo de formato 3D indica se o formato da imagem 3D é o formato 3D de pixels de visualização direita-esquerda misturados ou o formato 3D de visualização de imagem direita-esquerda independentes.

Embora esta modalidade descreva o caso onde a unidade de controle de sinal de entrada 160 comuta o formato da imagem 3D com base na instrução do usuário, o formato da imagem 3D a ser codificada pode ser fixado para um de formato 3D de pixels de visualização direita-esquerda misturados e formato 3D de visualização de imagem direita-esquerda independentes.

A FIGURA 2 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 200 mostrado na FIGURA 2 inclui um decodificador de sistema 210, um decodificador MVC 220, duas memórias temporárias de amortecimento de quadro 231 e 232, uma unidade de saída 260, e uma unidade de exibição 290. O decodificador MVC 220 inclui dois decodificadores 221 e 222. A unidade de saída 260 inclui quatro comutadores 261 a 264, uma unidade de controle de saída 265, uma unidade de síntese de imagem 266, uma unidade de rearranjo de pixel 267, e duas memórias temporárias de amortecimento de quadro 271 e 272.

O decodificador de sistema 210 executa decodificação de sistema no fluxo de sistema, para demultiplexar o fluxo de sistema no tipo de formato 3D e nos dois fluxos de bit codificados. Por exemplo, o decodificador de sistema 210 demultiplexa o fluxo de sistema no tipo de formato 3D e nos dois fluxos de bit codificados da camada básica e da camada de melhoria. O decodificador 221 no decodificador MVC 220 decodifica o quadro incluído na camada básica, e armazena o quadro decodificado na memória temporária de amortecimento de quadro 231. O decodificador 222 no decodificador MVC 220 decodifica o quadro incluído na camada de melhoria, e armazena o quadro decodificado na memória temporária de amortecimento de quadro 232.

Alternativamente, o decodificador de sistema 210 demultiplexa o fluxo de sistema no tipo de formato 3D e nos dois fluxos de bit codificados da visualização esquerda e da visualização direita. O decodificador 221 no decodificador MVC 220 decodifica o quadro incluído na visualização esquerda, e armazena o quadro decodificado na memória temporária de amortecimento de quadro 231. O decodificador 222 no decodificador MVC 220 decodifica o quadro incluído na visualização direita, e armazena o quadro decodificado na memória temporária de amortecimento de quadro 232.

A unidade de controle de saída 265 na unidade de saída 260 comuta os três comutadores 261 a 263 de acordo com o tipo de formato 3D, controlando deste modo um modo de saída.

Em detalhes, no caso onde o tipo de formato 3D é o formato 3D de pixels de visualização direita-esquerda misturados, a unidade de síntese de imagem 266 sintetiza o quadro da camada básica e o quadro da camada de melhoria, para gerar uma imagem SBS de alta resolução. Na imagem SBS, a área de visualização esquerda é posicionada no lado esquerdo, e a área de visualização direita é posicionada no lado direito. A unidade de síntese de imagem 266 armazena a imagem SBS gerada na memória temporária de amortecimento de quadro 271.

A unidade de rearranjo de pixel 267 executa rearranjo na imagem SBS armazenada na memória temporária de amortecimento de quadro 271. Ou seja, a unidade de rearranjo de pixel 267 separa a imagem da visualização esquerda e a imagem da visualização direita da imagem SBS, e alternativamente dispõe a imagem da visualização esquerda e a imagem da visualização direita como quadros esquerdo e direito.

No caso onde o tipo de formato 3D é o formato 3D de visualização de imagem direita-esquerda independentes, o comutador 264 alternativamente dispõe quadros esquerdo e direito.

Como mencionado acima, a unidade de saída 260 fornece a i- magem decodificada pelo decodificador MVC 220, no modo de saída especificado pelo tipo de formato 3D. Aqui, a unidade de saída 260 pode armazenar a imagem na memória temporária de amortecimento de quadro 272, a fim de fornecer a imagem em um sincronismo adequado. A unidade de exibição 290 exibe a imagem fornecido a partir da unidade de saída 260.

Nesta modalidade, o tipo de formato 3D é notificado na camada de sistema do lado de codificação para o lado de decodificação. Isto permite que o aparelho de decodificação de imagem 200 reconheça a diferença em modo de saída associado com a diferença no formato 3D, antes de decodificar na camada de vídeo. Consequentemente, o aparelho de decodificação de imagem 200 pode executar alocação e inicialização de recurso na unida- de de saída 260 antecipadamente, tal como alocar uma área de memória para manter a imagem SBS de alta resolução. Como resultado, um atraso na exibição de imagem pode ser reduzido.

Além disso, não existe necessidade de notificar o tipo de formato 3D do decodificador MVC 220 que é um decodificador de vídeo para a unidade de saída 260. Isto contribui para uma estrutura mais simples do aparelho de decodificação de imagem 200.

A FIGURA 3 é um diagrama de blocos que mostra outro exemplo do aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 300 mostrado na FIGURA 3 inclui um decodificador de sistema 310, um decodificador AVC 320, uma memória temporária de amortecimento de quadro 331, e uma unidade de exibição 390. O aparelho de decodificação de imagem 300 é um aparelho de reprodução em conformidade com AVC.

O aparelho de decodificação de imagem 300 é incapaz de decodificar a visualização (visualização não básica) diferente da visualização básica, no fluxo de sistema gerado pelo aparelho de codificação de imagem 100 de acordo com esta modalidade. Ou seja, a camada de melhoria ou a visualização direita não é decodificada. Um decodificador 321 no decodificador AVC 320 decodifica apenas a camada básica ou a visualização esquerda, e a unidade de exibição 390 exibe apenas a camada básica ou a visualização esquerda.

Portanto, o fluxo de sistema gerado pelo aparelho de codificação de imagem 100 de acordo com esta modalidade é compatível para trás com um aparelho de reprodução em conformidade com AVC.

A FIGURA 4 é um diagrama esquemático que mostra um exemplo de um método de redução de imagem de acordo com esta modalidade. O aparelho de codificação de imagem 100 mostrado na FIGURA 1 reduz uma imagem de entrada para gerar a imagem SBS. Um método de redução de imagem usado para esta redução é mostrado na FIGURA 4. Por exemplo, uma unidade de redução horizontal pela 1/2 411 na FIGURA 4 corresponde à unidade de redução horizontal pela 1/2 111 na FIGURA 1, e uma unidade de redução horizontal pela 1/2 413 na FIGURA 4 corresponde à unidade de redução horizontal pela 1/2 113 na FIGURA 1. Alternativamente, a unidade de redução horizontal pela 1/2 411 na FIGURA 4 corresponde à unidade de redução horizontal pela 1/2 112 na FIGURA 1, e a unidade de redução horizontal pela 1/2 413 na FIGURA 4 corresponde à unidade de redução horizontal pela 1/2 114 na FIGURA 1.

O aparelho de codificação de imagem 100 divide o quadro de cada visualização em colunas ímpares e colunas pares. Em detalhes, a unidade de redução horizontal pela 1/2 411 amostra apenas pixels de colunas ímpares no quadro, e a unidade de redução horizontal pela 1/2 413 amostra apenas pixels de colunas pares no quadro. Como resultado, uma imagem de coluna ímpar e uma imagem de coluna par são obtidas.

O aparelho de codificação de imagem 100 combina a imagem de coluna ímpar obtida de uma visualização e a imagem de coluna ímpar obtida da outra visualização para gerar a imagem SBS, e codifica a imagem SBS gerada como a camada básica. O aparelho de codificação de imagem 100 também combina a imagem de coluna par obtida de uma visualização e a imagem de coluna par obtida da outra visualização para gerar a imagem SBS, e codifica a imagem SBS gerada como a camada de melhoria.

A FIGURA 5 é um diagrama esquemático que mostra um exemplo de um método de síntese de imagem de acordo com esta modalidade. Uma unidade de síntese de imagem 566 na FIGURA 5 corresponde à unidade de síntese de imagem 266 na FIGURA 2.

O aparelho de decodificação de imagem 200 decodifica a camada básica, para obter o quadro decodificado da camada básica. O aparelho de decodificação de imagem 200 então obtém a imagem de coluna ímpar da visualização esquerda, da área de imagem de visualização esquerda no quadro decodificado da camada básica. O aparelho de decodificação de i- magem 200 também decodifica a camada de melhoria, para obter o quadro decodificado da camada de melhoria. O aparelho de decodificação de imagem 200 então obtém a imagem de coluna par da visualização esquerda, da área de imagem de visualização esquerda no quadro decodificado da cama- da de melhoria.

A unidade de síntese de imagem 566 alternativamente sintetiza a imagem de coluna ímpar e a imagem de coluna par por coluna de pixel. O aparelho de decodificação de imagem 200 portanto gera o quadro da visualização esquerda na resolução original.

Embora o conteúdo acima descreva o caso onde o aparelho de decodificação de imagem 200 gera o quadro da visualização esquerda, o aparelho de decodificação de imagem 200 pode gerar o quadro da visualização direita da mesma maneira. O aparelho de decodificação de imagem 200 obtém a imagem de coluna ímpar da visualização direita e a imagem de coluna par da visualização direita, respectivamente da área de imagem de visualização direita na camada básica e área de imagem de visualização direita na camada de melhoria. A unidade de síntese de imagem 566 alternativamente sintetiza a imagem de coluna ímpar e a imagem de coluna par por coluna de pixel. O aparelho de decodificação de imagem 200 portanto gera o quadro da visualização direita na resolução original.

Um aparelho de reprodução em conformidade com AVC capaz de decodificar apenas a camada básica pode decodificar a imagem 3D em baixa resolução, decodificando apenas a imagem de coluna ímpar. Isto garante compatibilidade para trás. Entretanto, um aparelho de reprodução em conformidade com MVC capaz de decodificar tanto a camada básica como a camada de melhoria pode reconstruir a imagem 3D em alta resolução, decodificando a imagem de coluna ímpar e a imagem de coluna par.

Embora esta modalidade descreva um exemplo onde SBS é u- sado como o formato 3D de pixels de visualização direita-esquerda misturados, o formato 3D de pixels de visualização direita-esquerda misturados pode em vez disso ser TAB (Topo e Fundo) e assim por diante. Redução e síntese podem ser realizadas pela seleção adequada da direção de aumento ou redução (por exemplo, horizontal ou vertical) e o método de amostragem de pixel (por exemplo, varredura entrelaçada em linhas ou colunas ou eliminação em treliça) de acordo com a diferença na posição da área de imagem de visualização esquerda e a área de imagem de visualização direita.

Além disso, o aparelho de codificação de imagem 100 e o aparelho de decodificação de imagem 200 pode executar um processo de redução de ruído tal como filtragem passa baixa, após a reconstrução da imagem 3D de alta resolução. Desta forma pode ser obtida melhor qualidade de imagem.

A FIGURA 6 mostra um exemplo de um descritor MVC de acordo com esta modalidade. Um descritor é usado em dados em Sistemas MPEG-2 e semelhante. Informação de atributos de um fluxo de bit codificado, tal como uma taxa de quadros, é incluído no descritor. O fluxo de sistema de acordo com esta modalidade inclui o descritor MVC.

O descritor MVC é um tipo de descritor para um esquema de codificação de vídeo multivisão. O descritor MVC deste modo inclui informação de atributos de um fluxo de bit codificado obtido codificando uma imagem de acordo com o esquema de codificação de vídeo multivisão. O descritor MVC é também referenciado como um descritor de extensão MVC.

Uma sintaxe do descritor MVC é descrita na LNP 2 (ISO/IEC 13818-1: 2007/Amd 4: 2009) ou LNP 3 (Recomendação H.222.0 (2006) E- menda 4 (12/09) "Transporte de vídeo multivisão sobre ITU-T Rec. H.222.0 | ISO/IEC 13818-1").

Na FIGURA 6, indicador_de_info_presente_no_empacotamen- to de quadro é adicionado como o tipo de formato 3D à sintaxe descrita nos documentos mencionados acima. Além disso, sete bits reservados são adicionados de modo que o descritor MVC tem um tamanho de um múltiplo inteiro de um byte.

Por exemplo, o formato da imagem é o formato 3D de pixels de visualização direita-esquerda misturados no caso onde indicador_de_info_pre- sente_no_empacotamento_de_quadro é 1, e o formato 3D de imagem de visualização direita-esquerda independentes (fluxo MVC normal) no caso onde indicador_de_info_presente_no_empacotamento_de_quadro é 0.

Embora indicador_de_info_presente_no_empacotamento_de_qua- dro seja usado aqui como um exemplo do tipo de formato 3D, o nome de sintaxe, o intervalo do valor (0 e 1), e o significado do valor não são limitados a este exemplo. Outras formas de expressão também são aplicáveis desde que seja possível de notificar se o formato da imagem é ou não o formato 3D de pixels de visualização direita-esquerda misturados.

Embora esta modalidade descreva um exemplo onde o tipo de formato 3D é inserido na extremidade do descritor MVC, a posição de inserção não é limitada a isto. O tipo de formato 3D pode ser inserido em outra posição de bit no descritor MVC, ou inserido em um descritor diferente do descritor MVC.

A FIGURA 7 mostra outro exemplo do descritor MVC de acordo com esta modalidade. Na FIGURA 7, quatro bits reservados na sintaxe descrita nos documentos mencionados acima são substituídos por indica- dor_de_info_presente_no_empacotamento_de_quadro de um bit e três bits reservados. Deste modo, indicador_de_info_presente_no_empacotamen- to_de_quadro pode ser incorporado no descritor MVC ao mesmo tempo em que mantém a quantidade total de bits do descritor MVC.

Como descrito acima, o aparelho de codificação de imagem 100 notifica o aparelho de decodificação de imagem 200 na camada de sistema se o formato da imagem é ou não o formato 3D de pixels de visualização direita-esquerda misturados. Isto habilita o aparelho de decodificação de i- magem 200 a comutar suavemente o modo de saída. O aparelho de codificação de imagem 100 e o aparelho de decodificação de imagem 200 podem deste modo manipular adequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Modalidade 2

A FIGURA 8 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com a Modalidade 2 da presente invenção. Um aparelho de codificação de imagem 800 mostrado na FIGURA 8 inclui duas unidades de redução horizontal pela 1/2 811 e 812, uma unidade de redução horizontal-vertical 815, duas unidades de combinação 821 e 822, quatro memórias temporárias de amortecimento de quadro 831 a 834, dois comutadores 851 e 852, uma unidade de controle de sinal de entrada 860, um codificador SVC 870, e um codificador de sistema 880. O codificador SVC 870 inclui dois codificadores 871 e 872.

O aparelho de codificação de imagem 800 recebe, como uma entrada, uma imagem 3D do formato 3D de imagem de visualização direita- esquerda independentes ou uma imagem 2D.

No caso de codificar a imagem 3D, o aparelho de codificação de imagem 800 converte a imagem 3D do formato 3D de imagem de visualização direita-esquerda independentes para uma imagem 3D do formato 3D de pixels de visualização direita-esquerda misturados. Depois disso, o aparelho de codificação de imagem 800 adicionalmente converte a imagem 3D do formato 3D de pixels de visualização direita-esquerda misturados para dois quadros que correspondem a duas resoluções.

Por exemplo, a unidade de redução horizontal pela 1/2 811 reduz um quadro da visualização esquerda pela 1/2 na direção horizontal. A unidade de redução horizontal pela 1/2 812 reduz um quadro da visualização direita pela 1/2 na direção horizontal. A unidade de combinação 821 combina o quadro reduzido pela unidade de redução horizontal pela 1/2 811 e o quadro reduzido pela unidade de redução horizontal pela 1/2 812. Como resultado, a imagem SBS é gerada como um quadro da camada de baixa resolução (camada básica). A unidade de combinação 821 armazena o quadro da camada de baixa resolução na memória temporária de amortecimento de quadro 831.

As duas unidades de redução horizontal pela 1/2 811 e 812 e a unidade de combinação 821 podem executar o mesmo processo como as duas unidades de redução horizontal pela 1/2 111 e 112 e a unidade de combinação 121 de acordo com a Modalidade 1. Alternativamente, as duas unidades de redução horizontal pela 1/2 811 e 812 e a unidade de combinação 821 podem executar o mesmo processo como as duas unidades de redução horizontal pela 1/2 113 e 114 e a unidade de combinação 122 de a- cordo com a Modalidade 1.

A unidade de combinação 822 combina o quadro da visualização esquerda e o quadro da visualização direita, sem reduzir os mesmos. Como resultado, a imagem SBS é gerada como um quadro da camada de alta resolução (camada de melhoria). A unidade de combinação 822 armazena o quadro da camada de alta resolução na memória temporária de amortecimento de quadro 832.

Através dos procedimentos mencionados acima, o aparelho de codificação de imagem 800 converte a imagem 3D do formato 3D de pixels de visualização direita-esquerda misturados para os dois quadros que correspondem às duas resoluções.

No caso de codificar a imagem 2D, por outro lado, o aparelho de codificação de imagem 800 converte a imagem 2D para dois quadros que correspondem a duas resoluções. Por exemplo, a unidade de redução horizontal-vertical 815 reduz a imagem 2D nas direções horizontal e vertical. Como resultado, um quadro da camada de baixa resolução é gerado. O quadro da camada de baixa resolução é armazenado na memória temporária de amortecimento de quadro 833. Entretanto, a imagem 2D é diretamente armazenada na memória temporária de amortecimento de quadro 834 como um quadro da camada de alta resolução.

Através dos procedimentos mencionados acima, o aparelho de codificação de imagem 800 converte a imagem 2D para os dois quadros que correspondem às duas resoluções.

O codificador SVC 870 converte os dois quadros da camada de baixa resolução e da camada de alta resolução, para dois fluxos de bit codificados da camada de baixa resolução e da camada de alta resolução.

Por exemplo, o codificador 871 no codificador SVC 870 codifica o quadro armazenado na memória temporária de amortecimento de quadro 831, e o codificador 872 no codificador SVC 870 codifica o quadro armazenado na memória temporária de amortecimento de quadro 832.

Alternativamente, o codificador 871 no codificador SVC 870 codifica o quadro armazenado na memória temporária de amortecimento de quadro 833, e o codificador 872 no codificador SVC 870 codifica o quadro armazenado na memória temporária de amortecimento de quadro 834.

Portanto, o codificador SVC 870 converte os dois quadros da camada de baixa resolução e da camada de alta resolução, para os dois flu- xos de bit codificados da camada de baixa resolução e da camada de alta resolução.

A unidade de controle de sinal de entrada 860 comuta os dois comutadores 851 e 852 de acordo com uma instrução do usuário, em que deste modo comuta os quadros entrados para o codificador SVC 870.

Por exemplo, no caso onde o usuário instrui o aparelho de codificação de imagem 800 para codificar a imagem 3D, os quadros armazenados nas duas memórias temporárias de amortecimento de quadro 831 e 832 são entrados para o codificador SVC 870. No caso onde o usuário instrui o aparelho de codificação de imagem 800 para codificar a imagem 2D, os quadros armazenado nas duas memórias temporárias de amortecimento de quadro 833 e 834 são entrados para o codificador SVC 870.

O codificador de sistema 880 executa codificação de sistema nos dois fluxos de bit codificados e um sinal de notificação 3D, e fornece um fluxo de sistema. O sinal de notificação 3D indica se o formato da imagem é o formato 3D de pixels de visualização direita-esquerda misturados ou o formato 2D.

Embora esta modalidade descreva o caso onde a unidade de controle de sinal de entrada 860 comuta o formato da imagem com base na instrução do usuário, o formato da imagem a ser codificada pode ser fixado para um de formato 3D de pixels de visualização direita-esquerda misturados e formato 2D.

A FIGURA 9 é um diagrama de blocos que mostra um exemplo de um aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 900 mostrado na FIGURA 9 inclui um decodificador de sistema 910, um decodificador SVC 920, uma memória temporária de amortecimento de quadro 931, uma unidade de saída 960, e uma unidade de exibição 990. O decodificador SVC 920 inclui dois decodificadores 921 e 922. A unidade de saída 960 inclui dois comutadores 961 e 963, uma unidade de controle de saída 965, uma unidade de rearranjo de pixel 967, e duas memórias temporárias de amortecimento de quadro 971 e 972.

O decodificador de sistema 910 executa decodificação de sistema no fluxo de sistema, para demultiplexer o fluxo de sistema no sinal de notificação 3D e os dois fluxos de bit codificados da camada de baixa resolução e da camada de alta resolução. O decodificador 921 no decodificador SVC 920 decodifica o quadro incluído na camada de baixa resolução. O de-codificador 922 no decodificador SVC 920 decodifica o quadro incluído na camada de alta resolução. Aqui, o decodificador 922 pode decodificar o quadro da camada de alta resolução usando o quadro da camada de baixa resolução.

O decodificador 922 armazena o quadro decodificado na memória temporária de amortecimento de quadro 931. Ou seja, o quadro da camada de alta resolução é armazenado na memória temporária de amortecimento de quadro 931.

A unidade de controle de saída 965 na unidade de saída 960 comuta os dois comutadores 961 e 963 de acordo com o sinal de notificação 3D, controlando deste modo um modo de saída.

Em detalhes, no caso onde o sinal de notificação 3D indica o formato 3D de pixels de visualização direita-esquerda misturados, a unidade de rearranjo de pixel 967 executa rearranjo. Por exemplo, a unidade de rearranjo de pixel 967 separa a imagem da visualização esquerda e a imagem da visualização direita da imagem SBS da camada de alta resolução, e alternativamente dispõe a imagem da visualização esquerda e a imagem da visualização direita como quadros esquerdo e direito. A unidade de saída 960 fornece uma imagem obtida como resultado do rearranjo.

No caso onde o sinal de notificação 3D indica o formato 2D, a unidade de saída 960 fornece diretamente a imagem 2D da camada de alta resolução.

Através dos procedimentos mencionados acima, a unidade de saída 960 fornece a imagem decodificada pelo decodificador SVC 920, no modo de saída especificado pelo sinal de notificação 3D. Aqui, a unidade de saída 960 pode armazenar a imagem em qualquer uma das duas memórias temporárias de amortecimento de quadro 971 e 972, a fim de fornecer a i- magem em um sincronismo adequado. A imagem 3D inclui o quadro da visualização esquerda e o quadro da visualização direita. Em outras palavras, a imagem 3D inclui o dobro de quadros da imagem 2D. Sendo assim, no caso da imagem 3D, a unidade de saída 960 executa o processo de saída em alta velocidade. A unidade de exibição 990 exibe a imagem fornecida a partir da unidade de saída 960.

Nesta modalidade, o sinal de notificação 3D é notificado na camada de sistema do lado de codificação para o lado de decodificação. Isto permite que o aparelho de decodificação de imagem 900 reconheça a diferença em modo de saída associado com a diferença no formato de imagem, antes de decodificar na camada de vídeo. Consequentemente, o aparelho de decodificação de imagem 900 pode executar alocação e inicialização de recurso na unidade de saída 960 antecipadamente, tal como alocar uma memória para manter a imagem SBS de alta resolução ou a imagem 2D de alta resolução.

Além disso, não existe necessidade de notificar o sinal de notificação 3D do decodificador SVC 920 que é um decodificador de vídeo para a unidade de saída 960. Isto contribui para uma estrutura mais simples do a- parelho de decodificação de imagem 900.

A FIGURA 10 é um diagrama de blocos que mostra outro exemplo do aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 1000 mostrado na FIGURA 10 inclui um decodificador de sistema 1010, um decodificador AVC 1020, a memória temporária de amortecimento de quadro 1031, e uma unidade de exibição 1090. O aparelho de decodificação de imagem 1000 é um aparelho de reprodução em conformidade com AVC.

O aparelho de decodificação de imagem 1000 é incapaz de decodificar a camada diferente da camada de baixa resolução, no fluxo de sistema gerado pelo aparelho de codificação de imagem 800 de acordo com esta modalidade. Ou seja, a camada de alta resolução não é decodificada. Um decodificador 1021 no decodificador AVC 1020 decodifica apenas a camada de baixa resolução, e a unidade de exibição 1090 exibe apenas a ca- mada de baixa resolução. Portanto, o fluxo de sistema gerado pelo aparelho de codificação de imagem 800 de acordo com esta modalidade é compatível para trás com um aparelho de reprodução em conformidade com AVC.

Embora esta modalidade descreva um exemplo onde SBS é u- sado como o formato 3D de pixels de visualização direita-esquerda misturados, o formato 3D de pixels de visualização direita-esquerda misturados pode em vez disso ser TAB (Topo e Fundo) e assim por diante. Redução e síntese podem ser realizadas pela seleção adequada da direção de aumento ou redução (por exemplo, horizontal ou vertical) e o método de amostragem de pixel (por exemplo, varredura entrelaçada em linhas ou colunas ou eliminação em treliça) de acordo com a diferença na posição da área de imagem de visualização esquerda e da área de imagem de visualização direita.

Além disso, o aparelho de codificação de imagem 800 e o aparelho de decodificação de imagem 900 pode executar um processo de redução de ruído tal como filtragem passa baixa, após a reconstrução da imagem 3D de alta resolução. Desta forma pode ser obtida melhor qualidade de imagem.

A FIGURA 11 mostra um exemplo de um descritor SVC de acordo com esta modalidade. Um descritor é usado em dados em Sistemas MPEG-2 e semelhantes. Informação de atributos de um fluxo de bit codificado, tal como uma taxa de quadros, é incluída no descritor. O fluxo de sistema de acordo com esta modalidade inclui o descritor SVC.

O descritor SVC é um tipo de descritor para um esquema de codificação de vídeo escalável. O descritor SVC deste modo inclui informação de atributos de um fluxo de bit codificado obtido codificando uma imagem de acordo com o esquema de codificação de vídeo escalável. O descritor SVC é também referenciado como um descritor de extensão SVC.

Uma sintaxe do descritor SVC é descrita na LNP 4 (ISO/IEC 13818-1: 2007/Amd 3: 2009) ou LNP 5 (Recomendação H.222.0 (2006) E- menda 3 (03/09) "Transporte de vídeo escalável sobre ITU-T Rec. H. 222.0 | ISO/IEC 13818-1"). Na FIGURA 11, o indicador_de_info_presente_no_empacota- mento_de_quadro é inserido como o sinal de notificação 3D em lugar de um bit reservado, na sintaxe descrita nos documentos mencionados acima.

Por exemplo, o formato da imagem é o formato 3D de pixels de visualização direita-esquerda misturados no caso onde indicador_de_in- fo_presente_no_empacotamento_de_quadro é 1, e o formato 2D (fluxo SVC normal) no caso onde indicadordeinfo_presente_no_empacotamen- to_de_quadro é 0.

Embora o indicador_de_info_presente_no_empacotamen- t°_de_quadro seja usado aqui como um exemplo do sinal de notificação 3D, o nome de sintaxe, o intervalo do valor (0 e 1), e o significado do valor não são limitados a este exemplo. Outras formas de expressão são também aplicáveis desde que seja possível de notificar se o formato da imagem é ou não o formato 3D de pixels de visualização direita-esquerda misturados.

Embora esta modalidade descreva um exemplo onde o sinal de notificação 3D é inserido na extremidade do descritor SVC, a posição de inserção não é limitada a isto. O sinal de notificação 3D pode ser inserido em outra posição de bit no descritor SVC, ou inserido em um descritor diferente do descritor SVC.

Adicionalmente ao último bit reservado, o descritor SVC também contém cinco bits reservados como o nono item. Por exemplo, estes cinco bits reservados podem ser substituídos por indicador dejnfo presen- te_no_empacotamento_de_quadro de um bit e quatro bits reservados.

Como descrito acima, o aparelho de codificação de imagem 800 notifica o aparelho de decodificação de imagem 900 na camada de sistema se o formato da imagem é ou não o formato 3D de pixels de visualização direita-esquerda misturados. Isto habilita o aparelho de decodificação de i- magem 900 a comutar suavemente o modo de saída. O aparelho de codificação de imagem 800 e o aparelho de decodificação de imagem 900 pode deste modo manipular adequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Modalidade 3

A Modalidade 3 da presente invenção descreve uma camada de sistema em conformidade com Sistemas MPEG-2, que é aplicável ao apare lho de codificação de imagem e ao aparelho de decodificação de imagem de acordo com cada uma das Modalidades 1 e 2.

A FIGURA 12 é um diagrama que mostra um fluxo de sistema de Sistemas MPEG-2 de acordo com esta modalidade. O fluxo de sistema mostrado na FIGURA 12 é composto de pacotes TS (Fluxo de Transporte). O codificador de sistema 180 em Modalidade 1 e o codificador de sistema 880 em Modalidade 2 podem cada um gerar o fluxo de sistema composto dos Pacotes TS mostrados na FIGURA 12. O conteúdo a seguir descreve uma estrutura do fluxo de sistema em detalhes.

O codificador MVC 170 em Modalidade 1 e o codificador SVC 870 em Modalidade 2 cada um gera dados de vídeo codificados na camada de vídeo. Os dados de vídeo codificado gerados na camada de vídeo são armazenados em pacotes PES (Fluxo Elementar Empacotado). Aqui, dados de vídeo codificado que correspondem a um quadro podem ser armazenados em um pacote PES ou em uma pluralidade de pacotes PES. Além disso, dados de vídeo codificado que correspondem a uma pluralidade de quadros podem ser armazenados em um pacote PES. Além disso, dados de áudio codificado podem ser armazenados em pacotes PES. Os pacotes PES são então divididos em uma pluralidade de Pacotes TS de tamanho fixo.

Entretanto, um descritor é armazenado na seção. A seção é uma das estruturas de dados usadas em Sistemas MPEG-2. As seções são divididas em uma pluralidade de Pacotes TS de tamanho fixo, como com pacotes PES.

Os pacotes TS que correspondem aos pacotes PES e Pacotes TS que correspondem a seções são multiplexados como o fluxo de sistema. Em detalhes, os pacotes TS que correspondem a seções são periodicamente inseridos entre pacotes TS que correspondem a pacotes PES. Deve ser observado que intervalos em que pacotes TS são periodicamente inseridos não são limitados a intervalos regulares.

Existe uma instância onde uma pluralidade de descritores são armazenados no fluxo de sistema. Estes descritores têm dois tipos, a saber, um descritor indicando atributos de áudio e vídeo e um descritor indicando atributos do programa que contém áudio e vídeo. O descritor MVC e o descritor SVC são cada um, um descritor indicando atributos de áudio e vídeo. A informação de formato em cada uma das Modalidades 1 e 2 pode ser armazenada em um descritor indicando atributos do programa.

A camada de sistema em cada uma das Modalidades 1 e 2 pode ser em conformidade com Sistemas MPEG-2. Ou seja, o fluxo de sistema gerado na camada de sistema pode incluir um fluxo codificado e um descritor.

Modalidade 4

A Modalidade 4 da presente invenção descreve uma camada de sistema em conformidade com MP4, que é aplicável ao aparelho de codificação de imagem e ao aparelho de decodificação de imagem de acordo com cada uma das Modalidades 1 e 2.

A FIGURA 13 é um diagrama que mostra um exemplo da estrutura da caixa em MP4 de acordo com esta modalidade. Um arquivo MP4 é composto de caixas. Por exemplo, uma caixa tem um tamanho, um tipo, e dados, como mostrado na FIGURA 13. O tamanho indica um tamanho da caixa inteira. O tipo é um identificador da caixa, e é expresso por quatro caracteres alfabéticos. A caixa pode adicionalmente incluir informação de versão e informação de indicador. Caixas são armazenadas hierarquicamente no arquivo MP4.

A FIGURA 14 é um diagrama que mostra um exemplo da estrutura do arquivo MP4 de acordo com esta modalidade. No exemplo mostrado na FIGURA 14, o arquivo MP4 é composto de uma caixa cujo tipo é ftyp, uma caixa cujo tipo é moov, e uma caixa cujo tipo é mdat (daqui em diante simplesmente referenciados como ftyp, moov, e mdat, respectivamente), ftyp, moov, e mdat são caixas de nível superior na estrutura hierárquica de uma pluralidade de caixas no arquivo MP4.

Não apenas a informação de tempo e endereço de reprodução no arquivo MP4 mas também informação de atributos de vídeo ou áudio no arquivo MP4 são armazenados em moov. Em outras palavras, informação de cabeçalho necessária para a reprodução de dados AV codificados (dados de áudio codificado e dados de vídeo codificado) é armazenada em moov. Os dados de AV codificados são armazenados em mdat.

O codificador de sistema 180 em Modalidade 1 e o codificador de sistema 880 em Modalidade 2 podem cada um gerar um arquivo MP4 como este. A informação de formato em cada uma das Modalidades 1 e 2 pode ser armazenada em moov, como atributos de dados codificados de vídeo. Em mais detalhes, a informação de formato pode ser armazenada em uma caixa em moov.

A FIGURA 15 é um diagrama que mostra uma estrutura hierárquica de caixas de acordo com esta modalidade. A FIGURA 15 mostra moov. Uma pluralidade de caixas são adicionalmente contidas na área de dados em moov. Portanto, uma pluralidade de caixas são dispostas hierarqui-camente no arquivo MP4. Isto possibilita que várias informações sejam armazenadas no arquivo MP4.

A FIGURA 16 é um diagrama que mostra um exemplo de informação de cabeçalho de acordo com esta modalidade. A FIGURA 16 mostra uma pluralidade de caixas incluídas em moov. Por exemplo, moov inclui uma caixa cujo tipo é tkhd (Caixa de Cabeçalho de Trilha) (daqui em diante simplesmente referenciada como tkhd), e uma caixa cujo tipo é vmhd (Caixa de Cabeçalho de Mídia de Vídeo) (daqui em diante simplesmente referenciada como vmhd).

Informação de alto nível de cabeçalho que corresponde a uma trilha é armazenada em tkhd. A trilha corresponde a um conjunto de dados codificados de AV de vídeo ou áudio. No caso onde a trilha são dados codificados de vídeo, a informação de cabeçalho dos dados de vídeo codificados é armazenada em vmhd.

A informação de formato em cada uma das Modalidades 1 e 2 pode ser armazenada na área reservada em tkhd ou vmhd. Alternativamente, a informação de formato pode ser armazenada em modo gráfico que é a campo incluído em vmhd. Uma lista de valores indicando uma estrutura de vídeo é definida em modo gráfico. Um valor indicando o formato 3D de pixels de visualização direita-esquerda misturados pode ser adicionado a esta lista definida.

É possível adicionar uma caixa nova ao arquivo MP4. Consequentemente, uma caixa nova para armazenar a informação de formato em cada uma das Modalidades 1 e 2 pode ser adicionada ao arquivo MP4.

A camada de sistema em cada uma das Modalidades 1 e 2 pode ser em conformidade com MP4. Ou seja, o fluxo de sistema gerado na camada de sistema pode incluir uma caixa contendo informação de formato e uma caixa contendo um fluxo codificado. Neste caso, o aparelho de codificação de imagem e o aparelho de decodificação de imagem em cada uma das Modalidades 1 e 2 não precisam usar o descritor MVC ou o descritor SVC.

Modalidade 5

Um aparelho de codificação de imagem e um aparelho de decodificação de imagem de acordo com a Modalidade 5 da presente invenção incluem componentes principais do aparelho de codificação de imagem e do aparelho de decodificação de imagem descritos nas modalidades acima.

A FIGURA 17 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com esta modalidade. Um aparelho de codificação de imagem 1700 mostrado na FIGURA 17 inclui uma unidade de camada de vídeo 1710 e uma unidade de camada de sistema 1720. A unidade de camada de vídeo 1710 gera um fluxo codificado codificando uma imagem composta de uma ou mais imagens. A unidade de camada de sistema 1720 gera um fluxo de sistema para transmitir ou armazenar o fluxo codificado.

A unidade de camada de vídeo 1710 inclui uma unidade de codificação 1701. A unidade de camada de sistema 1720 inclui uma unidade de multiplexação 1702.

A FIGURA 18 é um fluxograma que mostra um exemplo de uma operação de um aparelho de codificação de imagem 1700 mostrado na FIGURA 17.

Primeiro, a unidade de codificação 1701 codifica a imagem para gerar o fluxo codificado (Etapa S1801). Aqui, no caso onde o formato da i- magem é o formato de esquerda e direita misturados, a unidade de codificação 1701 codifica a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

A seguir, a unidade de multiplexação 1702 multiplexa o fluxo codificado e um identificador, para gerar o fluxo de sistema (Etapa S1802). O identificador indica se o formato da imagem é ou não o formato de esquerda e direita misturados. O formato de esquerda e direita misturados é um formato que inclui a camada básica e a camada de melhoria para fornecer uma pluralidade de graus de precisão, e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro. O fluxo codificado é o fluxo codificado gerado pela unidade de codificação 1701.

Portanto, o aparelho de codificação de imagem 1700 pode gerar o fluxo de sistema que permite determinação na camada de sistema no lado de decodificação se a imagem tem ou não o formato de esquerda e direita misturados. O aparelho de codificação de imagem 1700 pode deste modo manipular adequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Deve ser observado que a unidade de camada de vídeo 1710 e a unidade de codificação 1701 correspondem ao codificador MVC 170 e aos dois codificadores 171 e 172 de acordo com a Modalidade 1, e correspondem ao codificador SVC 870 e aos dois codificadores 871 e 872 de acordo com a Modalidade 2.

Consequentemente, a unidade de camada de vídeo 1710 e a u- nidade de codificação 1701 podem executar o mesmo processo que o codificador MVC 170 e os dois codificadores 171 e 172 de acordo com a Modalidade 1, e pode executar o mesmo processo que o codificador SVC 870 e os dois codificadores 871 e 872 de acordo com a Modalidade 2.

Adicionalmente, a unidade de camada de sistema 1720 e a unidade de multiplexação 1702 correspondem ao codificador de sistema 180 de acordo com a Modalidade 1, e correspondem ao codificador de sistema 880 de acordo com a Modalidade 2. Consequentemente, a unidade de camada de sistema 1720 e a unidade de multiplexação 1702 podem executar o mesmo processo que o codificador de sistema 180 de acordo com a Modalidade 1, e pode executar o mesmo processo que o codificador de sistema 880 de acordo com a Modalidade 2.

Além disso, a unidade de camada de sistema 1720 (camada de sistema) pode ser em conformidade com Sistemas MPEG-2. Ou seja, a unidade de multiplexação 1702 na unidade de camada de sistema 1720 pode gerar o fluxo de sistema que inclui o fluxo codificado e o descritor.

Além disso, a unidade de camada de vídeo 1710 (camada de vídeo) pode ser em conformidade com o esquema de codificação de vídeo multivisão. Ou seja, a unidade de codificação 1701 na unidade de camada de vídeo 1710 pode codificar a imagem de acordo com o esquema de codificação de vídeo multivisão para gerar o fluxo codificado. Em mais detalhes, a unidade de codificação 1701 pode codificar a camada básica como a visualização básica e a camada de melhoria como a visualização não básica e, quando codifica a camada de melhoria como a visualização não básica, referenciar a camada.

No caso onde a unidade de camada de sistema 1720 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1710 está em conformidade com o esquema de codificação de vídeo multivisão, a unidade de multiplexação 1702 pode inserir o identificador no descritor para o esquema de codificação de vídeo multivisão, e multiplexar o fluxo codificado e o descritor que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com o esquema de codificação de vídeo multivisão, e o identificador é inserido no descritor para o esquema de codificação de vídeo multivisão. O aparelho de codificação de imagem 1700 pode deste modo gerar o fluxo de sistema adequado usando o descritor.

Além disso, a unidade de camada de vídeo 1710 (camada de vídeo) pode ser em conformidade com H.264 MVC que é um padrão do esquema de codificação de vídeo multivisão. Ou seja, a unidade de codificação 1701 na unidade de camada de vídeo 1710 pode codificar a imagem de a- cordo com H.264 MVC para gerar o fluxo codificado.

No caso onde a unidade de camada de sistema 1720 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1710 está em conformidade com H.264 MVC, a unidade de multiplexação 1702 pode inserir o identificador no descritor MVC para H.264 MVC, e multiplexar o fluxo codificado e o descritor MVC que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com H.264 MVC, e o identificador é inserido no descritor MVC para H.264 MVC. O aparelho de codificação de imagem 1700 pode deste modo gerar o fluxo de sistema adequado usando o descritor MVC.

Embora H.264 MVC seja um exemplo típico do esquema de codificação de vídeo multivisão, a unidade de camada de vídeo 1710 (camada de vídeo) pode ser em conformidade com um padrão diferente de H.264 MVC. Por exemplo, a unidade de camada de vídeo 1710 pode ser em conformidade com um sucessor de H.264 MVC. Existe uma probabilidade de que o esquema de codificação de vídeo multivisão seja definido em HEVC (Codificação de Vídeo de Alta Eficiência) que é um sucessor de H.264. A unidade de camada de vídeo 1710 pode ser em conformidade com o esquema de codificação de vídeo multivisão de HEVC.

Além disso, a unidade de codificação 1701 pode codificar a imagem do formato de esquerda e direita misturados no caso onde o formato da imagem é o formato de esquerda e direita misturados, e codificar a imagem do formato de esquerda e direita independentes no caso onde o formato da imagem não é o formato de esquerda e direita misturados. O formato de esquerda e direita independentes é um formato que inclui o quadro da visualização esquerda e o quadro da visualização direita como quadros separados.

Portanto, o aparelho de codificação de imagem 1700 pode codificar a imagem do formato de esquerda e direita misturados ou a imagem do formato de esquerda e direita independentes.

Além disso, a unidade de camada de vídeo 1710 (camada de ví- deo) pode ser em conformidade com o esquema de codificação de vídeo escalável. Ou seja, a unidade de codificação 1701 na unidade de camada de vídeo 1710 pode codificar a imagem de acordo com o esquema de codificação de vídeo escalável para gerar o fluxo codificado. Em mais detalhes, a unidade de codificação 1701 pode codificar a imagem que inclui a camada básica e a camada de melhoria.

No caso onde a unidade de camada de sistema 1720 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1710 está em conformidade com o esquema de codificação de vídeo escalável, a unidade de multiplexação 1702 pode inserir o identificador no descritor para o esquema de codificação de vídeo escalável, e multiplexar o fluxo codificado e o descritor que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com o esquema de codificação de vídeo escalável, e o identificador é inserido no descritor para o esquema de codificação de vídeo escalável. O aparelho de codificação de imagem 1700 pode deste modo gerar o fluxo de sistema adequado usando o descritor.

Além disso, a unidade de camada de vídeo 1710 (camada de vídeo) pode ser em conformidade com H.264 SVC que é um padrão do esquema de codificação de vídeo escalável. Ou seja, a unidade de codificação 1701 na unidade de camada de vídeo 1710 pode codificar a imagem de a- cordo com H.264 SVC para gerar o fluxo codificado.

No caso onde a unidade de camada de sistema 1720 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1710 está em conformidade com H.264 SVC, a unidade de multiplexação 1702 pode inserir o identificador no descritor SVC para H.264 SVC, e multiplexar o fluxo codificado e o descritor SVC que inclui o identificador, para gerar o fluxo de sistema.

Portanto, a imagem é codificada de acordo com H.264 SVC, e o identificador é inserido no descritor SVC para H.264 SVC. O aparelho de codificação de imagem 1700 pode deste modo gerar o fluxo de sistema adequado usando o descritor SVC.

Embora H.264 SVC seja um exemplo típico do esquema de codificação de vídeo escalável, a unidade de camada de vídeo 1710 (camada de vídeo) pode ser em conformidade com um padrão diferente de H.264 SVC. Por exemplo, a unidade de camada de vídeo 1710 pode ser em conformidade com um sucessor de H.264 SVC. Existe uma probabilidade de que o esquema de codificação de vídeo escalável seja definido em HEVC que é um sucessor de H.264. A unidade de camada de vídeo 1710 pode ser em conformidade com o esquema de codificação de vídeo escalável de HEVC.

Além disso, a unidade de codificação 1701 pode codificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda e direita misturados, e codificar a imagem para exibição monoscópica no caso onde o formato da imagem não é o formato de esquerda e direita misturados.

Portanto, o método de codificação de imagem de acordo com a presente invenção pode codificar a imagem para exibição estereoscópica ou a imagem para exibição monoscópica.

Além disso, a imagem, tal como a imagem do formato de esquerda e direita misturados, entrada para o aparelho de codificação de imagem 1700 pode ser gerada pelo aparelho de geração de imagem independente, separado. Ou seja, o aparelho de codificação de imagem 1700 não precisa ter uma função para gerar uma imagem como esta.

A FIGURA 19 é um diagrama de blocos que mostra um exemplo do aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 1900 mostrado na FIGURA 19 inclui uma unidade de camada de sistema 1910, uma unidade de camada de vídeo 1920, e uma unidade de saída 1903.

A unidade de camada de sistema 1910 obtém o fluxo codificado a partir do fluxo de sistema para transmitir ou armazenar o fluxo codificado. O fluxo codificado inclui a imagem composta de uma ou mais imagens. A unidade de camada de vídeo 1920 decodifica a imagem no fluxo codificado.

A unidade de camada de sistema 1910 inclui uma unidade de demultiplexação 1901. A unidade de camada de vídeo 1920 inclui uma uni- dade de decodificação 1902.

A FIGURA 20 é um fluxograma que mostra um exemplo de uma operação do aparelho de decodificação de imagem 1900 mostrado na FIGURA 19.

Primeiro, a unidade de demultiplexação 1901 demultiplexa o fluxo de sistema no fluxo codificado e no identificador, para obter o fluxo codificado e o identificador (Etapa S2001). O identificador indica se o formato da imagem é ou não o formato de esquerda e direita misturados. O formato de esquerda e direita misturados é um formato que inclui a camada básica e a camada de melhoria para fornecer uma pluralidade de graus de precisão, e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

A seguir, a unidade de decodificação 1902 decodifica a imagem incluído no fluxo codificado obtido pela unidade de demultiplexação 1901 (Etapa S2002). Aqui, no caso onde o formato da imagem é o formato de esquerda e direita misturados, a unidade de decodificação 1902 decodifica a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

Seguindo isto, a unidade de saída 1903 fornece a imagem decodificada pela unidade de decodificação 1902, em um modo de saída especificado de acordo com o identificador obtido pela unidade de demultiplexação 1901 (Etapa S2003). O modo de saída inclui não apenas um formato de i- magem de saída, mas também um método e processo para formação de imagem de saída.

Portanto, o aparelho de decodificação de imagem 1900 pode comutar o modo de saída da imagem de acordo com o identificador indicando se a imagem tem ou não o formato de esquerda e direita misturados. O aparelho de decodificação de imagem 1900 pode deste modo manipular a- dequadamente o formato de vídeo 3D que inclui a camada básica e a camada de melhoria.

Deve ser observado que a unidade de camada de sistema 1910 e a unidade de demultiplexação 1901 correspondem ao decodificador de sistema 210 de acordo com a Modalidade 1, e correspondem ao decodificador de sistema 910 de acordo com a Modalidade 2. Consequentemente, a unidade de camada de sistema 1910 e a unidade de demultiplexação 1901 podem executar o mesmo processo que o decodificador de sistema 210 de acordo com a Modalidade 1, e podem executar o mesmo processo que o decodificador de sistema 910 de acordo com a Modalidade 2.

Adicionalmente, a unidade de camada de vídeo 1920 e a unidade de decodificação 1902 correspondem ao decodificador MVC 220 e aos dois decodificadores 221 e 222 de acordo com a Modalidade 1, e correspondem ao decodificador SVC 920 e aos dois decodificadores 921 e 922 de a- cordo com a Modalidade 2. Consequentemente, a unidade de camada de vídeo 1920 e a u- nidade de decodificação 1902 podem executar o mesmo processo que o decodificador MVC 220 e os dois decodificadores 221 e 222 de acordo com a Modalidade 1, e pode executar o mesmo processo que o decodificador SVC 920 e os dois decodificadores 921 e 922 de acordo com a Modalidade 2.

Adicionalmente, a unidade de saída 1903 corresponde à unidade de saída 260 de acordo com a Modalidade 1, e corresponde à unidade de saída 960 de acordo com a Modalidade 2. Consequentemente, a unidade de saída 1903 pode executar o mesmo processo que a unidade de saída 260 de acordo com a Modalidade 1, e pode executar o mesmo processo que a unidade de saída 960 de acordo com a Modalidade 2.

Além disso, a unidade de camada de sistema 1910 (camada de sistema) pode ser em conformidade com Sistemas MPEG-2. Ou seja, a unidade de demultiplexação 1901 na unidade de camada de sistema 1910 pode demultiplexer o fluxo de sistema no fluxo codificado e no descritor.

Além disso, a unidade de camada de vídeo 1920 (camada de vídeo) pode ser em conformidade com o esquema de codificação de vídeo multivisão. Ou seja, a unidade de decodificação 1902 na unidade de camada de vídeo 1920 pode decodificar a imagem codificada de acordo com o es- quema de codificação de vídeo multivisão. Em mais detalhes, a unidade de decodificação 1902 pode decodificar a camada básica como a visualização básica e a camada de melhoria como a visualização não básica e, quando decodificar a camada de melhoria como a visualização não básica, referenciar à camada básica como a visualização básica.

No caso onde a unidade de camada de sistema 1910 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1920 está em conformidade com o esquema de codificação de vídeo multivisão, a unidade de demultiplexação 1901 pode demultiplexar o fluxo de sistema no fluxo codificado e no descritor para o esquema de codificação de vídeo multivisão, para obter o fluxo codificado e o identificador incluído no descritor.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem codificada de acordo com o esquema de codificação de vídeo multivisão, e obter o identificador a partir do descritor para o esquema de codificação de vídeo multivisão. O aparelho de decodificação de imagem 1900 pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a unidade de camada de vídeo 1920 (camada de vídeo) pode ser em conformidade com H.264 MVC. Ou seja, a unidade de decodificação 1902 na unidade de camada de vídeo 1920 pode decodificar a imagem codificada de acordo com H.264 MVC.

No caso onde a unidade de camada de sistema 1910 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1920 está em conformidade com H.264 MVC, a unidade de demultiplexação 1901 pode demultiplexar o fluxo de sistema no fluxo codificado e o descritor MVC para H.264 MVC, para obter o fluxo codificado e o identificador incluído no descritor MVC.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem codificada de acordo com H.264 MVC, e obter o identificador a partir do descritor MVC para H.264 MVC. O aparelho de decodificação de imagem 1900 pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a unidade de decodificação 1902 pode decodificar a imagem do formato de esquerda e direita misturados no caso onde o formato da imagem é o formato de esquerda e direita misturados, e decodificar a i- magem do formato de esquerda e direita independentes no caso onde o formato da imagem não é o formato de esquerda e direita misturados. O formato de esquerda e direita independentes é um formato que inclui o quadro da visualização esquerda e o quadro da visualização direita como quadros separados.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem do formato de esquerda e direita misturados ou a imagem do formato de esquerda e direita independentes.

Além disso, a unidade de camada de vídeo 1920 (camada de vídeo) pode ser em conformidade com o esquema de codificação de vídeo escalável. Ou seja, a unidade de decodificação 1902 na unidade de camada de vídeo 1920 pode decodificar a imagem codificada de acordo com o esquema de codificação de vídeo escalável. Em mais detalhes, a unidade de decodificação 1902 pode decodificar a imagem que inclui a camada básica e a camada de melhoria.

No caso onde a unidade de camada de sistema 1910 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1920 está em conformidade com o esquema de codificação de vídeo escalável, a unidade de demultiplexação 1901 pode demultiplexar o fluxo de sistema no fluxo codificado e no descritor para o esquema de codificação de vídeo escalável, para obter o fluxo codificado e o identificador incluído no descritor.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem codificada de acordo com o esquema de codificação de vídeo escalável, e obter o identificador a partir do descritor para o esquema de codificação de vídeo escalável. O aparelho de decodificação de imagem 1900 pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a unidade de camada de vídeo 1920 (camada de vídeo) pode ser em conformidade com H.264 SVC. Ou seja, a unidade de de- codificação 1902 na unidade de camada de vídeo 1920 pode decodificar a imagem codificada de acordo com H.264 SVC.

No caso onde a unidade de camada de sistema 1910 está em conformidade com Sistemas MPEG-2 e a unidade de camada de vídeo 1920 está em conformidade com H.264 SVC, a unidade de demultiplexação 1901 pode demultiplexar o fluxo de sistema no fluxo codificado e o descritor SVC para H.264 SVC, para obter o fluxo codificado e o identificador incluído no descritor SVC.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem codificada de acordo com H.264 SVC, e obter o identificador do descritor SVC para H.264 SVC. O aparelho de decodificação de imagem 1900 pode deste modo manipular adequadamente o formato de esquerda e direita misturados.

Além disso, a unidade de decodificação 1902 pode decodificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda e direita misturados, e decodificar a imagem para exibição monoscópica no caso onde o formato da imagem não é o formato de esquerda e direita misturados.

Portanto, o aparelho de decodificação de imagem 1900 pode decodificar a imagem para exibição estereoscópica ou a imagem para exibição monoscópica.

Modalidade 6

Um aparelho de codificação de imagem e um aparelho de decodificação de imagem de acordo com a Modalidade 6 da presente invenção incluem componentes adicionais para o aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com a Modalidade 5.

A FIGURA 21 é um diagrama de blocos que mostra um exemplo de um aparelho de codificação de imagem de acordo com esta modalidade. Um aparelho de codificação de imagem 2100 mostrado na FIGURA 21 inclui uma unidade de geração 2104, uma unidade de camada de vídeo 2110, e uma unidade de camada de sistema 2120. A unidade de camada de vídeo 2110 inclui uma unidade de codificação 2101. A unidade de camada de sis- tema 2120 inclui uma unidade de multiplexação 2102.

A unidade de camada de vídeo 2110, a unidade de camada de sistema 2120, a unidade de codificação 2101, e a unidade de multiplexação 2102 respectivamente correspondem e operam da mesma forma que a unidade de camada de vídeo 1710, a unidade de camada de sistema 1720, a unidade de codificação 1701, e a unidade de multiplexação 1702 de acordo com a Modalidade 5.

A unidade de geração 2104 gera a imagem do formato de esquerda e direita misturados, a partir de um quadro esquerdo e um quadro direito. O quadro esquerdo é o quadro da visualização esquerda. O quadro direito é o quadro da visualização direita. Quando codifica a imagem do formato de esquerda e direita misturados, a unidade de codificação 2101 codifica a imagem gerada pela unidade de geração 2104, para gerar o fluxo codificado.

A FIGURA 22 é um fluxograma que mostra um exemplo de uma operação de um aparelho de codificação de imagem 2100 mostrado na FIGURA 21.

Primeiro, a unidade de geração 2104 gera a imagem do formato de esquerda e direita misturados, a partir do quadro esquerdo e do quadro direito (Etapa S2201).

Em detalhes, a unidade de geração 2104 gera, como o quadro da camada básica, um quadro em que uma primeira parte do quadro esquerdo é incluída na área de imagem de visualização esquerda e uma segunda parte do quadro direito é incluída na área de imagem de visualização direita. A unidade de geração 2104 também gera, como o quadro da camada de melhoria, um quadro em que uma terceira parte do quadro esquerdo é incluída na área de imagem de visualização esquerda e uma quarta parte do quadro direito é incluída na área de imagem de visualização direita. Aqui, a terceira parte é diferente da primeira parte, e a quarta parte é diferente da segunda parte.

Alternativamente, a unidade de geração 2104 gera, como o quadro da camada básica, um quadro em que uma primeira parte do quadro esquerdo é incluída na área de imagem de visualização esquerda e uma segunda parte do quadro direito é incluída na área de imagem de visualização direita. A unidade de geração 2104 também gera, como o quadro da camada de melhoria, um quadro em que todo o quadro esquerdo ou uma terceira parte do quadro esquerdo é incluída na área de imagem de visualização esquerda e todo o quadro direito ou uma quarta parte do quadro direito é incluída na área de imagem de visualização direita. Aqui, a terceira parte inclui a primeira parte, e a quarta parte inclui a segunda parte.

Através dos procedimentos mencionados acima, a unidade de geração 2104 gera a imagem do formato de esquerda e direita misturados a partir do quadro esquerdo e do quadro direito.

A seguir, a unidade de codificação 2101 codifica a imagem para gerar o fluxo codificado (Etapa S2202). A unidade de codificação 2101 codifica a imagem gerada pela unidade de geração 2104 para gerar o fluxo codificado, quando codifica a imagem do formato de esquerda e direita misturados.

Seguindo isto, a unidade de multiplexação 2102 multiplexa o fluxo codificado e o identificador, para gerar o fluxo de sistema (Etapa S2203). O identificador indica se o formato da imagem é ou não o formato de esquerda e direita misturados.

Portanto, o aparelho de codificação de imagem 2100 pode gerar a imagem do formato de esquerda e direita misturados. O aparelho de codificação de imagem 2100 pode deste modo gerar o fluxo de sistema que permite a determinação na camada de sistema no lado de decodificação se a imagem tem ou não o formato de esquerda e direita misturados.

O quadro da camada de melhoria é gerado a partir da parte diferente da parte que corresponde ao quadro da camada básica, ou da parte que inclui a parte que corresponde ao quadro da camada básica. Este quadro da camada básica e quadro da camada de melhoria obtém precisão graduada.

Deve ser observado que a unidade de geração 2104 corresponde às quatro unidades de redução horizontal pela 1/2 111 a 114 e as duas unidades de combinação 121 e 122 de acordo com a Modalidade 1, e corresponde às duas unidades de redução horizontal pela 1/2 811 e 812 e as duas unidades de combinação 821 e 822 de acordo com a Modalidade 2. Consequentemente, a unidade de geração 2104 pode executar o mesmo processo que as quatro unidades de redução horizontal pela 1/2 111 a 114 e as duas unidades de combinação 121 e 122 de acordo com a Modalidade 1, e pode executar o mesmo processo que as duas unidades de redução horizontal pela 1/2 811 e 812 e as duas unidades de combinação 821 e 822 de acordo com a Modalidade 2.

A FIGURA 23 é um diagrama de blocos que mostra um exemplo do aparelho de decodificação de imagem de acordo com esta modalidade. Um aparelho de decodificação de imagem 2300 mostrado na FIGURA 23 inclui uma unidade de camada de sistema 2310, uma unidade de camada de vídeo 2320, uma unidade de geração 2304, e uma unidade de saída 2303. A unidade de camada de sistema 2310 inclui uma unidade de demultiplexação 2301. A unidade de camada de vídeo 2320 inclui uma unidade de decodificação 2302.

A unidade de camada de sistema 2310, a unidade de camada de vídeo 2320, a unidade de demultiplexação 2301, e a unidade de decodificação 2302 respectivamente correspondem e operam da mesma forma que a unidade de camada de sistema 1910, a unidade de camada de vídeo 1920, a unidade de demultiplexação 1901, e a unidade de decodificação 1902 de acordo com a Modalidade 5.

A unidade de geração 2304 gera um quadro esquerdo e um quadro direito, no caso onde o formato da imagem é o formato de esquerda e direita misturados. O quadro esquerdo é o quadro da visualização esquerda. O quadro direito é o quadro da visualização direita. A unidade de saída 2303 fornece, como imagem, o quadro esquerdo e o quadro direito gerados pela unidade de geração 2304, no caso onde o formato da imagem é o formato de esquerda e direita misturados.

A FIGURA 24 é um fluxograma que mostra um exemplo de uma operação do aparelho de decodificação de imagem 2300 mostrado na Fl- GURA23.

Primeiro, a unidade de demultiplexação 2301 demultiplexa o fluxo de sistema no fluxo codificado e o identificador, para obter o fluxo codificado e o identificador (Etapa S2401). O identificador indica se o formato da imagem é ou não o formato de esquerda e direita misturados.

A seguir, a unidade de decodificação 2302 decodifica a imagem incluído no fluxo codificado obtido pela unidade de demultiplexação 2301 (Etapa S2402).

Seguindo isto, a unidade de geração 2304 gera o quadro esquerdo e o quadro direito, no caso onde o formato da imagem é o formato de esquerda e direita misturados (Etapa S2403).

Em detalhes, a unidade de geração 2304 obtém uma primeira parte do quadro esquerdo da área de imagem de visualização esquerda em um quadro de camada básica, e obtém uma segunda parte do quadro direito da área de imagem de visualização direita no quadro de camada básica. O quadro de camada básica é o quadro da camada básica, e é incluído na i- magem decodificada pela unidade de decodificação 2302.

A unidade de geração 2304 também obtém uma terceira parte do quadro esquerdo da área de imagem de visualização esquerda em um quadro de camada de melhoria, e obtém uma quarta parte do quadro direito da área de imagem de visualização direita no quadro da camada de melhori- a. O quadro de camada de melhoria é o quadro da camada de melhoria, e é incluído na imagem decodificada pela unidade de decodificação 2302. A terceira parte é diferente da primeira parte, e a quarta parte é diferente da segunda parte.

A unidade de geração 2304 então gera o quadro esquerdo a partir da primeira parte obtida e da terceira parte obtida, e gera o quadro direito a partir da segunda parte obtida e da quarta parte obtida.

A unidade de saída 2303 fornece a imagem decodificada pela unidade de decodificação 2302, em um modo de saída especificado de a- cordo com o identificador obtido pela unidade de demultiplexação 2301 (Etapa S2404). A unidade de saída 2303 fornece, como a imagem, o quadro es- querdo e o quadro direito gerados pela unidade de geração 2304, no caso onde o formato da imagem é o formato de esquerda e direita misturados.

Portanto, o aparelho de decodificação de imagem 2300 pode comutar o modo de saída da imagem de acordo com o identificador indicando se a imagem tem ou não o formato de esquerda e direita misturados. O aparelho de decodificação de imagem 2300 pode também gerar o quadro esquerdo de alta resolução e o quadro direito de alta resolução, combinando o quadro da camada básica e o quadro da camada de melhoria.

Deve ser observado que a unidade de geração 2304 corresponde à unidade de síntese de imagem 266 e a unidade de rearranjo de pixel 267 de acordo com a Modalidade 1. Consequentemente, a unidade de geração 2304 pode executar o mesmo processo que a unidade de síntese de imagem 266 e a unidade de rearranjo de pixel 267 de acordo com a Modalidade 1.

Além disso, a unidade de geração 2304 pode gerar, no caso onde o formato da imagem é o formato de esquerda e direita misturados, o quadro esquerdo da área de imagem de visualização esquerda no quadro decodificado e o quadro direito da área de imagem de visualização direita no quadro decodificado. O quadro decodificado é um quadro de uma de cama-da básica e camada de melhoria, e é incluído na imagem decodificada pela unidade de decodificação 2302.

Portanto, o aparelho de decodificação de imagem 2300 pode gerar o quadro esquerdo e o quadro direito a partir de qualquer um de quadro da camada básica e quadro da camada de melhoria. O aparelho de decodificação de imagem 2300 pode deste modo gerar a imagem que tem qualquer um da pluralidade de graus de precisão.

Neste caso, a unidade de geração 2304 corresponde à unidade de rearranjo de pixel 967 de acordo com a Modalidade 2. Consequentemente, a unidade de geração 2304 pode executar o mesmo processo como a unidade de rearranjo de pixel 967 de acordo com a Modalidade 2.

Embora o aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com a presente invenção tenham sido descritos por meio das modalidades, a presente invenção não é limitada a estas modalidades. Outras modalidades realizadas pela aplicação de modificações concebíveis pelos indivíduos versados na técnica nas modalidades e qualquer combinação dos componentes nas modalidades são também incluídas na presente invenção.

Por exemplo, um processo executado pela unidade de processamento específica pode ser executado por outra unidade de processamento. Além disso, sequência de execução de processo pode ser mudada, ou uma pluralidade de processes podem ser executados em paralelo.

Embora o conteúdo acima descreva o caso onde a camada de melhoria é composta de um quadro no formato de esquerda e direita misturados, a camada de melhoria não precisa ser composta de um quadro, e pode ser qualquer dado para melhorar a precisão do quadro da camada básica. A precisão não é limitada a uma resolução, e pode ser uma taxa de quadros, a quantidade de pixels, uma profundidade de pixel, uma relação de sinal para ruído, ou algo semelhante.

A presente invenção pode ser realizada não apenas como o a- parelho de codificação de imagem e o aparelho de decodificação de imagem, mas também como métodos que incluem etapas que correspondem às unidades de processamento incluídas no aparelho de codificação de imagem e no aparelho de decodificação de imagem. Por exemplo, estes etapas são executádas por um computador. A presente invenção pode também ser realizada como um programa para fazer com que o computador execute as etapas incluídas nestes métodos. A presente invenção pode adicionalmente ser realizada como um meio de gravação legível por computador tal como um CD-ROM no qual o programa é gravado.

Os componentes incluídos no aparelho de codificação de imagem e no aparelho de decodificação de imagem podem ser realizados por LSI (Integração em Larga Escala) que é um circuito integrado. Os componentes podem cada um ser individualmente implementado como uma pastilha de micro-circuitos (chip), ou podem ser parcial ou totalmente implementados em uma pastilha de micro-circuitos. Como um exemplo, os componen- tes diferentes da unidade de armazenamento podem ser implementados como uma pastilha de micro-circuitos. Embora LSI seja mencionado aqui, o circuito integrado pode ser chamado um IC (Circuito Integrado), sistema LSI, super LSI, ultra LSI, ou algo semelhante, dependendo do grau de integração.

O método de circuito integrado não é limitado a LSI, e pode ser realizado por um circuito dedicado ou um processador de propósito geral. Um FPGA (Arranjo de Portas Programável em Campo) que pode ser programado ou um processador reconfigurável que seja capaz de reconfigurar conexões e configurações de células do circuito em LSI também pode ser usado.

Quando uma tecnologia de circuito integrado que substitui LSI emerge do desenvolvimento de tecnologias de semicondutor ou outras tecnologias derivativas, tal tecnologia pode ser usada para criar circuitos integrados dos componentes incluídos no aparelho de codificação de imagem e no aparelho de decodificação de imagem.

Modalidade 7

O processamento descrito em cada uma das Modalidades pode ser simplesmente implementado em um sistema computador independente, gravando, no meio de gravação, um programa para implementar as configurações do método de codificação de imagem em movimento e do método de decodificação de imagem em movimento descritas em cada uma das Moda-lidades. A mídia de gravação pode ser qualquer mídia de gravação desde que o programa possa ser gravado, tal como um disco magnético, um disco ótico, um disco ótico magnético, um cartão IC, e uma memória de semicondutor.

Daqui em diante, as aplicações para o método de codificação de imagem em movimento e o método de decodificação de imagem em movimento descritos em cada uma das Modalidades e sistemas usando as mesmas serão descritos.

A FIGURA 25 ilustra uma configuração geral do sistema de fornecimento de conteúdo ex100 para implementar serviços de distribuição de conteúdo. A área para fornecer serviços de comunicação é dividida em célu- las de tamanho desejado, e estações base ex106, ex107, ex108, ex109, e ex110 que são estações sem fio fixas são instaladas em cada um das células.

O sistema de fornecimento de conteúdo ex100 é conectado a dispositivos, tal como um computador ex111, um assistente pessoal digital (PDA) ex112, uma câmera ex113, um telefone celular ex114 e uma console de jogos ex115, através da Internet ex101, um fornecedor de serviços de Internet ex102, uma rede de telefone ex104, tal como as estações base ex106 a ex110, respectivamente.

Entretanto, a configuração do sistema de fornecimento de conteúdo ex100 não é limitada à configuração mostrada na FIGURA 25, e uma combinação em que qualquer um dos elementos são conectados é aceitável. Adicionalmente, cada dispositivo pode ser diretamente conectado a rede de telefone ex104, em vez de através das estações base ex106 a ex110 que são as estações sem fio fixas. Além disso, os dispositivos podem ser inter- conectados uns aos outros através de uma comunicação sem fio de curta distância e outros.

A câmera ex113, tal como uma câmera de vídeo digital, é capaz de capturar vídeo. Uma câmera ex116, tal como uma câmera de vídeo digital, é capaz de capturar tanto imagens estáticas como vídeo. Além disso, o telefone celular ex114 pode ser aquele que atende a qualquer um dos padrões tal como Sistema Global para Comunicações Móveis (GSM), Acesso Múltiplo por Divisão de Código (CDMA), Acesso Múltiplo por Divisão de Código de Banda Larga (W-CDMA), Evolução de Longo Termo (LTE), e Acesso de Pacotes de Alta Velocidade (HSPA). Alternativamente, o telefone celular ex114 pode ser um Sistema de Telefone Portátil Pessoal (PHS).

No sistema de fornecimento de conteúdo ex100, um servidor de fluxo contínuo ex103 é conectado a uma câmera ex113 e outros através da rede telefônica ex104 e a estação base ex109, que permite distribuição de imagens de um show ao vivo e outros. Em uma distribuição como esta, um conteúdo (por exemplo, vídeo de um show de música) capturado pelo usuário usando a câmera ex113 é codificado como descrito acima em cada uma das Modalidades, e o conteúdo codificado é transmitido para o servidor de fluxo contínuo ex103. Por outro lado, o servidor de fluxo contínuo ex103 e- xecuta distribuição de fluxo contínuo do conteúdo dados transmitido para os clientes em consequência de suas solicitações. Os clientes incluem o computador ex111,o PDA ex112, a câmera ex113, o telefone celular ex114, e a console de jogos ex115 que são capaz de decodificar os dados codificados mencionados acima. Cada um dos dispositivos que tenha recebido os dados distribuídos decodifica e reproduz os dados codificados.

Os dados capturados podem ser codificados pela câmera ex113 ou pelo servidor de fluxo contínuo ex103 que transmite os dados, ou os processos de codificação podem ser compartilhados entre a câmera ex113 e o servidor de fluxo contínuo ex103. De maneira similar, os dados distribuídos podem ser decodificados pelos clientes ou pelo servidor de fluxo contínuo ex103, ou os processos de decodificação podem ser compartilhados entre os clientes e o servidor de fluxo contínuo ex103. Além disso, os dados das imagens estáticas e vídeo capturados não apenas pela câmera ex113 mas também pala câmera ex116 podem ser transmitidos para o servidor de fluxo contínuo ex103 através do computador ex111. Os processos de codificação podem ser executados pela câmera ex116, o computador ex111, ou o servidor de fluxo contínuo ex103, ou compartilhados entre eles.

Além disso, os processos de codificação e decodificação podem ser executados por um LSI ex500 geralmente incluídos em cada um de computador ex111 e dispositivos. O LSI ex500 pode ser configurado de uma única pastilha de micro-circuitos ou uma pluralidade de pastilhas de micro- circuitos. Software para codificar e decodificar vídeo pode ser integrado dentro de algum tipo de meio de gravação (tal como um CD-ROM, um disco flexível, e um disco rígido) que seja legível pelo computador ex111 e outros, e os processos de codificação e decodificação podem ser executados usando o software. Além disso, quando o telefone celular ex114 é equipado com uma câmera, os dados de imagem obtidos pela câmera podem ser transmitidos. Os dados de vídeo são dados codificada pelo LSI ex500 incluído no telefone celular ex114.

Além disso, o servidor de fluxo contínuo ex103 pode ser composto de servidores e computadores, e pode descentralizar dados e processar os dados descentralizados, gravar, ou distribuir dados.

Como descrito acima, os clientes podem receber e reproduzir os dados codificados no sistema de fornecimento de conteúdo ex100. Em outras palavras, os clientes podem receber e decodificar informação transmitida pelo usuário, e reproduzir os dados decodificados em tempo real no sistema de fornecimento de conteúdo ex100, de modo que o usuário que não tem qualquer direito e equipamento particular pode implementar difusão pessoal. Ao lado do exemplo do sistema de fornecimento de conteúdo ex100, pelo menos um de aparelho de codificação de imagem em movimento e aparelho de decodificação de imagem em movimento descritos em cada uma das Modalidades pode ser implementado no sistema de difusão digital ex200 ilustrado na FIGURA 26. Mais especificamente, uma estação de difusão ex201 se comunica ou transmite, através de ondas de rádio para um satélite de difusão ex202, dados multiplexados obtidos por multiplexação de dados de áudio e outros em dados de vídeo. Os dados de vídeo são dados codificados pelo método de codificação de imagem em movimento descrito em cada uma das Modalidades. Em consequência da recepção dos dados multiplexados, o satélite de difusão ex202 transmite ondas de rádio para difusão. Então, uma antena de uso residencial ex204 com uma função de recepção de difusão de satélite recebe as ondas de rádio. A seguir, um dispositivo tal como uma televisão (receptor) ex300 e um conjunto conversores (STB) ex217 decodifica os dados multiplexados recebidos, e reproduz os dados decodificados.

Além disso, um leitor / gravador ex218 (i) lê e decodifica os dados multiplexados gravados em uma mídia de gravação ex215, tal como um DVD e um BD, ou (ii) codifica sinais de vídeo no meio de gravação ex215, e em alguns casos, escreve dados obtidos através de multiplexação de um sinal de áudio nos dados codificados. O leitor / gravador ex218 pode incluir o aparelho de decodificação de imagem em movimento ou o aparelho de codi ficação de imagem em movimento como mostrado em cada uma das Modalidades. Neste caso, os sinais de vídeo reproduzidos são exibidos no monitor ex219, e podem ser reproduzidos por outro dispositivo ou sistema usando o meio de gravação ex215 em que os dados multiplexados são gravados. Também é possível implementar o aparelho de decodificação de imagem em movimento no conversor ex217 conectado ao cabo ex203 para uma televisão a cabo ou à antena ex204 para difusão por satélite e/ou terrestre, tal como para exibir os sinais de vídeo no monitor ex219 da televisão ex300. O aparelho de decodificação de imagem em movimento pode ser implementado não no conversor mas na televisão ex300.

A FIGURA 27 ilustra a televisão (receptor) ex300 que usa o método de codificação de imagem em movimento e o método de decodificação de imagem em movimento descrita em cada uma das Modalidades. A televisão ex300 inclui: um sintonizador ex301 que obtém ou fornece dados multiplexados obtidos por multiplexação de dados de áudio em dados de vídeo, através da antena ex204 ou do cabo ex203, etc. que recebe uma difusão; uma unidade de modulação / demodulação ex302 que demodula os dados multiplexados recebidos ou modula dados em dados multiplexados para serem fornecidos para fora; e unidade de multiplexação/demultiplexação ex303 que demultiplexa os dados multiplexados modulados em dados de vídeo e dados de áudio, ou multiplexa dados de vídeo e dados de áudio codificados pela unidade de processamento de sinal ex306 em dados.

A televisão ex300 adicionalmente inclui: uma unidade de processamento de sinal ex306 que inclui uma unidade de processamento de sinal de áudio ex304 e uma unidade de processamento de sinal de vídeo ex305 que decodifica dados de áudio e dados de vídeo e codifica dados de áudio e dados de vídeo, respectivamente; e uma unidade de saída ex309 que inclui um alto-falante ex307 que fornece o sinal de áudio decodificado, e uma unidade de exibição ex308 que exibe o sinal de vídeo decodificada, tal como uma exibição. Além disso, a televisão ex300 inclui uma unidade de interface ex317 que inclui uma unidade de entrada de operação ex312 que recebe uma entrada de operação de usuário. Além disso, a televisão ex300 inclui uma unidade de controle ex310 que controla integralmente cada elemento constituinte da televisão ex300, e uma unidade de circuito de fonte de alimentação ex311 que fornece energia para cada um dos elementos. Diferente da unidade de entrada de operação ex312, a unidade de interface ex317 pode incluir: uma ponte ex313 que é conectado um dispositivo externo, tal como o leitor / gravador ex218; uma unidade de encaixe ex314 para permitir fixação do meio de gravação ex216, tal como um cartão SD; um a- cionador ex315 a ser conectado a um meio de gravação externo, tal como um disco rígido; e um modem ex316 a ser conectado a uma rede telefônica. Aqui, o meio de gravação ex216 informação pode gravar eletricamente u- sando um elemento de memória de semicondutor não volátil / volátil para armazenamento. Os elementos constituintes da televisão ex300 são conectados uns aos outros através de um barramento síncrono.

Primeiro, a configuração em que a televisão ex300 decodifica dados multiplexados obtidos de fora através da antena ex204 e outros e reproduz serão descritos os dados decodificados. Na televisão ex300, em consequência de uma operação de usuário através de um controlador remoto- ex220 e outros, a unidade de multiplexação/demultiplexação ex303 demulti-plexa os dados multiplexados demodulados pela unidade de modulação / demodulação ex302, sob o controle da unidade de controle ex310 que inclui uma CPU. Além disso, a unidade de processamento de sinal de áudio ex304 decodifica os dados de áudio demultiplexados, e a unidade de processamento de sinal de vídeo ex305 decodifica os dados de vídeo demultiplexados, usando um método de decodificação descrito em cada uma das Modalidades, na televisão ex300. A unidade de saída ex309 fornece o sinal de vídeo e sinal de áudio decodificados para fora, respectivamente. Quando a unidade de saída ex309 fornece o sinal de vídeo e o sinal de áudio, os sinais pode ser temporariamente armazenado em memórias temporárias de amortecimento ex318 e ex319, e outras de modo que os sinais são reproduzidos em sincronismo um com o outro. Além disso, a televisão ex300 pode ler dados multiplexados não através de uma difusão e outros, mas a partir da mídia de gravação ex215 e ex216, tal como um disco magnético, um disco ótico, e a cartão SD. A seguir, será descrita uma configuração em que a televisão ex300 codifica um sinal de áudio e um sinal de vídeo, e transmite os dados para fora ou escreve os dados em um meio de gravação. Na televisão ex300, em consequência de uma operação de usuário através do controla-dor remoto ex220 e outros, a unidade de processamento de sinal de áudio ex304 codifica um sinal de áudio, e a unidade de processamento de sinal de vídeo ex305 codifica um sinal de vídeo, sob o controle da unidade de controle ex310 usando um método de codificação descrito em cada uma das Modalidades. A unidade de multiplexação/demultiplexação ex303 multiplexa o sinal de vídeo e sinal de áudio codificados, e fornece o sinal resultante para fora. Quando a unidade de multiplexação/demultiplexação ex303 multiplexa o sinal de vídeo e o sinal de áudio, os sinais podem ser temporariamente armazenados nas memórias temporárias de amortecimento ex320 e ex321, e outros de modo que os sinais são reproduzidos em sincronismo um com o outro. Aqui, as memórias temporárias de amortecimento ex318, ex319, ex320, e ex321 podem ser plurais como ilustrado, ou pelo menos uma memória temporária de amortecimento pode ser compartilhada na televisão ex300. Além disso, embora não ilustrado, dados podem ser armazenados na memória temporária de amortecimento de modo que o sobre-fluxo e sub- fluxo do sistema possam ser evitados entre a unidade de modulação / de- modulação ex302 e a unidade de multiplexação/demultiplexação ex303, por exemplo.

Além disso, a televisão ex300 pode incluir uma configuração para receber uma entrada de AV a partir de um microfone ou uma câmera diferente da configuração para obter áudio e dados de vídeo de um meio de difusão ou gravação, e pode codificar os dados obtidos. Embora a televisão ex300 possa codificar, multiplexar, e fornecer para fora dados na descrição, a mesma pode ser capaz de apenas receber, decodificar, e fornecer para fora dados, mas não a codificação, multiplexação, e fornecer dados para fora.

Além disso, quando o leitor / gravador ex218 lê ou escreve dados multiplexados de ou em um meio de gravação, um de televisão ex300 e leitor/gravador ex218 pode decodificar ou codificar os dados multiplexados, e a televisão ex300 e o leitor/gravador ex218 pode compartilhar a decodificação ou codificação.

Como um exemplo, a FIGURA 28 ilustra uma configuração de uma unidade de reprodução / gravação de informação ex400 quando dados são lidos ou escritos do ou no disco ótico. A unidade de reprodução / gravação de informação ex400 inclui elementos constituintes ex401, ex402, ex403, ex404, ex405, ex406, e ex407 a serem descritos daqui em diante. A cabeça ótica ex401 irradia um ponto de laser na superfície de gravação do meio de gravação ex215 que é um disco ótico para gravar informação, e detecta luz refletida da superfície de gravação do meio de gravação ex215 para ler a informação. A unidade de gravação e modulação ex402 aciona eletri-camente um laser semicondutor incluído na cabeça ótica ex401, e modula a luz de laser de acordo com dados gravados. A unidade de demodulação e reprodução ex403 amplifica um sinal de reprodução obtido detectando eletricamente a luz refletida a partir da superfície de gravação usando um foto- detector incluído na cabeça ótica ex401, e demodula o sinal de reprodução separando um componente de sinal gravado no meio de gravação ex215 para reproduzir a informação necessária. A memória temporária de amortecimento ex404 mantém temporariamente a informação a ser gravada no meio de gravação ex215 e a informação reproduzida do meio de gravação ex215. O motor do disco ex405 gira o meio de gravação ex215. A unidade de controle de servo ex406 move a cabeça ótica ex401 para uma trilha de informação predeterminada ao mesmo tempo em que controla o acionador de rotação do motor do disco ex405 para seguir o ponto de laser. A unidade de controle de sistema ex407 controla integralmente a unidade de reprodu- ção/gravação de informação ex400. Os processos de leitura e gravação podem ser implementados por uma unidade de controle de sistema ex407 u- sando várias informações armazenadas na memória temporária de amortecimento ex404 e gerar e adicionar nova informação como necessário, e pela unidade de gravação e modulação ex402, pela unidade de demodulação e reprodução ex403, e pela unidade de controle de servo ex406 que gravam e reproduzem informação através da cabeça ótica ex401 ao mesmo tempo em que são operadas de uma maneira coordenada. A unidade de controle de sistema ex407 inclui, por exemplo, um microprocessador, e executa processamento fazendo com que um computador execute um programa para ler e gravar.

Embora a cabeça ótica ex401 irradie um ponto de laser na descrição, a mesma pode executar gravação de alta densidade usando luz de campo próximo.

A FIGURA 29 ilustra o meio de gravação ex215 que é o disco ó- tico. Na superfície de gravação do meio de gravação ex215, são formadas espiralmente ranhuras guias, e uma trilha de informação ex230 grava, antecipadamente, informação de endereço que indica uma posição absoluta no disco de acordo com mudança na forma das ranhuras guias. A informação de endereço inclui informação para determinar posições de blocos de gravação ex231 que são uma unidade para gravar dados. Reproduzir a trilha de informação ex230 e ler a informação de endereço em um aparelho que grava e reproduz dados pode levar a determinação das posições dos blocos de gravação. Além disso, o meio de gravação ex215 inclui uma área de gravação de dados ex233, uma área de circunferência interna ex232, e uma área de circunferência externa ex234. A área de gravação de dados ex233 é uma área para uso em gravação dos dados de usuário. A área de circunferência interna ex232 e a área de circunferência externa ex234 que são interna e externa à área de gravação de dados ex233, respectivamente são para uso específico exceto para gravar os dados de usuário. A unidade de reprodu- ção/gravação de informação ex400 lê e escreve áudio codificado, dados de vídeo codificado, ou dados multiplexados obtidos por multiplexação dos dados codificados de áudio e vídeo, da e na área de gravação de dados ex233 do meio de gravação ex215.

Embora um disco ótico que tenha uma camada, tal como um DVD e um BD seja descrito como um exemplo na descrição, o disco ótico não é limitado a isto, e pode ser um disco ótico que tem uma estrutura multi- camadas e capaz de ser gravado em uma parte diferente da superfície. Além disso, o disco ótico pode ter uma estrutura para gravação / reprodução multidimensional, tal como gravação de informação usando luzes de cores de tamanhos de tamanhos de onda diferentes na mesma parte do disco ótico e para gravar informação que tem diferentes camadas a partir de vários ângulos.

Além disso, um carro ex210 que tem uma antena ex205 pode receber dados do satélite ex202 e outros, e reproduzir vídeo em um dispositivo de exibição tal como um sistema de navegação de carro ex211 configurado no carro ex210, no sistema de difusão digital ex200. Aqui, uma configuração do sistema de navegação de carro ex211 será uma configuração, por exemplo, que inclui uma unidade para receber GPS a partir da configuração ilustrada na FIGURA 27. O mesmo será verdadeiro para a configuração do computador ex111, o telefone celular ex114, e outros.

A FIGURA 30A ilustra o telefone celular ex114 que usa o método de codificação de imagem em movimento e o método de decodificação de imagem em movimento descritos nas Modalidades. O telefone celular ex114 inclui: uma antena ex350 para transmitir e receber ondas de rádio através da estação base ex110; uma unidade de câmera ex365 capaz de capturar imagens estáticas e em movimento; e uma unidade de exibição ex358 tal como um visor de cristal líquido para exibir os dados tal como vídeo decodificado capturado pela unidade de câmera ex365 ou recebido pela antena ex350. O telefone celular ex114 adicionalmente inclui: uma unidade de corpo principal que inclui uma unidade de teclas de operação ex366; uma unidade de saída de áudio ex357 tal como um alto-falante para saída de áudio; uma unidade de entrada de áudio ex356 tal como um microfone para entrada de áudio; uma unidade de memória ex367 para armazenar vídeo ou quadros estáticos capturados, áudio gravado, dados codificados ou decodificados do vídeo recebido, os quadros estáticos, e-mails, ou outros; e uma unidade de encaixe ex364 que é um unidade de interface para um meio de gravação que armazena dados da mesma maneira que a unidade de memória ex367.

A seguir, um exemplo de uma configuração do telefone celular ex114 será descrita com referência a FIGURA 30B. No telefone celular ex114, uma unidade principal de controle ex360 projetada para controlar integralmente cada unidade do corpo principal que inclui a unidade de exibição ex358 bem como a unidade chave de operação ex366 são conectadas mutuamente, através de um barramento síncrono ex370, a uma unidade de circuito de fonte de alimentação ex361, uma unidade de controle de entrada de operação ex362, uma unidade de processamento de sinal de vídeo ex355, uma unidade de interface de câmera ex363, uma unidade de controle de visor de cristal líquido (LCD) ex359, uma unidade de modulação / demodulação ex352, uma unidade de multiplexação/demultiplexação ex353, uma unidade de processamento de sinal de áudio ex354, uma unidade de encaixe ex364, e uma unidade de memória ex367.

Quando uma tecla de fim de ligação ou tecla de energia é LIGADA por uma operação de usuário, a unidade de circuito de fonte de alimentação ex361 abastece as respectivas unidades com energia a partir da bateria para ativar o telefone celular ex114.

No telefone celular ex114, a unidade de processamento de sinal de áudio ex354 converte o sinal de áudio coletado pela unidade de entrada de áudio ex356 em modo de conversação de voz em sinais de áudio digitais sob o controle da unidade principal de controle ex360 que inclui uma CPU, ROM, e RAM. Então, a unidade de modulação/demodulação ex352 executa processamento de espectro espalhado nos sinais de áudio digitais, e a unidade de transmissão e recepção ex351 executa conversão digital para analógico e conversão de frequência nos dados, para transmitir os dados resultantes através da antena ex350. Também, no telefone celular ex114, a unidade de transmissão e recepção ex351 amplifica os dados recebidos pela antena ex350 em modo de conversação de voz e executa conversão de frequência e a conversão de digital para analógico nos dados. Então, a unidade de modulação/demodulação ex352 executa processamento de espectro espalhado inverso nos dados, e a unidade de processamento de sinal de áudio ex354 converte o mesmo em sinais de áudios analógicos, para fornecer os mesmos através da unidade de saída de áudio ex357.

Além disso, quando é transmitido um e-mail em modo de comu nicação de dados, dados de texto do e-mail entrados operando a unidade chave de operação ex366 e outras do corpo principal são enviados para a unidade principal de controle ex360 através da operação da unidade de controle de entrada ex362. A unidade principal de controle ex360 faz com que a unidade de modulação/demodulação ex352 execute processamento de espectro espalhado nos dados de texto, e a unidade de transmissão e recepção ex351 execute a conversão digital para analógico e a conversão de frequência nos dados resultantes para transmitir os dados para a estação base ex110 através da antena ex350. Quando um e-mail é recebido, é executado processamento que é aproximadamente inverso ao processamento para transmitir um e-mail nos dados recebidos, e os dados resultantes são fornecidos para a unidade de exibição ex358.

Quando vídeo, imagens estáticas, ou vídeo e áudio em modo de comunicação de dados é ou são transmitidos, a unidade de processamento de sinal de vídeo ex355 comprime e codifica sinais de vídeo fornecidos a partir da unidade de câmera ex365 usando o método de codificação de imagem em movimento mostrado em cada uma das Modalidades, e transmite os dados codificados de vídeo para a unidade de multiplexação/demulti- plexação ex353. Ao contrário, quando a unidade de câmera ex365 captura vídeo, imagens estáticas, e outros, a unidade de processamento de sinal de áudio ex354 codifica sinais de áudio coletados pela unidade de entrada de áudio ex356, e transmite os dados de áudio codificados para a unidade de multiplexação/demultiplexação ex353.

A unidade de multiplexação/demultiplexação ex353 multiplexa os dados codificados de vídeo fornecidos a partir da unidade de processamento de sinal de vídeo ex355 e os dados de áudio codificados fornecidos a partir da unidade de processamento de sinal de áudio ex354, usando um método predeterminado. Então, a unidade de circuito de modulação/demodulação ex352 executa processamento de espectro espalhado nos dados multiplexados, e a unidade de transmissão e recepção ex351 executa conversão digital para analógico e conversão de frequência nos dados para transmitir os dados resultantes através da antena ex350.

Quando receber dados do arquivo de vídeo que é ligado a uma página de Web e outros em modo de comunicação de dados ou quando receber um e-mail com vídeo e/ou áudio anexado, a fim de decodificar os dados multiplexados recebidos através da antena ex350, a unidade de multiplexação/demultiplexação ex353 demultiplexa os dados multiplexados dentro de um fluxo de bit de dados de vídeo e um fluxo de bit de dados de áudio, e fornece os dados codificados de vídeo para a unidade de processamento de sinal de vídeo ex355 e os dados de áudio codificados para a unidade de processamento de sinal de áudio ex354, através do barramento síncrono ex370. A unidade de processamento de sinal de vídeo ex355 decodifica o sinal de vídeo usando um método para decodificar a imagem em movimento que corresponde a um método de codificação mostrado em cada uma das Modalidades, e então a unidade de exibição ex358 exibe, por exemplo, o vídeo e imagens estáticas incluídos no arquivo de vídeo ligado a página da Web através da unidade de controle de LCD ex359. Além disso, a unidade de processamento de sinal de áudio ex354 decodifica o sinal de áudio, e a uma unidade de saída de áudio ex357 fornece o áudio.

Além disso, de maneira similar à televisão ex300, um terminal tal como o telefone celular ex114 provavelmente tem 3 tipos de configurações de implementação que incluem não apenas (i) um terminal de transmissão e recepção que inclui tanto um aparelho de codificação e um aparelho de decodificação, mas também (ii) um terminal de transmissão que inclui apenas um aparelho de codificação e (iii) a receber terminal que inclui apenas um aparelho de decodificação. Embora o sistema de difusão digital ex200 receba e transmita os dados multiplexados obtidos por multiplexação de dados de áudio sobre dados de vídeo na descrição, os dados multiplexados podem ser dados obtidos por multiplexação de dados não de áudio, mas dados de caracteres relacionados a vídeo sobre dados de vídeo, e podem não ser dados multiplexados mas dados do próprio vídeo. Como tal, o método de codificação de imagem em movimento e o método de decodificação de imagem em movimento em cada uma das Modalidades pode ser usado em qualquer um dos dispositivos e sistemas descritos. Portanto, as vantagens descritas em cada uma das Modalidades podem ser obtidas.

Além disso, a presente invenção não é limitada a Modalidades, e várias modificações e revisões são possíveis sem se afastar do escopo da presente invenção.

Modalidade 8

Dados de vídeo podem ser gerados por comutação, como necessário, entre (i) o método de codificação de imagem em movimento ou o aparelho de codificação de imagem em movimento mostrado em cada uma das Modalidades e (ii) um método de codificação de imagem em movimento ou um aparelho de codificação de imagem em movimento em conformidade com um padrão diferente, tal como MPEG-2, MPEG4-AVC, e VC-1.

Aqui, quando é gerada uma pluralidade de dados de vídeo que se conforma a diferentes padrões e é então decodificada, os métodos de decodificação precisam ser selecionados para se conformar aos diferentes padrões. Entretanto, uma vez que cada padrão da pluralidade dos dados de vídeo a serem decodificados em conformidade não podem ser detectados, existe um problema de que um método de decodificação adequado não pode ser selecionado.

A fim de resolver o problema, dados multiplexados obtidos por multiplexação de dados de áudio e outros em dados de vídeo têm uma estrutura que inclui informação de identificação indicando a qual padrão os dados de vídeo se conformam. A estrutura específica dos dados multiplexados que inclui os dados de vídeo gerados no método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento mostrado em cada uma das Modalidades serão descritos daqui em diante. Os dados multiplexados são um fluxo digital no formato de Fluxo de Transporte MPEG2.

A FIGURA 31 ilustra uma estrutura dos dados multiplexados. Como ilustrado na FIGURA 31, os dados multiplexados podem ser obtidos por multiplexação de pelo menos de um fluxo de vídeo, um fluxo de áudio, um fluxo de gráfico de apresentação (PG), e um fluxo de gráficos interativo.

O fluxo de vídeo representa vídeo primário e vídeo secundário de um filme, o fluxo de áudio (IG) representa uma parte de áudio primária e uma parte de áudio secundária a ser misturada com a parte de áudio primária , e o fluxo de gráfico de apresentação representa legendas do filme. Aqui, o vídeo primário é vídeo normal a ser exibido em uma tela, e o vídeo secundário é vídeo a ser exibido em uma janela menor no vídeo primário. Além disso, o fluxo de gráficos interativo representa uma tela interativa a ser gerada dispondo os componentes da GUI em uma tela. O fluxo de vídeo é codificado no método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento mostrado em cada uma das Modalidades, ou no método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento em conformidade com um padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1. O fluxo de áudio é codificado de acordo com um padrão, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, e PCM linear.

Cada fluxo incluído nos dados multiplexados é identificado por PID. Por exemplo, 0x1011 é alocado para o fluxo de vídeo a ser usado para vídeo de um filme, 0x1100 a 0x111F são alocados para os fluxos de áudio, 0x1200 a 0x121 F são alocados para o fluxo de gráficos de apresentação, 0x1400 a 0x141 F são alocado para os fluxos de gráficos interativos, 0x1 B00 a 0x1 B1F são alocado para os fluxos de vídeo a serem usados para vídeo secundário do filme, e 0x1 AOO a 0x1 A1F são alocados para os fluxos de áudio a serem usados para o vídeo secundário para serem misturados com o áudio primário.

A FIGURA 32 ilustra esquematicamente como dados são multiplexados. Primeiro, um fluxo de vídeo ex235 composto de quadros de vídeo e um fluxo de áudio ex238 composto de quadros de áudio são transformados em um fluxo de pacotes PES ex236 e um fluxo de pacotes PES ex239, e adicionalmente em Pacotes TS ex237 e Pacotes TS ex240, respectivamente. De maneira similar, dados de um fluxo de gráfico de apresentação ex241 e dados de um fluxo de gráficos interativo ex244 são transformados em um fluxo de pacotes PES ex242 e um fluxo de pacotes PES ex245, e adicional mente em pacotes TS ex243 e pacotes TS ex246, respectivamente. Estes pacotes TS são multiplexados em um fluxo para obter dados ex247 multiplexados.

A FIGURA 33 ilustra como um fluxo de vídeo é armazenado no fluxo de pacotes PES em mais detalhes. A primeira barra na FIGURA 33 mostra um fluxo de quadros de vídeo no fluxo de vídeo. A segunda barra mostra o fluxo de pacotes PES. Como indicado pelas setas representadas como yy1, yy2, yy3, e yy4 na FIGURA 33, o fluxo de vídeo é dividido em quadros como l-quadros, B-quadros, e P-quadros cada um dos quais é uma unidade de apresentação de vídeo, e os quadros são armazenados na carga útil de cada um dos pacotes PES. Cada um dos pacotes PES tem um cabeçalho PES, e o cabeçalho PES armazena um Registro de Hora da Apresentação (PTS) indicando uma hora de exibição do quadro, e um Registro de Hora da Decodificação (DTS) indicando a hora da decodificação do quadro.

A FIGURA 34 ilustra um formato de Pacotes TS a ser finalmente escrito nos dados multiplexados. Cada um dos Pacotes TS é um pacote de tamanho fixo de 188-bytes que inclui um cabeçalho TS de 4-bytes que tem informação, tal como um PI D para identificar um fluxo e uma carga útil de TS de 184-bytes para armazenar dados.Os pacotes PES são divididos, e armazenados nas cargas úteis de TS, respectivamente. Quando é usada uma BD ROM, é dado a cada um dos Pacotes TS um CabeçalhoExtraTP de 4- bytes, portanto resultando em pacotes fontes de 192-bytes. Os pacotes fontes são escritos nos dados multiplexados. O Cabeçalho Extra TP armazena informação tal como um Hora_Registro_Chegada (ATS). O ATS mostra uma hora de início de transferência em que cada um dos Pacotes TS é para ser transferido para um filtro de PID. Os pacotes fontes são dispostos nos dados multiplexados como mostrado no fundo da FIGURA 34. os números que incrementam a partir do cabeçalho dos dados multiplexados são chamados números de pacote fonte (SPNs).

Cada um dos Pacotes TS incluído nos dados multiplexados inclui não apenas fluxos de áudio, vídeo, legendas e outros, mas também uma Tabela de Associação de Programa (PAT), uma Tabela de Mapa de Pro- grama (PMT), e um Relógio de Referência de Programa (PCR). O PAT mostra o que um PID na PMT usado nos dados multiplexados indica, e um PID da PAT é ele próprio registrado como zero. A PMT armazena PIDs dos fluxos de vídeo, áudio, legendas e outros incluídos nos dados multiplexados, e informação de atributos dos fluxos que correspondem aos PIDs. A PMT também tem vários descritores que se referem aos dados multiplexados. Os descritores têm informação tal como informação de controle de cópia que mostra se a cópia dos dados multiplexados é permitida ou não. A PCR armazena informação de hora de STC que corresponde a um ATS que mostra quando o pacote PCR é transferido para um decodificador, a fim de obter sincronismo entre um Relógio de Hora de Chegada (ATC) que é um eixo do tempo de ATSs, e um Relógio de Hora de Sistema (STC) que é um eixo do tempo de PTSs e DTSs.

A FIGURA 35 ilustra a estrutura de dados da PMT em detalhes. Um cabeçalho de PMT é disposto no topo da PMT. O cabeçalho de PMT descreve a extensão de dados incluídos na PMT e outros. Uma pluralidade de descritores relacionados aos dados multiplexados são dispostos após o cabeçalho de PMT. Informação tal como a informação de controle de cópia é descrita nos descritores. Após os descritores, é disposta uma pluralidade de peças de informação de fluxo relativas aos fluxos incluídos nos dados multiplexados. Cada peça de informação de fluxo inclui descritores de fluxo cada um descrevendo informação, tal como um tipo de fluxo para identificar um codec de compressão do fluxo, um PID de fluxo, e informação de atributos de fluxo (tal como uma taxa de quadros ou uma relação de aspecto). Os descritores de fluxo são iguais em quantidade a quantidade de fluxos nos dados multiplexados.

Quando os dados multiplexados são gravados em um meio de gravação e outros, os mesmos são gravados junto com arquivos de informação de dados multiplexados.

Cada um dos arquivos de informação de dados multiplexados é informação de gerenciamento dos dados multiplexados como mostrado na FIGURA 36. Os arquivos de informação de dados multiplexados são em cor- respondência de um para um com os dados multiplexados, e cada um dos arquivos inclui informação de dados multiplexados, informação de atributos de fluxo, e um mapa de entrada.

Como ilustrado na FIGURA 36, os dados multiplexados incluem uma taxa de sistema, uma hora de início de reprodução, e uma hora de término de reprodução. A taxa de sistema indica a taxa de transferência máxima em que um decodificador alvo de sistema a ser descrito posteriormente transfere os dados multiplexados para um filtro de PID. Os intervalos dos ATSs incluídos nos dados multiplexados são configurados para não maior do que uma taxa de sistema. A hora de início de reprodução indica um PTS em um quadro de vídeo no início dos dados multiplexados. Um intervalo de um quadro é adicionado a um PTS em um quadro de vídeo no final dos dados multiplexados, e o PTS é configurado para a hora de término de reprodução.

Como mostrado na FIGURA 37, uma peça de informação de a- tributos é registrada na informação de atributos de fluxo, para cada PID de cada fluxo incluído nos dados multiplexados. Cada peça de informação de atributos tem informação diferente dependendo de se o fluxo correspondente é um fluxo de vídeo, um fluxo de áudio, um fluxo de gráfico de apresentação, ou um fluxo de gráficos interativo. Cada peça de informação de atributos de fluxo de vídeo transporta informação que inclui qual tipo de codec de compressão é usado para comprimir o fluxo de vídeo, e a resolução, relação de aspecto e taxa de quadros das peças de dados de quadro que é incluído no fluxo de vídeo. Cada peça de informação de atributos de fluxo de áudio transporta informação que inclui qual tipo de codec de compressão é usado para comprimir o fluxo de áudio, quantos canais são incluídos no fluxo de áudio, que língua o fluxo de áudio suporta, e quão alta é a frequência de amostragem. A informação de atributos de fluxo de vídeo e a informação de atributos de fluxo de áudio são usadas para inicialização de um decodificador antes do tocador reproduzir a informação.

Na Modalidade 8, os dados multiplexados para serem usados são do tipo de fluxo incluído no PMT. Além disso, quando os dados multiplexados são gravados em um meio de gravação, a informação de atributos de fluxo de vídeo incluídas na informação de dados multiplexados é usada. Mais especificamente, o método de codificação de imagem em movimento ou o aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades inclui uma etapa ou uma unidade para informação única de alocação indicando dados de vídeo gerados pelo método de codificação de imagem em movimento ou o aparelho de codificação de imagem em movimento em cada uma das Modalidades, para o tipo de fluxo incluído na PMT ou a informação de atributos de fluxo de vídeo. Com a configuração, os dados de vídeo gerados pelo método de codificação de imagem em mo-vimento ou o aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades podem ser distinguidos de dados de vídeo que se conformam a outro padrão.

Além disso, a FIGURA 38 ilustra etapas do método de decodificação de imagem em movimento de acordo com a Modalidade 8. Na Etapa exS100, o tipo de fluxo incluído na PMT ou a informação de atributos de fluxo de vídeo é obtida dos dados multiplexados. A seguir, na Etapa exS101, é determinado se o tipo de fluxo ou a informação de atributos de fluxo de vídeo indicam que os dados multiplexados são gerado ou não pelo método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento em cada uma das Modalidades. Quando é determinado que o tipo de fluxo ou a informação de atributos de fluxo de vídeo indica que os dados multiplexados são gerados pelo método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento em cada uma das Modalidades, na Etapa exS102, é executada decodificação pelo método de decodificação de imagem em movimento em cada uma das Modalidades. Além disso, quando o tipo de fluxo ou a informação de atributos de fluxo de vídeo indica conformidade com padrões convencionais, tal como MPEG-2, MPEG4-AVC, e VC-1, na Etapa exS103, é executada decodificação por um método para decodificar a imagem em movimento em conformidade com os padrões convencionais.

Como tal, alocar um novo valor único para o tipo de fluxo ou a informação de atributos de fluxo de vídeo permite determinar se o método de decodificação de imagem em movimento ou o aparelho de decodificação de imagem em movimento que são descritos em cada uma das Modalidades podem ou não executar decodificação. Mesmo quando dados multiplexados que se conformam a um padrão diferente, um método de decodificação adequado ou aparelho podem ser selecionados. Portanto, se torna possível decodificar informação sem qualquer erro. Além disso, o método ou aparelho de codificação de imagem em movimento, ou o método ou aparelho de de-codificação de imagem em movimento na Modalidade 8 podem ser usados nos dispositivos e sistemas descritos acima.

Modalidade 9

Cada um de método de codificação de quadro em movimento, aparelho de codificação de imagem em movimento, método de decodificação de quadro em movimento, e aparelho de decodificação de imagem em movimento em cada uma das Modalidades é tipicamente obtido na forma de um circuito integrado ou um circuito Integrado em Larga Escala (LSI). Como exemplo do LSI, a FIGURA 39 ilustra uma configuração do LSI ex500 que é construído dentro de uma pastilha de micro-circuitos. O LSI ex500 inclui e- lementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, e ex509 a serem descritos abaixo, e os elementos são conectados uns aos outros através de um barramento ex510. A unidade de circuito de fonte de alimentação ex505 é ativada fornecendo energia para cada um dos elementos quando a unidade de circuito de fonte de alimentação ex505 é ligada.

Por exemplo, quando é executada codificação, o LSI ex500 recebe um sinal de AV a partir de um microfone ex117, uma câmera ex113, e outros através de uma IO de AV ex509 sob o controle de uma unidade de controle ex501 que inclui uma CPU ex502, um controlador de memória ex503, um controlador de fluxo ex504, e uma unidade de controle de frequência de acionamento ex512. O sinal AV recebido é temporariamente armazenado em uma memória externa ex511, tal como uma SDRAM. Sob o controle da unidade de controle ex501, os dados armazenados são segmentados em partes de dados de acordo com a quantidade e velocidade de processamento a serem transmitidas para uma unidade de processamento de sinal ex507. Então, a unidade de processamento de sinal ex507 codifica um sinal de áudio e/ou um sinal de vídeo. Aqui, a codificação do sinal de vídeo é a codificação descrita em cada uma das Modalidades. Além disso, a unidade de processamento de sinal ex507 algumas vezes multiplexa os dados de áudio codificados e os dados de vídeo codificados, e um fluxo de IO ex506 fornece os dados multiplexados para fora. Os dados multiplexados fornecidos são transmitidos para a estação base ex107, ou gravados na mídia de gravação ex215. Quando conjuntos de dados são multiplexados, os dados devem ser temporariamente armazenados na memória temporária de amor-tecimento ex508 de modo que os conjuntos de dados são sincronizados um com o outro.

Embora a memória ex511 seja um elemento externo o LSI ex500, a mesma pode ser incluída no LSI ex500. A memória temporária de amortecimento ex508 não é limitada a uma memória temporária de amortecimento, mas pode ser composta de memórias temporárias de amortecimento. Além disso, o LSI ex500 pode ser construído dentro de uma pastilha de micro-circuitos ou uma pluralidade de pastilhas de micro-circuitos.

Além disso, embora a unidade de controle ex510 inclua a CPU ex502, o controlador de memória ex503, o controlador de fluxo ex504, a unidade de controle de frequência de acionamento ex512, a configuração da unidade de controle ex510 não é limitada a isto. Por exemplo, a unidade de processamento de sinal ex507 pode adicionalmente incluir uma CPU. A inclusão de outra CPU na unidade de processamento de sinal ex507 pode melhorar a velocidade de processamento. Além disso, como outro exemplo, a CPU ex502 pode servir como ou ser uma parte da unidade de processamento de sinal ex507, e, por exemplo, pode incluir uma unidade de processamento de sinal de áudio. Neste caso, a unidade de controle ex501 inclui a unidade de processamento de sinal ex507 ou a CPU ex502 que inclui uma parte da unidade de processamento de sinal ex507.

O nome usado aqui é LSI, mas o mesmo pode também ser chamado IC, sistema LSI, super LSI, ou ultra LSI dependendo do grau de integração.

Além disso, formas para obter integração são não limitada ao LSI, e um circuito especial ou um processador de propósito geral e assim por diante podem também obter a integração. O Arranjo de Portas Programável no Campo (FPGA) que pode programado após a fabricação dos LSIs um processador reconfigurável que permite reconfiguração da conexão ou configuração de um LSI pode ser usado para o mesmo propósito.

No futuro, com o avanço na tecnologia de semicondutores, uma tecnologia totalmente nova pode substituir LSI. Os blocos funcionais podem ser integrados usando esta tecnologia. A possibilidade é que a presente invenção seja aplicada a biotecnologia.

Modalidade 10

Quando dados de vídeo gerados no método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades são decodificados, comparados a quando dados de vídeo que se conformam a um padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1 são decodificados, a quantidade de processamento provavelmente aumenta. Portanto, o LSI ex500 precisa ser configurado para uma frequência de acionamento maior do que a da CPU ex502 a ser usado quando dados de vídeo em conformidade com o padrão convencional são decodificados. Entretanto, quando a frequência de acionamento é configurada mais alta, existe um problema de que o consumo de energia aumenta.

A fim de resolver o problema, o aparelho de decodificação de imagem em movimento, tal como a televisão ex300 e o LSI ex500 é configurado para determinar a qual padrão os dados de vídeo se conformam, e comutar entre as frequências de acionamento de acordo com o padrão determinado. A FIGURA 40 ilustra uma configuração ex800 na Modalidade 10. Uma unidade de comutação de frequência de acionamento ex803 configura uma frequência de acionamento para uma frequência de acionamento mais alta quando dados de vídeo são gerados pelo método de codificação de i- magem em movimento ou pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades. Então, a unidade de co- mutação de frequência de acionamento ex803 instrui a unidade de processamento de decodificação ex801 que executa o método de decodificação de imagem em movimento descrito em cada uma das Modalidades para decodificar os dados de vídeo. Quando os dados de vídeo se conformam ao padrão convencional, a unidade de comutação de frequência de acionamento ex803 configura uma frequência de acionamento para uma frequência de acionamento mais baixa do que dos dados de vídeo gerados pelo método de codificação de imagem em movimento ou pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades. Então, a unidade de comutação de frequência de acionamento ex803 instrui a unidade de processamento de decodificação ex802 que se conforma ao padrão convencional para decodificar os dados de vídeo.

Mais especificamente, a unidade de comutação de frequência de acionamento ex803 inclui a CPU ex502 e a unidade de controle de frequência de acionamento ex512 na FIGURA 39. Aqui, cada uma da unidade de processamento de decodificação ex801 que executa o método de decodificação de imagem em movimento descrita em cada uma das Modalidades e da unidade de processamento de decodificação ex802 que se conforma ao padrão convencional corresponde à unidade de processamento de sinal ex507 na FIGURA 39. A CPU ex502 determina a que padrão os dados de vídeo se conformam. Então, a unidade de controle de frequência de acionamento ex512 determina uma frequência de acionamento com base em um sinal da CPU ex502. Além disso, a unidade de processamento de sinal ex507 decodifica os dados de vídeo com base no sinal da CPU ex502. Por exemplo, a informação de identificação descrita na Modalidade 8 é provavelmente usada para identificar os dados de vídeo. A informação de identificação não é limitada àquela descrita na Modalidade 8 mas pode ser qualquer informação desde que a informação indique a que padrão os dados de vídeo se conformam. Por exemplo, quando a qual padrão os dados de vídeo se conformam pode ser determinado com base em um sinal externo para determinar que os dados de vídeo são usados para uma televisão ou um disco, etc., a determinação pode ser feita com base neste sinal externo. A- lém disso, a CPU ex502 seleciona uma frequência de acionamento com base em, por exemplo, uma tabela de pesquisa em que os padrões dos dados de vídeo são associados com as frequências de acionamento como mostrado na FIGURA 42. A frequência de acionamento pode ser selecionada ar-mazenando a tabela de pesquisa na memória temporária de amortecimento ex508 e em uma memória interna de um LSI, e com referência à tabela de pesquisa pela CPU ex502.

A FIGURA 41 ilustra etapas para executar um método na Modalidade 10. Primeiro, na Etapa exS200, a unidade de processamento de sinal ex507 obtém informação de identificação a partir dos dados multiplexados. A seguir, na Etapa exS201, a CPU ex502 determina se os dados de vídeo são ou não gerado por um método de codificação e o aparelho de codificação descritos em cada uma das Modalidades, com base na informação identificação. Quando os dados de vídeo são gerados por um método de codificação e o aparelho de codificação descritos em cada uma das Modalidades, na Etapa exS202, a CPU ex502 transmite um sinal para determinar a frequência de acionamento para uma frequência de acionamento mais alta para a unidade de controle de frequência de acionamento ex512. Então, a unidade de controle de frequência de acionamento ex512 determina a frequência de acionamento para a maior frequência de acionamento. Por outro lado, quando a informação de identificação indica que os dados de vídeo se conformam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, na Etapa exS203, a CPU ex502 transmite um sinal para determinar a frequência de acionamento para uma frequência de acionamento mais baixa para a unidade de controle de frequência de acionamento ex512. Então, a unidade de controle de frequência de acionamento ex512 determina a frequência de acionamento para uma menor frequência de acionamento do que no caso onde os dados de vídeo são gerados pelo método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades.

Além disso, juntamente com a comutação das frequências de a- cionamento, o efeito de economia de energia pode ser melhorado mudando a tensão a ser aplicada ao LSI ex500 ou um aparelho que inclui o LSI ex500. Por exemplo, quando a frequência de acionamento é determinada menor, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é provavelmente determinada para uma tensão menor do que no caso onde a frequência de acionamento é determinada maior.

Além disso, quando a quantidade de processamento para decodificar é maior, a frequência de acionamento pode ser configurada maior, e quando a quantidade de processamento para decodificar é menor, a frequência de acionamento pode ser configurada menor como o método para configurar a frequência de acionamento. Portanto, o método de configuração não é limitado àqueles descritos acima. Por exemplo, quando a quantidade de processamento para decodificar dados de vídeo em conformidade com MPEG-AVC é maior do que a quantidade de processamento para decodificar dados de vídeo gerados pelo método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento descrita em cada uma das Modalidades, a frequência de acionamento é provavelmente configurada em ordem reversa à configuração descrita acima.

Além disso, o método para configurar a frequência de acionamento não é limitado ao método para configurar a frequência de acionamento menor. Por exemplo, quando a informação de identificação indica que os dados de vídeo são gerados pelo método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é provavelmente configurada maior. Quando a informação de identificação indica que os dados de vídeo se conformam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, a tensão a ser aplicada ao LSI ex500 ou ao aparelho que inclui o LSI ex500 é provavelmente configurada menor. Como outro exemplo, quando a informação de identificação indica que os dados de vídeo são gerados pelo método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades, o acionamento da CPU ex502 provavelmente não tem que ser suspenso. Quando a in- formação de identificação indica que os dados de vídeo se conformam ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1, o acionamento da CPU ex502 provavelmente é suspenso a uma dada hora devido a CPU ex502 ter capacidade de processamento extra. Mesmo quando a informação de identificação indica que os dados de vídeo são gerados pelo método de codificação de imagem em movimento e pelo aparelho de codificação de imagem em movimento descritos em cada uma das Modalidades, no caso onde a CPU ex502 tem capacidade de processamento extra, o a- cionamento da CPU ex502 provavelmente é suspenso a uma dada hora. Neste caso, a hora de suspensão provavelmente é configurada menor do que no caso onde quando a informação de identificação indica que os dados de vídeo se conformam ao padrão convencional, tal como MPEG-2, MPEG4- AVC, eVC-1.

Consequentemente, o efeito de economia de energia pode ser melhorado através da comutação entre as frequências de acionamento de acordo com o padrão ao qual os dados de vídeo se conformam. Além disso, quando o LSI ex500 ou o aparelho que inclui o LSI ex500 é acionado usando uma bateria, a vida da bateria pode ser estendida com o efeito de economia de energia.

Modalidade 11

Existem casos onde uma pluralidade de dados de vídeo que se conforma a diferentes padrões, são fornecidos para os dispositivos e sistemas, tal como uma televisão e um telefone móvel. A fim de permitir decodificar a pluralidade de dados de vídeo que se conforma a diferentes padrões, a unidade de processamento de sinal ex507 da LSI ex500 precisa se conformar aos diferentes padrões. Entretanto, os problemas de aumento em escala do circuito do LSI ex500 e aumento no custo surgem com o uso individual da unidade de processamento de sinal ex507 que se conforma aos respectivos padrões.

A fim de resolver o problema, é concebida uma configuração em que a unidade de processamento de decodificação para implementar o método de decodificação de imagem em movimento descrito em cada uma das

Modalidades e a unidade de processamento decodificação que se conforma ao padrão convencional, tal como MPEG-2, MPEG4-AVC, e VC-1 são parcialmente compartilhadas. O ex900 na FIGURA 43A mostra um exemplo da configuração. Por exemplo, o método de decodificação de imagem em movimento descrito em cada uma das Modalidades e o método de decodificação de imagem em movimento que se conforma a MPEG4-AVC têm, parcialmente em comum, os detalhes de processamento, tais como codificação de entropia, quantização inversa, filtragem de desbloqueio, e previsão compensada de movimento. Os detalhes de processamento a serem compartilhados provavelmente incluem o uso da unidade de processamento de decodificação ex902 que se conforma a MPEG4-AVC. Ao contrário, uma unidade de processamento de decodificação ex901 dedicada é provavelmente usada para outro processamento que não se conforma a MPEG4-AVC e é único a presente invenção. Uma vez que a presente invenção é caracterizada por decodificação de sistema em particular, por exemplo, a unidade de processamento de decodificação ex901 dedicada é usada para sistema decodificação. Caso contrário, a unidade de processamento de decodificação é provavelmente compartilhada para um de quantização inversa, codificação de entropia, filtragem de desbloqueio, e previsão compensada de movimento, ou todos os processamentos. A unidade de processamento de decodificação para implementar o método de decodificação de imagem em movimento descrito em cada uma das Modalidades pode ser compartilhada para o processamento a ser compartilhado, e uma unidade de processamento de decodificação dedicada pode ser usada para processamento único para a- quele de MPEG4-AVC.

Além disso, o ex1000 na FIGURA 43B mostra outro exemplo em que processamento é parcialmente compartilhado. Este exemplo usa uma configuração que inclui uma unidade de processamento de decodificação ex1001 dedicada que suporta o processamento único a presente invenção, uma unidade de processamento de decodificação ex1002 dedicada que suporta o processamento único a outro padrão convencional, e uma unidade de processamento de decodificação ex1003 dedicada que suporta proces- sarnento a ser compartilhados entre o método de decodificação de imagem em movimento na presente invenção e o método de decodificação de imagem em movimento convencional. Aqui, as unidades de processamento de decodificação ex1001 e ex1002 dedicadas não são necessariamente especializadas para o processamento da presente invenção e o processamento do padrão convencional, respectivamente, e pode ser uma capaz de implementar processamento em geral. Além disso, a configuração da Modalidade 11 pode ser implementada pelo LSI ex500.

Como tal, reduzir a escala do circuito de um LSI e reduzir o custo são possíveis compartilhando a unidade de processamento de decodificação para o processamento a ser compartilhados entre o método de decodificação de imagem em movimento na presente invenção e o método de decodificação de imagem em movimento em conformidade com o padrão con-vencional.

APLICABILIDADE INDUSTRIAL

O método de codificação de imagem e o método de decodificação de imagem de acordo com a presente invenção são aplicáveis a, por exemplo, televisões, gravadores de vídeo digitais, sistemas de navegação de carro, telefones móveis, câmeras digitais, câmeras de vídeo digitais, e assim por diante. LISTAGEM DE SINAIS DE REFERÊNCIA 100, 800, 1700, 2100 Aparelho de codificação de imagem 200, 300, 900, 1000, 1900, 2300 Aparelho de decodificação de imagem 111, 112, 113, 114, 411,413, 811, 812 Unidade de redução a 1/2 horizontal 121, 122, 821,822 Unidade de combinação 131, 132, 133, 134, 231, 232, 271, 272, 331, 831, 832, 833, 834, 931, 971, 972, 1031 Memória temporária de amortecimento de quadro 151, 152, 261,262, 263, 264, 851, 852, 961, 963 Comutador 160, 860 Unidade de controle de sinal de entrada 170 Codificador MVC 171, 172, 871, 872 Codificador 180, 880 Codificador de sistema 210, 310, 910, 1010 Decodificador de sistema 220 Decodificador MVC 221, 222, 321, 921, 922, 1021 Decodificador 260, 960, 1903, 2303 Unidade de saída 265, 965 Unidade de controle de saída 266, 566 Unidade de síntese de imagem 267, 967 Unidade de rearranjo de pixel 290, 390, 990, 1090 Unidade de exibição 320, 1020 Decodificador AVC 815 Unidade de redução horizontal-vertical 870 Codificador SVC 920 Decodificador SVC 1701, 2101 Unidade de codificação 1702, 2102 Unidade de multiplexação 1710, 1920, 2110, 2320 Unidade de camada de vídeo 1720, 1910, 2120, 2310 Unidade de camada de sistema 1901, 2301 Unidade de demultiplexação 1902, 2302 Unidade de decodificação 2104, 2304 Unidade de geração

Claims (20)

1. Método de codificação de imagem caracterizado pelo fato de que compreende: uma camada de vídeo para gerar um fluxo codificado codificando uma imagem composta de um ou mais quadros; e uma camada de sistema para gerar um fluxo de sistema para transmitir ou armazenar o fluxo codificado, a dita camada de vídeo compreende codificar (S1801) a imagem para gerar o fluxo codificado, e a dita camada de sistema que compreende multiplexar (S1802) o fluxo codificado gerado na dita codificação e um identificador para gerar o fluxo de sistema, o identificador indicando se ou não um formato da imagem é um formato de esquerda-direita misturado, o formato de esquerda-direita misturado sendo um formato que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, os graus de precisão estando relacionados com uma resolução, uma taxa de quadros, um número total de pixels, uma profundidade de pixel ou uma relação de sinal para ruído, a área de imagem de visualização esquerda sendo uma área na qual uma imagem de uma visualização esquerda é exibida e a área de imagem de visualização direita sendo uma área na qual uma imagem de uma visualização direita é exibida, em que a dita camada de sistema está em conformidade com Sistemas MPEG-2, a dita codi-ficação (S1801) inclui, no caso onde o formato da imagem é o formato de esquerda-direita misturado, codificar a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro, para gerar dois fluxos codificados da camada básica e da camada de melhoria, e o dito multiplexar (S1802) inclui (i) no caso onde a dita camada de vídeo está em conformidade com um esquema de codificação de vídeo multivisão nos Sistemas MPEG-2, inserir o identificador em um primeiro descritor definido para o esquema de codificação de vídeo multivisão nos Sistemas MPEG-2, e mul- tiplexar os dois fluxos codificados e o primeiro descritor que inclui o identificador para gerar o fluxo de sistema, e (ii) no caso onde a dita camada de vídeo está em conformidade com um esquema de codificação de vídeo es- calável nos Sistemas MPEG-2, inserir o identificador em um segundo descritor definido para o esquema de codificação de vídeo escalável nos Sistemas MPEG-2, e multiplexar os dois fluxos codificados e o segundo descritor que inclui o identificador para gerar o fluxo de sistema.

2. Método de codificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com o esquema de codificação de vídeo multivisão, e a dita codificação inclui codificar a imagem de acordo com o esquema de codificação de vídeo multivisão para gerar os dois fluxos codificados.

3. Método de codificação de imagem, de acordo com a reivindicação 2, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com H.264 MVC, o primeiro descritor definido para o esquema de codificação de vídeo multivisão é um descritor MVC definido para H.264 MVC nos Sistemas MPEG-2, a dita codificação inclui codificar a imagem de acordo com H.264 MVC para gerar os dois fluxos codificados, e a dita multiplexação inclui inserir o identificador no descritor MVC definido para H.264 MVC, e multiplexar os dois fluxos codificados e o descritor MVC que inclui o identificador, para gerar o fluxo de sistema.

4. Método de codificação de imagem, de acordo com a reivindicação 2 ou 3, caracterizado pelo fato de que a dita codificação inclui: codificar a imagem do formato de esquerda-direita misturado no caso onde o formato da imagem é o formato de esquerda-direita misturado; e codificar a imagem de um formato de esquerda-direita independente no caso onde o formato da imagem não é o formato de esquerda- direita misturado, em que o formato de esquerda-direita independente é um formato que inclui um quadro da visualização esquerda e um quadro da vi- sualização direita como quadros separados.

5. Método de codificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com o esquema de codificação de vídeo escalável, a dita codificação inclui codificar a imagem de acordo com o esquema de codificação de vídeo escalável para gerar os dois fluxos codificados.

6. Método de codificação de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com H.264 SVC, o segundo descritor definido para o esquema de codificação de vídeo escalável é um descritor SVC definido para H.264 SVC nos Sistemas MPEG-2, a dita codificação inclui codificar a imagem de acordo com H.264 SVC para gerar os dois fluxos codificados, e a dita multiplexação inclui inserir o identificador no descritor SVC definido para H.264 SVC, e multiplexar os dois fluxos codificados e o descritor SVC que inclui o identificador, para gerar o fluxo de sistema.

7. Método de codificação de imagem, de acordo com a reivindicação 5 ou 6, caracterizado pelo fato de que dita codificação inclui: codificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda-direita misturado; e codificar a imagem para exibição monoscópica no caso onde o formato da imagem não é o formato de esquerda-direita misturado.

8. Método de codificação de imagem, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que compreende adicionalmente gerar a imagem no formato de esquerda-direita misturado através de (i) gerar, como um quadro da camada básica, um quadro em que colunas ímpares de um quadro esquerdo que é um quadro de uma visualização esquerda é incluído na área de imagem de visualização esquerda e colunas ímpares de um quadro direito que é um quadro de uma visualização direita é incluído na área de imagem de visualização direita, e (ii) gerar, como um quadro da camada de melhoria, um quadro em que colunas pares do quadro esquerdo é incluída na área de imagem de visualização esquerda e colunas pares do quadro direito é incluído na área de imagem de visualização direita, em que a dita codificação inclui codificar a imagem gerada na dita geração para gerar os dois fluxos codificados, quando codifica a imagem do formato de esquerda-direita misturado.

9. Método de codificação de imagem, de acordo com qualquer uma das reivindicações 1 e 5 a 7, caracterizado pelo fato de que compreende adicionalmente gerar a imagem no formato de esquerda-direita misturado através de (i) gerar, como um quadro da camada básica, um quadro em que uma primeira parte de um quadro esquerdo que é um quadro da visualização esquerda é incluído na área de imagem de visualização esquerda e uma segunda parte de um quadro direito que é um quadro da visualização direita é incluído na área de imagem de visualização direita, e (ii) gerar, como um quadro da camada de melhoria, um quadro em que todo o quadro esquerdo é incluído na área de imagem de visualização esquerda e todo o quadro direito é incluído na área de imagem de visualização direita, em que dita codificação inclui codificar a imagem gerada na dita geração para gerar os dois fluxos codificados, quando codifica a imagem do formato de esquerda-direita misturado.

10. Método de decodificação de imagem caracterizado pelo fato de que compreende: uma camada de sistema para obter, de um fluxo de sistema para transmitir ou armazenar um fluxo codificado que inclui uma imagem composta de uma ou mais imagens, o fluxo codificado; e uma camada de vídeo para decodificar a imagem incluída no fluxo codificado, a dita camada de sistema compreende demultiplexar (S2001) o fluxo de sistema no fluxo codificado e um identificador para obter o fluxo codificado e o identificador, em que o identificador indica se um formato da imagem é ou não um formato de es- querda-direita misturado, o formato de esquerda-direita misturado sendo um formato que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, os graus de precisão estando relacionados com uma resolução, uma taxa de quadros, um número total de pixels, uma profundidade de pixel ou uma relação de sinal para ruído, a área de imagem de visualização esquerda sendo uma área na qual uma imagem de uma visualização esquerda é exibida e a área de imagem de visualização direita sendo uma área na qual uma imagem de uma visualização direita é exibida, a dita camada de vídeo compreende decodificar (S2002) a imagem incluída no fluxo codificado obtido na dita demultiplexação, e o dito método de decodificação de imagem compreende adicionalmente fornecer (2003) a imagem decodificada na dita decodificação, em um modo de saída especificado de acordo com o identificador obtido na dita demultiplexação, em que a dita camada de sistema está em conformidade com Sistemas MPEG-2, o dito demultiplexar (S2001) inclui, (i) no caso onde a dita camada de vídeo está em conformidade com um esquema de codificação de vídeo multivisão nos Sistemas MPEG-2, demultiplexar o fluxo de sistema em dois fluxos codificados da camada básica e da camada de melhoria e um primeiro descritor definido para o esquema de codificação de vídeo multivisão nos Sistemas MPEG-2 para obter os dois fluxos codificados e o identificador incluído no primeiro descritor, e (ii) no caso onde a dita camada de vídeo está em conformidade com um esquema de codificação de vídeo escalável nos Sistemas MPEG-2, demultiplexar o fluxo de sistema nos dois fluxos codificados da camada básica e da camada de melhoria e um segundo descritor definido para o esquema de codificação de vídeo multivisão nos Sistemas MPEG-2 para obter os dois fluxos codificados e o identificador incluído no segundo descritor, e no caso onde o formato da imagem é o forma- to de esquerda-direita misturado, a imagem inclui a camada básica e a camada de melhoria e tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

11. Método de decodificação de imagem, de acordo com a reivindicação 10, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com o esquema de codificação de vídeo multivisão, e a dita decodificação inclui decodificar a imagem codificada de acordo com o esquema de codificação de vídeo multivisão.

12. Método de decodificação de imagem, de acordo com a reivindicação 11, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com H.264 MVC, o primeiro descritor definido para o esquema de codificação de vídeo multivisão é um descritor MVC definido para H.264 MVC nos Sistemas MPEG-2, a dita demultiplexação inclui demultiplexar o fluxo de sistema nos dois fluxos codificados e no descritor MVC definido para H.264 MVC, para obter os dois fluxos codificado e o identificador incluído no descritor MVC, e a dita decodificação inclui decodificar a imagem codificada de acordo com H.264 MVC.

13. Método de decodificação de imagem, de acordo com a reivindicação 11 ou 12, caracterizado pelo fato de que a dita decodificação inclui: decodificar a imagem do formato de esquerda-direita misturado no caso onde o formato da imagem é o formato de esquerda-direita misturado; e decodificar a imagem de um formato de esquerda-direita independente no caso onde o formato da imagem não é o formato de esquerda- direita misturado, em que o formato de esquerda-direita independente é um formato que inclui um quadro da visualização esquerda e um quadro da visualização direita como quadros separados.

14. Método de decodificação de imagem, de acordo com a reivindicação 10, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com o esquema de codificação de vídeo escalável, e a dita decodificação inclui decodificar a imagem codificada de acordo com o esquema de codificação de vídeo escalável.

15. Método de decodificação de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a dita camada de vídeo está em conformidade com H.264 SVC, o segundo descritor para o esquema de codificação de vídeo es- calável é um descritor SVC definido para H.264 SVC nos Sistemas MPEG-2, a dita demultiplexação inclui demultiplexar o fluxo de sistema nos dois fluxos codificados e no descritor SVC definido para H.264 SVC, para obter os dois fluxos codificados e o identificador incluído no descritor SVC, e a dita decodificação inclui decodificar a imagem codificada de acordo com H.264 SVC.

16. Método de decodificação de imagem, de acordo com a reivindicação 14 ou 15, caracterizado pelo fato de que a dita decodificação inclui: decodificar a imagem para exibição estereoscópica no caso onde o formato da imagem é o formato de esquerda-direita misturado; e decodificar a imagem para exibição monoscópica no caso onde o formato da imagem não é o formato de esquerda-direita misturado.

17. Método de decodificação de imagem, de acordo com qualquer uma das reivindicações 10 a 13, caracterizado pelo fato de que compreende adicionalmente gerar um quadro esquerdo que é um quadro da visualização esquerda e um quadro direito que é um quadro da visualização direita, no caso onde o formato da imagem é o formato de esquerda-direita misturado, a dita geração inclui: obter colunas ímpares do quadro esquerdo a partir da área de imagem de visualização esquerda em um quadro de camada básica, em que o quadro de camada básica é um quadro da camada básica e é incluído na imagem decodificada na dita decodificação; obter colunas ímpares do quadro direito a partir da área de imagem de visualização direita no quadro de camada básica; obter colunas pares do quadro esquerdo a partir da área de imagem de visualização esquerda em um quadro de camada de melhoria, em que o quadro de camada de melhoria é um quadro da camada de melhoria e é incluído na imagem decodificada na dita decodificação; obter colunas pares do quadro direito a partir da área de imagem de visualização direita no quadro da camada de melhoria; gerar o quadro esquerdo a partir das colunas ímpares e pares obtidas, e gerar o quadro direito a partir das colunas pares obtidas, e o dito fornecimento inclui fornecer, como a imagem, o quadro esquerdo e o quadro direito gerados na dita geração, no caso onde o formato da imagem é o formato de esquerda-direita misturado.

18. Método de decodificação de imagem, de acordo com qualquer uma das reivindicações 10 e 14 a 16, caracterizado pelo fato de que compreende adicionalmente gerar, no caso onde o formato da imagem é o formato de esquerda-direita misturado, um quadro esquerdo a partir da área de imagem de visualização esquerda no quadro decodificado e um quadro direito a partir da área de imagem de visualização direita no quadro decodificado, em que o quadro esquerdo é um quadro da visualização esquerda, em que o quadro direito é um quadro da visualização direita, e o quadro decodificado é um quadro de uma de camada básica e camada de melhoria e é incluído na imagem decodificada na dita decodificação, em que o dito fornecimento inclui fornecer, como a imagem, o quadro esquerdo e o quadro direito gerados na dita geração, no caso onde o formato da imagem é o formato de esquerda-direita misturado.

19. Aparelho de codificação de imagem caracterizado pelo fato de que compreende: uma unidade de camada de vídeo (1710) configurada para gerar um fluxo codificado codificando uma imagem composta de um ou mais quadros; e uma unidade de camada de sistema (1720) configurada para gerar um fluxo de sistema para transmitir ou armazenar o fluxo codificado, a dita unidade de camada de vídeo (1710) compreende uma unidade de codificação (1701) configurada para codificar a imagem para gerar o fluxo codificado, e a dita unidade de camada de sistema (1720) compreende uma unidade de multiplexação (1702) configurada para multiple- xar o fluxo codificado gerado pela dita unidade de codificação e um identificador para gerar o fluxo de sistema, em que o identificador indica se um formato da imagem é ou não um formato de esquerda-direita misturado, o formato de esquerda-direita misturado sendo um formato que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, os graus de precisão estando relacionados com uma resolução, uma taxa de quadros, um número total de pixels, uma profundidade de pixel ou uma relação de sinal para ruído, a área de imagem de visualização esquerda sendo uma área na qual uma imagem de uma visualização esquerda é exibida e a área de imagem de visualização direita sendo uma área na qual uma imagem de uma visualização direita é exibida, em que a dita unidade de camada de sistema (1720) está em conformidade com Sistemas MPEG-2, a dita unidade de codificação (1701) é configurada para, no caso onde o formato da imagem é o formato de esquerda-direita misturado, codificar a imagem que inclui a camada básica e a camada de melhoria e que tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro, para gerar dois fluxos codificados da camada básica e da camada de melhoria, e a dita unidade de multiplexação (1702) é configurada para (i) no caso onde a dita unidade de camada de vídeo está em conformidade com um esquema de codificação de vídeo multivisão nos Sistemas MPEG-2, inserir o identificador em um primeiro descritor definido para o esquema de codificação de vídeo mul- tivisão nos Sistemas MPEG-2, e multiplexar os dois fluxos codificados e o primeiro descritor que inclui o identificador para gerar o fluxo de sistema e (ii) no caso onde a dita unidade de camada de vídeo está em conformidade com um esquema de codificação de vídeo escalável nos Sistemas MPEG-2, inserir o identificador em um segundo descritor definido para o esquema de codificação de vídeo escalável nos Sistemas MPEG-2, e multiplexar os dois fluxos codificados e o segundo descritor que inclui o identificador para gerar o fluxo de sistema.

20. Aparelho de decodificação de imagem caracterizado pelo fato de que compreende: uma unidade de camada de sistema (1910) configurada para obter, a partir de um fluxo de sistema para transmitir ou armazenar um fluxo codificado que inclui uma imagem composta de um ou mais quadros, o fluxo codificado; e uma unidade de camada de vídeo (1920) configurada para decodificar a imagem incluída no fluxo codificado, a dita unidade de camada de sistema (1910) compreende uma unidade de demultiplexação (1901) configurada para de- multiplexar o fluxo de sistema no fluxo codificado e um identificador para obter o fluxo codificado e o identificador, em que o identificador indica se um formato da imagem é ou não um formato de esquerda-direita misturado, o formato de esquerda-direita misturado sendo um formato que inclui uma camada básica e uma camada de melhoria para fornecer uma pluralidade de graus de precisão e que tem uma área de imagem de visualização esquerda e uma área de imagem de visualização direita em cada quadro, os graus de precisão estando relacionados com uma resolução, uma taxa de quadros, um número total de pixels, uma profundidade de pixel ou uma relação de sinal para ruído, a área de imagem de visualização esquerda sendo uma área na qual uma imagem de uma visualização esquerda é exibida e a área de imagem de visualização direita sendo uma área na qual uma imagem de uma visualização direita é exibida, a dita unidade de camada de vídeo (1920) compreende uma unidade de decodificação (1902) configurada para decodificar a imagem incluída no fluxo codificado obtido pela dita unidade de demul- tiplexação, e o dito aparelho de decodificação de imagem compreende adicionalmente uma unidade de saída (1903) configurada para fornecer a imagem decodificada pela dita unidade de decodificação, em um modo de saída especificado de acordo com o identificador obtido pela dita unidade de de- multiplexação, em que a dita unidade de camada de sistema (1910) está em conformidade com Sistemas MPEG-2, a dita unidade de demultiplexação (1901) é configurada para (i) no caso onde a dita unidade de camada de vídeo está em conformidade com um esquema de codificação de vídeo multi- visão nos Sistemas MPEG-2, demultiplexar o fluxo de sistema em dois fluxos codificados da camada básica e da camada de melhoria e um primeiro des-critor definido para o esquema de codificação de vídeo multivisão nos Sistemas MPEG-2 para obter os dois fluxos codificados e o identificador incluído no primeiro descritor, e (ii) no caso onde a dita unidade de camada de vídeo está em conformidade com um esquema de codificação de vídeo escalável nos Sistemas MPEG-2, demultiplexar o fluxo de sistema nos dois fluxos codificados da camada básica e da camada de melhoria e um segundo descritor definido para o esquema de codificação de vídeo multivisão nos Sistemas MPEG-2 para obter os dois fluxos codificados e o identificador incluído no segundo descritor, e no caso onde o formato da imagem é o formato de esquerda- direita misturado, a imagem inclui a camada básica e a camada de melhoria e tem a área de imagem de visualização esquerda e área de imagem de visualização direita em cada quadro.

Images